Entropi

Når is smelter i et glass vann i et varmt rom, øker entropien. Dette eksemplet ble for første gang benyttet av Clausius i 1862.

Entropi ble definert av den tyske fysiker Rudolf Clausius i 1864 for å beskrive kvantitativt hvordan varme kan omgjøres til nyttig arbeid. Navnet han ga denne størrelsen, lagde han ut fra gammelgresk ἐν (med, evne til) og τροπή (forandring) på samme måte som at ordet energi fra ἐν-ἔργον har med evne til å utføre arbeid. Dette begrepet gikk inn i hans "mekaniske varmeteori" som i dag bærer navnet termodynamikk hvor det spiller en fundamental rolle. Entropi er et ekstensivt, termodynamisk potensial som antar en bestemt verdi for hver likevektstilstand systemet befinner seg i. Den kan derfor også betraktes som en tilstandsvariabel selv om den ikke kan bli direkte målt i laboratoriet slik man kan med trykk og temperatur.

I denne sammenheng formulerte Clausius termodynamikkens andre hovedsetning som sier at i et isolert system kan entropien aldri avta. Den kan bare forbli konstant eller øke. I det første tilfellet sier man da at systemet er i termisk likevekt. Hva dette skyldes, var ikke klart for Clausius, men han mente at det kunne ha noe å gjøre med mekaniske omstillinger av de indre bestanddelene man mente materien bestod av uten at man på den tiden hadde noen atomteori.

Det var først Boltzmann noen få år senere som ga en forklaring av fysikken som gir opphav til entropi, nettopp basert på en atomistisk beskrivelse av materien i systemet. Han viste at jo større uorden man har i systemet, desto større er dets entropi. Derfor henger entropiens økning direkte sammen med tendensen man ser i naturen til at mange prosesser bare går én vei. En isbit i et glass vann smelter ved at molekylene i isen overføres til vannet. Man ser aldri den omvendte prosessen at noen vannmolekyler spontant samler seg sammen til et stykke is. Ved smeltingen skapes det mer uorden mellom vannmolekylene som tidligere var delvis samlet i isbiten. Entropi kan derfor tilskrives en samling av et stort antall partikler. Man kan rent praktisk ikke lenger følge hver partikkel i dens bevegelse, men må nøye seg med en statistisk beskrivelse av alle partiklene. Det var i disse undersøkelsene at Boltzmann la grunnlaget for moderne, statistisk mekanikk som ble videreutviklet av Josiah Willard Gibbs. Først med den senere innføring av kvantemekanikken kan man si at entropi endelig ble fullt forstått.

Anvendelser i dag

Begrepet ble opprinnelig innført for å bedre forståelsen av omsetning av energi, og spesielt for bruk av varmeenergi i dampmaskiner til å utføre arbeid, men i tillegg til dette rent praktiske aspektet, har entropibegrepet fått en utbredelse langt utover slike praktiske anvendelser. Dette skyldes i stor grad de statistiske ideene fra Boltzmann og at termodynamikken er så generell at den også kommer til anvendelse i systemer som må beskrives kvantemekanisk. Dette ble spesielt klart etter at Planck utviklet sin teori for varmestrålingen som i utgangspunktet var basert på rene entropibetraktninger. I kjemi ble entropi av stor betydning for å forstå forskjellige, kjemiske reaksjoner og likevekter. Fra begynnelsen av var entropi en sentral størrelse innen statistisk fysikk og dens beskrivelse av materien omkring oss i alle faser. I dag benyttes begrepet i astrofysikk og utforskningen av stjerner og deres kollaps. I nyere tid har Stephen Hawking vist at også sorte hull kan tilordnes en entropi og derfor også en temperatur. Hele Universet kan betraktes som et isolert system med jevnt økende entropi og spiller dermed også en sentral rolle i moderne kosmologi.

Entropi i dag benyttes innen tre områder; termodynamikk, statistisk mekanikk og informasjonsteori. I termodynamikken betyr entropi fordeling og likevekt over tid inntil ulikhetene er utjevnet. For eksempel vil et livløst objekt som er varmere eller kaldere enn omgivelsene etter hvert miste eller absorbere varme helt til objekt og omgivelser har samme temperatur, eller en saltløsning som tømmes i en beholder med ferskvann vil fordele seg i vannet inntil konsentrasjonen er den samme overalt.

I statistisk mekanikk handler det om sannsynlighet i forhold til antall mulige utfall. En mynt som knipses har to mulige utfall; mynt eller krone, og dermed 50% sjanse for å ende opp som det ene eller andre. Gjøres dette et fåtall ganger er det mulig å oppnå samme resultat hver gang. Men sannsynligheten blir mindre desto oftere det knipses. Jo flere forsøk, jo mer vil summen av resultatene nærme seg den statistiske sannsynligheten og dermed den maksimale entropi. Samme tendens gjelder om en terning kastes tilstrekkelig mange ganger, bare at fordelingen her er 1/6 i stedet for 1/2. Blant de minste bestanddelene innen kjemi (atomer og molekyler) vil antallet i en væske være så høyt at maks entropi så å si er oppnådd, og det oppstår lovmessighet; sannsynligheten for at summen av alle atomenes og molekylenes mulige utfall på noe som helst tidspunkt skal avvike fra det forventede er så mikroskopisk at den i praksis ligger på null.

I informasjonsteori er entropi det samme som uforutsigbarhet. En linje bestående av repetisjon av et eneste tegn etter hverandre vil være fullstendig forutsigbart, og entropi er dermed fraværende. En tekst som består av kjente ord og overholder de grammatiske regler vil være mer uforutsigbart, og med det mer entropisk, selv om det i stor grad er mulig å gjette seg til hvilket tegn som er det neste ut ifra informasjonen man har tilegnet seg fra de foregående ordene og setningene. Inneholder teksten skrivefeil og brudd på grammatikkreglene øker entropien mens forutsigbarheten minker, og sannsynligheten for tap av informasjon øker i takt med antall feil. En linje satt tilfeldig sammen av en samling helt tilfeldige tegn har ingen informasjon å vise til, forutsigbarheten er null og entropien maksimal.

Clausius og termodynamikk

Termodynamikkens andre hovedsetning om hvordan entropien S  for et system forandres i en prosess, ble formulert matematisk av Rudolf Clausius. Den kan skrives som ulikheten

$\Delta S\geq {\Delta Q/T}$

som bærer hans navn. Her er ΔQ  en liten varmemengde om overføres til systemet fra omgivelsene med absolutt temperatur T. Den gir en økning ΔS  i entropien til systemet. Måleenheten for entropi i SI-enheter er derfor J/K.

I nesten alle sammenhenger snakker man som her om et system og dets omgivelser som er i termisk kontakt, det vil si de kan utveksle varme med hverandre. Til sammen definerer disse to kategoriene et univers. Kun når et system er termisk isolert fra omgivelsene, kan vi betrakte det alene for seg selv. Da vil per definisjon ΔQ = 0 og systemets entropi vil alltid øke eller forbli konstant, ΔS ≥ 0. Dette vil da også gjelde for vårt eget, fysiske univers.

Beregning av entropi er mulig fra Clausius' ulikhet i grensen hvor den varmemengden ΔQ er så liten og blir så forsiktig tilført til systemet at det hele tiden er i likevekt og med samme temperatur. Man sier da at varmen er tilført reversibelt. I denne grensen er

$\Delta S={\Delta Q_{rev}/T}$

For å gjennomføre beregningen behøver man i tillegg en tilstandsligning for systemet samt at termodynamikkens første hovedsetning må oppfylles.

Smelting av is

Et klassisk eksempel på økende entropi i et lite univers er is som smelter i et glass vann. Her er systemet glasset med is og vann i termisk likevekt ved konstante temperatur 0 °C (273 K). Omgivelsene antar vi er rommet omkring med temperatur 20 °C (293 K). I dette universet vil litt varmeenergi ΔQ strømme fra de varme omgivelsene inn i glasset som forblir ved 0 °C så lenge det er is igjen i det. Dette er smeltetemperaturen for is og ΔQ er gitt ved smeltevarmen ΔH _is = 334 J/g. Dermed vil entropien til systemet øke med ΔQ /273, mens omgivelsene taper entropien ΔQ /293. Netto-økningen av entropien i dette lille universet er dermed

$\Delta S=\Delta Q\left({1 \over 273}-{1 \over 293}\right)>0$

Sålenge smeltingen foregår, forandres ikke temperaturen til systemet. Derimot vil temperaturen til omgivelsen avta bitte litt, men kan likevel helt neglisjeres da omgivelsene nesten alltid kan betraktes å være svært store.

Etter at smeltingen er over, øker temperaturen i systemet langsomt til vannet i glasset har fått samme temperatur som omgivelsene. Ser vi bort fra volumforandringer under oppvarmingen, vil tilført varme til glasset med vann være ΔQ = C_V ΔT hvor C_V er dets spesifikke varmekapasitet. Dette medfører en forandring i entropien til dette systemet med ΔS = C_V ΔT/T som kan integreres opp til å gi

$\Delta S=C_{V}\int _{T_{i}}^{T_{f}}\!{dT \over T}=C_{V}\ln {T \over T_{0}}$

hvor T₀ = 273 K er begynnelsestemperaturen. Entropien til omgivelsene vil nå også avta, men igjen mindre enn økningen av entropien til det oppvarmete glasset med vann.

Ideell gass

Partiklene i venstre halvdel slippes løs og vil deretter kunne bevege seg i hele beholderen.

En ideell gass med temperatur T og bestående av n mol partikler i et volum V har et trykk P gitt ved tilstandsligningen PV = nRT der R er gasskonstanten. For en liten, reversibel volumforandring i gassen vil 1. hovedsetning på differensiell form TdS = dU + PdV forbinde de resulterende forandringene i indre energi dU og entropi dS. Nå er dU = C_V dT hvor varmekapasiteten for n mol ideell gass er C_V = (3/2)nR. Dermed er dS = C_V (dT/T) + R (dV/V) slik at direkte integrasjon gir

$S(V,T)={3 \over 2}nR\ln {T \over T_{0}}+nR\ln {V \over V_{0}}$

hvor T₀ og V₀ er vilkårlige referanseverdier. De vil falle bort når vi regner ut entropidifferanser som er det som kan måles.

Dette resultatet for entropien for en ideell gass avhenger kun av tilstanden til gassen gitt ved temperaturen T og volumet V når den er i termisk likevekt. Hvis gassen befinner seg opprinnelig i venstre halvdel av en beholder som vist i figuren og skilleveggen plutselig fjernes, vil den spre seg irreversibelt over hele det nye volumet som er dobbelt så stort. Når den er kommet i likevekt igjen, er dermed dens entropi økt med ΔS = R ln 2 da temperaturen i gassen er uforandret. Dette skyldes at gassen er antatt ideell og det er derfor ingen vekselvirkninger mellom gasspartiklene. Omgivelsene forblir også dermed ved samme temperatur og entropiforandringen for hele universet er ΔS_tot = R ln 2.

Det er også mulig å komme frem til samme slutt-tilstand for gassen ved en reversibel prosess. Det kan gjøres ved at den midtre skilleveggen i gassbeholderen kan skli friksjonsløst til venstre, men blir holdt tilbake ved at den påtrykkes en motkraft som balanserer gasstrykket P  hele tiden. Dermed sklir den langsomt slik at gassen hele tiden er i likevekt. Ved hver liten volumforandring ΔV, utfører gassen dermed et arbeid ΔW = PΔV på veggen. Denne energien kommer fra varmen ΔQ = ΔW som strømmer fra omgivelsene og inn i gassen. Dermed avtar entropien til omgivelsene like mye som entropien til gassen øker. På den måten blir derfor den totale entropiforandring nå ΔS_tot = 0.

Adiabatisk ekspansjon

Ved denne reversible utvidelsen kunne varme strømme inn i gassen fra omgivelsene. Hvis derimot veggene i gassbeholderen er isolerte slik at de ikke slipper varme gjennom, må den indre energien U til gassen avta for å kompensere arbeidet den utfører mot skilleveggen som langsomt presses mot høyre i beholdere. Da blir den differensielle entropiforandringen til gassen dS = 0 = (3/2)nR (dT/T) + nR (dV/V). Ved direkte integrasjon finnes da

$TV^{2/3}=konst$

Dette kalles en reversibel, adiabatisk ekspansjon. Etterhvert som volumet øker, avtar gassens temperatur fordi den må gjøre et arbeid mot omgivelsene. Men ingen varmeoverføring har funnet sted og den totale entropiforandring ΔS_tot er igjen lik null. Slike adiabatiske prosesser er av stor betydning i meteorologien ved dannelse av skyer og forandringer ved været.

Men der er et problem med det termodynamiske resultatet vi har funnet for entropien for en ideell gass. Entropien skal være en ekstensiv størrelse. Problemet oppstår ved igjen å betrakte situasjonen med gassen til venstre for den midtre skilleveggen i beholderen. Så fylles høyre halvdel med like mye ny gass og skilleveggen tas vekk. Da har vi den dobbelte mengde med gass i beholderen og entropien skulle også blitt dobbelt så stor. Men resultatet vi fant, sier derimot at entropien har økt med ΔS = R ln 2 da temperaturen hele tiden er den samme og volumet er blitt dobbelt så stort. Dette problemet går under navnet Gibbs paradoks og kan først løses ved bruk av Boltzmanns definisjon av entropi.

Boltzmann og statistisk mekanikk

Arbeidene til Clausius innen kinetisk teori om hvordan partiklene i en gass beveget seg, ble videreført av Maxwell som i 1859 utledet sin formel for den statistiske fordeling av hastighetene til partiklene i en ideell gass. Dette inspirerte Boltzmann, som da var student, til å hengi seg til å utforske videre denne nye, statistiske beskrivelsen av egenskapene til et stort antall partikler som beveger seg under gjensidige vekselvirkninger og under gitte, ytre føringer som fiksert volum eller temperatur.

Et av de største resultatene av denne innsatsen var at han kunne sammenfatte beregningen av entropien for et system i den enkle formel

$S=k_{B}\ln W$

hvor k_B er Boltzmanns konstant. Her er størrelsen W et tall som angir sannsynligheten for å finne systemet i en gitt makrotilstand som oppfyller de ytre føringene. Hvis systemet f.eks. er slik at ved T = 0 grader kan det kun være i en tilstand, i.e. at W = 1, så er da entropien også null ifølge Boltzmann. Det går direkte på innholdet av den såkalte termodynamikkens tredje lov.

Men dette behøver ikke alltid være tilfelle. Hvis vi tenker oss et materiale som består av N lineære molekyler som kan fritt stille seg inn i to uavhengige retninger med samme energi, så er W = 2^N og dermed S = N k_B ln 2. Likedan har Linus Pauling vist at is ved T = 0 grader kan H-atomene i vannmolekylene H₂O innta forskjellige posisjoner i forhold til nabomolekylene slik at det resulterer i en nullpunktsentropi S = N k_B ln(3/2) i enkleste approksimasjon.

Andre hovedsetning

For et termodynamisk system beskrevet ved de termodynamiske variable volum V, trykk P og temperatur T, vil enhver infinitesemal forandring medføre en forandring i systemets indre energi U og entropi S som må oppfylle termodynamikkens andre hovedsetning. Matematisk betyr det at de tilsvarende differensialene er forbundet ved ligningen TdS = dU + PdV. Denne kan nå skrives som

$dS={1 \over T}dU+{P \over T}dV$

Dette gjør det naturlig å betrakte entropien som en funksjon av energien U og volumet V. Da vil den ha differensialet

$dS=\left({\partial S \over \partial U}\right)_{V}dU+\left({\partial U \over \partial V}\right)_{U}dV$

Ved å sammenligne disse to uttykkene, har man da de viktige resultatene

$\left({\partial S \over \partial U}\right)_{V}={1 \over T}\,,\;\;\;\;\;\;\;\left({\partial S \over \partial V}\right)_{E}={P \over T}$

Slike termodynamiske deriverte spiller en viktig rolle i alle anvendelser av alle termodynamiske lover. Sammen kan de for eksempel gi tilstandsligningen P = P(T,V) for systemet hvis entropien er beregnet med Boltzmanns formel for en gitt verdi av energien U og volumet V.

Maxwell-Boltzmann-statistikk

For en gass tenkte Boltzmann seg at partiklene til hvert tidspunkt kan befinne seg i et stort antall tilstander som i prinsippet kan angis ved deres posisjoner og hastigheter ved det tidspunktet. Ved å oppgi nøyaktig hvilken tilstand hver partikkel befinner seg i, sier man at systemet er i en bestemt mikrotilstand. Men de makroskopiske egenskapene til systemet er uavhengig av hvilke partikler som er i hver av disse tilstandene, kun hvor mange. Med totalt N partikler i systemet, kan det være N₁ partikler i tilstand 1, N₂ i tilstand 2 og så videre, Disse tallene kalles ofte for besetningstall eller «okkupasjonstall» og karakteriserer en bestemt makrotilstand. Antall måter å plassere alle partiklene i disse tilstandene på, er nå

$W={N! \over \prod _{i}N_{i}!}$

Dette er antall mikrotilstander som tilsvarer makrotilstanden gitt ved besetningstallene N₁, N₂, ....N_i .... for hver mikrotilstand i. Desto større W er, desto større er sannsynligheten for akkurat denne makrotilstanden. Hvis partiklene starter med en fordeling hvor W er liten, vil de med tiden bevege seg inn i fordelinger med økende W. Dette tilsvarer at entropien øker. Til slutt har de kommet inn i en fordeling hvor W har en maksimal verdi og kan ikke gjøres større. Da er systemet i termisk likevekt og entropien forandres ikke mer. Prinsipielt har systemet da muligheten for å gå over i en mindre sannsynlig fordeling, men det vil fort komme tilbake til den med maksimal sannsynlighet. Dette kalles en statistisk fluktuasjon og vil være neglisjerbar hvis systemet er stort nok.

Hvis en partikkel i tilstand i har energi ε_i , vil den mest sannsynlige makrotilstand ved temperatur T inneholde

$N_{i}={N \over Z}e^{-\varepsilon _{i}/k_{B}T}$

partikler i denne tilstand. Her er

$Z=\sum _{i}e^{-\varepsilon _{i}/k_{B}T}$

og kalles partisjonsfunksjonen for en partikkel og betegnes med bokstaven Z  for det tyske ordet Zustandssumme. Den kommer fra kravet at ∑_i N_i = N. Denne Boltzmann-fordelingen av partikler spiller en fundamental rolle i statistisk fysikk. Den kan også benyttes i kvantemekanikken. Hva som Boltzmann i klassisk fysikk omtaler som en mikrotilstand, vil i kvantemekanikken tilsvare en kvantetilstand. Det er først på dette viset at entropi kan beregnes fullstendig.

Entropiens vekst i isolerte system blir ofte beskrevet som en utvikling mot stadig mer uorden. Dette kommer fra den statistiske begrunnelsen for begrepet gitt av Boltzmann. Men begrepet "uorden" er ikke alltid synonymt med en fordeling med maksimal sannsynlighet. For eksempel, når is smelter i et vannglass, er det kanskje naturlig å si at da er slutt-tilstanden mer ordnet enn begynnelsestilstanden. I denne siste er alle vannmolekylene jevnt fordelt over hele glasset og tilstanden ser "ordnet" ut. Mens begynnelsestilstanden har vann og isbiter om hverandre og ser mer "uordnet" ut. Men her er antall mikrotilstander og dermed W mindre enn i slutt-tilstanden fordi noen av vannmolekylene er bundet fast i isen og kan ikke bevege seg fritt over hele glasset som alle vannmolekylene kan i slutt-tilstanden.

Gibbs paradoks

Bruk av ren termodynamikk gir en entropi for ideell gass som ikke er ekstensiv. Det kommer tydelig frem ved å betrakte et volum V med gass ved temperatur T og så plassere et tilsvarende volum ved siden av. Når så skille mellom disse to gassene fjernes, har vi den dobbelte mengde med gass som befinner seg i det doble volum 2V. Temperaturen forblir den samme da gassen er ideell. Den termodynamiske entropiformelen sier nå at entropien dermed øker med ΔS = 2nR ln (2V - lnV) = 2nR ln 2. Men det kan ikke stemme da de to gassene er identiske og vi kan ikke se noen forskjell når de kommer sammen. Derimot ville dette resultatet være den korrekte økningen av entropien ved å la to forskjellige gasser blande seg sammen på denne måten. Dette kalles Gibbs paradoks.

Problemet ble undersøkt av Gibbs som påpekte at løsningen måtte ligge i akkurat det at partiklene i gassen er identiske og kan ikke skilles fra hverandre. Hadde man brukt Boltzmanns metode til å beregne entropien, skulle man derfor redusere antall mikrotilstander W med N!. Dette er antall måter som man kan bytte om på N forskjellige objekt og skulle ikke her ha noen konsekvens da partiklene er identiske.

Dermed reduseres entropien med k_B lnN! = k_B (N ln N - N ) når man bruker Stirlings formel for N!. Det er en meget god approksimasjon her da antall partikler N i volumet er antatt å være et meget stort tall. Dermed finner man den nye entropiformelen

$S(V,T,N)=Nk_{B}\left[{3 \over 2}\ln {T \over T_{0}}+\ln {V \over NV_{0}}+1\right]$

siden N k_B = nR uttrykt ved antall mol n i gassen. Dobles nå både V og N, ser vi at entropien også dobles - som den skal for en ekstensiv variabel. Forholdet ρ = N/V er tettheten av partikler.

Denne modifiserte formelen løser også Gibbs paradoks. Ser vi bort fra de leddene som er konstante, er entropien før de to gassene blander seg, S₁ = 2N k_B ln (V/N ) da hver av dem med N partikler befinner seg i separate volum V. Etterpå har vi 2N partikler i et kombinert volum 2V og derfor med entropi S₂ = 2N k_B ln (2V/2N ) = S₁. Derfor er det ingen økning av entropien og ikke lenger noe paradoks. I tilfelle at vi kan skille de to gassene, gir denne modifiserte formelen samme blandingsentropi som før.

Blandingsentropi

Entropien øker når to væsker blandes i ett glass og sprer seg utover.

Når is smelter, får vannmolekylene i isen muligheten til å spre seg over et større område. Dermed øker entropien. På samme måte vil to forskjellige gasser eller væsker få større entropi når de blandes.

For ideelle gasser med tilstandsligning PV = Nk_BT er det lett å beregne denne økningen. La gass 1 bestå av N₁ partikler i et volum V₁ og gass 2 med N₂ partikler i et volum V₂ under samme trykk P og temperatur T. Når nå gassene slippes løs i det kombinerte volum V₁ + V₂, vil trykk og temperatur forbli de samme da gassene er ideelle. Dette kan betraktes som en ekspansjon av begge gassene med resulterende entropiøkning

$\Delta S=N_{1}k_{B}\ln {V_{1}+V_{2} \over V_{1}}+N_{2}k_{B}\ln {V_{1}+V_{2} \over V_{2}}$

Fra den ideelle tilstandsligningen er nå V₁/(V₁ + V₂) = N₁/N hvor = x₁ er konsentrasjonen av 1-partikler og N = N₁ + N₂ det totale antall partikler. De to konsentrasjonene oppfyller x₁ + x₂ = 1. Dermed kan økningen av entropien skrives som

$\Delta S=-Nk_{B}(x_{1}\ln x_{1}+x_{2}\ln x_{2})$

Maksimalverdien ΔS_max = 2Nk_B ln 2 oppnås for x₁ = x₂ = 1/2 når blandingen er størst.

Dette resultatet kan også utledes fra Boltzmanns formel for entropiøkningen. Man må da tenke seg at de to gassene beveger seg på en bakgrunn slik at vi kan observere deres posisjoner. Alle N partiklene kan ombyttes på N! måter. Men dette tallet må reduseres med N₁! da 1-partikler ikke kan skilles seg imellom. På som måte for 2-partiklene. Dermed inneholder blandingen W = N! /N₁!N₂! mikrotilstander. Bruker vi nå Boltzmann formel for entropi og Stirlings formel for N! da antall partikler av begge sortene antas meget store, får vi ΔS = k_B [N ln N - N - N₁ ln N₁ + N₁ - N₂ ln N₂ + N₂]. Tre av leddene kansellerer og resten kan skrives som ΔS = k_B [(N₁ + N₂) ln N - N₁ ln N₁ - N₂ ln N₂] og forenkles til ΔS = - k_B [N₁ ln (N₁/N) + N₂ ln (N₂/N)]. Ved igjen å innføre konsentrasjonene x₁ = N₁/N og x₂ = N₂/N, kommer man frem til samme resultat som ved den termodynamiske utledningen over.

Sackur-Tetrode-formelen

Den fullstendige beregningen av entropien for en ideell gass med Boltzmanns statistiske metode - og hensynstagen til partiklenes identitet - ble gjort av den tyske fysiker Sackur og den nederlandske naturviter Tetrode i 1912 uavhengig av hverandre. Tetrode var da bare 17 år. Deres formel kan skrives som

$S(V,T,N)=Nk_{B}\left[{5 \over 2}-\ln {\rho \Lambda ^{3}}\right]$

Her er ρ = N/V tettheten av partikler og størrelsen

$\Lambda ={\sqrt {h^{2} \over 2\pi mk_{B}T}}$

kalles deres termiske bølgelengde hvis hver av dem har massen m . Ved å sammenligne med den målte entropien for kvikksølvdamp, ble det klart at konstanten h som inngår her, kan identifiseres med Plancks konstant. Det var på den tiden ikke klart hvorfor denne skulle inngå i beregningen av entropien for en gass. Den var ti år tidligere blitt innført av Planck for å forklare egenskaper ved varmestråling, Bohrs atommodell var ennå ikke etablert og hvordan alt dette hang sammen, lå ennå ti år inn i fremtiden.

Gibbs og ensembleteori

Et system av partikler kan være i mange forskjellige mikrotilstander selv om det makroskopisk ser ut til å være det samme. For å kunne beregne sannsynligheten for at systemet kunne befinne seg i en slik bestemt mikrotilstand, betraktet Josiah Willard Gibbs en samling av identiske systemer som alle oppfylte de ytre, makroskopiske kravene man kunne tillegge det. En slik samling av et stort antall identiske system kalte han et ensemble. Sannsynligheten P_i for at det ene systemet man betrakter, befinner seg i en bestemt mikrotilstand i, postulerte Gibbs skulle være proporsjonale med antall systemer i ensemblet som befant seg i denne tilstanden. Dette antallet var igjen avhengig av hastighetene og vekselvirkningene mellom partiklene i systemet. Dermed tillot denne beskrivelsen at systemet ikke lenger besto av frie partikler som i en ideell gass, men kunne også beskrive et reelt system med partikler som påvirket hverandre eller ble holdt sammen av hverandre.

Gibbs utviklet en statistisk teori for beskrivelsen av et slikt ensemble og kunne vise at entropien for et system i ensemblet kunne uttrykkes ved disse sannsynlighetene som

$S=-k_{B}\sum _{i}P_{i}\ln P_{i}$

hvor summen går over alle mikrotilstandene systemet kan befinne seg i. Da sannsynlighetene P_i < 1, vil dette gi en positiv entropi. Uttrykket har samme form som blandingsentropien for to ideelle gasser og kan også begrunnes ut fra lignende betraktninger.

Mikrokanonisk ensemble

Det grunnleggende ensemble er det mikrokanoniske. Dette opptrer når vi betrakter et system som har en fiksert energi E i tillegg til de vanlige, fikserte verdier for volum V og partikkeltall N. I dette tilfelle er derfor ikke temperaturen gitt, men vil bli en avledet størrelse. I tillegg må man gjøre bruk av den fundamentale hypotese i statistisk mekanikk at alle mikrotilstandene har samme sannsynlighet. Denne kan utledes fra kvantemekanikken og kan også godt begrunnes i klassisk fysikk. I tillegg kan man si at kun med den informasjon at uansett hvilken mikrotilstand systemet befinner seg i, så har det samme energi og det derfor ikke er noe annet som skiller mikrotilstandene, så er denne antagelse den enkleste og mest demokratiske.

Hvis nå det totale antall mikrotilstander betegnes med W = W(E,V), så er derfor P_i = 1/W slik at entropien blir

$S=-k_{B}\sum _{i=1}^{W}{1 \over W}\ln {1 \over W}=k_{B}\ln W$

Derfor er Gibbs ensembleteori konsistent med Boltzmanns formulering. Entropien for en ideell gass kan forholdsvis lett beregnes på denne måten og derved gi resultatet til Sackur og Tetrode.

Kanonisk ensemble

Hvis systemet under betraktning har en fiksert temperatur T i stedet for energi E, viste Gibbs at sannsynligheten for mikrotilstand i med energi E_i er gitt som

$P_{i}={1 \over Z}e^{-E_{i}/k_{B}T}$

hvor størrelsen Z foreløbig er ukjent . Den bestemmes fra kravet om at alle sannsynlighetene må oppfylle betingelsen ∑_iP_i = 1. Det gir at

$Z=\sum _{i}e^{-E_{i}/k_{B}T}$

som er partisjonsfunksjonen for hele systemet. Det er viktig å understreke at her er E_i energien for hele systemet i mikrotilstanden i. Derfor er dette resultatet også gyldig for vekselvirkende system og kalles Gibbs-fordelingen i det kanoniske ensemble.

Med denne sannsynlighetsfordelingen for systemet i termisk likevekt kan man beregne forskjellige egenskaper til systemet. For eksempel har det en midlere energi gitt som E = ∑_i E_i P_i som vi kan identifisere med systemets indre energi U. Man kan også beregne hvordan den observerte energien fluktuerer rundt denne middelverdien på som måte som man kan regne ut hvordan den målte temperaturen i det mikrokanoniske ensemblet fluktuerer rundt den midlere temperaturen.

Entropien for et system beskrevet ved det kanoniske ensemblet kan nå finnes. Setter man inn i formelen til Gibbs at ln P_i = - E_i /k_BT - ln Z, følger at

$S={U \over T}+k_{B}\ln Z$

Sammenligner man dette med uttrykket for Helmholtz fri energi F = U - TS, ser man at partisjonsfunksjonen Z kan uttrykkes direkte ved dette termodynamiske potensialet som

$Z=e^{-F/k_{B}T}$

Partisjonsfunksjonen spiller en sentral rolle i all statistisk mekanikk og gir direkte tilgang til de termodynamiske egenskapene for systemene som betraktes.

Informasjonsteori

Hvis man har fire oppgaver (A,B,C,D) foran seg og man skal utføre en av dem, trenger man to bits informasjon for å vite nøyaktig hvilken. En bit er her svaret på et ja/nei-spørsmål. Først må man få vite om oppgaven tilhører gruppen (A,B) eller gruppen (C,D). Det krever en bit informasjon. Når gruppen er bestemt, trenger man en bit til for å få vite hvilken oppgave av de to man skal gjøre.

Dette kan lett generaliseres til å plukke ut et objekt fra en samling med N objekter som alle er av samme betydning. Til det vil det behøves I = log₂N bits hvor log₂ er logaritmen med basis 2. Dette er den binære logaritmen som kan betegnes med lb. Så i dette tilfellet hvor alle objektene har samme sannsynlighet P = 1/N, kan vi skrive informasjonsinnholdet I = - lb P som er ekvivalent med I = - k ln P hvor konstanten k = 1/ln 2 = 1.44.

I det mer generelle tilfellet opptrer de forskjellige objektene med forskjellige sannsynligheter P_i. Hvis vi nå gjentar denne overleveringen av informasjon angående de samme objektene mange ganger, det vil si vi midler over mange ensembler i Gibbs' terminologi, vil det i gjennomsnitt behøves en informasjonsmengde som er den midlere verdi

$I=-\sum _{i}P_{i}\,{\mbox{lb}}P_{i}=-k\sum _{i}P_{i}\ln P_{i}$

Dette uttrykket for informasjonsinnholdet ble gitt av Claude Shannon i 1948, og har akkurat samme form som den termodynamiske entropien til Gibbs. Konstanten k spiller i informasjonsteori samme rolle som Boltzmanns konstant k_B i statistisk mekanikk. Og man kan lett argumentere for at det skal være en slik direkte sammenheng som gjort allerede i 1927 av Szilard. Desto større entropien er for et termodynamisk system, desto mer informasjon må man angi for å beskrive systemets mikrotilstander.

Man kan bruke dette resultatet til å beregne informasjonsinnholdet i et kommunikasjonssystem som produserer en strøm med symboler som for eksempel kan være bilder, ord eller bokstaver. Hvert symbol opptrer med en bestemt sannsynlighet P_i. I et språk opptrer ikke alle ord like ofte. Bruker en person hovedsakelig bare et lite utvalg av kjente ord, det vil si noen få ord har større sannsynlighet enn andre, vil informasjonsinnholdet ifølge Shannon være mindre enn om alle ord opptrer like ofte. En apekatt som hamrer tilfeldig løs på en skrivemaskin vil skrive en tekst med større informasjonsinnhold enn en skrivekyndig person som kan sin rettskrivning og vet at bokstaver ikke kan opptre fritt etter hverandre for å danne meningsfylte ord.

I norsk tekst opptrer omtrent 32 = 2⁵ tegn eller bokstaver. Hvis de hadde opptrådt fritt i en tekst, ville hver av dem opptre med en sannsynlighet 1/32 og med et tilsvarende informasjonsinnhold av 5 bits. Men sannsynlighetene for hver bokstav er ganske forskjellig og kan enkelt bestemmes ved å telle opp hvor mange bokstaver av hver sort man har i en større tekst. Da kommer man frem til et informasjonsinnhold på ca. 4 bits per bokstav. Hadde man i stedet talt opp ord må samme måte, ville informasjonsinnholdet bli enda mindre. Det skyldes at i mange ord vil bestemte bokstavkombinasjoner ikke opptre. For eksempel på norsk vil ikke en h kunne følge en j. På denne måten finner man at informasjonsinnholdet kommer ned under 3 bits per bokstav. Ved å se på større symboler med enda flere bokstaver, vil informasjonsinnholdet bli enda lavere. Shannon spekulerte om det kunne komme helt ned i en bit per bokstav eller tegn.

En tekstside i en bok har typisk 80 bokstaver eller tegn på hver linje og 50 linjer. Det er tilsammen 4000 tegn per side. Har boken 400 sider, så blir det ca. 16 ×10⁵ bokstaver. Med 3 bits informasjon i hver bokstav, blir det tilsammen ca. 4,8 ×10⁶ bits eller 5 Mb. Denne typiske størrelsen kjenner vi igjen fra nedlasting av bøker på Internet.

Se også

• Energiprinsippet
• Termodynamikkens andre hovedsetning

Litteratur

• D. ter Haar and H. Wergeland, Elements of Thermodynamics, Addison-Wesley Publishing Co. (1966).

Eksterne lenker

• Kathy, Boltzmann's Entropy Equation: A History from Clausius to Planck, YouTube video
• John Baez, What is Entropy?, arXiv:2409.09232