Entropi – pelaren i både termodynamik och informationsteori
Entropi är ett vagt men kraftfullt begrepp som utgör ryggraden i många viktiga idéer inom termodynamik och informationsteori. Den identifierades först av fysikaliska forskare på 1800-talet och fungerade som en vägledande princip för många av den industriella revolutionens revolutionerande tekniker. Begreppet bidrog dock också till att utlösa informationsåldern när det dök upp i matematikern Claude Shannons banbrytande verk A Mathematical Theory of Communication (En matematisk teori om kommunikation). Så hur kan en term vara ansvarig för två genombrott, med ungefär ett sekel mellanrum, inom relaterade men skilda områden?
För det första ska vi börja med hur entropi tolkas inom de fysiska vetenskaperna. Enligt termodynamikens första lag kan energi varken skapas eller förstöras i ett slutet system. Den andra lagen, även känd som entropilagen, stipulerar att i ett öppet system flödar energi alltid från en högre koncentration till en lägre koncentration för att nå termodynamisk jämvikt. Vad innebär detta i praktiken? Det betyder att din kaffekopp så småningom blir kall och att isen i din dryck smälter med tiden, eller att ett verktyg som placeras i elden kommer att värmas upp när energin från lågan överförs till järnmolekylerna, men att det svalnar när det avlägsnas eftersom energin fördelas i den nya omgivande miljön.
Begreppet entropi i sig självt hänvisar till till tillståndet av oordning i ett givet system. Energi i koncentrerad och användbar form anses vara ordnad, medan energi i distribuerad och otillgänglig form anses vara oordnad.
Entropin rör sig bara i en riktning – mot jämvikt – om den inte påverkas av en kraft utanför systemet, och till och med då lyckas yttre krafter, som biologiska system, bara tillfälligt att vända entropiprocessen och ger till slut upp (via döden). Varje växt eller djur är ett komplext energisystem som överlever genom att motverka den entropiska processen och samla in tillgänglig, ordnad energi från omgivningen för att sedan avge avfall utan näringsämnen. Men energitillförseln i det levande systemet försämrar så småningom dess fysiska struktur, vilket leder till att organismen bryts ner och dör (efter att förhoppningsvis ha uppnått sitt slutliga mål, nämligen reproduktion). Energikroppen, som inte längre lever, kommer att sönderdelas och skingras i den omgivande miljön – och termodynamisk jämvikt.
Teoretiskt sett kommer entropin inte att sluta sin stadiga marsch förrän den har lett till universums värmedöd – ett slutgiltigt sluttillstånd där det inte finns någon fri energi. Allting på jorden och i rymden kommer så småningom att expandera, explodera, dö och fördela den fria energin jämnt genom vad som egentligen är det största slutna systemet av alla: universum. På så sätt är entropin en universell lag som liknar gravitationen, eftersom den verkar både på biofysikens minsta och största skalor.
Ekonomier är organismer, inte tvättmaskiner
Entropin gäller även för ekonomin. Entropiprocessen inom en organism, genom att den förvärvar tillgänglig energi från den omgivande miljön och omvandlar den till oordnad energi, gäller även för grupper av organismer. Samhällen tar emot energikällor med låg entropi i två former: lager och flöden. Lagren omfattar sällsynta jordartsmineraler, fossila bränslen och andra jordiska fyndigheter som skapats genom komplexa, långsiktiga jordprocesser under årtusenden. Flöden kommer från vad som anses vara förnybara källor, som vind-, vatten- och solenergi, som även omfattar biomassa (som en indirekt förlängning av solenergi). Med tanke på varje källas natur är lagren begränsade i kvantitet, medan flödena är begränsade i både hastighet och kvantitet. Civilisationer, liksom organismer, har en metabolism. De bearbetar energi.
Den industriella revolutionen förflyttade för första gången ekonomins primära energiintag från flöden till jordiska lager. Hästdrivna plogar och vindsegel, två arbetsformer som är beroende av flöden, ersattes av mekaniserat jordbruk och ångdrivna fartyg, som är beroende av fossila bränslen. Vi utnyttjade den vilande solenergi som fossiliserats under miljontals år för att befria civilisationen från de biologiska jordens flödenas begränsningar och skapa en halsbrytande tillväxt av befolkning och BNP.
Trots de obestridliga ekonomiska och materiella fördelarna med denna omställning har den haft den sidoeffekten att den har påskyndat entropiprocessen och ökat oordningen i klimatsystemet. Även om den totala mängden energi förblir oförändrad genom den ekonomiska processen (med undantag för solenergi) kännetecknar brytningen av mineraler och förbrukningen av fossila bränslen som är nödvändiga för produktionsprocessen en kvalitativ förändring som förflyttar energin från ordning till oordning. På detta sätt utgör entropin grunden för knapphet eftersom människan inte kan flytta energi åt andra hållet, från ett tillstånd av oordning till ordning; utan entropi skulle det vara fysiskt möjligt att förvandla atmosfärisk koldioxid tillbaka till en kolklump, precis som det skulle vara möjligt att fånga upp och återskapa de gummipartiklar som går förlorade när ett däck bryts ner på asfalten.
I slutändan använder vår ekonomi saker och energi. Även om pengar, vår representation av värde, cirkulerar i ekonomin på obestämd tid, är de fysiska varor som de representerar föremål för entropilagen. Det nuvarande ekonomiska systemet är som en organism som växer i all oändlighet. Vårt hjärta pumpar vårt blod och håller oss vid liv, men kraften sliter ut våra celler med tiden. Vi åldras och försämras.
Så hur tillämpas entropin på datavetenskap?
Nu har vi tagit en titt på hur entropin hänvisar till energi, låt oss titta på hur den tillämpas på kommunikation och informationsteori. Jag tycker att det här utdraget ur Jimmy Sonis och Rob Goodmans biografi om Claude Shannon, A Mind at Play, är en bra anekdotisk berättelse om entropins ursprung:
Shannon närmade sig den store mannen med sin idé om information som löst osäkerhet – som skulle komma att utgöra kärnan i hans arbete – och med en anspråkslös fråga. Vad skulle han kalla den här saken? Von Neumann svarade genast: ”Säg att information minskar ’entropin’. För det första är det ett bra, gediget fysikord. Och ännu viktigare”, fortsatte han, ”ingen vet vad entropi egentligen är, så i en debatt kommer du alltid att ha ett övertag.”
För att ta sig an Shannons definition av entropi kan det vara till hjälp att dela upp hans definition av information. Den grundläggande idén i Shannons teori är att det informativa värdet av ett kommunicerat meddelande beror på i vilken grad innehållet i meddelandet är överraskande. Ett bra exempel på detta i praktiken är användningen av bokstavsfrekvensen i språket. Probabilistiskt sett, om förekomsten av en bokstav är en händelse, så följer det mest sannolika utfallet av varje given händelse denna sannolikhetsfördelning:
Desto fler bokstäver det finns, desto mindre osäkerhet finns det i meddelandet. Men det beror också på hur sällsynt bokstaven är. Vilket av följande meddelanden är till exempel mer informativt, 1 eller 2?
_AT
Option ”1” innehåller två bokstäver med relativt hög sannolikhet, där man kan stava ut alla möjliga ord genom att fylla i den saknade bokstaven: ”Bat”, ”Cat”, ”Hat”, ”Fat”, ”Sat” osv. Alternativ 2 innehåller den jämförelsevis svårfångade bokstaven ”H”, som har några återstående ordalternativ som ”Hat” eller ”Hit”, men inte lika många som alternativ 1. Därför förmedlar alternativ 2 mer information eftersom det minskar osäkerheten i större utsträckning.
Så om information är en löst osäkerhet måste entropin vara den osäkerhet som behöver lösas. Sällsyntheten hos en händelse, eller dess ”överraskning”, bestämmer dess informationsinnehåll (om du någonsin har spelat Scrabble vet du hur begränsade alternativen skulle vara om vi drog bokstaven ”Q”). Varje gång vi kommunicerar en bit information minskar den totala entropin, oordningen, osäkerheten, eller vad man nu vill kalla det, med en proportionell mängd eller hastighet. Vad är då denna proportionella mängd?
Shannon beräknade att måttet på informationsentropi förknippat med varje möjligt datavärde är den negativa logaritmen av sannolikhetsmassafunktionen för värdet:
Entropin mäter den förväntade mängden information som förmedlas genom att identifiera utfallet av en slumpmässig händelse, där de möjliga utfallen är en sannolikhetsfunktion. Detta innebär att det är mer entropiskt att kasta en tärning än att kasta ett mynt eftersom varje utfall av ett tärningskast (⅙) har en mindre sannolikhet än att hamna på krona eller klave (½). Att titta på sambandet grafiskt hjälper:
Då vi meddelar ett resultat som är krona eller klave vet vi att klave inte har förekommit.
I maskininlärning används den matematiska tolkningen av entropi för att beräkna ett mått på informationsvinst för många algoritmer. Beslutsträd, till exempel, väljer ett av många olika attribut, även kallade funktioner eller oberoende variabler, för att upprepade gånger dela upp prover i delmängder. Vid varje uppdelning väljer algoritmen ett attribut att dela upp provet på och fortsätter att göra det tills alla delmängder är rena, eller med andra ord, varje enskilt prov i en delmängd har samma klassificering eller målvärde.
För att mäta renheten hos en delmängd av ett stickprov behöver algoritmen ett kvantitativt mått för att objektivt kunna välja vilken egenskap man ska dela upp sig på vid varje given nod. Det är här entropin kommer in i bilden. Vid varje steg beräknar algoritmen vilket attribut som kommer att visa den högsta informationsvinsten och beslutar sedan om delningen. Den beräknar också den förväntade minskningen av osäkerheten före och efter delningen. Om den minskar behålls delningen och algoritmen går vidare till nästa steg. Om osäkerheten inte minskar har den uppnått renhet och går vidare till nästa steg. På detta sätt ansvarar algoritmen både för att välja vilken funktion som ska delas på och för att stoppa processen.
finns det en koppling mellan termodynamik och informationsteori?
Entropin flödar obevekligt genom ett beslutsträd precis som den obevekligt flödar genom en kopp kaffe ut i luften. I energi marscherar den till termodynamisk jämvikt; i informationsteori marscherar den till renhet.
I sin kärna konvergerar energitolkningen av entropi och den informationsteoretiska tolkningen av entropi till samma punkt – fysikens grundläggande lagar. Kommunikation kräver energi, och att använda energi kräver kommunikation. Enligt Shannon ger entropivärdet för ett informationsstycke en absolut gräns för den kortaste möjliga genomsnittliga längden på ett meddelande, eller hur mycket det kan komprimeras utan att information går förlorad när det överförs. Halvledare, ficklampor och att knacka på en kastrull i morsealfabetet kräver mänsklig energi, och vår kommunikation kommer alltid att sträva efter det mest effektiva överföringssättet.
Inom energi försöker vi minimera entropin genom att begränsa hur mycket vi förbrukar och hur effektivt vi förbrukar det. Vårt mål är att hitta ordnade energikällor och motstå entropins påverkan på våra kroppar. Inom kommunikation minimerar vi entropin genom att hitta information och minska osäkerheten. På ett sätt kan vi genom att minska oordningen genom kommunikation stoppa energins entropiska process; en jägare-samlare kan använda språket för att kommunicera med en annan för att varna för att bli uppäten av ett lejon, vilket både minskar osäkerheten i fråga om 1. var lejonet finns (informationsentropi) och 2. processen att bli uppäten av ett lejon (energientropi). Denna handling att kommunicera minskar sannolikhetsutrymmet för alla möjliga händelser och gör det möjligt för oss att agera mer effektivt och ändamålsenligt. Att förstå hur denna kraftfulla lag fungerar i den digitala och fysiska världen är nyckeln till att förstå sambanden mellan termodynamik och informationsåldern.