Entropi – søjlen i både termodynamikken og informationsteorien
Entropi er et vagt, men stærkt begreb, som udgør rygraden i mange centrale idéer i termodynamikken og informationsteorien. Det blev først identificeret af fysiske forskere i det 19. århundrede og fungerede som et styrende princip for mange af den industrielle revolutions revolutionerende teknologier. Udtrykket var imidlertid også med til at sætte gang i informationsalderen, da det dukkede op i matematikeren Claude Shannons banebrydende værk A Mathematical Theory of Communication (En matematisk teori om kommunikation). Så hvordan kan ét begreb være ansvarlig for to gennembrud med ca. et århundredes mellemrum på beslægtede, men alligevel forskellige områder?
Først skal vi starte med at se på, hvordan entropi fortolkes inden for de fysiske videnskaber. Den første termodynamiske lov fastslår, at energi i et lukket system hverken kan skabes eller ødelægges. Den anden lov, også kendt som entropiloven, fastslår, at i et åbent system strømmer energi altid fra en højere koncentration til en lavere koncentration for at nå termodynamisk ligevægt. Hvad betyder dette i praksis? Det betyder, at dit krus kaffe efterhånden bliver koldt, og at isen i din drik smelter med tiden, eller at et værktøj, der lægges i ild, vil blive varmt, når energien fra flammen overføres til jernmolekylerne, men køle af, når det fjernes, da energien fordeler sig i det nye omgivende miljø.
Begrebet entropi i sig selv henviser til til tilstanden af uorden i et givet system. Energi i en koncentreret og brugbar form betragtes som ordnet, mens energi i en distribueret og utilgængelig form betragtes som uordnet.
Entropi bevæger sig kun i én retning – mod ligevægt – medmindre der påvirkes af en kraft uden for systemet, og selv da lykkes det kun midlertidigt for kræfter udefra, som f.eks. biologiske systemer, at vende entropiprocessen og i sidste ende give efter (via døden). Enhver plante eller ethvert dyr er et komplekst energisystem, der overlever ved at modvirke den entropiske proces og samle tilgængelig, ordnet energi fra omgivelserne og derefter afgive affald, der er renset for næringsstoffer. Men den gennemstrømning af energi i det levende system nedbryder til sidst dets fysiske struktur, hvilket får organismen til at bryde sammen og dø (efter at den forhåbentlig har nået sit endelige mål, nemlig reproduktion). Energikroppen, der ikke længere er levende, vil nedbrydes og opløses i det omgivende miljø – og den termodynamiske ligevægt.
Theoretisk set vil entropien først stoppe sin stadige march, når den har medført universets varme-død – en ultimativ sluttilstand, hvor der ikke findes nogen fri energi. Alt på jorden og i rummet vil til sidst udvide sig, eksplodere, dø og fordele den frie energi jævnt gennem det, der i virkeligheden er det største lukkede system overhovedet: universet. På den måde er entropi en universel lov i lighed med tyngdekraften, da den virker på både de mindste og største skalaer i biofysikken.
Økonomier er organismer, ikke vaskemaskiner
Entropi gælder også for økonomien. Entropiprocessen i en organisme, ved at den erhverver tilgængelig energi fra det omgivende miljø og omdanner den til uordnet energi, gælder også for grupper af organismer. Samfund indtager energikilder med lav entropi i to former: lagre og strømme. Lagre omfatter sjældne jordarters mineraler, fossile brændstoffer og andre terrestriske aflejringer, der er skabt af komplekse, langsigtede jordprocesser gennem årtusinder. Strømme stammer fra det, der betragtes som vedvarende kilder, såsom vind, vand og solenergi, som også omfatter biomasse (som en indirekte forlængelse af solenergi). På grund af de enkelte kilders karakter er lagrene begrænsede i mængde, mens strømmene er begrænsede i både hastighed og mængde. Civilisationer har ligesom organismer et stofskifte. De forarbejder energi.
Den industrielle revolution flyttede for første gang økonomiens primære energitilførsel fra strømme til jordiske lagre. Hestedrevne plove og vindsejl, to arbejdsformer, der var afhængige af strømme, blev erstattet af mekaniseret landbrug og dampdrevne fartøjer, der er afhængige af fossile brændstoffer. Vi udnyttede den hvilende solenergi, der var fossiliseret gennem millioner af år, til at frigøre civilisationen fra begrænsningerne fra biologiske jordstrømme og skabe en halsbrækkende vækst i befolkning og BNP.
Trods de ubestridelige økonomiske og materielle fordele ved dette skift har det haft den bivirkning, at det har fremskyndet entropiprocessen og øget uorden i klimasystemet. Selv om den samlede energimængde forbliver uændret gennem den økonomiske proces (med undtagelse af solenergi), karakteriserer udvindingen af mineraler og forbruget af fossile brændstoffer, der er nødvendige for produktionsprocessen, en kvalitativ ændring, der flytter energien fra orden til uorden. På denne måde danner entropien grundlaget for knaphed, fordi mennesket ikke kan flytte energi den anden vej, fra en tilstand af uorden til orden; uden entropi ville det være fysisk muligt at forvandle atmosfærisk CO2 tilbage til en klump kul, ligesom det ville være muligt at indfange og omkonfigurere gummipartikler, der går tabt, når et dæk nedbrydes på asfalten.
I sidste ende bruger vores økonomi ting og energi. Selv om penge, vores repræsentation af værdi, cirkulerer gennem økonomien i det uendelige, er de fysiske varer, som de repræsenterer, underlagt loven om entropi. Det nuværende økonomiske system er som en organisme, der vokser i det uendelige. Vores hjerte pumper vores blod og holder os i live, men kraften slider vores celler ned med tiden. Vi ældes og nedbrydes.
Så hvordan gælder entropi for datalogi?
Nu har vi taget et kig på, hvordan entropi henviser til energi, lad os se på, hvordan den gælder for kommunikation og informationsteori. Jeg synes, at dette uddrag fra Jimmy Soni og Rob Goodmans biografi om Claude Shannon, A Mind at Play, er en god anekdotisk historie om entropiens oprindelse:
Shannon henvendte sig til den store mand med sin idé om information som opløst usikkerhed – som skulle komme til at stå i centrum for hans arbejde – og med et beskedent spørgsmål. Hvad skulle han kalde denne ting? Von Neumann svarede straks: “Sig, at information reducerer “entropi”. For det første er det et godt, solidt fysikord. Og endnu vigtigere”, fortsatte han, “ingen ved, hvad entropi egentlig er, så i en debat vil du altid have en fordel.”
Hvor vi tager fat på Shannons definition af entropi, kan det måske hjælpe at bryde hans definition af information ned. Den grundlæggende idé i Shannons teori er, at den informative værdi af et kommunikeret budskab afhænger af, i hvor høj grad indholdet af budskabet er overraskende. Et godt eksempel på dette i praksis er brugen af bogstavernes hyppighed i sprog. Probabilistisk set, hvis et bogstavs forekomst er én begivenhed, så følger det mest sandsynlige udfald af hver given begivenhed denne sandsynlighedsfordeling:
Desto flere bogstaver der er, desto mindre usikkerhed er der i budskabet. Men det afhænger også af, hvor sjældent bogstavet er. Hvilken af de følgende meddelelser har f.eks. størst informationsværdi, 1 eller 2?
_AT
Mulighed “1” indeholder to bogstaver med relativt høje sandsynligheder, hvor man kan stave alle mulige ord ved at udfylde det manglende bogstav: “Bat”, “Cat”, “Hat”, “Fat”, “Sat” osv. Mulighed 2 omfatter det forholdsvis vanskelige bogstav “H”, hvor der er nogle få ordmuligheder tilbage som “Hat” eller “Hit”, men ikke så mange som i mulighed 1. Derfor kommunikerer valgmulighed 2 mere information, fordi den reducerer usikkerheden i højere grad.
Så hvis information er løst usikkerhed, må entropi være den usikkerhed, der skal løses. Sjældenheden af en begivenhed, eller dens “overraskelse”, bestemmer dens informationsindhold (hvis du nogensinde har spillet Scrabble, ville du vide, hvor begrænsede mulighederne ville være, hvis vi trak bogstavet “Q”). Hver gang vi meddeler et stykke information, falder den samlede entropi, uorden, usikkerhed, eller hvad man nu vil kalde det, med en proportional mængde eller hastighed. Hvad er så denne proportionale mængde?
Shannon beregnede, at det mål for informationsentropi, der er forbundet med hver mulig dataværdi, er den negative logaritme af sandsynlighedsmassefunktionen for denne værdi:
Entropi måler den forventede mængde information, der formidles ved at identificere resultatet af en tilfældig begivenhed, hvor de mulige resultater er en sandsynlighedsfunktion. Dette indebærer, at det at kaste en terning har en højere entropi end at kaste en mønt, fordi hvert udfald af et terningkast (⅙) har en mindre sandsynlighed end at lande på plat eller krone (½). Det hjælper at se på sammenhængen grafisk:
Ved at kommunikere et resultat på plat, ved vi, at plat ikke er opstået.
I maskinlæring bruges den matematiske fortolkning af entropi til at beregne en informationsgevinstmetrik for mange algoritmer. Beslutningstræer vælger f.eks. en af mange forskellige attributter, også kendt som funktioner eller uafhængige variabler, til gentagne gange at opdele prøver i delmængder. Ved hver opdeling vælger algoritmen én attribut til at opdele prøven på, og fortsætter med at gøre dette, indtil alle delmængder er rene, eller med andre ord, hver enkelt prøve i en delmængde har den samme klassificerings- eller målværdi.
For at måle renheden af en delmængde af prøver har algoritmen brug for et kvantitativt mål til objektivt at vælge, hvilken egenskab den skal opdele på ved hvert givet knudepunkt. Det er her, entropi kommer ind i billedet. Ved hvert trin beregner algoritmen, hvilken egenskab der vil vise den største informationsgevinst, og beslutter derefter, hvilken deling der skal foretages. Den beregner også det forventede fald i usikkerheden før og efter opdelingen; hvis det falder, bibeholdes opdelingen, og algoritmen går videre til næste trin. Hvis den ikke er faldet, har den nået renhed, og den hviler. På denne måde er den ansvarlig for både at vælge, hvilken egenskab der skal splittes på, og for at standse processen.
Er der en forbindelse mellem termodynamik og informationsteori?
Entropien flyder ubønhørligt gennem et beslutningstræ, ligesom den ubønhørligt flyder gennem en kop kaffe ud i luften. I energien marcherer den mod termodynamisk ligevægt; i informationsteorien marcherer den mod renhed.
I kernen konvergerer energitolkningen af entropi og den informationsteoretiske fortolkning af entropi i det samme punkt – fysikkens grundlæggende love. Kommunikation kræver energi, og brug af energi kræver kommunikation. Ifølge Shannon giver entropiværdien af et stykke information en absolut grænse for den kortest mulige gennemsnitslængde af en meddelelse, eller hvor meget den kan komprimeres uden at miste information, når den overføres. Halvledere, lommelygter og det at banke på en pande i morsekode kræver menneskelig energi, og vores kommunikation vil altid stræbe efter den mest effektive måde at overføre på.
Med hensyn til energi forsøger vi at minimere entropien ved at begrænse, hvor meget vi forbruger, og hvor effektivt vi forbruger det. Vores mål er at finde ordnede energikilder og modstå entropiens indflydelse på vores kroppe. Inden for kommunikation minimerer vi entropien ved at finde information og reducere usikkerheden. På en måde kan vi ved at reducere uorden via kommunikation standse den entropiske energiproces; en jæger-samler kan bruge sproget til at kommunikere med en anden for at advare om at blive ædt af en løve, hvilket både reducerer usikkerheden om 1. hvor løven er (informationsentropi) og 2. processen med at blive ædt af en løve (energientropi). Denne kommunikationshandling reducerer sandsynlighedsrummet for alle mulige hændelser og gør det muligt for os at handle mere effektivt og virkningsfuldt. Forståelsen af karakteren af, hvordan denne kraftfulde lov fungerer i den digitale og fysiske verden, er nøglen til at forstå forbindelserne mellem termodynamikken og informationsalderen.