Entropie – De pijler van zowel de thermodynamica als de informatietheorie
Entropie is een vaag maar krachtig begrip dat de ruggengraat vormt van veel sleutelideeën in de thermodynamica en de informatietheorie. Het werd voor het eerst geïdentificeerd door natuurkundigen in de 19e eeuw en fungeerde als een leidend principe voor veel van de revolutionaire technologieën van de Industriële Revolutie. De term heeft echter ook het informatietijdperk helpen inluiden toen hij verscheen in het baanbrekende werk A Mathematical Theory of Communication van de wiskundige Claude Shannon. Dus hoe kan één term verantwoordelijk zijn voor twee doorbraken, ongeveer een eeuw na elkaar, op verwante maar ongelijksoortige gebieden?
Laten we eerst beginnen met hoe entropie wordt geïnterpreteerd in de natuurwetenschappen. De Eerste Wet van de Thermodynamica bepaalt dat in elk gesloten systeem energie noch kan worden gecreëerd noch vernietigd. De tweede wet, ook bekend als de entropiewet, stelt dat in een open systeem energie altijd van een hogere concentratie naar een lagere concentratie stroomt om een thermodynamisch evenwicht te bereiken. Wat betekent dit in de praktijk? Het betekent dat uw mok koffie uiteindelijk koud wordt en dat het ijs in uw drankje na verloop van tijd smelt, of dat een stuk gereedschap dat in het vuur wordt gelegd, zal opwarmen omdat de energie van de vlam overgaat op de ijzermoleculen, maar zal afkoelen zodra het wordt verwijderd omdat de energie zich verspreidt in de nieuwe omgeving.
De term entropie zelf verwijst naar de staat van wanorde in een bepaald systeem. Energie in een geconcentreerde en bruikbare vorm wordt als geordend beschouwd, terwijl energie in een gedistribueerde en niet-beschikbare vorm als ongeordend wordt beschouwd.
Entropie beweegt zich slechts in één richting – in de richting van evenwicht – tenzij er door een kracht buiten het systeem op wordt ingewerkt, en zelfs dan slagen krachten buiten het systeem, zoals biologische systemen, er slechts tijdelijk in het entropieproces om te keren en geven ze uiteindelijk op (via de dood). Elke plant of dier is een complex energiesysteem dat overleeft door het entropische proces te compenseren en beschikbare, geordende energie uit de omgeving te verzamelen en dan afval uit te stoten dat ontdaan is van voedingsstoffen. Maar de doorvoer van energie in het levende systeem degradeert uiteindelijk zijn fysieke structuur, waardoor het organisme afbreekt en sterft (hopelijk nadat het zijn uiteindelijke doel van voortplanting heeft voltooid). Het energielichaam, niet langer levend, zal ontbinden en vervliegen in de omringende omgeving – en thermodynamisch evenwicht.
Theoretisch zal de entropie haar gestage opmars pas staken als zij de hittedood van het universum heeft teweeggebracht – een ultieme eindtoestand waarin er geen vrije energie meer is. Alles op aarde en in de ruimte zal uiteindelijk uitzetten, exploderen, sterven, en de vrije energie gelijkmatig verdelen door wat eigenlijk het grootste gesloten systeem van allemaal is: het heelal. Op deze manier is entropie een universele wet, vergelijkbaar met de zwaartekracht, omdat zij zowel op de kleinste als op de grootste schalen van de biofysica werkzaam is.
Economieën zijn organismen, geen wasmachines
Entropie is ook van toepassing op de economie. Het entropieproces binnen een organisme, door beschikbare energie uit de omgeving op te nemen en om te zetten in ongeordende energie, geldt ook voor groepen organismen. Samenlevingen nemen energiebronnen met lage entropie in twee vormen: voorraden en stromen. Tot de voorraden behoren zeldzame aardmineralen, fossiele brandstoffen en andere aardse afzettingen die in de loop van millennia door complexe, langdurige aardse processen zijn ontstaan. De stromen zijn afkomstig van wat wordt beschouwd als hernieuwbare bronnen, zoals wind, water en zonne-energie, waartoe ook biomassa behoort (als een indirecte uitbreiding van zonne-energie). Gezien de aard van elke bron zijn voorraden beperkt in hoeveelheid, terwijl stromen beperkt zijn in zowel snelheid als hoeveelheid. Beschavingen hebben, net als organismen, metabolismen. Zij verwerken energie.
Met de industriële revolutie verschoof de primaire energie-input van de economie voor het eerst van stromen naar voorraden op het land. Paard aangedreven ploegen en windzeilen, twee vormen van werk die afhankelijk zijn van stromen, werden vervangen door gemechaniseerde landbouw en door stoom aangedreven schepen, die afhankelijk zijn van fossiele brandstoffen. We kapitaliseerden op de slapende zonne-energie die in miljoenen jaren gefossiliseerd was om de beschaving te bevrijden van de beperkingen van biologische aardstromen en een halsbrekende groei van de bevolking en het BBP te creëren.
Ondanks de onmiskenbare economische en materiële voordelen van deze verschuiving, heeft deze als neveneffect gehad dat het entropieproces is versneld en de wanorde in het klimaatsysteem is toegenomen. Hoewel de totale hoeveelheid energie onveranderd blijft door het economisch proces (met uitzondering van zonne-energie), kenmerkt de ontginning van mineralen en het verbruik van fossiele brandstoffen, noodzakelijk voor het produktieproces, een kwalitatieve verandering die energie verplaatst van orde naar wanorde. Op deze manier vormt entropie de basis van schaarste omdat de mens energie niet de andere kant op kan verplaatsen, van een toestand van wanorde naar orde; zonder entropie zou het fysiek mogelijk zijn om atmosferische CO2 weer om te zetten in een klomp steenkool, net zoals het mogelijk zou zijn om rubberdeeltjes die verloren gaan als een band op het trottoir degradeert, op te vangen en opnieuw te configureren.
Op het einde van de dag gebruikt onze economie dingen en energie. Hoewel geld, onze weergave van waarde, voor onbepaalde tijd door de economie circuleert, zijn de fysieke goederen die het vertegenwoordigt onderhevig aan de wet van entropie. Het huidige economische systeem is als een organisme dat oneindig groeit. Ons hart pompt ons bloed en houdt ons in leven, maar de kracht verzwakt onze cellen na verloop van tijd. We verouderen en degraderen.
Dus hoe is entropie van toepassing op data science?
Nu we hebben gekeken naar hoe entropie verwijst naar energie, laten we eens kijken hoe het van toepassing is op communicatie en informatietheorie. Ik denk dat dit fragment uit Jimmy Soni en Rob Goodman’s biografie van Claude Shannon, A Mind at Play, een geweldig anekdotisch verhaal is over de oorsprong van entropie:
Shannon benaderde de grote man met zijn idee van informatie-als-opgeloste onzekerheid – dat de kern van zijn werk zou gaan vormen – en met een onopvallende vraag. Hoe zou hij dit ding moeten noemen? Von Neumann antwoordde meteen: “zeg dat informatie de ‘entropie’ vermindert. Ten eerste is het een goed, solide natuurkundig woord. En wat belangrijker is,” ging hij verder, “niemand weet wat entropie werkelijk is, dus in een debat ben je altijd in het voordeel.”
Voordat we Shannons definitie van entropie onder de loep nemen, kan het helpen om zijn definitie van informatie uit te splitsen. Het basisidee van Shannons theorie is dat de informatieve waarde van een gecommuniceerd bericht afhangt van de mate waarin de inhoud van het bericht verrassend is. Een mooi voorbeeld hiervan in de praktijk is het gebruik van letterfrequenties in taal. Probabilistisch gezien, als het voorkomen van een letter één gebeurtenis is, dan volgt de meest waarschijnlijke uitkomst van elke gegeven gebeurtenis deze kansverdeling:
Hoe meer letters er zijn, hoe minder onzekerheid er in de boodschap zit. Maar het hangt ook af van de zeldzaamheid van de letter. Welk van de volgende berichten heeft bijvoorbeeld meer informatieve kracht, 1 of 2?
_AT
Optie “1” bevat twee letters met een relatief hoge waarschijnlijkheid, waarbij je allerlei woorden kunt spellen door de ontbrekende letter in te vullen: “Bat”, “Cat”, “Hat”, “Fat”, “Sat”, enz. Optie 2 bevat de relatief ongrijpbare letter “H”, die nog een paar woordmogelijkheden biedt, zoals “Hoed” of “Hit”, maar niet zoveel als optie 1. Daarom communiceert optie 2 meer informatie omdat zij de onzekerheid in grotere mate vermindert.
Dus als informatie opgeloste onzekerheid is, moet entropie de onzekerheid zijn die opgelost moet worden. De zeldzaamheid van een gebeurtenis, of het “verrassingsgehalte”, bepaalt de informatie-inhoud ervan (als je ooit Scrabble hebt gespeeld, weet je hoe beperkt de mogelijkheden zijn als we de letter “Q” trekken). Telkens als we een stukje informatie meedelen, neemt de totale entropie, wanorde, onzekerheid, of hoe je het ook wilt noemen, af met een evenredige hoeveelheid of snelheid. Dus wat is deze proportionele hoeveelheid?
Shannon heeft berekend dat de mate van informatie-entropie die samenhangt met elke mogelijke gegevenswaarde gelijk is aan de negatieve logaritme van de waarschijnlijkheidsmassafunctie voor die waarde:
Entropie meet de verwachte hoeveelheid informatie die wordt overgebracht door de uitkomst van een willekeurige gebeurtenis te identificeren, waarbij de mogelijke uitkomsten een waarschijnlijkheidsfunctie vormen. Dit betekent dat het werpen van een dobbelsteen een hogere entropie heeft dan het opgooien van een munt, omdat elke uitkomst van een dobbelsteenworp (⅙) een kleinere waarschijnlijkheid heeft dan het landen op kop of munt (½). Grafisch naar het verband kijken helpt:
Door een uitkomst van kop mee te delen, weten we dat munt niet is gevallen.
In machine learning wordt de wiskundige interpretatie van entropie gebruikt om een informatiewinstmetriek te berekenen voor veel algoritmen. Beslissingsbomen, bijvoorbeeld, selecteren een van de vele verschillende attributen, ook bekend als kenmerken of onafhankelijke variabelen, om herhaaldelijk monsters te splitsen in deelverzamelingen. Bij elke splitsing selecteert het algoritme één kenmerk om de steekproef op te splitsen, en blijft dit doen totdat alle deelverzamelingen zuiver zijn, of met andere woorden, elk individueel monster in een deelverzameling dezelfde classificatie- of doelwaarde heeft.
Om de zuiverheid van een subset van een steekproef te meten, heeft het algoritme een kwantitatieve maatstaf nodig om objectief te kunnen kiezen op welk kenmerk de splitsing bij elk gegeven knooppunt moet worden gebaseerd. Dit is waar entropie om de hoek komt kijken. Bij elke stap berekent het algoritme welk kenmerk de grootste informatiewinst zal opleveren en beslist dan over de splitsing. Het berekent ook de verwachte afname in onzekerheid voor en na de splitsing; als die afneemt, wordt de splitsing behouden en gaat het algoritme door naar de volgende stap. Als de onzekerheid niet afneemt, is de zuiverheid bereikt en stopt het algoritme. Op deze manier is het algoritme verantwoordelijk voor zowel de selectie van het kenmerk waarop moet worden gesplitst als voor het stoppen van het proces.
Is er een verband tussen thermodynamica en informatietheorie?
Entropie stroomt onverbiddelijk door een beslisboom, net zoals het onverbiddelijk door een kop koffie in de lucht stroomt. In energie marcheert het naar thermodynamisch evenwicht; in informatietheorie marcheert het naar zuiverheid.
In de kern komen de energie-interpretatie van entropie en de informatietheorie-interpretatie van entropie op hetzelfde punt samen – de fundamentele wetten van de natuurkunde. Communicatie vereist energie, en het gebruik van energie vereist communicatie. Volgens Shannon geeft de entropiewaarde van een stuk informatie een absolute limiet aan de kortst mogelijke gemiddelde lengte van een bericht, of hoeveel het kan worden gecomprimeerd, zonder informatie te verliezen terwijl het wordt overgebracht. Halfgeleiders, zaklantaarns, en het tikken op een pan in morsecode vergen menselijke energie, en onze communicatie zal altijd streven naar de meest efficiënte manier van overbrengen.
In energie proberen we de entropie te minimaliseren door te beperken hoeveel we verbruiken en hoe efficiënt we het verbruiken. Ons doel is geordende bronnen van energie te vinden en de invloed van entropie op ons lichaam te weerstaan. In communicatie minimaliseren we entropie door informatie te vinden en onzekerheid te verminderen. In zekere zin kunnen we, door het verminderen van wanorde via communicatie, het entropische proces van energie stoppen; een jager-verzamelaar kan taal gebruiken om met een ander te communiceren om te waarschuwen dat hij wordt opgegeten door een leeuw, waardoor zowel de onzekerheid wordt verminderd van 1. waar de leeuw is (informatie-entropie) en 2. het proces van worden opgegeten door een leeuw (energie-entropie). Dit communiceren verkleint de waarschijnlijkheidsruimte van alle mogelijke gebeurtenissen en stelt ons in staat efficiënter en effectiever te handelen. Inzicht in de aard van hoe deze krachtige wet werkt in het digitale en fysieke domein is de sleutel tot het begrijpen van de verbanden tussen thermodynamica en het informatietijdperk.