Entropia – Pilonul atât al termodinamicii, cât și al teoriei informației
Entropia este un termen vag, dar puternic, care formează coloana vertebrală a multor idei cheie din termodinamică și teoria informației. A fost identificat pentru prima dată de către oamenii de știință din domeniul fizicii în secolul al XIX-lea și a acționat ca un principiu călăuzitor pentru multe dintre tehnologiile revoluționare ale Revoluției Industriale. Cu toate acestea, termenul a contribuit, de asemenea, la declanșarea Epocii Informației atunci când a apărut în lucrarea revoluționară a matematicianului Claude Shannon, A Mathematical Theory of Communication. Așadar, cum poate un singur termen să fie responsabil pentru două descoperiri, la aproximativ un secol distanță, în domenii înrudite, dar disparate?
În primul rând, să începem cu modul în care este interpretată entropia în științele fizice. Prima lege a termodinamicii stipulează că, în orice sistem închis, energia nu poate fi nici creată, nici distrusă. A doua lege, cunoscută și sub numele de Legea entropiei, stipulează că, într-un sistem deschis, energia curge întotdeauna de la o concentrație mai mare la o concentrație mai mică pentru a atinge echilibrul termodinamic. Ce înseamnă acest lucru în practică? Înseamnă că ceașca ta de cafea se răcește în cele din urmă, iar gheața din băutură se topește în timp, sau că o unealtă pusă în foc se va încălzi pe măsură ce energia din flacără se transferă la moleculele de fier, dar se va răci odată ce este îndepărtată, deoarece energia se distribuie în noul mediu înconjurător.
Termenul entropie în sine se referă la starea de dezordine dintr-un anumit sistem. Energia într-o formă concentrată și utilizabilă este considerată ordonată, în timp ce energia într-o formă distribuită și indisponibilă este considerată dezordonată.
Entropia se mișcă doar într-o singură direcție – spre echilibru – cu excepția cazului în care este acționată de o forță exterioară sistemului, și chiar și atunci, forțele exterioare, cum ar fi sistemele biologice, reușesc doar temporar să inverseze procesul de entropie și în cele din urmă cedează (prin moarte). Orice plantă sau animal este un sistem energetic complex care supraviețuiește prin compensarea procesului entropic și prin colectarea energiei disponibile și ordonate din mediul înconjurător, apoi prin emiterea de deșeuri lipsite de nutrienți. Dar fluxul de energie din sistemul viu îi degradează în cele din urmă structura fizică, ceea ce face ca organismul să se descompună și să moară (sperând că și-a îndeplinit scopul final de reproducere). Corpul de energie, care nu mai este viu, se va descompune și se va disipa în mediul înconjurător – și se va ajunge la echilibru termodinamic.
Teoretic, entropia își va opri marșul constant doar după ce va aduce moartea termică a universului – o stare finală în care nu mai există energie liberă. Totul pe Pământ și în spațiu se va extinde în cele din urmă, va exploda, va muri și va distribui energia liberă în mod egal prin ceea ce este de fapt cel mai mare sistem închis dintre toate: universul. În acest fel, entropia este o lege universală similară gravitației, deoarece operează atât la cele mai mici, cât și la cele mai mari scări ale biofizicii.
Economiile sunt organisme, nu mașini de spălat
Entropia se aplică, de asemenea, economiei. Procesul de entropie din cadrul unui organism, prin dobândirea energiei disponibile din mediul înconjurător și transformarea ei în energie dezordonată, este valabil și pentru grupurile de organisme. Societățile preiau surse de energie cu entropie scăzută sub două forme: stocuri și fluxuri. Stocurile includ minerale de pământuri rare, combustibili fosili și alte depozite terestre create de procese terestre complexe, pe termen lung, de-a lungul mileniilor. Fluxurile provin din ceea ce sunt considerate surse regenerabile, cum ar fi vântul, apa și energia solară, care includ, de asemenea, biomasa (ca o extensie indirectă a energiei solare). Având în vedere natura fiecărei surse, stocurile sunt limitate din punct de vedere cantitativ, în timp ce fluxurile sunt limitate atât în ceea ce privește rata, cât și cantitatea. Civilizațiile, ca și organismele, au metabolisme. Ele prelucrează energia.
Revoluția industrială a mutat pentru prima dată aportul energetic primar al economiei de la fluxuri la stocuri terestre. Plugurile conduse de cai și pânzele de vânt, două forme de muncă care se bazau pe fluxuri, au fost înlocuite de agricultura mecanizată și de navele cu aburi, care se bazează pe combustibili fosili. Am valorificat energia solară latentă fosilizată de-a lungul a milioane de ani pentru a elibera civilizația de constrângerile fluxurilor biologice terestre și pentru a crea o creștere vertiginoasă a populației și a PIB-ului.
În ciuda avantajelor economice și materiale de netăgăduit ale acestei schimbări, ea a avut ca efect secundar grăbirea procesului de entropie și creșterea dezordinii în sistemul climatic. Deși cantitatea totală de energie rămâne neschimbată prin procesul economic (cu excepția energiei solare), extragerea mineralelor și consumul de combustibili fosili necesari pentru procesul de producție caracterizează o schimbare calitativă care mută energia de la ordine la dezordine. În acest fel, entropia stă la baza penuriei, deoarece oamenii nu pot muta energia în sens invers, de la o stare de dezordine la ordine; fără entropie, ar fi posibil din punct de vedere fizic să transformăm din nou CO2 atmosferic într-o bucată de cărbune, la fel cum ar fi posibil să capturăm și să reconfigurăm particulele de cauciuc pierdute pe măsură ce o anvelopă se degradează pe asfalt.
În cele din urmă, economia noastră folosește lucruri și energie. Chiar dacă banii, reprezentarea noastră a valorii, circulă prin economie la nesfârșit, bunurile fizice pe care le reprezintă se supun legii entropiei. Sistemul economic actual este ca un organism care crește la nesfârșit. Inima noastră ne pompează sângele și ne menține în viață, dar forța ne uzează celulele în timp. Îmbătrânim și ne degradăm.
Acum cum se aplică entropia la știința datelor?
Acum am aruncat o privire la modul în care entropia se referă la energie, haideți să vedem cum se aplică la comunicare și la teoria informației. Cred că acest fragment din biografia lui Jimmy Soni și Rob Goodman despre Claude Shannon, A Mind at Play, a lui Jimmy Soni și Rob Goodman, este o poveste anecdotică grozavă despre originile entropiei:
Shannon l-a abordat pe marele om cu ideea sa de informație ca incertitudine rezolvată – care va ajunge să stea în centrul activității sale – și cu o întrebare modestă. Cum ar trebui să numească acest lucru? Von Neumann a răspuns imediat: „să spunem că informația reduce „entropia”. În primul rând, este un cuvânt bun și solid din fizică. Și, mai important”, a continuat el, „nimeni nu știe ce este entropia cu adevărat, așa că într-o dezbatere veți avea întotdeauna un avantaj.”
Înainte de a lua în discuție definiția lui Shannon despre entropie, ar putea fi de ajutor să descompunem definiția sa despre informație. Ideea de bază a teoriei lui Shannon este că valoarea informativă a unui mesaj comunicat depinde de gradul în care conținutul mesajului este surprinzător. Un exemplu foarte bun al acestui lucru în practică este utilizarea frecvenței literelor în limbaj. Din punct de vedere probabilistic, dacă instanța unei litere reprezintă un eveniment, atunci rezultatul cel mai probabil al fiecărui eveniment dat urmează această distribuție de probabilitate:
Cu cât sunt mai multe litere, cu atât mai puțină incertitudine există în mesaj. Dar depinde și de raritatea literei. De exemplu, care dintre următoarele mesaje are mai multă forță informațională, 1 sau 2?
_AT
Opțiunea „1” include două litere cu probabilități relativ mari, în care se pot scrie tot felul de cuvinte prin completarea literei lipsă: „Liliac”, „Pisică”, „Pălărie”, „Grasă”, „Sat”, etc. Opțiunea 2 include litera relativ evazivă „H”, care are câteva opțiuni de cuvinte rămase, cum ar fi „Hat” sau „Hit”, dar nu la fel de multe ca în cazul opțiunii 1. Prin urmare, Opțiunea 2 comunică mai multe informații, deoarece reduce incertitudinea într-un grad mai mare.
Deci, dacă informația este incertitudinea rezolvată, entropia trebuie să fie incertitudinea care trebuie rezolvată. Raritatea unui eveniment, sau „surpriza” sa, determină conținutul său informațional (dacă ați jucat vreodată Scrabble, știți cât de limitate ar fi opțiunile dacă am extrage litera „Q”). De fiecare dată când comunicăm o informație, entropia generală, dezordinea, incertitudinea sau cum vreți să-i spuneți scade cu o cantitate sau o rată proporțională. Și care este această cantitate proporțională?
Shannon a calculat că măsura entropiei informației asociată cu fiecare valoare posibilă a datelor este logaritmul negativ al funcției de masă a probabilității pentru valoarea respectivă:
Entropia măsoară cantitatea așteptată de informație transmisă prin identificarea rezultatului unui eveniment aleatoriu, unde rezultatele posibile sunt o funcție de probabilitate. Aceasta implică faptul că aruncarea unui zar are o entropie mai mare decât aruncarea unei monede, deoarece fiecare rezultat al aruncării unui zar (⅙) are o probabilitate mai mică decât cea de a nimeri pe cap sau pe pajură (½). Privind grafic relația ajută:
Prin comunicarea unui rezultat de cap, știm că nu s-a produs pajura.
În învățarea automată, interpretarea matematică a entropiei este folosită pentru a calcula o metrică de câștig de informație pentru mulți algoritmi. Arborele de decizie, de exemplu, selectează unul dintre numeroasele atribute diferite, cunoscute și sub numele de caracteristici sau variabile independente, pentru a împărți în mod repetat eșantioanele în subansamble. La fiecare divizare, algoritmul selectează un atribut pentru a diviza eșantionul și continuă să facă acest lucru până când toate subseturile sunt pure sau, cu alte cuvinte, fiecare eșantion individual dintr-un subset are aceeași clasificare sau valoare țintă.
Pentru a măsura puritatea unui subset de eșantioane, algoritmul are nevoie de o măsură cantitativă pentru a alege în mod obiectiv caracteristica pe care să o împartă la fiecare nod dat. Aici intervine entropia. La fiecare pas, algoritmul calculează ce atribut va prezenta cel mai mare câștig de informație, apoi decide asupra divizării. Acesta calculează, de asemenea, scăderea așteptată a incertitudinii înainte și după divizare; dacă aceasta scade, divizarea este păstrată și algoritmul trece la etapa următoare. Dacă nu a scăzut, acesta a atins puritatea și se oprește. În acest fel, este responsabil atât de selectarea trăsăturii pe care să se împartă, cât și de oprirea procesului.
Există o legătură între termodinamică și teoria informației?
Entropia curge inexorabil printr-un arbore decizional așa cum curge inexorabil printr-o ceașcă de cafea în aer. În energie, ea mărșăluiește spre echilibrul termodinamic; în Teoria Informației, mărșăluiește spre puritate.
În esența sa, interpretarea energetică a entropiei și interpretarea teoriei informației a entropiei converg în același punct – legile fundamentale ale fizicii. Comunicarea necesită energie, iar utilizarea energiei necesită comunicare. Potrivit lui Shannon, valoarea entropiei unei informații oferă o limită absolută a celei mai scurte lungimi medii posibile a unui mesaj, sau cât de mult poate fi comprimat, fără a pierde informații pe măsură ce este transmis. Semiconductorii, lanternele și bătutul pe o tigaie în codul Morse necesită energie umană, iar comunicațiile noastre vor căuta întotdeauna cele mai eficiente mijloace de transmisie.
În domeniul energiei, încercăm să minimizăm entropia prin limitarea cantității pe care o consumăm și a eficienței cu care o consumăm. Scopul nostru este de a găsi surse ordonate de energie și de a rezista influenței entropiei asupra corpului nostru. În comunicații, minimizăm entropia prin găsirea de informații și reducerea incertitudinii. Într-un fel, prin reducerea dezordinii prin intermediul comunicării, putem opri procesul entropic al energiei; un vânător-culegător poate folosi limbajul pentru a comunica cu un alt vânător-culegător pentru a-l avertiza cu privire la faptul că va fi mâncat de un leu, reducând atât incertitudinea legată de 1. locul în care se află leul (entropie informațională), cât și de 2. procesul de a fi mâncat de un leu (entropie energetică). Acest act de comunicare reduce spațiul de probabilitate al tuturor evenimentelor posibile și ne permite să acționăm mai eficient și mai eficace. Înțelegerea naturii modului în care această lege puternică funcționează în domeniul digital și fizic este esențială pentru a înțelege legăturile dintre termodinamică și era informațională.