Entropia – sekä termodynamiikan että tietoteorian tukipilari
Entropia on epämääräinen mutta voimakas termi, joka muodostaa monien termodynamiikan ja tietoteorian keskeisten ajatusten selkärangan. Fysiikan tutkijat tunnistivat sen ensimmäisen kerran 1800-luvulla, ja se toimi monien teollisen vallankumouksen vallankumouksellisten teknologioiden johtoajatuksena. Termi antoi kuitenkin myös sysäyksen informaatioaikakaudelle, kun se esiintyi matemaatikko Claude Shannonin uraauurtavassa teoksessa A Mathematical Theory of Communication. Miten siis yksi termi voi olla vastuussa kahdesta läpimurrosta, jotka tapahtuivat noin vuosisadan välein toisiinsa liittyvillä mutta toisistaan poikkeavilla aloilla?
Aloitetaan ensin siitä, miten entropiaa tulkitaan fysiikassa. Termodynamiikan ensimmäinen laki määrää, että missä tahansa suljetussa systeemissä energiaa ei voi luoda eikä tuhota. Toinen laki, joka tunnetaan myös nimellä entropialaki, määrää, että avoimessa systeemissä energia virtaa aina suuremmasta pitoisuudesta pienempään pitoisuuteen termodynaamisen tasapainon saavuttamiseksi. Mitä tämä tarkoittaa käytännössä? Se tarkoittaa, että kahvimukisi jäähtyy lopulta ja juomasi jää sulaa ajan myötä, tai että tuleen laitettu työkalu kuumenee, kun liekistä peräisin oleva energia siirtyy rautamolekyyleihin, mutta jäähtyy, kun se poistetaan, kun energia jakautuu uuteen ympäristöön.
Käsitteellä entropia itsessään viitataan epäjärjestyksen tilaan tietyssä järjestelmässä. Keskitetyssä ja käyttökelpoisessa muodossa olevaa energiaa pidetään järjestyneenä, kun taas hajaantuneessa ja käyttökelvottomassa muodossa olevaa energiaa pidetään epäjärjestyneenä.
Entropia liikkuu vain yhteen suuntaan – kohti tasapainoa – ellei siihen vaikuta systeemin ulkopuolinen voima, ja silloinkin ulkopuoliset voimat, kuten biologiset systeemit, onnistuvat vain tilapäisesti kääntämään entropiaprosessia ja lopulta taipuvat (kuoleman kautta). Mikä tahansa kasvi tai eläin on monimutkainen energiajärjestelmä, joka selviää hengissä kumoamalla entrooppisen prosessin ja keräämällä saatavilla olevaa, järjestettyä energiaa ympäristöstä ja päästämällä sitten jätettä, josta on poistettu ravinteet. Energian läpikulku elävässä järjestelmässä heikentää kuitenkin lopulta sen fyysistä rakennetta, jolloin organismi hajoaa ja kuolee (toivottavasti sen perimmäinen tavoite eli lisääntyminen on saavutettu). Energiakehä, joka ei enää elä, hajoaa ja haihtuu ympäröivään ympäristöön – ja termodynaamiseen tasapainoon.
Teoreettisesti entropia pysähtyy tasaiseen vaellukseensa vasta sitten, kun se on saanut aikaan maailmankaikkeuden lämpökuoleman – lopullisen lopputilan, jossa vapaata energiaa ei ole. Kaikki maapallolla ja avaruudessa lopulta laajenee, räjähtää, kuolee ja jakaa vapaan energian tasaisesti sen läpi, mikä on oikeastaan kaikkein suurin suljettu järjestelmä: maailmankaikkeus. Tällä tavoin entropia on painovoiman kaltainen universaali laki, sillä se toimii sekä biofysiikan pienimmissä että suurimmissa mittakaavoissa.
Taloudet ovat organismeja, eivät pesukoneita
Entropia koskee myös taloutta. Organismissa tapahtuva entropiaprosessi, jossa organismit hankkivat ympäristöstä saatavilla olevaa energiaa ja muuttavat sen epäjärjestyksessä olevaksi energiaksi, pätee myös eliöryhmiin. Yhteiskunnat ottavat matalan entropian energianlähteitä kahdessa muodossa: varastoissa ja virroissa. Varastoihin kuuluvat harvinaiset maametallit, fossiiliset polttoaineet ja muut maanpäälliset esiintymät, jotka ovat syntyneet monimutkaisissa, pitkäaikaisissa maapallon prosesseissa vuosituhansien aikana. Virrat ovat peräisin uusiutuviksi katsotuista lähteistä, kuten tuulesta, vedestä ja aurinkoenergiasta, joihin kuuluu myös biomassa (aurinkoenergian epäsuorana jatkeena). Kunkin lähteen luonteen vuoksi varastot ovat määrällisesti rajoitettuja, kun taas virrat ovat rajoitettuja sekä nopeudeltaan että määrältään. Sivilisaatioilla, kuten eliöillä, on aineenvaihdunta. Ne prosessoivat energiaa.
Teollinen vallankumous siirsi talouden primaarisen energiapanoksen ensimmäistä kertaa virroista maanpäällisiin varastoihin. Hevosvetoiset aurat ja tuulipurjeet, kaksi virtoihin tukeutuvaa työmuotoa, korvattiin koneellistetulla maataloudella ja höyrykäyttöisillä aluksilla, jotka tukeutuvat fossiilisiin polttoaineisiin. Hyödynsimme miljoonien vuosien aikana kivettynyttä uinuvaa aurinkoenergiaa vapauttaaksemme sivilisaation biologisten maavirtojen asettamista rajoituksista ja luodaksemme väestön ja bruttokansantuotteen huiman kasvun.
Tämän siirtymän kiistämättömistä taloudellisista ja aineellisista hyödyistä huolimatta sillä on ollut sivuvaikutuksena entropiaprosessin kiihdyttäminen ja epäjärjestyksen lisääminen ilmastojärjestelmässä. Vaikka energian kokonaismäärä pysyy muuttumattomana läpi talousprosessin (aurinkoenergiaa lukuun ottamatta), tuotantoprosessissa tarvittavien mineraalien louhinta ja fossiilisten polttoaineiden kulutus luonnehtivat laadullista muutosta, joka siirtää energian järjestyksestä epäjärjestykseen. Näin ollen entropia muodostaa niukkuuden perustan, koska ihminen ei voi siirtää energiaa toiseen suuntaan, epäjärjestyksen tilasta järjestykseen; ilman entropiaa olisi fyysisesti mahdollista muuttaa ilmakehän hiilidioksidi takaisin kivihiileksi, aivan kuten olisi mahdollista ottaa talteen ja muokata uudelleen kumihiukkasia, jotka katoavat renkaan hajotessa jalkakäytävällä.
Taloutemme käyttää lopulta asioita ja energiaa. Vaikka raha, arvoa kuvaava representaatiomme, kiertää taloudessa loputtomasti, sen edustamat fyysiset tavarat ovat entropialain alaisia. Nykyinen talousjärjestelmä on kuin organismi, joka kasvaa loputtomiin. Sydämemme pumppaa vertamme ja pitää meidät hengissä, mutta voima kuluttaa solujamme ajan myötä. Me vanhenemme ja rappeudumme.
Miten entropia siis soveltuu tietotekniikkaan?
Nyt kun olemme tarkastelleet, miten entropia viittaa energiaan, tarkastellaanpa, miten se soveltuu viestintään ja tietoteoriaan. Minusta tämä ote Jimmy Sonin ja Rob Goodmanin Claude Shannonin elämäkerrasta A Mind at Play on hieno anekdootti entropian synnystä:
Shannon lähestyi suurta miestä ajatuksellaan informaatiosta ratkaistuna epävarmuutena – joka tulisi seisomaan hänen työnsä ytimessä – ja vaatimattomalla kysymyksellä. Miksi hänen pitäisi kutsua tätä asiaa? Von Neumann vastasi heti: ”Sanotaan, että informaatio vähentää ’entropiaa’. Ensinnäkin se on hyvä, vankka fysiikan sana. Ja mikä tärkeintä”, hän jatkoi, ”kukaan ei tiedä, mitä entropia oikeastaan on, joten keskustelussa sinulla on aina etulyöntiasema.”
Ennen kuin otamme kantaa Shannonin määritelmään entropiasta, voisi olla hyödyllistä eritellä hänen määritelmänsä informaatiosta. Shannonin teorian perusajatus on, että välitetyn viestin informaatioarvo riippuu siitä, missä määrin viestin sisältö on yllättävä. Hyvä esimerkki tästä käytännössä on kirjainten frekvenssin käyttö kielessä. Todennäköisyysjakauman mukaan, jos kirjaimen esiintyminen on yksi tapahtuma, jokaisen tietyn tapahtuman todennäköisin lopputulos noudattaa seuraavaa todennäköisyysjakaumaa:
Mitä enemmän kirjaimia on, sitä vähemmän epävarmuutta viestissä on. Mutta se riippuu myös kirjaimen harvinaisuudesta. Esimerkiksi, kumpi seuraavista viesteistä sisältää enemmän informaatiota, 1 vai 2?
_AT
Vaihtoehto ”1” sisältää kaksi kirjainta, joiden todennäköisyys on suhteellisen suuri ja joista voi tavata kaikenlaisia sanoja täyttämällä puuttuvan kirjaimen: ”Bat”, ”Cat”, ”Hat”, ”Fat”, ”Sat” jne. Vaihtoehto 2 sisältää verrattain vaikeasti löydettävän kirjaimen ”H”, josta on jäljellä muutama sanavaihtoehto, kuten ”Hat” tai ”Hit”, mutta ei yhtä monta kuin vaihtoehdossa 1. Vaihtoehto 2 välittää siis enemmän informaatiota, koska se vähentää epävarmuutta suuremmassa määrin.
Jos siis informaatio on ratkaistua epävarmuutta, entropian on oltava ratkaistavaa epävarmuutta. Tapahtuman harvinaisuus eli sen ”yllätyksellisyys” määrittää sen informaatiosisällön (jos olet koskaan pelannut Scrabblea, tiedät, miten rajalliset vaihtoehdot olisivat, jos arvomme kirjaimen ”Q”). Joka kerta, kun välitämme informaation, kokonaisentropia, epäjärjestys, epävarmuus tai miksi ikinä sitä haluatkin kutsua, vähenee suhteellisella määrällä tai nopeudella. Mikä on tämä suhteellinen määrä?
Shannon laski, että kuhunkin mahdolliseen tietoarvoon liittyvä informaatioentropian mitta on arvon todennäköisyysmassafunktion negatiivinen logaritmi:
Entropia mittaa satunnaistapahtuman lopputuloksen yksilöinnillä välitettävän informaation odotettavissa olevaa määrää, jossa mahdolliset lopputulokset ovat todennäköisyysfunktio. Tämä tarkoittaa, että nopanheitolla on suurempi entropia kuin kolikonheitolla, koska nopanheiton jokaisella tuloksella (⅙) on pienempi todennäköisyys kuin kruunun tai klaavan (½) osumisella. Suhteen tarkastelu graafisesti auttaa:
Viestimällä tuloksen kruunu tiedämme, että kruunua ei tullut.
Koneoppimisessa entropian matemaattista tulkintaa käytetään monien algoritmien informaatiovoittomittarin laskemiseen. Esimerkiksi päätöspuut valitsevat yhden monista eri attribuuteista, joita kutsutaan myös piirteiksi tai riippumattomiksi muuttujiksi, jakamaan näytteet toistuvasti osajoukkoihin. Jokaisella jakokerralla algoritmi valitsee yhden ominaisuuden, jonka perusteella se jakaa näytteen, ja tekee näin niin kauan, kunnes kaikki osajoukot ovat puhtaita eli osajoukon jokaisella yksittäisellä näytteellä on sama luokitus- tai tavoitearvo.
Mittaakseen näytteen osajoukon puhtautta algoritmi tarvitsee kvantitatiivisen mittarin, jonka avulla se voi valikoida objektiivisesti, minkä ominaisuuden perusteella se halkaistaan jokaisessa tietyssä solmussa. Tässä kohtaa entropia tulee kuvaan mukaan. Algoritmi laskee jokaisessa vaiheessa, mikä ominaisuus tuottaa suurimman informaatiovoiton, ja päättää sitten jakamisesta. Se laskee myös epävarmuuden odotetun vähenemisen ennen jakoa ja sen jälkeen; jos se vähenee, jako säilytetään ja algoritmi siirtyy seuraavaan vaiheeseen. Jos se ei ole vähentynyt, se on saavuttanut puhtauden ja pysähtyy. Näin se on vastuussa sekä siitä, että se valitsee, minkä ominaisuuden perusteella jakaa, että siitä, että se pysäyttää prosessin.
Onko termodynamiikan ja informaatioteorian välillä yhteys?
Entropia virtaa vääjäämättömästi päätöksentekopuun läpi aivan kuten se virtaa vääjäämättömästi kahvikupin läpi ilmaan. Energiassa se marssii termodynaamiseen tasapainoon; informaatioteoriassa se marssii puhtauteen.
Ytimeltään energian tulkinta entropiasta ja informaatioteorian tulkinta entropiasta kohtaavat samassa pisteessä – fysiikan peruslaeissa. Viestintä vaatii energiaa, ja energian käyttäminen vaatii viestintää. Shannonin mukaan informaation entropia-arvo antaa absoluuttisen rajan viestin lyhimmälle mahdolliselle keskipituudelle eli sille, kuinka paljon viestiä voidaan tiivistää menettämättä informaatiota siirron aikana. Puolijohteet, taskulamput ja pannun naputtelu morsekoodilla vaativat ihmisen energiaa, ja viestinnässämme pyritään aina tehokkaimpaan välitystapaan.
Energiassa pyrimme minimoimaan entropian rajoittamalla sitä, kuinka paljon kulutamme ja kuinka tehokkaasti kulutamme sitä. Tavoitteenamme on löytää järjestettyjä energialähteitä ja vastustaa entropian vaikutusta kehoomme. Viestinnässä minimoimme entropiaa löytämällä tietoa ja vähentämällä epävarmuutta. Tavallaan vähentämällä epäjärjestystä viestinnän avulla voimme pysäyttää energian entrooppisen prosessin; metsästäjä-keräilijä voi käyttää kieltä kommunikoidakseen toisen kanssa varoittaakseen leijonan syömäksi joutumisesta, mikä vähentää epävarmuutta 1. leijonan sijainnista (informaatioentropia) ja 2. leijonan syömäksi joutumisesta (energiaentropia). Tämä kommunikointi vähentää kaikkien mahdollisten tapahtumien todennäköisyysavaruutta ja antaa meille mahdollisuuden toimia tehokkaammin ja vaikuttavammin. Sen ymmärtäminen, miten tämä voimakas laki toimii digitaalisessa ja fyysisessä maailmassa, on avainasemassa termodynamiikan ja informaatioajan välisten yhteyksien ymmärtämisessä.