Entropía: el pilar de la termodinámica y la teoría de la información
La entropía es un término vago pero poderoso que constituye la columna vertebral de muchas ideas clave de la termodinámica y la teoría de la información. Fue identificado por primera vez por científicos físicos en el siglo XIX y actuó como principio rector de muchas de las tecnologías revolucionarias de la Revolución Industrial. Sin embargo, el término también contribuyó a iniciar la Era de la Información cuando apareció en la innovadora obra del matemático Claude Shannon Teoría matemática de la comunicación. Entonces, ¿cómo puede un término ser responsable de dos avances, con un siglo de diferencia, en campos relacionados pero dispares?
Primero, empecemos por cómo se interpreta la entropía en las ciencias físicas. La Primera Ley de la Termodinámica estipula que en cualquier sistema cerrado no se puede crear ni destruir energía. La Segunda Ley, también conocida como la Ley de la Entropía, estipula que en un sistema abierto, la energía siempre fluye de una concentración mayor a una menor para alcanzar el equilibrio termodinámico. ¿Qué significa esto en la práctica? Significa que su taza de café acaba enfriándose y el hielo de su bebida se derrite con el tiempo, o que una herramienta colocada en el fuego se calentará a medida que la energía de la llama se transfiere a las moléculas de hierro, pero se enfriará una vez que se retire, ya que la energía se distribuye por el nuevo entorno.
El término entropía se refiere al estado de desorden en un sistema determinado. La energía en una forma concentrada y utilizable se considera ordenada, mientras que la energía en una forma distribuida y no disponible se considera desordenada.
La entropía sólo se mueve en una dirección -hacia el equilibrio- a menos que se actúe sobre ella mediante una fuerza externa al sistema, e incluso entonces, las fuerzas externas, como los sistemas biológicos, sólo consiguen invertir temporalmente el proceso de entropía y finalmente ceden (mediante la muerte). Cualquier planta o animal es un sistema energético complejo que sobrevive contrarrestando el proceso entrópico y recogiendo la energía disponible y ordenada del entorno para luego emitir residuos despojados de nutrientes. Pero el flujo de energía en el sistema vivo acaba degradando su estructura física, lo que hace que el organismo se descomponga y muera (con la esperanza de haber completado su objetivo final de reproducción). El cuerpo de energía, que ya no está vivo, se descompondrá y se disipará en el entorno circundante – y el equilibrio termodinámico.
Teóricamente, la entropía sólo descansará su marcha constante una vez que haya provocado la muerte por calor del universo – un estado final donde no hay energía libre. Todo en la tierra y en el espacio finalmente se expandirá, explotará, morirá y distribuirá la energía libre uniformemente a través de lo que es realmente el mayor sistema cerrado de todos: el universo. De este modo, la entropía es una ley universal similar a la gravedad, ya que opera tanto en las escalas más pequeñas como en las más grandes de la biofísica.
Las economías son organismos, no lavadoras
La entropía también se aplica a la economía. El proceso de entropía dentro de un organismo, al adquirir la energía disponible del ambiente circundante y transformarla en energía desordenada, también es válido para los grupos de organismos. Las sociedades toman fuentes de energía de baja entropía en dos formas: existencias y flujos. Las reservas incluyen los minerales de tierras raras, los combustibles fósiles y otros depósitos terrestres creados por complejos procesos terrestres a largo plazo durante milenios. Los flujos proceden de lo que se considera fuentes renovables, como el viento, el agua y la energía solar, que también incluye la biomasa (como extensión indirecta de la energía solar). Dada la naturaleza de cada fuente, las reservas son limitadas en cantidad, mientras que los flujos lo son tanto en tasa como en cantidad. Las civilizaciones, como los organismos, tienen metabolismos. Procesan la energía.
La Revolución Industrial desplazó por primera vez el aporte de energía primaria de la economía de los flujos a las reservas terrestres. Los arados impulsados por caballos y las velas de viento, dos formas de trabajo que dependen de los flujos, fueron sustituidos por la agricultura mecanizada y los barcos de vapor, que dependen de los combustibles fósiles. Aprovechamos la energía solar latente fosilizada durante millones de años para liberar a la civilización de las restricciones de los flujos biológicos terrestres y crear un crecimiento vertiginoso de la población y el PIB.
A pesar de las innegables ventajas económicas y materiales de este cambio, ha tenido el efecto secundario de acelerar el proceso de entropía y aumentar el desorden en el sistema climático. Aunque la cantidad total de energía permanece invariable a través del proceso económico (con la excepción de la energía solar), la extracción de minerales y el consumo de combustibles fósiles necesarios para el proceso de producción caracterizan un cambio cualitativo que traslada la energía del orden al desorden. De este modo, la entropía constituye la base de la escasez porque el ser humano no puede trasladar la energía en sentido contrario, de un estado de desorden a otro de orden; sin la entropía, sería físicamente posible volver a convertir el CO2 atmosférico en un trozo de carbón, del mismo modo que sería posible capturar y reconfigurar las partículas de caucho que se pierden cuando un neumático se degrada en el pavimento.
A fin de cuentas, nuestra economía utiliza cosas y energía. Aunque el dinero, nuestra representación del valor, circula indefinidamente por la economía, los bienes físicos que representa están sujetos a la ley de la entropía. El sistema económico actual es como un organismo que crece indefinidamente. Nuestro corazón bombea nuestra sangre y nos mantiene vivos, pero la fuerza desgasta nuestras células con el tiempo. Envejecemos y nos degradamos.
Entonces, ¿cómo se aplica la entropía a la ciencia de los datos?
Ahora que hemos echado un vistazo a cómo la entropía se refiere a la energía, veamos cómo se aplica a la comunicación y a la Teoría de la Información. Creo que este extracto de la biografía de Claude Shannon, A Mind at Play, de Jimmy Soni y Rob Goodman, es una gran historia anecdótica de los orígenes de la entropía:
Shannon se acercó al gran hombre con su idea de información-como-incertidumbre resuelta -que llegaría a estar en el corazón de su trabajo- y con una pregunta sin pretensiones. ¿Cómo debería llamar a esta cosa? Von Neumann respondió enseguida: «digamos que la información reduce la ‘entropía’. Por un lado, es una buena y sólida palabra de física. Y lo que es más importante -continuó-, nadie sabe lo que es realmente la entropía, así que en un debate usted siempre tendrá ventaja.»
Antes de abordar la definición de Shannon sobre la entropía, podría ser útil desglosar su definición de información. La idea básica de la teoría de Shannon es que el valor informativo de un mensaje comunicado depende del grado de sorpresa del contenido del mensaje. Un gran ejemplo de esto en la práctica es el uso de la frecuencia de las letras en el lenguaje. Desde el punto de vista probabilístico, si la instancia de una letra es un evento, entonces el resultado más probable de cada evento dado sigue esta distribución de probabilidad:
Cuantas más letras haya, menos incertidumbre habrá en el mensaje. Pero también depende de la rareza de la letra. Por ejemplo, ¿cuál de los siguientes mensajes tiene más fuerza informativa, el 1 o el 2?
_AT
La opción «1» incluye dos letras con probabilidades relativamente altas, en las que se pueden deletrear todo tipo de palabras completando la letra que falta: «Murciélago», «Gato», «Sombrero», «Grasa», «Sat», etc. La opción 2 incluye la letra «H», comparativamente escurridiza, que tiene algunas opciones de palabras restantes como «Sombrero» o «Golpe», pero no tantas como la opción 1. Por lo tanto, la opción 2 comunica más información porque reduce la incertidumbre en mayor grado.
Así que si la información es la incertidumbre resuelta, la entropía debe ser la incertidumbre que necesita ser resuelta. La rareza de un acontecimiento, o su «sorpresa», determina su contenido informativo (si has jugado alguna vez al Scrabble, sabrás lo limitadas que serían las opciones si sacáramos la letra «Q»). Cada vez que comunicamos un trozo de información, la entropía global, el desorden, la incertidumbre o como quieras llamarlo disminuye en una cantidad o tasa proporcional. ¿Y cuál es esta cantidad proporcional?
Shannon calculó que la medida de la entropía de la información asociada a cada posible valor de los datos es el logaritmo negativo de la función de masa de la probabilidad para el valor:
La entropía mide la cantidad esperada de información transmitida al identificar el resultado de un evento aleatorio, donde los posibles resultados son una función de probabilidad. Esto implica que lanzar un dado tiene mayor entropía que lanzar una moneda porque cada resultado de un lanzamiento (⅙) tiene una probabilidad menor que salir cara o cruz (½). Mirar la relación gráficamente ayuda:
Al comunicar un resultado de cara, sabemos que no ha habido cruz.
En el aprendizaje automático, la interpretación matemática de la entropía se utiliza para calcular una métrica de ganancia de información para muchos algoritmos. Los árboles de decisión, por ejemplo, seleccionan uno de los muchos atributos diferentes, también conocidos como características o variables independientes, para dividir repetidamente las muestras en subconjuntos. En cada división, el algoritmo selecciona un atributo para dividir la muestra, y continúa haciéndolo hasta que todos los subconjuntos son puros, o en otras palabras, cada muestra individual en un subconjunto comparte la misma clasificación o valor objetivo.
Para medir la pureza de un subconjunto de muestras, el algoritmo necesita una medida cuantitativa para elegir objetivamente qué característica dividir en cada nodo dado. Aquí es donde entra en juego la entropía. En cada paso, el algoritmo calcula qué atributo mostrará la mayor ganancia de información, y luego decide la división. También calcula la disminución esperada de la incertidumbre antes y después de la división; si disminuye, la división se mantiene y el algoritmo pasa al siguiente paso. Si no ha disminuido, ha alcanzado la pureza y descansa. De este modo, es responsable tanto de seleccionar qué característica dividir como de detener el proceso.
¿Existe un vínculo entre la termodinámica y la Teoría de la Información?
La entropía fluye inexorablemente a través de un árbol de decisión del mismo modo que fluye inexorablemente a través de una taza de café en el aire. En la energía, marcha hacia el equilibrio termodinámico; en la Teoría de la Información, marcha hacia la pureza.
En su núcleo, la interpretación energética de la entropía y la interpretación de la teoría de la información de la entropía convergen en el mismo punto: las leyes fundamentales de la física. La comunicación requiere energía, y el uso de la energía requiere comunicación. Según Shannon, el valor de la entropía de una pieza de información proporciona un límite absoluto a la longitud media más corta posible de un mensaje, o a lo mucho que se puede comprimir, sin perder información mientras se transmite. Los semiconductores, las linternas y los golpecitos en una sartén en código morse requieren energía humana, y nuestras comunicaciones siempre se esforzarán por conseguir los medios de transmisión más eficientes.
En energía, intentamos minimizar la entropía limitando la cantidad que consumimos y la eficiencia con la que la consumimos. Nuestro objetivo es encontrar fuentes ordenadas de energía y resistir la influencia de la entropía en nuestros cuerpos. En las comunicaciones, minimizamos la entropía buscando información y reduciendo la incertidumbre. En cierto modo, al reducir el desorden a través de la comunicación, podemos detener el proceso entrópico de la energía; un cazador-recolector puede utilizar el lenguaje para comunicarse con otro y advertirle de que le va a comer un león, reduciendo así la incertidumbre de 1. dónde está el león (entropía de la información) y 2. el proceso de ser comido por un león (entropía de la energía). Este acto de comunicación reduce el espacio de probabilidades de todos los acontecimientos posibles y nos permite actuar de forma más eficiente y eficaz. Comprender la naturaleza de cómo opera esta poderosa ley en los ámbitos digital y físico es clave para entender las conexiones entre la termodinámica y la era de la información.