¿Qué es la entropía?
(johncarlosbaez.wordpress.com)- Es el borrador de un libro breve que intenta cuantificar la entropía como la cantidad de información que en principio se puede conocer, pero que aún no conocemos
- Toma como rompecabezas central por qué el gas de hidrógeno a temperatura y presión ambiente tiene una entropía equivalente a unos 23 bits de información desconocida por molécula
- Parte de la entropía de Shannon y la entropía de Gibbs, y las conecta con el principio de máxima entropía, la distribución de Boltzmann, la temperatura, la función de partición y la energía libre
- No profundiza deliberadamente en la segunda ley de la termodinámica, la biología ni la física de agujeros negros, y no explica la entropía como desorden
- Incluso al intentar calcular la entropía de sistemas clásicos, se necesita la constante de Planck y un poco de mecánica cuántica debido a la unidad de volumen del espacio posición-momento
Forma del libro y punto de partida
- What is Entropy? es el borrador actual de un libro breve sobre la entropía
- El título alternativo original era 92 Tweets on Entropy, pero se consideró poco adecuado porque, con el tiempo, quizá ya no se recuerde qué eran los “tweets”
- Es una versión ligeramente ampliada de una clase sobre entropía impartida en Twitter en formato de mensajes breves
Definir la entropía como información
- La entropía significa la cantidad de información que todavía no conocemos sobre una situación
- Esa información debe poder aprenderse en principio
- El libro se centra en convertir esta idea en un concepto preciso y cuantitativo
- La pregunta central es por qué el gas de hidrógeno a temperatura y presión ambiente tiene una entropía equivalente a unos 23 bits de información desconocida por molécula
Conceptos que conecta para resolver el rompecabezas
-
Información y entropía
- Parte del concepto de información y aborda la entropía de Shannon y la entropía de Gibbs
- Explica cómo tratar estados probabilísticos mediante el principio de máxima entropía y la distribución de Boltzmann
-
Temperatura, energía y función de partición
- Conecta la temperatura y la frialdad(coolness) con la relación entre entropía y energía esperada
- Aborda cómo el teorema de equipartición, la función de partición, la energía esperada y la energía libre se entrelazan en el cálculo de la entropía
-
Ejemplos de sistemas clásicos
- La entropía de un oscilador armónico clásico
- La entropía de una partícula clásica dentro de una caja
- La entropía de un gas ideal clásico
Temas que no trata deliberadamente
- Casi no trata la segunda ley de la termodinámica
- La idea de que la entropía siempre aumenta es interesante, pero tiene muchos problemas; se considera que explicarla bien requeriría otro libro
- También excluye el papel de la entropía en la biología y en la física de agujeros negros
- Los aspectos de la entropía que suelen tratarse en libros de divulgación de física quedan fuera del alcance de este libro
- No llama “desorden” a la entropía
La constante de Planck también es necesaria en la física clásica
- Para mantener bajos los conocimientos previos de física, reduce al mínimo posible la explicación de la mecánica cuántica
- Sin embargo, la constante de Planck aparece en las fórmulas de entropía de los tres sistemas clásicos
- La constante de Planck proporciona la unidad de volumen en el espacio posición-momento
- Esta unidad de volumen es necesaria para poder definir la entropía de esos sistemas
- Aunque se trate el gas de hidrógeno de la forma más clásica posible, se necesita un poquito de mecánica cuántica para obtener una buena fórmula aproximada de la entropía
Carácter matemático y cómo leerlo
- El libro dedica mucho tiempo a precisar los conceptos con el estilo de un físico matemático, e incluso examina contraejemplos inusuales
- Puede detenerse más tiempo en detalles técnicos que un físico profesional en activo
- Si el contenido técnico se siente excesivo, se puede pasar al siguiente “tweet”
- Lo realmente importante está dentro de recuadros
- También es posible leerlo hasta el final y luego volver a aprender los detalles
1 comentarios
Opiniones de Hacker News
Hay una anécdota famosa que contó Shannon: “Lo que más me preocupaba era el nombre. Pensé en llamarlo ‘información’, pero era una palabra demasiado usada, así que decidí llamarlo ‘incertidumbre’. Hablé con John von Neumann y se le ocurrió una idea mejor. Von Neumann dijo: ‘Llámelo entropía. Primero, su función de incertidumbre ya se usa con ese nombre en la mecánica estadística, así que ya tiene nombre. Segundo, y más importante, nadie sabe realmente qué es la entropía, así que siempre tendrá ventaja en las discusiones’”
La discusión y las referencias sobre si la entropía de Shannon es lo mismo que la entropía de la termodinámica pueden verse en estas respuestas de MathOverflow SE (https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Sentí que recién la entendí bien cuando empecé a ver la entropía de Shannon como una cantidad subjetiva, es decir, no como algo del objeto observado sino como una propiedad del observador
La entropía de una variable X es la cantidad de información necesaria para llevar a cero la incertidumbre que un observador tiene sobre el valor de X. Por lo tanto, para la misma variable X, mi incertidumbre y la de otra persona pueden ser distintas. Es natural, porque cada uno pudo haber recibido información diferente sobre X. H(X) debería ser H_{observador}(X), e incluso H_{observador, tiempo}(X). El trabajo de Shannon es claro en otros aspectos, pero en esta parte pasa un poco por encima
Veamos la entropía cruzada de dos distribuciones, H[p, q] = -Σ p_i log q_i. Por ejemplo, p puede ser la distribución real de frecuencias de los resultados al lanzar un dado, y q la distribución en la que yo creo. p_i puede verse como una probabilidad objetiva, y q_i como una probabilidad subjetiva. La entropía cruzada se parece a una medida de cuánto nos sorprendemos en promedio al observar un resultado
Lo interesante es que H[p, p] <= H[p, q]. Es decir, si la distribución de creencias es incorrecta, la entropía cruzada es mayor que cuando se tiene la creencia correcta q=p. Esto queda garantizado por la concavidad del logaritmo. Así se pueden comparar creencias: si algún q minimiza H[p,q], ese q está más cerca de la verdad
La entropía cruzada también puede descomponerse en dos partes, como H[p, q] = H[p] + D[q||p]. El primer término es la entropía de p y corresponde a la incertidumbre aleatoria, la aleatoriedad inherente del fenómeno que se intenta modelar; el segundo término es la divergencia KL y representa la incertidumbre adicional causada por creencias equivocadas, es decir, incertidumbre epistemológica
Al medir las creencias de distintos observadores, simplemente se están mirando distribuciones distintas, y así como esas distribuciones pueden tener distintas medias o varianzas, también pueden tener distintas entropías
Pero si no conoces la semilla, la entropía es muy alta
entropía + información = número total de bits necesarios para una descripción completa
Un huevo intacto tiene baja entropía. Solo hay una manera de que el huevo exista sin romperse, y el estado del huevo incluso podría representarse con 1 bit
Un huevo roto tiene alta entropía. Hay arbitrariamente muchas maneras en que pueden quedar acomodados los pedazos rotos
Una lista ordenada con la posición y orientación de cada pedazo del huevo roto, en orden de latitud, longitud y dirección de brújula, vuelve a tener baja entropía. Para un caso específico de un huevo roto, esa lista solo puede escribirse de una manera
Si comprimes esa lista con zip, vuelve a tener alta entropía. Los datos dentro del archivo .zip se ven, en la práctica, como aleatorios y no pueden comprimirse mucho más. Así es hasta que se descomprimen de nuevo
Del mismo modo, si hay que transmitir la lista sin comprimir por un canal con ancho de banda limitado, el receptor no puede asumir nada sobre el contenido, así que aunque tenga estructura, no se diferencia de algo aleatorio, y la entropía vuelve a ser efectivamente alta
Me gustaba mucho el enfoque que usaba mi profesor de mecánica estadística. En casi cualquier situación, la entropía termina siendo el logaritmo de la cantidad de maneras en que se puede organizar un sistema (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Personalmente, lo más fácil para mí era pensarlo como pares de resultados de dos dados
Lamentablemente, salvo en un sentido muy superficial, no encaja demasiado bien con el uso que hace Shannon, así que esta interpretación permanece firmemente en el terreno de la física
Por eso información y entropía no son lo mismo. La entropía es saber que no sé. Es cuantificar ese conocimiento sobre la magnitud de lo desconocido
Aquí es donde creo que el texto está equivocado o no es lo bastante conciso. La siguiente formulación, a mi parecer, incluye incluso ‘lo que no sé que no sé’, que no es entropía:
https://en.wikipedia.org/wiki/Thermodynamic_beta
En teoría de la información, siempre he pensado en la entropía así: “Si existiera un algoritmo de compresión realmente inteligente, ¿cuántos bits harían falta para representar este archivo con exactitud?”
Es decir, una entrada con muchas repeticiones no tiene mucha entropía por bit, así que se comprime bien. Los algoritmos de compresión modernos son lo bastante buenos con la mayoría de los datos como para usarse como una aproximación razonable de la entropía real.
Para la entropía de una distribución de probabilidad discreta, me gusta esta explicación práctica. Me gustan los textos de John Baez, pero al hojear el PDF me sorprendió que pareciera no cubrir esta perspectiva.
Pensemos en una distribución como un histograma sobre varios intervalos. Entonces, la entropía mide la probabilidad de que, si lanzo al azar una gran cantidad de pelotas en esos intervalos, la distribución de las pelotas se vea como ese histograma. Lo que normalmente se espera es una distribución uniforme sobre los intervalos, así que la entropía mide qué tan probables son otros eventos raros, o en términos de probabilidad, grandes desviaciones respecto del comportamiento típico.
Más concretamente, si P = (P1, ..., Pk) es una distribución, cuando N es muy grande, la probabilidad de que al lanzar N pelotas salga un histograma que se vea como P es aproximadamente 2^(-N * [log(k) - H(P)]). Aquí H(P) es la entropía. Si P es la distribución uniforme, H(P)=log(k), así que el exponente es 0 y la estimación es 1, lo que significa que el histograma abrumadoramente más probable es la distribución uniforme.
Como esa es la entropía máxima posible, cualquier otro histograma aparece con probabilidad 2^(-c*N) para algún c > 0; es decir, es muy raro, y se vuelve exponencialmente más raro mientras más pelotas se lancen. La entropía mide ese grado. Como las distribuciones “menos uniformes” son menos probables, la entropía también mide, en cierto sentido, la uniformidad. En la teoría de grandes desviaciones, esta proposición concreta se llama teorema de Sanov, y el papel que cumple la entropía es el de “función de tasa”.
La interpretación de la entropía como conteo, de la que habla la gente, también está relacionada a alto nivel. En el teorema de Sanov, la probabilidad es el número de resultados que “se ven como P” dividido entre el número total de resultados, y ese numerador efectivamente cuenta la cantidad de configuraciones con cierta propiedad: en este caso, que la asignación de pelotas a intervalos se vea como P.
Hay muchas definiciones equivalentes, cada una con sus ventajas y generalizaciones, pero esta perspectiva es especialmente útil para quitarle misterio a la entropía.
Playlist de PBS Spacetime sobre entropía: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
La entropía de la información es, literalmente, un límite inferior estricto para qué tan eficientemente puede transmitirse información cuando se conoce la distribución de probabilidad que la genera; es decir, para el valor esperado del número de bits transmitidos.
Incluso en el contexto de calcular la entropía de información de cadenas de bits o del inglés, se construye una distribución de probabilidad empírica a partir de los datos usando las frecuencias relativas de 0 y 1, letras, n-gramas, etc., y luego se calcula la entropía de esa distribución. La definición de Baez no me convence del todo, pero dada su autoridad, es difícil objetarla a la ligera.
“En gran medida evité la segunda ley de la termodinámica, es decir, la idea de que la entropía siempre aumenta. Es interesante, pero tan complicada que haría falta otro libro para explicarla bien”.
Si te interesa, estoy leyendo Entropy Demystified, de Arieh Ben-Naim, que aborda este aspecto casi desde la misma dirección.
A veces pienso en de dónde sale la nueva entropía/aleatoriedad. Si consideramos el estado más temprano del universo como una partícula puntual infinitamente densa que se expandió, tuvo que haber alguna aleatoriedad o variedad que hiciera que se expandiera de forma no uniforme, y eso habría hecho que la materia predominara sobre la antimateria, o que se formaran galaxias y cúmulos, etc.
Si pensamos en un sistema aislado con partículas estáticas específicas, ¿podría ocurrir que un pequeño subconjunto de esas partículas empezara a moverse e introdujera entropía? ¿Podría la entropía inducirse automáticamente, al menos a nivel cuántico? Si esto pudiera explicarse, ayudaría a entender mejor el origen del universo.
Un ejemplo clásico es este. Imagina un sombrero mexicano[1] perfectamente simétrico, con una pelota en equilibrio justo en la cima, en el centro del sombrero. No hay una dirección preferida hacia la que la pelota deba caer, pero ese estado es inestable. Cualquier perturbación hará que la pelota ruede hacia abajo, y se detendrá en una configuración estable en el ala del sombrero. La simetría de la configuración original ahora se rompió, pero es estable.
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Aquí explican que la aleatoriedad que buscas viene de las fluctuaciones cuánticas, y que sin esa aleatoriedad el universo probablemente no habría “ocurrido”.