¿Qué es la entropía?

Prólogo

• Hubo una vez una plataforma llamada Twitter, y la gente intercambiaba mensajes cortos. A través de esta plataforma se dio una breve clase sobre la entropía, y luego se amplió para convertirla en un pequeño libro.
• La entropía significa la cantidad de información que no conocemos sobre una situación. Para explicarlo cuantitativamente, se tratan varios temas:
  • información
  • entropía de Shannon y entropía de Gibbs
  • principio de máxima entropía
  • distribución de Boltzmann
  • temperatura y enfriamiento
  • relación entre entropía, energía esperada y temperatura
  • teorema de equipartición
  • función de partición
  • relación entre energía esperada, energía libre y entropía
  • entropía de un oscilador armónico clásico
  • entropía de una partícula clásica dentro de una caja
  • entropía de un gas ideal clásico
• No se trata la segunda ley de la termodinámica (la entropía siempre aumenta). Es lo bastante compleja como para requerir otro libro.
• Se intentó mencionar lo mínimo sobre mecánica cuántica, pero la constante de Planck es necesaria para definir la fórmula de la entropía de los sistemas clásicos.
• Como físico matemático, dedica mucho tiempo a precisar los conceptos y a encontrar contraejemplos extraños. Lo importante está dentro de los recuadros.

Resumen de GN⁺

• Este libro es un intento de explicar de forma sencilla los conceptos básicos de la entropía, empezando por la teoría de la información y siguiendo hacia la mecánica estadística y la termodinámica.
• No define la entropía como "desorden", sino como la cantidad de información que no conocemos.
• Usa conceptos mínimos de mecánica cuántica para explicar la entropía de sistemas clásicos.
• Es útil para quienes quieren comprender la física con mayor profundidad, especialmente para entender la relación entre la mecánica estadística y la teoría de la información.
• Otro proyecto con una función similar es la serie "Theoretical Minimum".

[GN⁺]

Opiniones de Hacker News

• Hay una anécdota sobre por qué Shannon llamó "entropía" a la "incertidumbre" en la teoría de la información

  • John von Neumann sugirió el término "entropía"
  • La entropía ya se usaba en la mecánica estadística y daba ventaja en las discusiones

• Es importante entender que la entropía de Shannon es una cantidad subjetiva del observador

  • La entropía de una variable X es la cantidad de información necesaria para reducir a 0 la incertidumbre del observador
  • Como cada observador puede tener información distinta, la incertidumbre también puede variar

• En mecánica estadística, la entropía se explica como el logaritmo de las formas en que puede organizarse un sistema

  • Es más fácil pensarlo como pares de lanzamientos de dados

• En teoría de la información, la entropía se explica como la cantidad de bits que un algoritmo de compresión necesita para representar con exactitud un archivo

  • Una entrada repetitiva tiene baja entropía y se comprime bien

• Hay una lista de reproducción sobre entropía de PBS Spacetime

• Se prefiere un enfoque que explica la entropía de una distribución de probabilidad discreta con histogramas

  • Mide la probabilidad de que, al lanzar muchas bolas al azar, se obtenga una distribución como la del histograma
  • Si se lanzan N bolas con una distribución P, la probabilidad de que el histograma sea igual a P es 2^(-N * [log(k) - H(P)])
  • La distribución uniforme tiene la entropía más alta

• El libro 'Entropy Demystified' explica la segunda ley de la entropía

• Un texto de John Baez fue una gran fuente de disfrute en la educación universitaria

• Me gusta el enfoque que explica la entropía como la cantidad de información que teóricamente puede conocerse sobre un sistema

  • Sorprende que no se mencione la interacción con la interpretación de Copenhague

• La entropía de la información es una cota inferior estricta de cuán eficientemente puede transmitirse la información

  • La entropía se calcula usando distribuciones de probabilidad