Ajustar un elefante con cuatro parámetros distintos de cero

 (arxiv.org)
1 puntos por GN⁺ 2024-07-15 | 1 comentarios | Compartir por WhatsApp
  • El problema de “ajustar un elefante con cuatro parámetros” surge de una anécdota de 1953 en la que Enrico Fermi, citando a Johnny von Neumann, criticó el modelo de Freeman Dyson
  • Esta cita se ha usado como crítica a que, aunque un modelo parezca ajustarse bien a los datos al aumentar el número de parámetros, eso no garantiza su significado físico
  • Los intentos anteriores no cumplían por completo las condiciones: Wei usó más de 20 parámetros, y Mayer et al. parecían usar cuatro números complejos, pero en realidad eso equivale a 8 parámetros
  • El método de un parámetro de Paintadosi puede dibujar cualquier forma, pero lo hace codificando la forma en una precisión real extremadamente larga, por lo que no encaja con el espíritu del problema
  • El trabajo señala la limitación de que el problema en sí no estaba suficientemente definido e intenta ajustar una curva de elefante usando solo cuatro parámetros distintos de cero bajo las condiciones dadas

Un problema que nace de la crítica de Fermi

  • En 1953, Enrico Fermi criticó el modelo de Dyson citando una frase de Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • La frase se usa para señalar que, aunque un modelo sea complejo y se ajuste bien a los datos, si eso se debe simplemente a aumentar la cantidad de parámetros, es difícil garantizar que tenga un significado físico real
  • La pregunta central es si de verdad se puede ajustar un elefante con solo cuatro parámetros

En qué puntos las soluciones previas no cumplían los requisitos

  • Wei intentó ajustar un elefante con una serie de Fourier (Fourier series), pero necesitó más de 20 parámetros para lograr un resultado razonablemente bueno
    • También se considera que el resultado podría no satisfacer ni a un “profesor de arte de tercer grado”
  • Mayer et al. ajustaron un elefante con cuatro números complejos
    • Como un número complejo tiene parte real y parte imaginaria, en realidad usaron 8 parámetros
    • Si además se cuentan los parámetros en cero, el total llega a 20
    • La imagen resultante fue valorada como bella, con un estilo parecido al de Picasso
  • Paintadosi sostuvo que bastaba un solo parámetro y construyó una función capaz de dibujar cualquier forma con un solo parámetro
    • Pero eso se parece más a una codificación que mapea la forma a un único número real con cientos o miles de dígitos de precisión, por lo que cuesta considerarlo una solución válida en este contexto
    • El foco de ese trabajo era mostrar que contar la cantidad de parámetros puede fallar como medida de la complejidad de un modelo
  • Este artículo primero ordena las condiciones del problema y luego, a diferencia de los intentos previos, presenta un método para ajustar un elefante con cuatro parámetros distintos de cero

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-07-15
Opiniones en Hacker News

  • Me gusta el lado irónico del artículo. Estaría bueno agregar por qué Fermi y von Neumann dijeron eso.
    En física, al crear modelos de la realidad, no se debería ajustar los datos agregando parámetros uno por uno cuando no coinciden con el experimento. Idealmente, debería haber cero parámetros, o la menor cantidad posible; y, en un nivel más profundo, los parámetros deberían surgir de forma natural a partir de supuestos simples. Si hay 4 parámetros, es difícil saber si realmente capturan un aspecto de la realidad o si solo ajustan los datos experimentales.

    • Eso ya aparece en el primer párrafo del paper, y el paper en sí es, en general, un texto humorístico.
      Dicho eso, la sabiduría de ese aforismo parece haberse olvidado bastante en varios campos. En muchas áreas, los datos se “modelan” con enormes modelos de regresión con decenas de parámetros, o con redes neuronales de miles de millones de parámetros.

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Un modelo con 0 parámetros puede derivarse de primeros principios, así que parece más cercano a las matemáticas. Por ejemplo, si se asume un espacio euclidiano, se obtienen fórmulas como la del área de la superficie de una esfera.
      Creo que la física empieza cuando hay al menos una constante natural que debe medirse, como la curvatura del espacio real o la aceleración de la gravedad.
    • Hodgkin y Huxley hicieron un trabajo pionero al modelar la actividad neuronal estudiando el axón gigante del calamar.
      Extrajeron varios parámetros a partir del ajuste de curvas de los potenciales registrados y la corriente inyectada, y mucho más tarde se vio que correspondían a los canales de sodio. De forma similar, otros procesos correspondían a canales de potasio. Si hay varios parámetros, incluso 4, no me parece algo demasiado preocupante si el modelo no puede explicarse con 3.
    • En realidad, el primer ejemplo implementado fue Least square fitting of an elephant, de James Wei (1975, Chemtech).

  • Este artículo es humorístico y está bien escrito, pero creo que va más allá de eso.
    Sobre ML/AI se suele hacer la broma, y también la observación, de que no es más que ajuste de curvas. Creo que todavía no hay respuesta a si “solo ajuste de curvas” puede producir algo inteligente, en gran parte porque cada persona entiende algo distinto por “inteligente”.
    Aquí se muestra un ajuste de curvas muy limpio y fácil de entender, pero en esencia es el mismo proceso. Se define un objetivo, se optimiza sobre una función de pérdida y se espera que generalice. Por supuesto, este elefante no generaliza, pero sí es tierno.
    Eso nos devuelve a la pregunta de von Neumann: ¿por qué se necesitan tantos parámetros? Irónicamente, últimamente se han logrado muchas cosas con cantidades enormes de parámetros, y la respuesta terminó siendo: “con muchos parámetros se pueden hacer cosas increíbles”.

    • El ajuste de curvas continuo sobre el mundo real puede crear inteligencia. Lo que falta no es algo dentro del modelo, sino un mecanismo para explorar, buscar y ampliar la experiencia.
      Los LLM actuales simplemente se apoyan en la experiencia humana, y casi no participaron en crear experiencia propia. Por eso se les llama aprendizaje por imitación o loros. Pero si los modelos se vuelven más parecidos a agentes, pueden crear por sí mismos experiencias útiles, y AlphaZero lo demuestra.
    • En AI, cuantos más parámetros, mejor; en física es al revés.
    • Los detalles son lo importante. En aprendizaje por refuerzo, el objetivo se mueve, y en deep learning suelen usarse técnicas como early stopping para evitar una optimización excesiva.

  • Freeman Dyson recuerda en una entrevista de Web of Life la anécdota que inspiró este paper. También hay un enlace que lleva directo a la parte sobre ajustar un elefante.
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Un parámetro basta: https://aip.scitation.org/doi/10.1063/1.5031956

    • Es parecido a decir que se puede lograr compresión ilimitada si se guardan los datos en el nombre del archivo, no dentro del archivo.
    • El paper dice esto:

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • La cantidad de parámetros es una métrica equivocada. Hay que mirar cosas como la cantidad de información contenida en los valores de los parámetros, la entropía o la complejidad de Kolmogórov.
    • Es parecido a decir que todo un disco duro es un solo número.

  • Lamentablemente, el paper no especifica el término constante, es decir, la media r_0. Parece estar aproximadamente cerca de 180, pero para crear la imagen hay que ajustar ese valor, y no veo cómo no considerarlo un quinto parámetro necesario.
    Por eso es difícil decir que realmente se logró el objetivo. De todos modos, fue muy divertido.

    • En el texto se dice que ese valor es el promedio de los puntos de datos que se quieren ajustar. Si contarlo como parámetro o no parece depender de si se considera la estandarización como parte del modelo.

  • Fue un gran fragmento de la entrevista de Dyson en Web of Stories, y me resonó tanto como a los autores
    Fue cuando Dyson le llevó a Fermi los resultados preliminares sobre la teoría pseudoescalar del pion. Fermi descartó todo muy rápido, lo que fue un golpe para Dyson, pero le evitó seguir perdiendo tiempo
    Fermi: Cuando uno hace cálculos teóricos, debe tener un modelo físico claro o una base matemática rigurosa. Usted no tiene ninguna de las dos cosas. ¿Cuántos parámetros libres usó para el ajuste?
    Dyson: Cuatro
    Fermi: Johnny von Neumann solía decir siempre: “Con cuatro parámetros se puede ajustar un elefante, y con cinco se puede hacer que mueva la trompa”

  • Ojalá hubiera más humor en arXiv
    Si llegara a hacer un descubrimiento en mi tiempo personal, sin usar recursos de la empresa, lo anunciaría de la forma más humorística posible

  • Tampoco se puede dejar fuera al Dr. Octave Levenspiel. Cuando yo estaba en la licenciatura, él era profesor emérito, e hizo mucho trabajo, entre otras cosas, en el campo de los lechos fluidizados industriales
    La discusión sobre la curva del elefante en aquel entonces era en el contexto de criticar ajustes complejos de múltiples parámetros en reacciones catalíticas heterogéneas. https://levenspiel.com/elephants/
    Durante un tiempo también intentó publicar un artículo de aerodinámica sobre el vuelo de los dinosaurios. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Este tipo de curiosidad intelectual recuerda un poco a Feynman haciendo girar platos

  • ¿Por qué no se menciona On Growth and Form de D’Arcy Thompson? Sus modelos paramétricos de organismos eran bastante geniales. Aunque eran muy simples
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • Según entiendo, una serie de Fourier con parámetros reales r(theta) = sum(r_k cos(k theta)) solo puede dibujar una forma de “círculo ondulante” en la que hay un solo punto por cada rayo que sale del origen
    Los parámetros complejos z(theta) = sum(e^(z_ theta)) pueden dibujar figuras más sinuosas, es decir, epiciclos. El lápiz puede retroceder mientras el brazo que dibuja gira, y cada parámetro puede mover el punto a algún lugar sobre un círculo pequeño alrededor del punto calculado a partir del parámetro anterior
    Video imprescindible de 3B1B: https://m.youtube.com/watch?v=r6sGWTCMz2k
    Un parámetro complejo equivale a dos parámetros reales, así que habría que comparar las mejores 4 curvas coseno con las mejores 2 curvas exponenciales complejas