FunSearch: nuevos descubrimientos en matemáticas y ciencias usando LLM

FunSearch: uso de modelos de lenguaje a gran escala para nuevos descubrimientos en matemáticas y ciencias

• Los modelos de lenguaje a gran escala (LLMs) tienen una gran capacidad para combinar conceptos y son herramientas útiles para ayudar a resolver problemas mediante lectura, escritura y programación.
• Como los LLMs a veces tienden a "alucinar" información que no es real, hacer descubrimientos precisos y verificables es un reto.
• FunSearch es un método para explorar nuevas soluciones en matemáticas y ciencias de la computación combinando un LLM preentrenado que ofrece soluciones creativas con un "evaluador" automático que filtra ideas incorrectas.

Impulsar descubrimientos mediante evolución con modelos de lenguaje

• FunSearch usa un método evolutivo que desarrolla las ideas con mayor puntuación, y estas ideas se representan como programas de computadora que pueden ejecutarse y evaluarse automáticamente.
• El usuario escribe el problema en forma de código, compuesto por un procedimiento para evaluar el programa y un programa semilla para inicializar el conjunto inicial de programas.
• FunSearch es un proceso iterativo en el que, en cada iteración, selecciona algunos programas del conjunto actual y se los entrega al LLM, que luego genera nuevos programas para evaluarlos.

Abriendo nuevos caminos en matemáticas

• FunSearch descubrió una nueva solución para el problema de los cap sets, que ha atormentado a matemáticos durante décadas.
• El problema de los cap sets consiste en encontrar el conjunto más grande de puntos en una cuadrícula de alta dimensión en el que no haya tres puntos alineados, y es un modelo importante en combinatoria extremal.
• FunSearch encontró, en algunas configuraciones, los cap sets más grandes descubiertos en los últimos 20 años.

FunSearch prefiere programas concisos e interpretables por humanos

• FunSearch no solo genera la solución de un problema, sino también programas que explican cómo se obtuvo esa solución.
• FunSearch prefiere encontrar soluciones mediante programas de baja complejidad de Kolmogórov, es decir, programas muy concisos.
• La salida de los programas de FunSearch es fácil de entender para los investigadores y les proporciona ideas prácticas aplicables.

Resolver desafíos notoriamente difíciles en computación

• Tras su éxito con el problema teórico de los cap sets, FunSearch se aplicó al problema de "bin packing", un importante desafío práctico en ciencias de la computación.
• FunSearch logró empaquetar la misma cantidad de elementos usando menos contenedores que las heurísticas existentes.

Abrir camino para descubrimientos impulsados por LLM en la ciencia y más allá

• Si se evita la alucinación de los LLM, será posible aprovechar el poder de estos modelos no solo para hacer nuevos descubrimientos matemáticos, sino también para revelar soluciones de gran impacto para problemas reales importantes.
• Se espera que el uso de enfoques guiados por LLM para generar algoritmos efectivos y personalizados se vuelva una práctica común en muchos problemas científicos e industriales.

Opinión de GN⁺

• FunSearch muestra nuevas posibilidades de la inteligencia artificial en la resolución de problemas matemáticos. En particular, al proponer nuevas soluciones para problemas no resueltos durante mucho tiempo, como el de los cap sets, el papel de la IA en el campo de las matemáticas será cada vez más importante.
• Al aplicarse esta tecnología a problemas reales de la industria, por ejemplo mejorar la eficiencia de centros de datos, demuestra que la IA también puede contribuir a resolver problemas prácticos.
• Los programas que genera FunSearch son interpretables por humanos, lo que ayudará a los investigadores a obtener ideas más profundas y a resolver problemas en colaboración con la IA.

[GN⁺]

Opiniones en Hacker News

• Pregunta sobre la necesidad de los LLM:

  • El propósito del LLM parece ser generar funciones de Python que coincidan con una firma de tipos dada.
  • Incluso sin un LLM, debería ser posible generar funciones de Python aleatorias y correctas que coincidan con una firma de tipos dada.
  • Se sugiere que un lenguaje más restringido podría ser más eficiente, poniendo como ejemplo lenguajes como PushGP.
  • Se pregunta si el LLM realmente aporta valor, si es competitivo frente a otras técnicas de programación genética y si hay diferencias en costo computacional frente a enfoques tradicionales.

• Contexto importante sobre el descubrimiento en combinatoria:

  • Se descubrió que cierto número combinatorio se encuentra dentro de un rango más estrecho que el que se conocía anteriormente.
  • Este descubrimiento no se logró mediante una demostración matemática centrada en la lógica, sino encontrando una secuencia de números con propiedades especiales.
  • El método que usa algoritmos genéticos y LLM puede ser interesante y útil.

• Comentario relacionado sobre el "autoenfrentamiento":

  • FunSearch usa un método evolutivo con LLM para desarrollar las ideas con mayor puntaje.
  • El usuario describe el problema en forma de código y crea un conjunto de programas que se usará para evaluar e inicializar.
  • En cada iteración, FunSearch selecciona algunos programas del conjunto actual, y el LLM genera nuevos programas a partir de ellos, que luego se evalúan automáticamente. Los mejores programas se vuelven a agregar al conjunto existente, creando un ciclo de auto-mejora.

• Experiencia personal de uso para búsqueda web:

  • Usa pplx.ai y phind.com para hacer preguntas y encontrar enlaces web.
  • Refinando la pregunta o haciendo preguntas de seguimiento, encuentra referencias distintas o más profundas.
  • El contenido de Tech Twitter también resulta útil, y espera usar Grok para investigación.

• Publicación en Twitter sobre el descubrimiento de DeepMind:

  • Si una red neuronal realmente puede generar conocimiento nuevo, sería el descubrimiento más importante desde el fuego.
  • Se plantea la duda de por qué, si esto fuera cierto, no todo el mundo estaría hablando de ello.
  • Expresa su impresión por lo logrado con Palm 2 y su expectativa por lo que podría pasar cuando modelos futuros aprovechen este método.

• Resumen de la publicación en Twitter:

  • Las capacidades de la IA siguen aumentando, y su productividad personal mejoró entre 20% y 30% gracias al autocompletado con IA, refactorización y generación de diferencias para revisión de código.
  • Si se usan modelos de IA para conectar partes del flujo de negocio, "mejorar" el sistema puede ser tan simple como reemplazar el modelo.
  • Espera que, tras la integración inicial, todo siga mejorando casi por arte de magia durante los próximos años.

• Resumen sobre la generación de programas:

  • Dado un template/esqueleto de programa y una función de aptitud, se genera una población de programas usando un LLM.
  • Se usa un prompt para generar nuevos programas, y estos se ejecutan con entradas para calificarlos mediante la función de aptitud.
  • Usa un modelo de islas para la evolución, y el número de llamadas al LLM es relativamente bajo, cerca de 1e6.
  • Hay una reflexión sobre el trade-off entre profundidad y amplitud al evaluar/calificar programas.

• Enfoque para el problema del cap set:

  • El problema del cap set consiste en encontrar el mayor conjunto de puntos en una cuadrícula de alta dimensión donde no haya tres puntos alineados.
  • FunSearch genera una solución en forma de programa para descubrir el cap set máximo de este problema.
  • Esto representa el mayor aumento en el tamaño de un cap set en los últimos 20 años.

• Expresa curiosidad sobre la posibilidad de integrar LLM con razonamiento simbólico.

• Independientemente de si realmente genera conocimiento nuevo, le parece un caso de estudio interesante al considerar restricciones de acceso a la IA basadas en el tamaño del modelo u otras medidas regulatorias.

• En relación con el teorema de aproximación universal, menciona que una red neuronal artificial con ReLU puede aproximar funciones con exactitud.

  • Este enfoque es similar, pero al final entrega código.