Entorno de aprendizaje de Factorio: agentes que construyen fábricas

• Factorio Learning Environment (FLE), basado en el juego Factorio, es un entorno para poner a prueba la planificación a largo plazo, la generación de programas y la optimización de recursos.
• FLE ofrece desafíos escalables, desde la automatización básica hasta fábricas complejas, e incluye dos configuraciones: 'Lab-play', donde se realizan 24 tareas estructuradas con recursos fijos, y 'Open-play', que ofrece tareas ilimitadas.
• Importancia de FLE
  • FLE proporciona infraestructura, API y métricas para evaluar generación de código, razonamiento espacial y planificación a largo plazo.
  • Los agentes deben extraer recursos y gestionar cadenas de producción complejas, estableciendo y alcanzando objetivos cada vez más sofisticados.
• Entorno y agentes
  • Los agentes interactúan con el entorno mediante una API de Python, envían programas y reciben retroalimentación para mejorar su estrategia.
  • Los programas de los agentes generan una puntuación de producción (PS) e hitos que representan el avance tecnológico.
• Configuración experimental
  • Hay dos configuraciones experimentales: 'Open-play' y 'Lab-play'.
  • Se evaluaron seis modelos de lenguaje de última generación: Claude 3.5-Sonnet, GPT-4o, GPT-4o-Mini, Deepseek-v3, Gemini-2-Flash y Llama-3.3-70B-Instruct.
• Open-Play
  • El objetivo de los agentes es "construir la fábrica más grande" en un mundo generado proceduralmente.
  • La capacidad de los agentes se evalúa mediante la puntuación de producción; los modelos más potentes muestran puntajes más altos y curvas de crecimiento más pronunciadas.
• Lab-Play
  • Los agentes reciben recursos y deben alcanzar objetivos dentro de un tiempo limitado.
  • Realizan tareas para producir 24 entidades objetivo, y cada entidad se vuelve progresivamente más compleja.
• Principales hallazgos
  • La capacidad de programación predice el rendimiento, y la inversión tecnológica junto con la planificación impulsan el crecimiento.
  • El razonamiento espacial y la recuperación ante errores son desafíos clave.
  • Los modelos muestran distintos estilos de programación.
• Conclusión
  • Incluso los LLM más recientes tienen dificultades con los problemas de coordinación y optimización en tareas de automatización.
  • La complejidad del árbol tecnológico de Factorio sigue ofreciendo un escenario de evaluación desafiante aun cuando la investigación en IA continúa avanzando.
  • FLE se ofrece como una plataforma de código abierto para estudiar las capacidades de los agentes en dominios complejos e ilimitados.

[GN⁺]

Comentarios en Hacker News

• Quiero postularme al laboratorio de investigación de Factorio de Anthropic. Me intriga si están usando transferencia de datos multimodal. El recién lanzado Qwen 2.5 VLM parece potente para su tamaño

  • Se menciona mucho la falta de capacidad espacial. Me gustaría saber qué piensan sobre si están transfiriendo imágenes o no
  • Este trabajo es sorprendente. Quiero sumarme a este proyecto ahora mismo
  • MCP parece una tarea esencial y natural para habilitar la biblioteca de Python

• Hubo una publicación en HN sobre el equipo que venció Pokémon Red usando aprendizaje por refuerzo. Me pregunto si este enfoque podría aplicarse a Factorio

  • La principal "tarea esencial" en Factorio es configurar la automatización de nuevos ítems y paquetes de ciencia
  • La función de recompensa podría incluir una recompensa pequeña por la tasa de producción de cada ítem, una recompensa media por automatizar nuevos ítems y una recompensa grande por automatizar nuevos paquetes de ciencia
  • Decirle a un agente de Factorio "construye una gran fábrica" es como decirle a un agente de Pokémon Red "gana el juego"

• Todos los modelos mostraron limitaciones en la planificación espacial al construir fábricas con múltiples secciones

  • Los LLM son débiles en razonamiento espacial porque no hay muchos datos de entrenamiento
  • Me pregunto qué capacidades de razonamiento adicionales aparecerían si se resolviera el razonamiento espacial

• Se podría usar un LLM como agente de alto nivel para construir de forma autónoma fábricas grandes y eficientes

  • Establecimiento de objetivos para la producción de recursos
  • Generación del grafo de la fábrica y cálculo del transporte de recursos
  • Mapeo del grafo a un lenguaje de descripción de hardware
  • Compilación a un layout 2D de FPGA
  • Mapeo del plan a un diseño concreto de Factorio

• Hay muchos elementos interesantes para experimentar. Un escenario de laboratorio con componentes relacionados con el tiempo parece una buena idea

  • Me gusta el diseño del framework, distinto de los experimentos de DOTA 2 o StarCraft 2
  • Me pregunto si hay planes para un benchmark de optimización de layouts

• Me pregunto si existe un benchmark de jugadores humanos para este estilo de interfaz

  • Me pregunto cómo se sentiría un Factorio programático

• Me pregunto si en unos años todos los oponentes dentro de los juegos serán LLM con acceso a la API de control del juego

  • Me pregunto si hay tipos de tareas específicas con las que el modelo tenga dificultades

• Como otra categoría de tareas de "Lab Play", el diseño de balanceadores podría ser interesante

  • Incluso los balanceadores pequeños pueden ser complejos

• Me habría gustado ver más fotos de fábricas más grandes

  • Muestra con claridad una gran debilidad actual de los LLM
  • Espero mejoras mayores en aprendizaje/adaptación en línea

• Es interesante que solo haya unos pocos escenarios complejos

  • Siempre pensé que los agentes de juegos de ML necesitan cientos de pequeños rompecabezas para aprender bien las mecánicas del juego
  • Se podrían generar escenarios de forma programática y usarlos como un banco de preguntas tipo prueba de IQ
  • Supongo que los agentes de ML aprenden más rápido cuando se evalúan muestras de un banco más grande de escenarios