civStation – Agente basado en computer-use VLM para controlar Civilization VI a nivel estratégico (incluso con human in the loop)

• Un harness de computer-use VLM para jugar Civilization VI con instrucciones en lenguaje natural
  "Expandirse hacia el este", "enfocarse en la economía", "victoria científica", etc.: se ingresa una intención de alto nivel → el agente realiza las acciones reales

• Arquitectura de 3 capas que separa estrategia y ejecución (Strategy / Action / HITL)

  • Strategy Layer: convierte lenguaje natural → objetivos estructurados, mantiene la estrategia de largo plazo y descompone tareas
  • Action Layer: reconocimiento del estado basado en pantalla (VLM) + ejecución con mouse/teclado (sin API del juego)
  • HITL Layer: estructura de autonomía controlable que permite intervenir, corregir o detener durante la ejecución

• Una estrategia se descompone en varias secuencias de acciones, y se producen entre 2 y 16 llamadas al modelo por tarea

• Basado en subagentes para ejecutar tareas acotadas como gestión de ciudades o movimiento de unidades

• Un experimento de "cambiar la interfaz de intención → acción" en lugar de usar enfoques tradicionales de RL/IL/scripts

• En vez de manipulación directa, usa delegación estratégica y orquestación de agentes

• Principales problemas técnicos:

  • errores de percepción del VLM,
  • execution drift,
  • dificultad para verificar si tuvo éxito
  • aumento de latencia y costo de API en ejecuciones de varios pasos, y degradación de la calidad de las estrategias de fallback

• No busca automatización total, sino modificación y control estratégico en tiempo real con human-in-the-loop

• Un sistema experimental que aborda los problemas de control y verificación de agentes en entornos con solo UI

• Más que en el gameplay en sí, se enfoca en "elevar la interfaz humano-sistema al nivel estratégico"

[bus710]

Cuando vas con todo hacia una victoria por conquista/cultura/ciencia/diplomacia, siempre aparece una victoria religiosa de la nada para apuñalarte por la espalda.