- El 29 de septiembre, Anthropic publicó Effective context engineering for AI agents, y aquí va una traducción resumida. En la entrada del blog se conservaron en la medida de lo posible las imágenes y los enlaces del texto original.
Ingeniería de prompts vs. ingeniería de contexto
- La ingeniería de prompts busca mejorar las consultas individuales.
- La ingeniería de contexto (especialmente para agentes) busca curar, entre múltiples contextos posibles, solo lo que de verdad hace falta.
Por qué la ingeniería de contexto es importante para construir agentes
- Los agentes actuales se están desarrollando para usar “durante más tiempo y con más herramientas”.
- Eso hace inevitable que el contexto se alargue, y los LLM, de forma parecida a los humanos, cuando tienen demasiado contenido en el contexto pierden foco y les cuesta recuperar la información deseada.
- Por eso, controlar el contexto de manera efectiva es clave en el desarrollo de agentes.
Anatomía de un contexto efectivo
Una buena ingeniería de contexto significa encontrar el conjunto más pequeño posible de tokens de alta señal que maximice la probabilidad del resultado deseado.
> Smallest possible set of high-signal tokens that maximize the likelihood of some desired outcome
1) Prompt del sistema
- El prompt del sistema debe estar escrito con un lenguaje muy claro, simple y directo, y con el nivel justo de detalle. Si es demasiado específico, no podrá responder bien a casos diversos; si es demasiado abstracto, el LLM tendrá que inferir demasiadas cosas.
- Conviene empezar con la descripción mínima del comportamiento esperado e ir mejorándolo, agregando instrucciones claras y ejemplos solo para los casos en que los modelos frontier fallen.
- Se pueden separar secciones con XML o técnicas similares a Markdown, pero no hace falta obsesionarse con seguir una sintaxis exacta.
2) Tools
- Las tools deben devolver información de forma eficiente en tokens y, al mismo tiempo, guiar al agente para que también opere con eficiencia en tokens. Deben presentarse en un formato que el LLM pueda entender bien, y el solapamiento funcional entre ellas debe ser mínimo.
- El error más común es que una sola tool cubra demasiadas funciones o que el LLM tenga dificultades para decidir cuál usar. Si a un ingeniero humano le cuesta decidir cuándo usar qué, también le costará a un agente de IA.
- El few-shot prompting con ejemplos siempre es muy recomendable. Sin embargo, incluir demasiados casos límite reduce la generalidad. Conviene incluir ejemplos variados que muestren comportamientos esperados elegidos con cuidado.
Recuperación de contexto y búsqueda agéntica
- Un agente es una entidad que ejecuta herramientas de manera autónoma en un bucle para alcanzar un objetivo. Cuanto más potente es el modelo, más autoridad (autonomía) se le puede dar al agente.
- A medida que avanza el enfoque agéntico, se ve cada vez más una estrategia de dar contexto JIT (Just in Time). Claude Code la usa muy bien: ve rutas de archivos y enlaces en el prompt, y los trae en ese mismo momento.
- Para cargar buen contexto vía JIT, la información debe almacenarse bien estructurada desde el principio. Eso incluye pensar cómo guardar metadatos útiles para la recuperación. La estructura de carpetas, las convenciones de nombres, las marcas de tiempo y otras señales importantes y significativas para las personas también ayudan mucho al agente a aprovechar la información.
Ingeniería de contexto para tareas de larga duración (long-horizon tasks)
Las tareas largas suelen superar con facilidad la ventana de contexto de un LLM. Por eso, se vuelve muy importante cómo hacer que el agente mantenga un buen contexto y siga avanzando de forma sostenida hacia el objetivo.
Según la naturaleza de la tarea, pueden usarse en general tres técnicas.
- La compresión sirve para mantener el flujo de conversación en tareas que requieren comunicación bidireccional extensa.
- La toma de notas estructurada funciona bien para desarrollar tareas con hitos claros a lo largo de iteraciones.
- La arquitectura de subagentes es útil para manejar investigación y análisis complejos, donde la exploración en paralelo resulta efectiva.
1) Compresión
- Cuando se acerca el límite de la ventana de contexto, se resume el contenido importante y se pasa a una nueva ventana. En Claude Code se resume a partir del historial de mensajes: decisiones de arquitectura, bugs no resueltos, detalles de implementación, etc.
- La clave de la compresión está, al final, en decidir qué conservar y qué descartar. Lo más fácil de descartar suelen ser las llamadas a tools y sus resultados. Si ya están en el historial de mensajes, casi nunca hace falta conservarlos.
- Desde Sonnet 4.5, la tool de memoria permite hacer Context Editing: https://www.anthropic.com/news/context-management
2) Toma de notas estructurada
- También se le llama memoria agéntica. Es una técnica que consiste en dejar notas periódicamente fuera de la ventana de contexto (es decir, en el sistema de archivos) y recuperarlas después.
- Del mismo modo, desde Sonnet 4.5 es más fácil aplicar esta técnica con la tool de memoria.
3) Arquitectura de subagentes
- El agente principal coordina y planifica desde la visión general, mientras los subagentes realizan trabajo técnico profundo o usan tools para encontrar información relevante.
- Consulta también el artículo sobre cómo construyeron un sistema de investigación multiagente.
Conclusión
- A medida que los modelos se vuelven más potentes, ya no basta con crear buenos prompts; también se ha vuelto una tarea importante seleccionar qué información entrará en el “presupuesto de atención” en cada etapa.
- Ya sea al implementar compresión para tareas largas, diseñar herramientas eficientes en tokens o permitir que el agente explore el entorno en el momento oportuno, estos principios guía se mantienen igual: encontrar el conjunto más pequeño de tokens de alta señal que maximice la probabilidad del resultado deseado.
- Estas técnicas seguirán evolucionando junto con las mejoras de los modelos y con una autonomía cada vez mayor, pero la idea de que “el contexto es un recurso valioso y finito” seguirá siendo una base confiable y un elemento central para construir agentes efectivos.
- Para más información, consulta el cookbook de memoria y gestión de contexto.
Aún no hay comentarios.