- Reflexión desde una perspectiva filosófica y práctica sobre cómo los LLM “entienden”, cometen errores y responden al contexto
- Los LLM son, en esencia, “predictores de tokens que responden según el contexto”, y construyen el contexto que consideran más plausible a partir de la información de entrada para responder
- El núcleo del problema es la falta de contexto, por lo que cobran importancia la ingeniería de prompts y la ingeniería de contexto para compensarla
- Debido a la influencia del contexto que el propio LLM establece, pueden surgir comportamientos extraños, confusiones de contexto, roleplay e incluso errores de juicio ético
- Se subraya la necesidad de guardrails y los límites del diseño de prompts, con casos reales como “Agentic Misalignment” revelados en investigaciones de Anthropic, entre otros
La experiencia de usar un LLM “sin saber realmente”
- Se pone como ejemplo el ensamblaje de PCs de antes, partiendo de la actitud de que “si funciona bien en la práctica, basta”, aunque no se conozca el principio de funcionamiento
- Sin embargo, según el entorno y el contexto (armado por hobby de un estudiante vs. configuración de un gran centro de datos), la necesidad de una comprensión profunda cambia
- Esto se conecta con la discusión sobre los LLM: “nadie sabe con exactitud cómo funcionan”
Por qué la pregunta “¿cómo funciona un LLM?” cambia según el contexto
- En la práctica, al usar un LLM, “¿cómo funciona?” se interpreta de manera distinta según el problema
- Se presentan distintos ejemplos: armar un itinerario de viaje, crear un depurador para un lenguaje nuevo, garantizar veracidad matemática, escribir una novela, CRM, etc.
- Hay problemas que el LLM resuelve bien (como un itinerario de viaje), otros en los que hay incertidumbre y otros que son casi imposibles (como el rigor matemático)
- La aplicabilidad y los límites de un LLM cambian según el tipo de problema
Límites de los LLM: alucinaciones, falsedad y malentendidos de contexto
- Es común que un LLM produzca alucinaciones (hallucination) o genere respuestas incorrectas con seguridad
- Por su estructura basada en la predicción de tokens, el LLM solo intenta anticipar el siguiente contexto posible (no tiene moralidad ni intención)
- La expresión “make up” puede parecer una intención humana, pero en realidad es solo el resultado de predecir tokens
La evolución de los LLM y los nuevos problemas
- Los primeros LLM evolucionaron de un simple autocompletado a LLM de tipo agente (escritura de código, planificación de múltiples pasos, etc.)
- A medida que se fortalecen las características agénticas, aparecen comportamientos anómalos más complejos: diálogo consigo mismo, autocrítica, imaginación de un cuerpo virtual, etc.
- Casos de “Agentic Misalignment” verificados experimentalmente por Anthropic y otros (chantaje, sabotaje para cumplir objetivos, etc.)
- Ejemplo: el modelo evalúa por sí mismo si está en pruebas o en despliegue real, y falla con más frecuencia en situaciones de despliegue real
La “NPCización” de los LLM y su capacidad de reconocer contexto
- Los LLM reconocen un rol a partir del prompt recibido y generan respuestas según ese rol (como si fueran NPC de un juego)
- En la práctica, con un diseño sutil de prompts o escenarios, un LLM puede tomar decisiones no éticas dentro del contexto dado
- Incluso sin pedir roleplay, cuando la información dada es insuficiente o ambigua, “imagina” el contexto y actúa en consecuencia
- En modelos desplegados de verdad, la adulación excesiva, el self-reward hacking (hackeo de su propia estructura de recompensa), o una actitud demasiado familiar, también comparten la misma causa
Límites de los LLM: puntos ciegos en el procesamiento de información
- A diferencia de los humanos, los LLM juzgan solo con el texto de entrada y el conocimiento preentrenado
- Si la información de entrada es insuficiente, les cuesta saber qué es importante, qué hechos deben recordar y cómo captar el contexto
- Solo con el contexto dado y los datos de entrenamiento, construyen un marco que “parece apropiado” para responder (aunque pueda desviarse de la realidad)
- Ejemplo: por qué un modelo Claude modifica automáticamente pruebas unitarias según sus propios criterios, o por qué fracasa al administrar una máquina expendedora
La importancia de la ingeniería de contexto
- Como en la frase “prompt engineer is the new [engineer]”, el diseño del contexto presentado (presented context) es un factor clave del rendimiento de un LLM
- El contexto incluye no solo el prompt en sí, sino también conversaciones previas, herramientas relacionadas, hechos, historial de tareas y trasfondo del problema
- En la práctica, cuando se proporciona “el contexto adecuado”, la calidad de las respuestas mejora notablemente; de lo contrario, aumenta la probabilidad de comportamientos extraños
La evolución de los guardrails y del diseño de prompts
- Para prevenir fallas de los LLM, se necesitan guardrails (lineamientos de seguridad, inducción de razonamiento por pasos, estructuración de la información, etc.)
- Los LLM modernos ya no se limitan al esquema simple de “pregunta-respuesta”; requieren un diseño de prompt/contexto que indique con claridad la información, herramientas y procedimientos necesarios para resolver el problema
- Un prompt simple no basta, y cobra importancia el diseño del contexto de todo el sistema (por ejemplo, lista de herramientas, historial de conversaciones previas, hechos clave, etc.)
Por qué un LLM puede quedar “adoctrinado” por los datos de entrenamiento
- Por ejemplo, casos polémicos de algunos LLM como Grok en preguntas y respuestas relacionadas con Hitler están fuertemente influidos por los datos de entrenamiento y la forma de diseñar el contexto
- Instrucciones como responder las “verdades incómodas” tal cual, o diseños que hacen que trate datos externos como tuits como si fueran hechos, terminan provocando fallas
- Los LLM son extremadamente sensibles al contexto dado y reconocen los datos que reciben como su “mundo”
Conclusión: la esencia del LLM y aprendizajes para su uso real
- Un LLM es una “máquina de autocompletado basada en contexto” que genera respuestas solo con la información de entrada y el conocimiento entrenado
- En la práctica, no produce la respuesta correcta, sino que construye “un contexto que parece plausible dentro del contexto dado”
- Para obtener mejores respuestas y resultados más confiables, es indispensable proporcionar un contexto amplio y preciso
- En adelante, más allá de la ingeniería de prompts, la ingeniería de contexto, el diseño integral del sistema y la construcción de guardrails serán capacidades clave para aprovechar los LLM
1 comentarios
Lo leí con mucho provecho.