Al operar varios agentes de IA conectados a servicios reales dentro de un equipo pequeño,
seguimos topándonos con el mismo problema.
Cuando un agente toma una decisión equivocada — despliega código incorrecto,
da una respuesta errónea o modifica el archivo equivocado —
¿cómo rastrean y gestionan esa responsabilidad?
Nosotros hemos estado probando un enfoque en el que definimos el rol, los permisos y los límites de cada agente, y agregamos a cada tarea una insignia de
"quién la generó y quién la aprobó".
Pero no sabemos si esa es la respuesta correcta.
Quisiera preguntarles a quienes ya han conectado agentes de IA a servicios reales.
1. ¿Tienen alguna forma de rastrear los errores después de que ocurren?
¿Logs? ¿Insignias? ¿Audit Trail? ¿O al final un humano revisa todo?
2. ¿De verdad están cumpliendo el principio de "la IA propone, el humano decide al final"?
¿No les pasa que, por priorizar la velocidad, a veces simplemente dejan pasar la decisión de la IA?
Me interesa saber dónde encontraron ese punto de equilibrio.
3. Cuando colaboran varios agentes, cómo reparten la responsabilidad de los resultados intermedios?
Si la secuencia es Agent A → Agent B → despliegue, cuando aparece un bug, ¿en qué punto cortan la cadena?
No busco una respuesta única, sino escuchar cómo lo están resolviendo en la práctica.
Nosotros también seguimos experimentando.
3 comentarios
Así es. “Prevenir antes que rastrear” terminó siendo más realista.
Nosotros también vamos en una dirección similar. Es un enfoque en el que definimos explícitamente qué puede hacer y qué no puede hacer cada agente — y, al reducir el alcance en sí, también disminuye la carga de rastreo posterior.
Mencionaste que los limitan mediante CLI; cuando varios agentes trabajan en secuencia, ¿también les asignan restricciones de CLI separadas a cada uno? Nosotros estamos trabados justo en ese punto.
Reduzco el alcance de los cambios y de la responsabilidad usando la CLI. Si se lo dejas a la IA, como es probabilístico, no se pueden evitar errores ni alucinaciones.
Si establecen límites mediante la CLI, me pregunto si sería una forma de restringir los comandos de la CLI que cada agente puede usar.