¿Existe alguna herramienta o proyecto que registre, al usar IA, el input y output, y el comportamiento del proceso (como búsquedas web, permisos de ejecución, ejecuciones, etc.), es decir, todas las acciones visibles a nivel del sistema?
Aunque sea de forma parcial, también sirve. Ya sea un servicio comercial o algo similar.
En el caso de Claude Code, por ejemplo, se ejecuta Claude desde CMD escribiendo claude, y después registrar el input y output, así como las tareas que va ejecutando el proceso de Claude mientras corre (red, acciones locales, etc.)...
7 comentarios
Yo lo armé con clickstack. Configuré otel para que enviara los datos así.
¿No son esas las funciones que ofrecen Litellm proxy y LangSmith?
¿Argos o Cursor Mafia? Hay un servicio operado por alguien que hace vibe coding y que viene del equipo de desarrollo de Toss; también permite self-hosting, se pueden monitorear varias cuentas desde la API key o el plan, y parece que tiene las funciones que mencionas, como cuántas sesiones corrieron, qué herramientas se usaron, etc.
No recuerdo bien si funcionaba solo con Claude, pero si piensas hacerlo a medida, quizá valga la pena revisarlo por dentro.
Si es para Claude Code, prueba
cc-token-saver(https://github.com/ww-w-ai/cc-token-saver).Claude Code registra en un transcript (
.jsonl) por cada sesión todas las entradas/salidas y las llamadas a herramientas (leer y escribir archivos, ejecutar bash, solicitudes web, etc.), ycc-token-saverlo parsea para visualizar en un dashboard HTML qué se hizo en cada sesión y dónde y cuánto se gastó en tokens. Puedes ver de un vistazo "qué archivos tocó la IA en esta sesión, cuántas veces ejecutó comandos y cuánto costó".En particular, la skill
/continuees una función que analiza el transcript para restaurar sesiones existentes, pero como la función de análisis del transcript se puede usar igual, también puedes darle una instrucción como: "Analiza la entrada, la salida y la información de red para el caso de/continue ~". (El LLM lo adaptará y aplicará por su cuenta de forma adecuada)No solo para IA; puedes usar
stracey varias otras herramientas de depuración.Si lo vas a desarrollar lo bastante bien como para un servicio, te conviene revisar herramientas basadas en eBPF.
Al poner la pregunta en Gemini, aparecen algunos. ¿Ya habías buscado así?
Es comprensible que quieras escuchar las respuestas de los miembros de la comunidad más que las de Gemini. Creo que es una pregunta legítima.