¿Existe alguna herramienta o proyecto que registre, al usar IA, el input y output, y el comportamiento del proceso (como búsquedas web, permisos de ejecución, ejecuciones, etc.), es decir, todas las acciones visibles a nivel del sistema?
Aunque sea de forma parcial, también sirve. Ya sea un servicio comercial o algo similar.
En el caso de Claude Code, por ejemplo, se ejecuta Claude desde CMD escribiendo claude, y después registrar el input y output, así como las tareas que va ejecutando el proceso de Claude mientras corre (red, acciones locales, etc.)...
10 comentarios
No sé si es exactamente lo que buscas, pero para el seguimiento de modelos existe un proyecto de código abierto llamado https://langfuse.com/.
No sé si está bien dejar en un comentario algo que hice yo mismo, pero lo dejo porque creo que podría ayudar si justo están buscando una herramienta así. (Si esto no está permitido, disculpas.)
No registra absolutamente todas las acciones de la IA, pero estamos creando un servicio que deja log de qué se consultó y cómo se llegó a cierta respuesta. Hicimos pivot desde un simple semantic hub. Registramos hashes en un libro mayor externo basado en árbol de Merkle y aplicamos witness mediante rekor para evitar alteraciones o falsificaciones.
Si se trata de un modelo no LLM con pocos parámetros, también se puede aplicar zkml para verificar la consistencia entre la entrada y la respuesta generada.
Si ponen el demo audit log de abajo en el verificador de pruebas de logs que está al final de la página principal, podrán revisar qué tipo de verificaciones se pueden hacer.
Página: https://hub.rawctx.dev/
Demo audit log: https://github.com/pasar6987-create/rawctx-demo-audit-log/…
Al poner la pregunta en Gemini, aparecen algunos. ¿Ya habías buscado así?
Perdón por meterme, pero creo que este tipo de comentarios afectan negativamente el ambiente de la comunidad.
Si alguien tiene una duda, estaría bueno que pueda preguntarla libremente,
y eso de “búscalo tú”...
sobre todo porque ya hay mucha gente cansada del AI slop, así que decirles que dependan de respuestas de LLM, menos aún..
Es comprensible que quieras escuchar las respuestas de los miembros de la comunidad más que las de Gemini. Creo que es una pregunta legítima.
Yo lo armé con clickstack. Configuré otel para que enviara los datos así.
¿No son esas las funciones que ofrecen Litellm proxy y LangSmith?
¿Argos o Cursor Mafia? Hay un servicio operado por alguien que hace vibe coding y que viene del equipo de desarrollo de Toss; también permite self-hosting, se pueden monitorear varias cuentas desde la API key o el plan, y parece que tiene las funciones que mencionas, como cuántas sesiones corrieron, qué herramientas se usaron, etc.
No recuerdo bien si funcionaba solo con Claude, pero si piensas hacerlo a medida, quizá valga la pena revisarlo por dentro.
Si es para Claude Code, prueba
cc-token-saver(https://github.com/ww-w-ai/cc-token-saver).Claude Code registra en un transcript (
.jsonl) por cada sesión todas las entradas/salidas y las llamadas a herramientas (leer y escribir archivos, ejecutar bash, solicitudes web, etc.), ycc-token-saverlo parsea para visualizar en un dashboard HTML qué se hizo en cada sesión y dónde y cuánto se gastó en tokens. Puedes ver de un vistazo "qué archivos tocó la IA en esta sesión, cuántas veces ejecutó comandos y cuánto costó".En particular, la skill
/continuees una función que analiza el transcript para restaurar sesiones existentes, pero como la función de análisis del transcript se puede usar igual, también puedes darle una instrucción como: "Analiza la entrada, la salida y la información de red para el caso de/continue ~". (El LLM lo adaptará y aplicará por su cuenta de forma adecuada)No solo para IA; puedes usar
stracey varias otras herramientas de depuración.Si lo vas a desarrollar lo bastante bien como para un servicio, te conviene revisar herramientas basadas en eBPF.