Como trabajo en una industria donde números de parte inventados o cálculos silenciosamente incorrectos terminan colándose hasta los planos, la BOM y las órdenes de compra,
llevo meses usando en producción un arnés que trata las respuestas de LLM como si fueran documentos con la regla de "prohibido liberar antes de pasar la inspección".
Publico una instantánea curada con la información personal y de dominio eliminada.
- 13 tipos de compuertas de verificación antes de emitir una respuesta: bloqueo de invenciones (prohibido generar por estimación números de parte o DOI),
reejecución aritmética con Bash, aislamiento de prompt injection, contraste con la salida real de herramientas cuando se afirma "lo ejecuté",
y compuertas de prevención de reincidencia que convierten casos fallidos en un conjunto dorado de regresión, entre otras - A todas las cifras clave, citas y afirmaciones causales se les asignan 3 niveles de confianza — las citas basadas en memoria llegan como máximo a amarillo, y el verde solo se da tras verificación directa
- Las conclusiones con umbral de seguridad se vuelven a derivar en paralelo con modelos heterogéneos (Gemini, Groq, OpenAI CLI) y luego se evalúa su convergencia — bajo la premisa de que la autoverificación con el mismo modelo comparte los mismos puntos ciegos
- Pipeline de INTAKE para la cadena de suministro de skills/plugins externos: solo se incorporan después de aislamiento → escaneo estático → lectura humana completa → rebuild
(las instrucciones en lenguaje natural también se tratan como amenazas del mismo nivel que el código) - Los nuevos verificadores se miden primero en modo sombra por su tasa de falsos positivos antes de promoverlos, y las afirmaciones verificadas se cargan en un libro mayor para contrastar contradicciones automáticamente
Los hooks de compuertas y verificadores son código Python que realmente funciona, e incluyen pruebas de regresión.
Se puede clonar y ejecutar de inmediato sin dependencias adicionales:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
Si cableas los hooks con settings.example.json, las compuertas también funcionan en tu propio entorno.
No es una distribución para instalar completa, sino una estructura para elegir y acoplar hooks y verificadores por unidad.
Buena parte de la documentación está en coreano; la arquitectura y el README están en inglés.
Aún no hay comentarios.