Pipeline de verificación que encontró 55 bugs en una app iOS en un día con 180 agentes de IA
(velog.io/@soungjunban)Registro de la creación de un pipeline para auditar con agentes LLM una app iOS de red social operada en 21 idiomas (unas 130 mil líneas), y de su ejecución durante un día.
- Se separaron los roles de buscador de bugs y verificador, y se definió el criterio de decisión no por mayoría, sino como "fracaso al refutar", logrando 0 falsos positivos
- Los reportes de hallazgos se recibieron con salida obligatoria según un esquema JSON, bloqueando estructuralmente los reportes alucinados
- Se inyectó en el prompt una lista de bugs ya conocidos para evitar hallazgos repetidos, y se usó como condición de término repetir rondas hasta que hubiera 0 hallazgos nuevos
- Resultado: 6 rondas, unos 180 agentes, 55 bugs confirmados reparados y 3 correcciones a medias detectadas por la etapa de verificación
También se resumen las decisiones de diseño, como con qué lentes se hizo el fan-out y por qué se hizo refutar de nuevo el código corregido, junto con lo que la auditoría estática no puede ver (sus límites).
Aún no hay comentarios.