2 puntos por soungjunban 8 시간 전 | Aún no hay comentarios. | Compartir por WhatsApp

Registro de la creación de un pipeline para auditar con agentes LLM una app iOS de red social operada en 21 idiomas (unas 130 mil líneas), y de su ejecución durante un día.

  • Se separaron los roles de buscador de bugs y verificador, y se definió el criterio de decisión no por mayoría, sino como "fracaso al refutar", logrando 0 falsos positivos
  • Los reportes de hallazgos se recibieron con salida obligatoria según un esquema JSON, bloqueando estructuralmente los reportes alucinados
  • Se inyectó en el prompt una lista de bugs ya conocidos para evitar hallazgos repetidos, y se usó como condición de término repetir rondas hasta que hubiera 0 hallazgos nuevos
  • Resultado: 6 rondas, unos 180 agentes, 55 bugs confirmados reparados y 3 correcciones a medias detectadas por la etapa de verificación

También se resumen las decisiones de diseño, como con qué lentes se hizo el fan-out y por qué se hizo refutar de nuevo el código corregido, junto con lo que la auditoría estática no puede ver (sus límites).

Aún no hay comentarios.

Aún no hay comentarios.