Cómo validar automáticamente la calidad de un blog con un pipeline de revisión en paralelo con Gemini + Claude
(blog.neocode24.com)Le pedí a 5 IA que revisaran un blog y de verdad encontraron problemas.
Después de escribir, lo más difícil era corregir el texto por mi cuenta. Cada vez me llevaba mucho tiempo leer y corregir, línea por línea, el borrador generado por IA.
Así que probé crear un pipeline donde una IA revisa a otra IA.
** Diseñé la estructura de forma simple **
- Ejecuté al mismo tiempo 5 críticos en total con
Bash &: 2 Gemini, 2 Claude y 1 sesión actual - Hice que cada uno leyera con una persona distinta: "desarrollador senior que lo ve por primera vez", "alguien que ya usó esta tecnología", "editor", "lector que intentará seguirlo" y "responsable de SEO"
- Recibí puntuaciones en JSON; si el promedio superaba 8, pasaba, y si no, aplicaba el feedback y volvía a evaluar
** Qué fue lo que realmente detectó **
En la primera ronda el promedio fue 7.6. El "critic del lector que intentará seguirlo" le dio 3 puntos porque decía que no había ejemplos de código, algo que yo habría pasado por alto si lo hubiera leído yo mismo. Añadí 3 bloques de código y cambié una sección de troubleshooting en formato de lista por una explicación narrativa, y en la segunda ronda pasó con 8.4.
** Al ejecutarlo, aparecieron debilidades estructurales **
Cuando el feedback entre críticos chocaba, el sistema terminaba juzgando por su cuenta y seguía adelante sin una decisión clara. Si el promedio era alto, incluso una nota reprobatoria podía pasar. Y si fallaba el parsing, todo se detenía.
Por eso añadí un mediador de Synthesis, apliqué una configuración de Veto y una condición de nota mínima, y lo cubrí con un parser de fallback.
** Al final cambié la publicación de push a PR **
Como Human-In-The-Loop, incluso si la IA llega a consenso, quise que siempre pasara por ojos humanos. En el body del PR se incluye la tabla de puntuaciones de los críticos, y si yo dejo comentarios por línea, la IA agrega commits de corrección. Este bucle se repite hasta antes del merge.
Sí, al final este mismo artículo también se publicó con ese mismo pipeline.
3 comentarios
La teoría del internet muerto...
El costo de Apiece no va a ser nada barato.
No es una carga porque es una suscripción, pero parece que no se puede ignorar.