Recientemente, con el rápido aumento de los servicios de IA generativa, se están produciendo cambios fundamentales en el rol del PM.
Lo mismo ocurre con el rol de QA.
Si antes el PM definía los requisitos (Spec) y QA verificaba el funcionamiento correcto de las funciones (Pass/Fail), en la era de la IA la calidad se ha convertido en un área que el propio PM debe 'definir' y 'evaluar'.
- ¿Por qué el PM, y no QA, es responsable de la calidad?
- Ausencia de una respuesta correcta: las respuestas de la IA no se reducen a estar bien o mal, sino que existen sobre un espectro de "mejor o peor".
- Subjetividad de la evaluación: criterios cualitativos como "¿suena natural?" o "¿es útil?" solo pueden ser definidos por el PM, que es quien mejor conoce la visión del producto.
- Definir es calidad: en los servicios de IA, la calidad no se asegura con pruebas, sino que comienza al definir desde el inicio qué es un "buen resultado".
- Comparación de gestión de calidad: servicios generales vs. servicios de IA
Los servicios de software tradicionales y los servicios de IA presentan grandes diferencias, desde la forma de entender la calidad hasta la manera de gestionarla.
-
Criterios y juicio de calidad: en un servicio general, el documento de planificación es la respuesta correcta. Es un método similar a un cuestionario de verdadero/falso, donde se puede separar claramente "correcto/incorrecto (Pass or Fail)", como verificar si un botón funciona o si un pago se procesa. En cambio, en un servicio de IA no existe una respuesta correcta clara, sino solo una "respuesta modelo". La calidad está sobre un espectro continuo, por lo que se parece más a calificar una pregunta de desarrollo: más que decidir si es correcta o no, se evalúa qué tan optimizado está el resultado.
-
Núcleo y responsabilidad de la gestión de calidad: en un servicio general, lo importante es el "aseguramiento de la calidad (QA)", que verifica si las funciones se completaron según lo planificado, y esa responsabilidad suele recaer en el equipo de QA. Pero en un servicio de IA, lo central es el "diseño de evaluación", es decir, establecer el criterio de qué constituye un buen resultado. Por eso, el PM, que es quien mejor conoce la visión del producto, se convierte en el responsable final de la calidad.
-
Cambio en la forma de validación: antes se probaba si las funciones operaban según escenarios predefinidos; en los servicios de IA, en cambio, se realiza una evaluación cualitativa (Human Eval), donde una persona revisa directamente los resultados y juzga su calidad. Además, se utiliza un LLM como evaluador (LLM Judge), entrenado con los criterios definidos por el PM, para validar grandes volúmenes de datos de forma automatizada y así mejorar la calidad.
- Gestión de calidad en 5 pasos para PM de IA
- Asignar puntajes directamente con una guía: extraiga datos de muestra y califíquelos usted mismo para reconocer sus propios criterios de juicio.
- Formalizar los criterios: defina en un lenguaje explicable sensaciones ambiguas como "especificidad" o "realismo".
- Construir un dataset: cree una lista de las preguntas clave que el servicio debe resolver y sus respuestas modelo.
- Automatizar la evaluación (LLM Judge): haga que un LLM evalúe grandes volúmenes de resultados con base en los criterios definidos.\
- Cuestionar las métricas: si la puntuación de evaluación sube pero la satisfacción del usuario sigue baja, reevalúe los criterios mismos.
💡 InsightAhora,
un PM ya no es simplemente alguien que crea funciones, sino alguien que diseña los criterios con los que se juzga el valor del producto. La experiencia de definir qué es un buen resultado y construir una estructura para medirlo será la ventaja competitiva más poderosa para los PM en la era de la IA.
2 comentarios
Al leer el blog completo, veo que en realidad es el trabajo que originalmente hacía un PM. Solo que ahora, con la llegada de la era de la IA, parece que la forma de hacerlo está cambiando poco a poco. Muy buenos insights, gracias por compartirlos.
Gracias.
Tanto la planificación como el diseño han ido cambiando constantemente, pero siento que el ritmo se acelera cada vez más.