- Usando 1,903 personas de IA creadas a partir de datos reales de comentarios de Hacker News, se predijo si un título de publicación se volvería viral y se logró una precisión del 60%
- Esto representa un desempeño 20% superior al azar, lo que abre la posibilidad de reemplazar parte de la investigación de mercado tradicional, pero también mostró que la difusión social (dynamics) es la principal razón que dificulta la predicción
- El análisis de los casos fallidos confirmó la influencia de la suerte y el momento oportuno: unos pocos upvotes iniciales pueden cambiar todo el resultado
- Estos resultados sugieren que, aunque la IA puede modelar bien las preferencias individuales, choca con límites al intentar predecir el éxito viral
- El autor recomienda usar la investigación de mercado con IA más para explorar direcciones que para hacer predicciones exactas, y centrarse en evaluación relativa y simulaciones repetidas
Resumen del experimento y resultados
Método del experimento: una comunidad virtual de Hacker News compuesta por IA
- Se recopilaron 1,147 títulos de publicaciones de Hacker News publicadas el 12 de marzo de 2025
- A partir de comentarios de usuarios reales, se crearon 1,903 personas de IA y a cada una se le preguntó "si le daría upvote a ese título"
- Luego se mezclaron publicaciones realmente populares y no populares, y se midió la precisión de las predicciones
- La tasa de acierto fue de 60%, un resultado significativamente mejor que el azar (50%)
Casos de fallo y límites de la predicción
- “Gemma 3: Google’s new multimodal models” fue predicha por la IA como viral, pero en realidad se quedó en 4 upvotes
- En cambio, “Gemma 3 Technical Report [pdf]”, sobre el mismo tema, registró 1,324 upvotes
- Además, títulos llamativos como “TSA finds live turtle in man’s pants” también fueron considerados exitosos por la IA, pero en la práctica fracasaron
Análisis de las causas
- Que algo se vuelva viral depende mucho más del contexto social —exposición inicial, cantidad de upvotes, timing— que de la calidad individual del contenido
- Un estudio de Princeton mostró que, al exponer la misma lista de canciones de forma diferente según el grupo, algunas terminaban siendo un gran éxito o un fracaso total repetidamente
- Conclusión: más que “el buen contenido triunfa”, lo que domina es el efecto de red de que “el contenido que tuvo la suerte de ser visto termina triunfando más”
Implicaciones prácticas: cómo usar la investigación de mercado con IA
- Las predicciones de personas de IA no son perfectas, pero ofrecen una 'precisión útil' del 60%
- La precisión de más del 90% que afirman otras herramientas de investigación de mercado con IA se basa en datos de encuestas, así que difiere bastante de predecir viralidad real
Estrategias de uso en la práctica
- Usarla no para predecir, sino como herramienta de experimentación repetida y exploración de dirección
- Ejemplo: probar 10 titulares para descartar candidatos débiles
- Validar mediante simulaciones repetidas
- Ejemplo: si un contenido recibe alta evaluación en 6 de 8 intentos o más, vale la pena probarlo
- Concentrarse en comparar ranking relativo más que valores absolutos
- La IA distingue bien entre opciones claramente fuertes y débiles, pero le cuesta predecir entre contenidos parecidos
Probarlo tú mismo: prompt para replicar usuarios de HN
- Si copias el texto de la página de comentarios de un usuario de Hacker News y lo pegas en ChatGPT o Claude con el siguiente prompt, puedes crear una persona virtual.
You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- Después puedes probar varias ideas de contenido con la persona generada
- Aunque este método no ofrece predicciones ajustadas estadísticamente, puede servir como una herramienta útil para explorar direcciones sin costo
Conclusión
- La IA puede modelar bastante bien la reacción de usuarios individuales, pero el éxito viral está influido por el 'caos' de la difusión social
- Al final, en la predicción de contenido la IA no puede ser un oráculo, sino apenas una guía de dirección
- Aun así, este experimento abre la posibilidad de que equipos pequeños o personas individuales hagan investigación de mercado con IA a bajo costo
Aún no hay comentarios.