La capacidad de storytelling futuro de ChatGPT: explorando prompts narrativos para mejorar las predicciones

• Este estudio investiga la capacidad de predicción de ChatGPT-3.5 y ChatGPT-4 de OpenAI usando dos estrategias de prompting claramente distintas: predicción directa y narrativas futuras.

• El análisis se enfoca en eventos ocurridos en 2022, después del corte de los datos de entrenamiento del modelo en septiembre de 2021, para evaluar su capacidad de predecir eventos futuros.

• Los resultados del estudio muestran que los prompts de narrativa futura mejoran significativamente la precisión predictiva de ChatGPT-4, especialmente para predecir a los principales ganadores de los Premios de la Academia y las tendencias económicas.

• Los prompts narrativos de ChatGPT aprovechan su capacidad para construir narrativas alucinadas, lo que permite una síntesis y extrapolación de datos más efectiva en comparación con la predicción directa.

• Este estudio destaca un nuevo aspecto de la capacidad predictiva de los modelos grandes de lenguaje (LLM) y sugiere posibles aplicaciones en contextos analíticos.

• El equipo de investigación contrató a 2 asistentes de investigación y les hizo consultar a ChatGPT 50 veces por prompt para generar una distribución de respuestas, lo que dio un total de 100 ejecuciones por prompt.

• Los resultados se presentan como diagramas de caja que describen la distribución completa de respuestas para cada prompt, ofreciendo ideas sobre el rendimiento y las limitaciones del modelo.