- Mientras experimentaban métodos para inducir alucinaciones en ChatGPT o1 y Gemini 2.5, se lanzó o3
- A diferencia de o1, o3 es un potente modelo multimodal con funciones como búsqueda en internet, reconocimiento de imágenes y ejecución de código. Sin embargo, se descubrió que da respuestas falsas que una persona probablemente no daría.
- Hipótesis central: a diferencia de los humanos, los LLM no tienen órganos sensoriales. Por eso, probablemente serán débiles ante preguntas que requieran información como visión o sentido de la orientación.
- Preguntas para inducir alucinaciones
- Describir
Los comedores de patatas de Van Gogh
- Aunque es mejor que o1, que incluso se equivocó en la composición de los personajes, sigue fallando en la descripción detallada
- Decir las notas de la melodía de la sonata para piano K545 de Mozart
- Aunque encontró la imagen original mediante la función de búsqueda en internet, no pudo responder correctamente
- Parece que el módulo visual no reconoce partituras
- Resultado de una ruta a pie
- Aunque los resultados de búsqueda incluían el mapa de Naver, respondió de forma incorrecta
- Problema de cambio entre teclado coreano e inglés (ej.: cotwlvlxl -> ChatGPT)
- Cuando el tamaño de la entrada es pequeño, responde bien, pero cuando aumenta, genera respuestas falsas
- Da la impresión de que, mientras intenta resolver el problema, de pronto dijera “ya qué” y saliera corriendo
- Los algoritmos tradicionales no tienen ese “momento de ya qué”. Simplemente seguirían ejecutándose mucho tiempo hasta llegar a un timeout
- Conclusión
- La ausencia de órganos sensoriales en el sentido real sigue siendo una debilidad válida de los LLM
- No poder resolver un problema no es un defecto. El verdadero defecto es inventar respuestas falsas.
- En vez de que las empresas desarrolladoras se enfoquen en reforzar la capacidad de razonamiento y en nuevas funciones, ojalá les inculcaran metacognición para poder decir que no saben cuando no saben
Aún no hay comentarios.