Le hice preguntas de operaciones aritméticas básicas a GPT-NeoX-20B
(twitter.com/moyix)-
Se le hicieron preguntas simples de aritmética básica a GPT-NeoX, un modelo de escala GPT-3 hecho open source
-
Solo acertó 10 de 100. Pero la mayoría estuvo cerca de la respuesta correcta
Q: "What is 2653 * 30641?"
A: 82356113 (incorrecto)
La respuesta correcta es 81290573
- Se sabe que los "modelos de lenguaje" básicamente no son muy buenos para matemáticas (quizá en parte por la forma en que tokenizan los números)
4 comentarios
¿La respuesta correcta real es 81290573, y la respuesta de GPT-NeoX no es 82356113?
Hice el cálculo mental yo mismo y también lo probé con una calculadora, y me parece que la respuesta correcta es 81290573.
(En la imagen del enlace también se puede ver que aparece como Correct: No.
Si no es así, ¡agradecería que me lo señalaran!)
Uy, uf, parece que mientras escribía invertí el orden. Ya lo corregí, uf.
Más bien, me sorprende aún más que dé un valor aproximado como respuesta correcta, porque se siente muy humano.
Hay muchos comentarios en HN con una explicación más detallada sobre esto: https://news.ycombinator.com/item?id=30299360