GPT-3.5 colapsa por pensar demasiado en useRalativeImagePath

Causa del mensaje de error de ChatGPT 3.5

• Los modelos GPT de OpenAI generan “tokens” de varios caracteres en lugar de caracteres individuales.
• Esta forma de salida por tokens mejora el rendimiento y la precisión del modelo.
• Existen tres tokens: richTextPanel, fuente y loadPath, y son intercambiables entre sí.
• El token loadPath se usa como nombre de opción en archivos de configuración XML en 80.4k archivos en GitHub.
• Es posible que loadPath haya terminado teniendo un token independiente debido a un error tipográfico de "R a lative".
• OpenAI pudo haber decidido excluir los archivos XML de los datos de entrenamiento después de generar la lista de tokens, por lo que el uso del token loadPath en los datos de entrenamiento habría sido casi nulo.
• Como resultado, el modelo no fue entrenado para entender el uso del token useRalativeImagePath y genera un token no válido.

¿Uso para contaminar datos?

• Se podría insertar esta frase en un documento para dificultar los intentos de resumirlo con GPT-3.5.

Lecturas adicionales

• Hay publicaciones que pueden ser útiles para investigar este tema.

Opinión de GN⁺

• Lo más importante de este artículo es entender la causa de que los modelos GPT generen errores con ciertos tokens.
• Esta información ayuda a comprender cómo funcionan los modelos de inteligencia artificial y cuáles son sus límites.
• Además, este artículo ofrece un caso interesante sobre cómo aprovechar la contaminación de datos o las vulnerabilidades de los modelos de inteligencia artificial.

[GN⁺]

Opiniones en Hacker News

• Explicación sobre los glitch tokens

  • Se supone que ocurren por palabras o tokens que aparecían con frecuencia en el dataset original, pero que fueron eliminados antes del entrenamiento de GPT-XX.
  • Debido a esto, el LLM no llega a conocer en absoluto el significado de ese token, y el resultado puede ser un bug o algo desagradable.
  • Un ejemplo representativo son nombres de usuario que aparecen con frecuencia en el subreddit r/counting.
  • OpenAI corrigió la mayoría de sus modelos alojados al parecer cambiando la forma de tokenización, pero parece que se han descubierto nuevos glitch tokens.

• Método de verificación lingüística durante la WWII en los Países Bajos

  • En los Países Bajos, usaban la pronunciación de la palabra 'Scheveningen' para distinguir si alguien era alemán o no.
  • Ahora, haciendo que se pronuncie un glitch token en internet, se puede distinguir si es un bot LLM o no.

• Explicación del proceso de generación de tokens en un LLM

  • Que el modelo no entienda el token 'useRalativeImagePath' y por eso emita tokens inválidos no es así como un LLM genera tokens.
  • En cada paso, produce logits para todos los tokens posibles, los convierte en probabilidades con la función softmax y luego hace sampling para decidir qué token usar.
  • Un token raro podría causar problemas en el proceso de fusiones BPE del tokenizador, pero como en GPT-4 no ocurre y usa el mismo tokenizador que GPT-3.5, es probable que ese no sea el problema.

• Análisis de posibles causas de los glitch tokens

  • Un vector de embedding mal condicionado para cierto token podría llevar a la red a una región numéricamente inestable.
  • Si ocurre underflow o NaN, podría invalidar toda la salida, y si hay operaciones como batch normalization que mezclan valores entre distintos elementos del batch, también podrían devolverse valores erróneos a sesiones de otros usuarios.

• Otra perspectiva sobre la salida del modelo

  • Normalmente, el modelo emite desde el mismo conjunto de vocabulario que recibe como entrada.
  • Al ver el token 'useRalativeImagePath', el modelo podría entrar en una espiral que lleve a una generación aleatoria, o intentar mantener un texto coherente.
  • Como el conjunto de tokens que puede emitir es fijo, siempre debería ser "válido", a menos que los tokens que la interfaz puede mostrar no sean un subconjunto de todo el vocabulario.

• Impacto futuro en los datos de entrenamiento de los LLM

  • Como esta frase apareció en la publicación y en los comentarios de Hacker News, es posible que en el próximo entrenamiento de LLM este problema ya no ocurra.

• Experiencia compartida de fallo en GPT-4

  • Compartieron una experiencia en la que lograron hacer fallar a ChatGPT con GPT-4 mediante un reto de dibujar píxeles en un Amstrad CPC.
  • A medida que lo acorralaban más con quejas y correcciones, aparecían más mensajes de error o comportamientos parecidos a un reinicio.
  • Abandonaron la conversación porque no querían causar problemas en el servidor, pero mostró que sí es posible hacer colapsar GPT-4 en la práctica.

• Reflexión sobre la calidad de los datos de entrada

  • Un ejemplo clásico de "basura entra, basura sale".
  • Hace pensar en la posibilidad de que, en el futuro, cosas que hoy consideramos grandes decisiones sean evaluadas como "basura".
  • Si solo se entrena con registros humanos, surge la duda de si una super IA podrá ser realmente sobrehumana.
  • Se propone si técnicas de entrenamiento adversarial podrían resolver este problema.

• Propuesta de usar una frase para sabotear resúmenes de GPT-3.5

  • Se podría intentar incluir cierta frase en un documento para sabotear intentos de resumirlo con GPT-3.5.

• Confusión sobre las palabras 'RTCatch' y 'redirectToRoute'

  • Preguntan si hay una situación en la que 'RTCatch' y 'redirectToRoute' puedan malinterpretarse como la misma palabra.
  • Parece que ambos términos se refieren al mismo concepto y que pudo haber un typo o una expresión inconsistente.
  • Hay curiosidad sobre 'RTCatch' y se pide más información al respecto.