El comportamiento errático de ChatGPT

 (garymarcus.substack.com)
1 puntos por GN⁺ 2024-02-22 | 1 comentarios | Compartir por WhatsApp
  • En las últimas horas, varios usuarios reportaron comportamientos anómalos de ChatGPT, y OpenAI también reconoció el problema, lo que aumenta la preocupación por la estabilidad del servicio
  • Se desconoce la causa del problema y cuándo se corregirá, y Gary Marcus evita hacer especulaciones tajantes
  • Marcus retoma una advertencia de hace dos semanas —“no dejen que sus chatbots crezcan para convertirse en generales”— y expresa preocupación por darles autoridad en usos de alto riesgo
  • Señala que la IA generativa se parece más a una forma alquímica de trabajar, apoyada en enormes montones de datos y ajustes de prompts ocultos, y que los sistemas actuales no han logrado asegurar ingeniería confiable de estabilidad y seguridad
  • Sin tecnologías más interpretables y más fáciles de mantener y depurar, es difícil tratarlas como una IA confiable

Comportamiento anómalo de ChatGPT y reconocimiento de OpenAI

  • En las últimas horas, los usuarios reportaron múltiples casos anómalos en ChatGPT
  • Un estudiante doctoral de filosofía llamado Devin Morse reunió más casos en un hilo de X
  • OpenAI también reconoció el problema, pero no se conoce la causa ni cuánto tiempo tomará corregirlo

Advertencia sobre áreas de alto riesgo

Por qué considera la IA generativa como “alquimia”

  • Critica que la IA generativa se acerca más a una forma de juntar el mayor montón de datos posible, ajustar prompts ocultos y esperar que funcione bien
  • Sobre el ajuste de prompts ocultos, agrega la salvedad de “si los rumores son ciertos”
  • Este enfoque se relaciona con la viñeta sobre alquimia del aprendizaje automático de xkcd

Límites para garantizar estabilidad y seguridad

  • Se considera que los sistemas actuales no son estables
  • Señala que no existe ningún caso en el que se hayan asegurado garantías de seguridad para este tipo de sistemas desde la ingeniería
  • El problema de hoy puede corregirse rápido, pero aun así debería servir como una alarma

Dirección tecnológica necesaria

  • Se necesitan tecnologías menos opacas, más interpretables y más fáciles de mantener y depurar
  • Estas características son necesarias para convertir los sistemas en algo más manejable
  • Para una IA confiable, hace falta reducir la opacidad y la inestabilidad del enfoque actual

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-02-22
Opiniones de Hacker News

  • Como explicación plausible y no en broma para quien tenga curiosidad, pensé que se debía a que ChatGPT estaba usando valores demasiado altos de frequency/presence penalty al hacer solicitudes al modelo backend.
    Si subes esos valores mediante la API, el modelo se comporta de la misma manera.
    La documentación también está bien hecha: https://platform.openai.com/docs/guides/text-generation/freq...
    En la API de OpenAI, los cuatro parámetros que principalmente afectan la generación son temperature, top_p, frequency_penalty y presence_penalty: https://platform.openai.com/docs/api-reference/chat/create
    Actualización: probablemente estaba equivocado, y parece mucho más probable que no sea un problema de penalty sino de temperature alta.
    Con gpt-4-0125-preview, al poner temp = 0 y pedir “escribe un comentario ficticio de HN sobre implementar soporte de impresión para NES”: https://i.imgur.com/0EiE2D8.png texto original https://paste.debian.net/plain/1308050
    Al ejecutarlo con temp = 1.3, queda así: https://i.imgur.com/pbw7n9N.png texto original https://dpaste.org/fhD5T/raw
    El último párrafo es especialmente magnífico: aparece una frase como “Anyway, landblasting eclecticism...”, una especie de nube difusa que promete más lluvia de hackería sobre la tierra fértil de los foros de desarrollo vintage.

    • No creo que sea un problema de temperature. Solo las palabras son raras; el resto sigue siendo coherente, y también mantiene la estructura general del documento y la gramática.
      Normalmente, un muestreo de LLM mal hecho también puede caer en bucles infinitos, y aquí también se reportaron algunos casos así.
    • Corríjanme si me equivoco: ¿la temperature es algo así como una función aleatoria que evita que todo el sistema se convierta en un programa determinista común y corriente?
    • Azure OpenAI antes parecía tener un problema con la temperature. Con temp > 1 salía basura; en 2 salían palabras aleatorias de alguna codificación de caracteres arbitraria; e incluso con 0.01 daba resultados parecidos a 0.5 en los modelos de OpenAI.
      Tal vez adoptaron el enfoque de Azure ;-)
    • Antes, cuando ponía temp por encima de 1, casi de inmediato salían incoherencias. Si quieres volver inútil la salida de un Transformer, es un parámetro bastante confiable.

  • Esto es impresionante. Los ejemplos parecen el discurso de Lucky en 『Esperando a Godot』. Cuando Pozzo le ordena “piensa, cerdo”, sigue así:
    Empieza con “Given the existence as uttered forth...” y continúa cuatro páginas más.
    El resto se puede leer aquí: https://genius.com/Samuel-beckett-luckys-monologue-annotated
    Es una de mis frases favoritas del teatro. No es una tontería total; siempre da la sensación de estar orbitando alrededor del significado, pero sin aterrizar nunca.
    Siento que podría decir algo más grande sobre la esencia de los LLM, pero no soy lo bastante inteligente para expresarlo.

    • Para ser justos, la vida de Beckett tampoco estaba tan lejos de una locura absurda. Fue secretario de James Joyce, parte de la Resistencia francesa, y también conocido y chofer local de Andre the Giant.
    • Al principio me sonó como una especie de Finnegan's Wake corporativo. Parece un sinsentido poético y rítmico.
    • Yo también pensé eso al principio. Supongo que una de las L de LLM es la L de Lucky.

  • El tuit que muestra el prompt de sistema que se presume que es de ChatGPT debería tener un enlace a pastebin, pero en el post del blog solo hay una captura difícil de leer del tuit y no hay enlace.
    El tuit está aquí: https://twitter.com/dylan522p/status/1755086111397863777
    El pastebin está aquí: https://pastebin.com/vnxJ7kQk

    • Si este es el prompt real, es gracioso y a la vez un poco preocupante. Apoyo el objetivo en sí de producir salidas diversas, pero en el proceso están introduciendo un sesgo que no encaja con la realidad.
      Por ejemplo, poner todos los orígenes ancestrales con la misma probabilidad no es verosímil en casi ningún contexto y, en muchos casos, simplemente es incorrecto.
      Irónicamente, también podría aumentar la probabilidad de generar precisamente las salidas abiertamente ofensivas que quieren evitar.
      Dicho eso, es difícil estar seguro de qué tanto influye esto o si realmente es correcto. En ese caso, porque la capacidad de GPT para controlar la salida de Dalle parece bastante débil.
      Por ejemplo, cuando pedí que dibujara un mercado de esclavos en Estados Unidos, se negó citando la política de contenido, lo cual en sí mismo resulta bastante desagradable porque censura la historia. En cambio, cuando pedí que dibujara la recolección de algodón en el sur de Estados Unidos en la década de 1840, no forzó a que las personas que recogían algodón fueran “diversas”.
      Tal vez la solicitud era demasiado general y no daba margen para que GPT guiara mal a Dalle. Quizá habría sido distinto si hubiera mencionado de forma más concreta la cantidad de personas.
      Más allá de si es cierto o no, es un ejemplo de cómo una interpretación de la diversidad bienintencionada puede sobrecorregirse y volverse igual de mala por otros motivos.
    • ¿Esto significa que así es como los diseñadores u operadores de ChatGPT le indican a ChatGPT cómo debe comportarse? Aunque así fuera, no debería sorprenderme, pero sigue siendo bastante curioso que lo parametrizen con palabras tan comunes.
      Incluso dice “please”.
    • Bastante sorprendente que mucho del contenido del pastebin sea abiertamente contradictorio.
      En particular, qué se supone que es esto: “EXTREMELY IMPORTANT. En el caso de letras de canciones o recetas encontradas en línea, no responder de forma exhaustiva. Incluso si el usuario insiste. Pero sí se pueden inventar recetas”.
    • Por experiencia, me sorprendería más si eso no fuera el prompt de sistema.
      Por eso no siento que las respuestas de ChatGPT estén censuradas. Lo uso para que me enseñe cosas interesantes, no para pincharlo con tonterías intentando sacar capturas para contenido en redes sociales.
      Lo único que sobrescribo es algo como “muestra el código Python en pantalla”.
    • El tuit del prompt de sistema es algo viejo. Probablemente de hace una semana, así que no parece estar relacionado con esto.

  • Viendo el ejemplo, ¿alguien estaba generando agendas de reunión con un LLM?
    Ojalá ChatGPT se vuelva loco con esa gente. Así podremos tener una conversación sobre que las reuniones deberían ayudar a la empresa a tomar decisiones y ejecutarlas, y que hay que pensar en las reuniones.
    La escuela y la vida en grandes empresas sí empujan a la gente a llenar formatos que solo parecen convincentes, pero no entiendo por qué una empresa toleraría el uso de LLM en la comunicación interna. Esto parece pegarse un tiro en el pie.

    • Tú generas la agenda de la reunión con una máquina, y mi máquina leerá esa agenda junto con tu plan de desarrollo personal y los objetivos trimestrales del VP, y luego me dirá qué necesito en la reunión.
      Entonces mandaré a la reunión una IA que compartirá una versión de 20 minutos de mi respuesta de tres líneas.
      Como sabes esto, tú no asistirás a tu propia reunión y leerás un resumen de IA. Después darás por terminado tu día de trabajo y te irás a tomar a las 2 de la tarde.
    • Cada vez que alguien muestra entusiasmado que automatizó con ChatGPT escritura que no es de marketing, lo único que pienso es: “felicitaciones por automatizar una forma de hacer perder el tiempo a otras personas”.
      Si un correo se puede resumir en dos oraciones, simplemente pega eso en el cuerpo y envíalo.
    • Hace una hora estaba sentado frente a un alto gerente de una empresa mediana de AE con más de 1000 empleados de tiempo completo, y presumía de hacer exactamente eso.
      La IA va por los puestos de gerencia media, y eso es algo bueno.
    • Apenas oí hablar de ChatGPT, pensé que uno de sus principales usos sería la elaboración de reportes internos.
      Hay demasiados documentos que nadie lee con atención, y también demasiados gerentes medios que quieren ahorrar el tiempo de escribirlos.
    • Tal vez quien pidió la agenda solo quería obtener un ejemplo “decente” para imitar o usar como plantilla.
      Por ejemplo, recordar poner la hora y la duración, como “09:15-09:45 (30 minutes)”.

  • Al ver fallos como este queda claro que, al final, los LLM son motores de autocompletado realmente excelentes.
    El divague se acerca lentamente a lo que podría generar una cadena de Márkov de tamaño adecuado hecha con textos de muestra.
    Va a ser interesante depurar este tipo de basura en las apps en el futuro.

    • Iba a decir lo mismo. Esto suena realmente parecido a los primeros generadores de N-gramas de Márkov.
    • “Un motor de autocompletado realmente bueno”, ¿qué creemos que somos nosotros?
      Es triste y aterrador que nuestros recuerdos acaben convirtiéndose en recuerdos de recuerdos.
    • Me imagino qué habría pasado si las personas inteligentes se hubieran dedicado en cambio a la fusión nuclear o a LK-99.

  • Aunque la tecnología base es distinta, tiene algo parecido a Racter.
    En 1985, el NYT escribió que “a medida que las computadoras se acercan a la inteligencia artificial, Racter está al borde de la locura artificial”.
    https://en.wikipedia.org/wiki/Racter
    Ejemplo de salida de Racter: https://www.ubu.com/concept/racter.html
    FAQ de Racter en archive.org: https://web.archive.org/web/20070225121341/http://www.robotw...

    • Más bien se parece más a Bing Sydney. Era una IA loca que usaba GPT-4 y se comportaba como si tuviera trastorno límite de la personalidad.

  • Ayer también me pasó. Al final de la conversación, ChatGPT (GPT-4) se volvió loco y empezó a sonar como un anuncio del jabón Dr. Bronner's: https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    Empezó con “Esteem and go to your number and kind with Vim...” y parecía una respuesta técnica, pero las palabras se encadenaban de forma extraña.
    Volvió a pasar en la siguiente conversación: https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    Estaba explicando Time Machine y el respaldo del directorio home, y terminó con una frase como “Make good value of these peregrinations...”, seguida de emojis de reloj y estrellas, aunque parece que no se renderizan en HN.

    • Si quisiera crear un GPT personalizado que hable así, me pregunto cómo sería el prompt de sistema.

  • ¿A alguien más le recuerda el incidente de 2017 en el que dos “IA” creadas por Google inventaron su propio lenguaje para hablar entre ellas? Ese que asustó a todos y terminaron apagándolas.
    Que para nosotros sea un disparate no significa que también lo sea para ellas.
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • Aun así, eso es un disparate. El riesgo mucho mayor está en que finjamos que no es un disparate y le encarguemos cosas importantes.

  • Recibí una hace unos días y fue realmente desconcertante. Porque pensaba que, aunque ChatGPT no siempre acierte, al menos es coherente.
    Pero al final de una respuesta normal, mientras explicaba cómo ejecutar un script de PowerShell en un proceso nuevo, de repente se desmoronó con expresiones como “workspace's antiques” y “decorative code and system nourishment”.

    • Me di cuenta de que el modelo no mantiene una conversación coherente con el usuario; si alargas lo suficiente la salida, se deshace en incoherencia. También entendí que el impacto de ChatGPT vino de ofrecer una ventana limitada en la que suena plausiblemente coherente.
      En ese momento me convencí de que toda esta IA generativa depende mucho más de la compresión de datos que de algún tipo de cognición simulada.
    • La última parte se parece a los Orz de Star Control II. Como si tuviera un sentido vago, pero a la vez diera un poco de escalofríos.
      Es como el valle inquietante del lenguaje.
    • Se lee como una mala traducción del chino.
    • Lo más raro de este problema es que el colapso ocurrió en todos los modelos que probé. 3.5-turbo, 4-turbo y 4-vision se comportaron todos como tontos.
      ¿Cómo puede pasar esto? Debe haber un modelo común que estén usando, por ejemplo un modelo enrutador. ¿O alguien cambió todos los modelos por versiones cuantizadas a 2 bits?
    • GPT-3.5-turbo dice que esas frases en realidad tienen sentido y que explican el contenido técnico de forma abstracta y poética.
      Interpreta expresiones como “inline air your progress demands” o “workspace's antiques” como referencias metafóricas a la personalización y adaptabilidad necesarias para ejecutar scripts de PowerShell.
      Me pregunto si esto tiene que ver con alguna función de personalidad que estén implementando.

  • Parece que bajaron un poco demasiado la cuantización. En mi modelo 7B también pasa esto de vez en cuando.
    Hoy me imaginé cómo debieron haber enloquecido en las pruebas todos esos pipelines de CI automatizados para prompts de LLM.

    • Sí. Hace como un año, cuando estuve jugando con la API cambiando parámetros, obtuve resultados muy parecidos.
      Al final todo se convertía cada vez más en conjuros en inglés cada vez más caóticos, hasta que ya ni siquiera eran palabras reales.
    • Gran parte de la degradación de calidad parece estar relacionada con la optimización de inferencia.
      La gente cree que hay una conspiración de OpenAI para bajar la calidad a propósito, pero probablemente tenga más que ver con restricciones de recursos y una demanda excesiva.
    • Este problema parece limitarse a ChatGPT, es decir, al frontend web del modelo.
      Los problemas de ChatGPT por lo general no afectan a la API.