El comportamiento desbocado de ChatGPT

ChatGPT se volvió loco

• No es una broma que ChatGPT se haya vuelto loco; es una cita y una advertencia.
• En las últimas horas, personas han reportado diversos problemas relacionados con ChatGPT.
• OpenAI también reconoció este problema.

La alquimia de la inteligencia artificial

• La IA generativa es una especie de alquimia: la gente reúne tantos datos como puede y manipula prompts ocultos para que todo funcione correctamente.
• Sin embargo, estos sistemas jamás han sido realmente estables, y todavía no existe una ingeniería que garantice la seguridad.
• Sigue siendo importante contar con nuevas tecnologías más transparentes, interpretables, fáciles de mantener y con capacidad de depuración.

Opinión de GN⁺

• El problema que enfrenta ChatGPT es un caso que muestra las limitaciones actuales y los problemas de estabilidad de la tecnología de IA.
• Estos problemas subrayan la necesidad de nuevos enfoques y tecnologías para mejorar la confiabilidad y la seguridad de la IA.
• Este incidente puede ser una llamada de alerta para desarrolladores y usuarios de IA, y ofrecer una lección importante para desarrollar una mejor tecnología de IA en el futuro.

[GN⁺]

Opinión de Hacker News

• Un usuario comentó que una respuesta reciente de ChatGPT le pareció confusa. Normalmente, al menos, sus respuestas eran consistentes, pero esta vez recibió una frase extraña. Se trataba de una explicación sobre cómo ejecutar un script de PowerShell, y al final de golpe usó una metáfora de antigüedades del espacio de trabajo o de aditamentos de código que lo dejó desconcertado.
• Otro usuario especuló que este tipo de respuesta confusa se debe a que, en la solicitud al modelo backend de ChatGPT, se establecieron demasiado altos los ajustes de penalización de frecuencia y de presencia. Dice que, al ajustar esos parámetros mediante la API, el modelo se comporta de forma similar. El API de OpenAI cuenta con cuatro parámetros que influyen principalmente en la generación (temperatura, top_p, penalización de frecuencia y penalización de presencia), y están bien documentados. Sin embargo, este usuario añadió que su primera suposición podría haber sido incorrecta y que el problema también podría deberse a una configuración con temperatura alta.
• Otro usuario dijo que los ejemplos compartidos le recordaban al discurso de Lucky en la obra "Waiting for Godot" de Samuel Beckett. Ese discurso es una pieza de texto que rodea el significado sin llegar a tocarlo, no un garabato absurdo total, sino que siempre queda flotando alrededor de un sentido. El usuario cree que podría haber un punto más grande sobre la naturaleza de los modelos de lenguaje grandes (LLM), pero no tiene el conocimiento para expresarlo claramente.
• Un usuario preguntó si hay alguien que use LLM para generar agendas de reuniones. Esperaba que ChatGPT pudiera conversar con ellos sobre lo importante que es una reunión para ayudar a la toma de decisiones y la ejecución dentro de la empresa en lugar de crear caos. La vida en escuelas y grandes corporaciones presiona a las personas a fabricar BS a través de una burocracia formal, pero permitir que una empresa use LLM en su comunicación interna le parece una forma de autodestrucción.
• Otro usuario recordó que Google hizo "AI" en 2017, cuando creó un lenguaje propio para comunicarse entre ellos. Señaló que, aunque suene como locura para nosotros, podría no parecerlo para ellos.
• Un usuario dijo que, al ver estas fallas, queda claro que un LLM no es más que un muy buen motor de autocompletado. Esos lamentos largos se parecen cada vez más a una cadena de Markov bastante grande construida sobre texto de muestra. Encontrará interesante depurar este problema en apps del futuro.
• Un usuario señaló que un tuit mostrando el prompt del sistema de ChatGPT debería incluir un enlace a Pastebin, pero la publicación del blog solo tenía una captura de pantalla del tuit que no se puede leer sin el link. También compartió los enlaces del tuit y del pastebin.
• Otro usuario aportó otro ejemplo relacionado con una tecnología de 1985 llamada Racter, citando que el New York Times escribió que Racter estaba en el borde de una locura artificial entre computadoras acercándose a la inteligencia artificial. Compartió un enlace relacionado con las salidas de Racter.
• Un usuario dijo que leer las respuestas de ChatGPT es muy interesante y describió la experiencia como si el inglés de Chaucer hubiera sido re-voceado una segunda vez por un filtro de "hablar como pirata". Se preguntó qué le está dando de comer a esta máquina, cómo la están afinando, y elogió que escuchar el ritmo de ese lenguaje casi poético era como música pura.
• Finalmente, un usuario dijo que al terminar una conversación con ChatGPT (GPT-4) ayer, ChatGPT se volvió loco y empezó a sonar como un anuncio de jabón de Dr. Bronner. Ese usuario también dijo que la cosa se repitió en la conversación siguiente.