Agregamos una función que ChatGPT creyó por error que existía

• ChatGPT indicó una función inexistente, lo que llevó a que muchos usuarios subieran tabs ASCII a Soundslice
• El servicio original de Soundslice solo admitía escaneo de partituras basado en imágenes, pero las indicaciones de ChatGPT hicieron que se dispararan las solicitudes de soporte para tabs ASCII
• Para reducir la confusión sobre el producto, terminaron agregando de verdad una función de importación de tabs ASCII
• Este puede considerarse el primer caso en que una IA difundió información incorrecta y eso llegó a influir en la dirección real de un producto
• Aunque agregar la función beneficia a los usuarios, les dejó sentimientos encontrados ver cómo el desarrollo del producto termina condicionado por información errónea

---

Contexto y problema

• El Sheet Music scanner de Soundslice digitaliza partituras a partir de fotos para que los usuarios puedan escucharlas, editarlas y practicar con ellas
• Para mejorar el sistema, monitorean los logs de errores, y últimamente empezaron a ver muchos casos en los que, en lugar de fotos de partituras tradicionales, se subían capturas de pantalla de tabs ASCII desde chats de ChatGPT
  • Las tabs ASCII son una forma simplificada de notación musical para guitarra y otros instrumentos de cuerda
• Originalmente, el formato ASCII Tab no era una función compatible con el servicio actual de Soundslice

Identificación de la causa

• Mientras investigaban por qué se estaban subiendo tantas capturas de tabs ASCII de distintas fuentes, le preguntaron directamente a ChatGPT e hicieron una prueba
• Confirmaron por sí mismos que ChatGPT estaba indicando erróneamente a los usuarios que importaran tabs ASCII en Soundslice para escuchar el audio

Falta de la función y malentendido

• Soundslice en realidad no ofrecía una función para importar tabs ASCII directamente
• Aunque esa función no existía, muchos usuarios confiaron solo en lo que decía ChatGPT e intentaron registrarse y subir archivos
• Debido a las respuestas erróneas de ChatGPT, se formaron expectativas equivocadas sobre el servicio de la empresa
• Como resultado, siguieron llegando quejas y consultas sobre una función que en realidad no existía

Decisión y respuesta

• Ante esta situación, la empresa evaluó cómo responder
• Una opción era poner un aviso en el servicio diciendo que “la respuesta de ChatGPT era incorrecta”, pero como concluyeron que la demanda real era alta, desarrollaron una función de importación de tabs ASCII
• Era una función que estaba en los puestos bajos de la lista planificada para 2025, pero la introdujeron rápidamente para responder a la demanda
• También cambiaron el texto de la interfaz del producto para anunciar activamente esta nueva función

Impacto en la dirección del producto/servicio

• Lo describen como el primer caso en que ChatGPT, al repetir información incorrecta, hizo que se agregara al roadmap del producto una función que en realidad no existía
• Por un lado, fue positivo poder ofrecer a los usuarios una herramienta útil, pero también les dejó sentimientos complejos al ver que la dirección del desarrollo del producto se vio afectada por información errónea

Impresiones y dudas

• Sintieron con claridad que ya llegó la era en que la información falsa difundida por la IA puede afectar decisiones reales de empresas y productos
• Queda la duda de hasta qué punto una empresa debería responder no a una demanda de los usuarios, sino a expectativas equivocadas generadas por la IA

[kandk]

Qué envidia, un servicio elegido por la IA, jaja.

[jjw951215]

Parece que ChatGPT era el departamento de marketing.

[GN⁺]

Opiniones en Hacker News

• Al usar GPT-4 para programar, he descubierto que una de las formas más útiles de usarlo es, en vez de <i>explicar</i> cómo usar una API, darle solo código de ejemplo y pedir funciones adicionales para que la IA adivine. A menudo salen enfoques mejores que yo no había considerado. En esos casos, termino modificando la API real para que el código de la IA funcione. A la inversa, si le muestro código existente y le pregunto qué hace, y la IA se equivoca, lo tomo como una señal de que mi API está diseñada de forma confusa. Así se puede aprovechar la principal fortaleza de las redes neuronales, no tanto la precisión sino su capacidad de "alucinar" de forma plausible, es decir, la creatividad. Me gusta no tener que gastar tiempo atrapando por mi cuenta los bugs sutiles que GPT-4 deja escondidos. Solo se pueden mejorar interfaces poco intuitivas. Si algo es intrínsecamente ineficiente, poco confiable o poco componible, la IA no puede ayudar. Pero solo con hacer que una API sea más fácil de adivinar y entender ya hay mucho valor. Eso sí, tiene la limitación de que no funciona tan bien con APIs que ya son populares
  • A veces la IA propone un enfoque mejor de lo esperado. Edité el manuscrito de mi libro más de 30 veces y hasta pasó por corrección profesional, pero aun en la etapa final Grammarly hizo sugerencias útiles en como un tercio de los casos. Si hubiera aceptado todas, el manuscrito habría quedado peor. Grammarly es fuerte para detectar palabras innecesarias o voz pasiva. Pero no entiende humor, contexto ni repeticiones intencionales. El problema es que los directivos quieren sacar completamente a los humanos del proceso, y eso casi siempre termina mal
  • Una anécdota ligera. Casi todas las librerías de procesamiento de imágenes en Python suelen tener una función imread(), pero yo no lo sabía y cuando hice una librería interna usé un nombre peculiar como image_get(). Cuando le pido a ChatGPT que escriba un script sencillo usando esa librería interna, si no le doy mucho contexto casi siempre adivina mylib.imread() y arma el código así
  • Esto se parece a una técnica antigua de diseño HCI (interacción humano-computadora) llamada Wizard of Oz. Es un experimento donde una persona finge ser la app real, y sirve para encontrar funciones nuevas explicación en Wikipedia
  • Hoy por la mañana usé este método con éxito. Le pedí a la IA que generara código de pruebas unitarias y el resultado fue desastroso. Pero justo en ese proceso fallido descubrí que había un bug oculto en el código que quería probar
  • HDD, el chiste de desarrollo guiado por alucinaciones (Hallucination-Driven Development)
• En un texto que escribí recientemente dije algo como: "Las alucinaciones a veces pueden funcionar como TDD. Si un modelo de lenguaje grande alucina un método que no existe, puede ser porque ese método es lógicamente necesario, así que a veces conviene implementarlo" ver original. También aplica a funciones de producto
  • Parece que muchos de nosotros ya hemos vivido esto en carne propia. Las llamadas a API alucinadas por los vibe coders quizá en realidad eran propuestas de cosas que debieron existir primero. Desarrollo basado en alucinaciones, ahora es tendencia tuit relacionado
• Creo que mucha gente está sacando la lección equivocada de este caso. El verdadero punto no es que se agregara una función porque había demanda, sino que se agregó porque la tecnología alucinó una función inexistente y la sugirió. Lo importante es que la IA generativa hizo creer que existía una función que en realidad no existía. Como en el futuro esto podría causar problemas más serios, creo que quienes operan ChatGPT deberían procurar que esto no se repita
• El mercado de herramientas de partituras musicales está fragmentado de varias maneras. La principal división es entre notación tradicional y tablatura (para guitarra y familia). Los usuarios, la forma de notación e incluso la información útil son completamente distintos. Ha habido intentos de estandarización, como MusicXML, pero las barreras entre ambos bandos siguen siendo altas. Lo que hizo ChatGPT fue asumir que los usuarios de tablatura también usarían Soundslice, y probablemente hoy no sea así. Pero en el futuro eso podría cambiar si Soundslice añade funciones que aporten valor específico a los usuarios de tablatura
  • No sé si entendí exactamente tu punto, pero Soundslice ha soportado perfectamente la tablatura desde hace 10 años, especialmente con editor e importadores de varios formatos. Lo que se añadió esta vez fue soporte para <i>ASCII tab</i>
• Hace poco intenté escribir código con un LLM. Sirve para armar boilerplate. También es fuerte reconociendo patrones. Pero muchas veces te hace corregir el código una y otra vez en distintas direcciones. Incluso me hizo una app completa para iOS: transformó bien la UI a mi gusto y llenó datos de ejemplo de formas variadas. Pero la organización de la estructura del código fue un desastre total. Cuando había que manejar la duración de reproducción de archivos de audio como una lista, intentó mapear ID de archivo y duración en un diccionario (para desarrolladores principiantes: normalmente esa información debería vivir dentro de un objeto AudioFile). Los LLM tienden a seguir refiriéndose a versiones anteriores del código. A veces insisten repetidamente en cambios que no tienen nada que ver con la tarea actual. Cada vez siento más que estoy invirtiendo demasiado tiempo en "educar" al LLM. Mientras no dependa demasiado de él más allá de sus límites, creo que puede ser bastante productivo. Por lo menos me gustaría que entendiera mis cambios y dejara de seguir recomendando cosas basadas en un borrador de hace 5 días. (En un trabajo de ejemplo donde convertía un archivo largo de texto plano a valores de enum, cuando yo modifiqué solo las primeras dos líneas, enseguida aprendió el patrón y propuso correctamente decenas de líneas)
  • Tener varios LLM es realmente como trabajar con varios interns muy productivos, pero con limitaciones parecidas
• A esto le llaman product-channel fit. El punto clave es haber captado de inmediato la demanda desde un nuevo canal de adquisición
  • Lo que ChatGPT hizo en realidad fue una versión automatizada de lo que siempre hacía el equipo de ventas en una empresa donde trabajé. Le decía con total seguridad al cliente que lo que quería "ya existía" o "estaría listo el próximo trimestre", y luego les pedía a los ingenieros que lo construyeran rápido
  • Está relacionado con solutions engineering. O sea, ¿correcto entenderlo como un área centrada en soportar soluciones a medida para grandes clientes individuales, con personalizaciones, adaptadores, procesamiento de datos y similares?
  • Es una forma novedosa de descubrir necesidades u oportunidades de mercado completamente nuevas. Conecta con la fortaleza de los LLM de ver grandes volúmenes de datos y "alucinar" patrones que los humanos no habían percibido. En un caso como este, la prueba de que ese patrón realmente existe aparece cuando la gente cree la información errónea de ChatGPT y actúa en consecuencia. Es decir: alucinación → acción → validación de demanda real → proveedor añade la función. Si el costo de implementación no es demasiado alto, es una respuesta razonable desde el punto de vista de la empresa
• Lo primero que me vino a la mente con este caso fue el "AI SEO". Creo que mucha gente debe estar investigando cómo lograr que chatbots de IA, como los LLM tipo ChatGPT, envíen tráfico a su sitio. Parece que en el futuro entrarán miles de millones de dólares a ese mercado. No sé de este tema, pero seguro ya hay mucha gente intentándolo, y me pregunto si en el futuro existirán servicios donde le pagues a OpenAI para que ChatGPT recomiende más tu producto
  • Para ganar en este juego, necesitas lograr que tu sitio web sea mencionado de forma natural muchas veces en los datos de entrenamiento de los LLM. El AI SEO no es tan diferente del SEO tradicional
• Es un caso interesante de cómo la IA realmente cambia la realidad. Hay quienes temen historias de AGI conquistando el mundo con ejércitos de robots, pero creo que en la práctica las fuerzas del mercado serán un medio mucho más directo para que la IA mueva al mundo
• Si has trabajado en una startup B2B y has visto que "una función anotada por ventas en realidad no existe, pero de repente el backlog gira con urgencia hacia construirla", entonces este cambio provocado por una alucinación de IA no te sorprenderá en absoluto
  • Broma sobre si no quisiste decir "rogue". También menciona con enlace la diferencia entre "rouge" de productos de belleza y "rogue" de actuar por cuenta propia o fuera de regla
  • En el mundo B2B es práctica estándar que el equipo de ventas vaya solo con una presentación en PowerPoint y, si la respuesta es buena, luego armen apresuradamente la función o incluso el producto completo por detrás. No es solo cosa de startups. Las grandes empresas también hacen esto a veces
  • B2B (Business-to-Business) significa negocios dirigidos a otras empresas
• En nuestra empresa también tenemos un problema parecido. No con ChatGPT, sino con nuestro propio chatbot de IA que hace RAG sobre documentación y se inventa una y otra vez opciones (flags) que no existen. Así que lo revisamos como retroalimentación de producto. No necesariamente hacía falta exactamente esa opción, pero sí parecía que faltaba alguna función intuitiva y el LLM la imaginó de forma plausible

[kallare]

¿Desarrollo impulsado por alucinaciones... supongo?;;

[opminsu]

jajajajaja

[ryj0902]

Recomendado... ¡Lo recomiendo!

[unsure4000]

HDD jajajajajajajajajajaja

[ilillliiliil]

Es cierto jajaja

[dongjinahn]

jajaja, "haz que exista esa función"

[bungker]

jajajaja