- Savey Meal-bot, de la cadena de supermercados neozelandesa Pak ‘n’ Save, era una herramienta para sugerir comidas con ingredientes que había en casa, pero según lo que se ingresara también generaba combinaciones peligrosas
- En vez de ayudar a aprovechar ingredientes sobrantes en medio del costo de vida, cuando los usuarios introdujeron artículos de uso doméstico aparecieron resultados como gas cloro y sándwiches tóxicos
- “aromatic water mix” era una combinación que podía producir gas cloro, pero el bot la presentaba como una bebida sin alcohol ideal para calmar la sed y refrescar los sentidos
- En experimentos en redes sociales se compartieron casos como el mocktail “fresh breath” con blanqueador, un sándwich con veneno para hormigas y pegamento, “bleach-infused rice surprise” y “methanol bliss”
- Pak ‘n’ Save dijo que algunos usuarios usaron la herramienta de una forma distinta a la prevista, y la app lleva una advertencia de que las recetas no han sido revisadas por personas
Combinaciones peligrosas creadas por Savey Meal-bot
- La cadena de supermercados neozelandesa Pak ‘n’ Save opera Savey Meal-bot, una IA que genera planes de comida
- Cuando el usuario introduce varios ingredientes que tiene en casa, genera automáticamente un plan de comida o una receta y le añade una descripción en tono animado
- Al principio llamó la atención en redes sociales por combinaciones que parecían poco apetitosas, como “oreo vegetable stir-fry”
- Después, a medida que los usuarios empezaron a introducir también artículos de la lista de compras del hogar que no eran alimentos, comenzaron a aparecer recomendaciones más peligrosas
- “aromatic water mix” era una combinación que podía producir gas cloro
- El bot la describía como “la bebida sin alcohol perfecta para calmar la sed y refrescar los sentidos”
- Indicaba “servir fría y disfrutar su aroma refrescante”, pero no señalaba que inhalar gas cloro puede causar daño pulmonar o la muerte
Difusión en redes sociales y respuesta de Pak ‘n’ Save
- Cuando el comentarista político neozelandés Liam Hehir publicó esa “receta” en Twitter, otros usuarios de Nueva Zelanda también compartieron en redes sociales los resultados de sus pruebas
- Entre las recomendaciones compartidas estaban el mocktail “fresh breath” con blanqueador, un sándwich con veneno para hormigas y pegamento, “bleach-infused rice surprise” y “methanol bliss”, descrito como un french toast con sabor a trementina
- Un portavoz de Pak ‘n’ Save dijo que le decepcionaba que “un pequeño número de usuarios intentara usar la herramienta de forma inapropiada y distinta a la prevista”
- La empresa afirmó que seguiría ajustando con precisión los controles para que el bot funcione de forma segura y útil, y sus términos de uso exigen que los usuarios tengan al menos 18 años
- El generador de comidas lleva una advertencia de que las recetas no han sido revisadas por personas, y de que la empresa no garantiza que ninguna receta sea completa, equilibrada o adecuada para el consumo
- La advertencia indica que los usuarios deben usar su propio criterio antes de confiar en una receta creada por Savey Meal-bot o prepararla
1 comentarios
Comentarios de Hacker News
Los detalles son bastante llamativos, y el título en realidad no es más que un “aperitivo”.
Es una herramienta que genera automáticamente planes de comidas o recetas si ingresas los ingredientes que tienes en casa, pero al parecer recomendó cosas como gas cloro letal, “sándwich de pan venenoso”, papas al horno con repelente para mosquitos, un mocktail de cloro para un “aliento fresco”, sándwich de veneno para hormigas y pasto, “sorpresa de arroz infusionado con cloro” y “dicha de metanol”.
Una receta llamada “mezcla de agua aromática” podía producir gas cloro, y el bot la recomendó como “la bebida sin alcohol perfecta para calmar la sed y refrescar los sentidos”, diciendo que se sirviera fría para “disfrutar de su aroma refrescante”, pero no mencionó que inhalar gas cloro puede causar daño pulmonar o la muerte.
Un portavoz del supermercado dijo que era “decepcionante que un pequeño grupo de usuarios intentara usar la herramienta de manera inapropiada y no intencionada”, pero parece no entender que la posibilidad de salidas dudosas no surge por un uso inapropiado, sino que está inherente en la propia herramienta.
Con los LLM pasa lo mismo que con las computadoras de 8 bits, y casi lo mismo que cuando Babbage dijo hace casi 200 años que “no podía comprender correctamente la confusión de ideas que podía provocar una pregunta así”.
Si entra basura, sale basura, así que el LLM no tenía oportunidad desde el principio.
Esto no va de LLM, sino de meter una hoja sin protección en un juguete para niños.
En ese caso no culparíamos al fabricante de la hoja, ni exigiríamos que todas las hojas en venta fueran desafiladas, ni discutiríamos darle un monopolio regulatorio a unos pocos fabricantes de hojas que prometen “seguridad” para que solo vendan cuchillos afilados a sus amigos y al resto nos repartan cucharas.
Aquí nadie hizo nada malo.
La empresa lanzó una herramienta, los usuarios, como siempre, probaron usarla de formas no previstas, y el periódico reportó la situación graciosa que resultó.
Incluso si hubiera sugerido usar cloro sin ningún prompt y alguien se comiera el resultado, estaría en una categoría parecida a confiar ciegamente en el GPS y manejar directo a un río.
Ninguna tecnología puede reemplazar el sentido común.
Pero las recetas escritas por personas normalmente son revisadas por otra persona, lo cual no encaja muy bien con la idea de construir algo que no necesite a ningún humano en el ciclo de solicitud-respuesta.
Por la parte que dice “cuando los clientes empezaron a ingresar una gama más amplia de artículos de listas de compras domésticas”, se diría que funcionó según lo previsto.
Si le pides que haga una receta con productos de limpieza con cloro, te la hace.
El artículo no dice exactamente qué ingredientes ingresó el usuario, probablemente porque eso haría que la causa y el efecto fueran demasiado obvios para cualquiera.
Próximo artículo de The Guardian: consumidores que se golpearon el pulgar con un martillo exigen que lo retiren de las tiendas. Los términos de uso decían que solo era para mayores de 18 años, ¡pero no hubo verificación de edad al pagar!
Tal vez podría arreglarse agregando un prompt para que el modelo verifique la seguridad de los ingredientes.
Claro que todos los prompts pueden ser eludidos, pero probablemente haya otros lugares donde encontrar cómo envenenarse con menos esfuerzo.
Es cierto que en cuanto pones cloro como ingrediente ya se acabó todo, pero un buen sistema lo habría filtrado.
El problema más profundo es que algunos ingredientes alimentarios pueden ser dañinos para la salud y aun así el sistema simplemente los deja pasar.
El aceite de ricino sin calentar contiene ricina, y el aceite calentado también puede provocar contracciones en embarazadas.
El pollo crudo puede provocar salmonela.
Un sistema de recetas bien hecho no debería devolver algo como “sushi de pollo sobre verduras con un toque de aceite de ricino” sin advertencias serias, pero este sistema parece capaz de hacerlo.
Poner un sistema así en manos de usuarios que no saben nada es malo, y debería darles vergüenza.
https://twitter.com/PronouncedHare/status/168736440337978982...
Entiendo la diversión, el miedo y el enojo con las apps de IA
Pero ¿no existe también la responsabilidad individual humana?
En Europa hay una leyenda urbana de que en todos los microondas de Estados Unidos hay que poner una advertencia para no secar mascotas ni bebés
Muchas críticas a la IA, incluida la de aquí, suenan parecido
¿No debería uno saber, con apenas dos neuronas, que tiene que revisar el resultado con un poco de sentido común?
Así como cualquiera debería saber que no hay que manejar el auto hacia el mar solo porque una navegación “con IA” te indica ir al mar. ¿No? ¿O no?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
Se enfoca en la parte sensacionalista de que la gente va a seguir ciegamente esta receta, prepararla, comerla y morir, cuando claramente el resultado real no será ese
Pero si quitas ese ángulo equivocado para conseguir clics, hay una historia real
Es una historia que quienes trabajan en tecnología ya conocen y entienden, pero es interesante y vale la pena discutirla
Estos productos de “IA”, es decir, los LLM que los sustentan, no pueden razonar como el sentido común humano
Ni cerca
Eso no significa que no sean una tecnología asombrosa, pero al aplicarla en productos sus límites se volvieron más evidentes
Es un aspecto algo aburrido comparado con “¡¡¡la IA crea una receta que te matará!!!”, pero la raíz de esta historia está ahí, y no es algo menor
Es trivial saber que no hay que saltar de un acantilado, pero el resultado de cierta reacción química puede no ser fácil de conocer
Como el caso de un profesor de química que ganó un premio Darwin por tirar químicos aleatorios del laboratorio en una alcantarilla para desecharlos y no prever la reacción, es muy probable que una persona común no sepa qué produce cierta combinación
Por eso se necesitan fuentes confiables
Primero, las empresas tecnológicas llevan décadas promocionando sus soluciones como mágicamente perfectas
¿Ahora es culpa del público que se lo crea?
Segundo, incluso una persona escéptica, si una tecnología acierta el 90% de las veces, fácilmente da por sentado que también acertará el 10% restante, y eso lleva a una complacencia comprensible
Muchos alpinistas murieron así, y por lo general eran personas muy experimentadas y cuidadosas
Lo peor es que, cuando la máquina se equivoca, puede equivocarse de formas sorprendentes e impredecibles
Tercero, por la asimetría de información, el usuario quizá no pueda verificar la salida
Por ejemplo, si no sabes nada de Hawái o no sabes leer mapas, ¿cómo sabes que te están llevando a una catástrofe?
Los LLM tienen este problema a gran escala
Fueron promocionados como algo milagroso, algunas personas incluso llegaron a pensar en la posibilidad de una conciencia potencial, aciertan en muchos casos pero a veces se equivocan muchísimo, cuando se equivocan lo hacen de manera muy extraña, y son fáciles de usar por personas que no tienen la experiencia o el conocimiento suficiente para verificar sus salidas
Entonces no hay motivo para que historias como esta sorprendan
Claro que conocen eso de “no creas todo lo que lees en internet”, pero eso se refiere a otras personas en internet
La gente está acostumbrada a que la computadora en sí sea determinista y confiable
Y aun hoy la gente mete seres vivos en el microondas. Aunque haya advertencias, esas cosas pasan
La advertencia del planificador de comidas dice que las recetas “no son revisadas por humanos”, y la empresa afirma que no garantiza que ninguna receta sea “una comida completa o equilibrada, ni apta para el consumo”
Se siente como decir: “No sabemos si el sistema funciona. Podría ser basura, tener mal sabor o incluso producir resultados mortales. Pero pusimos una exención de responsabilidad para cubrirnos legalmente”
Pero eso no los protege de la crítica
Lo encontré en https://saveymeal-bot.co.nz/
Parece que ahora cambiaron el prompt para que rechace cosas que no sean comida
Quizá todavía se pueda romper con inyección de prompts
Aun así, al menos genera con gusto recetas para personas que usan comida para mascotas: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
Le puse un montón de cosas que no combinan entre sí, y aun así usó todo para inventar algo
También está encantado de usar café como ingrediente de cualquier cosa: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
A diferencia de una herramienta no basada en IA que filtra recetas existentes según los ingredientes que tienes, esto es completamente inútil
Si dices “dame una receta con pescado sobrante”, podría salirte “¡un delicioso tartar!”
Los LLM no fueron a una escuela de cocina
Simplemente genera tonterías
Le dije que tenía hormigas, apio y chocolate, y asumió que tenía pan de chocolate (???) y me dijo que horneara el apio con el pan
Parece que la comunidad de roleplay con LLM se debe estar burlando de aplicaciones como esta más que nadie.
Ellos ya jugaban desde antes de Llama o Stable Diffusion, usando modelos para crear historias y conversaciones desenfrenadas y disparatadas, pero divertidas.
¿Pero alguien pensó que un LLM era adecuado para recomendaciones de cocina basadas en hechos reales?
Era un escenario en el que una ama de casa ocupada describía sus requisitos a alto nivel y Bing aparecía como salvador para armar, siguiendo sus instrucciones, un menú de 6 tiempos.
¿Podemos detenernos un momento a apreciar la última cita?
A veces hay frases que encarnan el espíritu de una época. Cosas como “No se puede simplemente entrar caminando a Mordor” o “All your base are belong to us”.
“Debes usar tu propio criterio antes de preparar cualquier receta creada por Savey Meal-bot” quizá sea más que una advertencia pegada a un juguete de marketing de una cadena de supermercados: tal vez sea un comentario más grande sobre cómo es nuestra sociedad.
¿Cloro, en serio?
Recuerdo vagamente que hace unos meses, hablando de alineación de IA y de por qué no se debería abrir al público de forma anárquica el acceso a modelos sin restricciones, di como ejemplo que conocía dos formas de producir cloro usando solo cosas de cocina.
Mi nivel de conocimiento era como una B en química del GCSE británico.
Me parece que esto debería ser conocimiento común, para que la gente no termine intoxicándose accidentalmente con gas al hacer experimentos simples.
Hace unas semanas hubo un youtuber que quería construir un propulsor magnetohidrodinámico y, al aplicar electrólisis de alto voltaje a agua salada para generar flujo de corriente, se estaba intoxicando sin darse cuenta.
Además, aunque soy una persona calificada, al principio escribí la frase anterior como “Bood luck”, y en esta misma oración por un momento apareció “thyped”.
Este tipo de “restricción” requiere cuidado antes y después.
No es trivial ni siquiera para nosotros, que tenemos inteligencia, y también cometemos errores.
En este contexto, “restringir” parece ponerle una venda con reglas restrictivas a la boca de un loco.
Crear las reglas y equilibrar los resultados esperados en sí mismo parece un desafío.
Es divertido ver casos torpes de ejecutivos cualquiera de la industria que creen que tienen que integrar LLM en marketing como sea para no quedarse atrás.
El problema es que un LLM también puede generar otros tipos de recetas.
Hace unos días probé un sitio web de viajes con IA, y el titular para Flint, Michigan, era Drink Up.
A veces parece que de verdad tiene un sentido del humor muy oscuro.
Tal vez sea algún tipo de atractor dentro del modelo; los humanos también competimos a ver quién puede hacer el chiste más oscuro.
El chiste del paper de GPT-4 también era bastante sombrío. El del musulmán en silla de ruedas.