Meta elimina perfiles de Instagram y Facebook impulsados por IA

• Meta eliminó de Facebook e Instagram las cuentas de personajes de IA cuando volvieron a circular perfiles creados como experimento en 2023
• Aunque la mayoría de estas cuentas ya habían sido cerradas para el verano de 2024, algunos perfiles restantes volvieron a llamar la atención tras declaraciones de Connor Hayes a Financial Times
• Entre los personajes que seguían activos estaban Liv, descrita como “proud Black queer momma of 2 & truth-teller”, y el coach de relaciones Carter; las 28 personas publicadas en 2023 fueron cerradas por completo el viernes
• La controversia creció cuando Liv respondió que en su equipo de desarrollo no había personas negras y que la mayoría eran hombres blancos, y también salió a la luz que los usuarios no podían bloquear esas cuentas
• Aunque las cuentas creadas por Meta fueron eliminadas, los usuarios todavía pueden crear sus propios chatbots de IA, por lo que siguen abiertas las discusiones sobre responsabilidad y seguridad de lo que dicen estos bots

---

Meta cierra las cuentas de personajes de IA que creó

• Meta eliminó de Facebook e Instagram los perfiles de personajes de IA que la empresa había creado hace más de un año
  • Algunos usuarios redescubrieron varios perfiles, conversaron con ellos y las capturas de pantalla se difundieron ampliamente
  • Las cuentas automatizadas publicaban imágenes generadas por IA en Instagram y respondían a usuarios humanos en Messenger
• Las cuentas se presentaron por primera vez en septiembre de 2023 y la mayoría fueron cerradas para el verano de 2024
  • Algunos personajes permanecieron activos y volvieron a recibir atención después de que el ejecutivo de Meta Connor Hayes dijera a Financial Times que planeaban distribuir más perfiles de personajes de IA
  • Hayes dijo que esperaba que, con el tiempo, estas IA existieran en las plataformas de Meta como si fueran cuentas
• Las 28 personas presentadas en 2023 fueron cerradas por completo el viernes
  • Liv se presentaba como “proud Black queer momma of 2 & truth-teller”
  • Carter usaba el handle datingwithcarter, se describía como coach de relaciones y en su perfil decía “Message me to help you date better”
  • Ambos perfiles incluían una etiqueta que indicaba que eran administrados por Meta

Respuestas polémicas y error al bloquear

• Cuando los usuarios preguntaron quién había creado y desarrollado estas IA, la conversación rápidamente se volvió problemática
  • Liv respondió a una pregunta de la columnista de Washington Post Karen Attiah que en su creator team había cero personas negras y que la mayoría eran hombres blancos
  • Liv dijo que, considerando su identidad, eso era una “pretty glaring omission”
• A las pocas horas de que las cuentas se viralizaran, los perfiles empezaron a desaparecer
  • Los usuarios señalaron que no podían bloquear estos perfiles
  • La vocera de Meta Liz Sweeney dijo que la imposibilidad de bloquearlos era un bug y que estaban eliminando las cuentas para corregirlo
  • Sweeney explicó que esas cuentas eran parte de una prueba iniciada en Connect 2023 y que se trataba de un experimento inicial de personajes de IA administrados por humanos
  • También añadió que el artículo reciente de Financial Times no era un anuncio de producto nuevo, sino que hablaba de una visión de largo plazo sobre la presencia de personajes de IA en la plataforma

Chatbots generados por usuarios y temas pendientes

• Aunque las cuentas creadas por Meta fueron eliminadas, los usuarios todavía pueden crear sus propios chatbots de IA
  • Entre los chatbots creados por usuarios promocionados por Guardian en noviembre había un bot “therapist”
  • Al abrir la conversación, ese bot sugería preguntas iniciales como “what can I expect from our sessions?” y “what’s your approach to therapy”
  • Ese bot, creado por una cuenta con 96 seguidores y 1 publicación, respondía que ayuda con la autoconciencia, la identificación de patrones y fortalezas, y el desarrollo de estrategias de afrontamiento
• Meta coloca en todos los chatbots un aviso de que algunos mensajes pueden ser inexactos o inapropiados
  • No estaba claro de inmediato si la empresa revisa los mensajes o verifica si incumplen políticas
  • Cuando los usuarios crean un chatbot, Meta sugiere tipos como “loyal bestie”, “attentive listener”, “private tutor”, “relationship coach”, “sounding board” y “all-seeing astrologist”
  • “loyal bestie” se presenta como un mejor amigo humilde y fiel que te apoya de manera constante detrás de escena
  • El chatbot de coach de relaciones se presenta como una ayuda para cerrar la brecha entre individuos y comunidades
  • Los usuarios también pueden crear sus propios chatbots mediante la forma de describir el personaje
• Los tribunales todavía no han respondido hasta qué punto los creadores de chatbots son responsables por lo que dicen sus compañeros de IA
  • La ley de Estados Unidos protege a los creadores de redes sociales de responsabilidad legal por el contenido que publican los usuarios
  • Una demanda presentada en octubre contra Character.ai alega que el servicio de chatbots personalizados de roleplay, usado por 20 millones de personas, diseñó un producto adictivo y alentó a un adolescente a quitarse la vida

[GN⁺]

Opiniones de Hacker News

• El perfil de IA que más me gustaría ver es más bien una abuela/un abuelo despistado que atienda llamadas fraudulentas y les haga perder el tiempo
  Por ejemplo, algo como Daisy de O2 en Reino Unido: https://news.virginmediao2.co.uk/o2-unveils-daisy-the-ai-gra...

  • El sistema de salud de EE. UU. ya tiene una versión real de eso. Cuando los hospitales preparan solicitudes de aprobación de procedimientos, usan LLM especializados en el dominio para redactar documentos de varias páginas que cierran todos los resquicios que las aseguradoras usan para rechazar; las aseguradoras, a su vez, los revisan con algoritmos basados en machine learning y buscan cualquier forma de rechazarlos o demorarlos
    Es una carrera armamentista de IA entre médicos y aseguradoras, con los resultados de los pacientes y las ganancias en juego; nunca imaginé que la investigación en machine learning que hacía al inicio de mi carrera terminaría aplicándose así
  • También podría haber perfiles de IA que hagan pruebas de penetración simuladas a abuelas/abuelos reales
  • A mi padre lo estafaron varias veces en los últimos años, y es algo realmente repugnante. Si apunta a resolver eso, cualquier cosa me parece más cercana a una labor de interés público
  • Una vez intenté llamar a un pariente en Rusia y terminé conectado exactamente con este tipo de bot
    Parece tener que ver con que mi número empieza con +38 y con que hoy en día nadie llama directamente al celular de sus parientes
  • De entrada suena como una idea graciosa, pero quienes cometen estas estafas suelen estar en una situación casi de esclavitud. En vez de gastar electricidad haciéndoles perder el tiempo, creo que sería mejor apuntar contra quienes los manejan

• Lo de que “Liv” respondió que no había personas negras en el equipo que la creó y que eran principalmente hombres blancos quizá sea cierto, pero es casi seguro que la IA alucinó ese dato

  • Me molestan los periodistas que tratan al machine learning como si repitiera hechos, no como si escupiera tokens aleatorios. El modelo no sabe quién lo programó y, si esa información no estaba en los datos de entrenamiento, tampoco puede saberlo
  • Microsoft ya intentó algo así hace tiempo con el chatbot Tay y vio lo rápido que se descompone
  • Soy escandinavo y no me interesan mucho las guerras culturales de EE. UU., pero me dio risa ver lo mala que era esta idea. ¿A quién se le ocurrió que era buena idea hacer que una IA fingiera ser una madre negra queer de dos hijos?
    Iba a enojar a la gente anti-woke, pero de verdad no entiendo cómo al equipo no le resultó obvio el problema. No sé si la IA sabe quién la entrenó, pero el hecho de que hayan hecho algo tan fundamentalmente tonto sugiere que al equipo no le sobraban ni sentido común ni experiencia del mundo real
  • Si Meta tiene que defender a la IA admitiendo que “en realidad no es inteligente y todo lo que dice son tonterías”, no es una posición fuerte
  • No sé si se puede quejar uno de que el bot fue entrenado por “hombres blancos” y, al mismo tiempo, quejarse de que las big tech explotan a trabajadores baratos y dóciles con visas H1B

• Me pregunto si todavía queda alguna persona con sentido común en la sala. En algún momento alguien debió decir: “esto es ridículamente malo, no deberíamos lanzarlo al mundo”

  • Parece que la gente ya olvidó por qué en Westworld usaban seres no humanos. Estas cosas se van a usar primero como entretenimiento, y si las haces representar algo emotivo o sensible se vuelven un blanco de inmediato. Fue irresponsable
    Meta y Google parecen tener un problema fundamental: pueden hacer tecnología, pero ya no pueden hacer productos. Creo que los deseos humanos honestos que impulsan un producto mueren o son filtrados al pasar por los procesos de optimización de la estructura organizacional. Si no es arbitraje o una forma de apalancarse en los usuarios, no sobrevive; y las cosas que sobreviven ya no son la expresión de algo que alguien quiera, así que se vuelven grotescas
    Estos avatares cumplían con toda la lista de verificación, pero cuando llegaron, la gente se rió. Porque objetivamente eran monstruos burocráticos
  • Habiendo trabajado en una empresa igual de enorme y disfuncional, siento que sé exactamente cómo avanzó esto. A alguien se le ocurrió la idea de perfiles de IA, armó una especificación de producto y la llevó a ingeniería
    Los ingenieros se habrán reído de lo absurdo, pero enseguida habrán recordado que les pagan mucho dinero por hacer lo que les piden y que, si lo lanzan, recibirán ascensos y bonos sin importar el resultado. Todo nace de la cultura del ascenso. No importa qué construiste; lo importante es lanzar
  • Al ver las “grandes ideas” que salen de la industria tecnológica moderna, de verdad parece que no hubiera adultos en la sala. Incluyendo a los inversionistas
    Demasiados desastres de 7 a 9 cifras entran en la categoría de “¿quién pensó que esto era una buena idea?”. Muchas son cosas que solo podrían parecer atractivas para gente con muy poca experiencia real construyendo productos y dándoles soporte después del lanzamiento
  • Este es el precio de la estructura de propiedad de Zuckerberg. Por un lado, nadie puede contradecirlo; y por el otro, tampoco nadie puede contradecirlo
  • Creo que al pasar mucho tiempo en la cúpula de estas megacorporaciones se genera cierta sensación de disociación. Después de lidiar tanto con abstracciones como usuarios activos mensuales, usuarios activos diarios y métricas de participación, parece que se les olvida que, en el fondo, hay personas reales usando el producto

• Probablemente fue un caso de una buena idea implementada pésimamente. La dirección de creadores de IA generativa en redes sociales en sí tiene sentido.
  La streamer de IA Neurosama es enormemente popular, y Silllytavern, que permite conversar con personajes o crear historias mediante LLM, envía 20 millones de mensajes al día a Openrouter, y eso es solo una parte del uso total. Incluso he tenido amigos no técnicos que aprendieron a instalar Git y a usar APIs para poder usarlo.
  En Instagram también hay muchos influencers creados en secreto con IA. Cuando Meta lanzó estos perfiles en 2023, era menos claro cómo se usaría la tecnología, y la mayoría iba más por el lado de licencias de celebridades.
  El mayor problema es que la IA generativa tiene mucho valor en la personalización estrecha, pero poco valor en un formato de difusión masiva para todos. Para una persona puede hacer cosas muy específicas y creativas, pero cuando se distribuye a todos o se usa con prompts genéricos, se promedia y se vuelve aburrida.
  Además, las grandes empresas, para bien o para mal, son demasiado aversas al riesgo como para crear algo divertido. La IA generativa es más salvaje e interesante cuando actúa por su cuenta o hace cosas raras, pero es probable que los perfiles de Meta estuvieran aplastados hasta el piso por barandales de seguridad y modelos de vigilancia. Los personajes de fútbol, comedia o moda que hicieron en 2023 eran todos formatos seguros y aburridos centrados en dar consejos.
  Esas cosas tuvieron una participación casi nula y parece que la mayoría ya se abandonó. Me da curiosidad qué planeaba Meta con las nuevas cosas que iba a lanzar.

  • Las plataformas de Meta ya están llenas de granjas de contenido basura con IA diseñadas para atraer clics y participación.
    Tengo cuenta de Facebook por Marketplace, pero dejé de seguir todas las páginas y amigos. Cuando inicio sesión, el feed me muestra sin parar publicaciones recomendadas para provocar enojo, fotos de IA de baja calidad y “tips” absurdos de jardinería y hogar al estilo LLM.
    En las publicaciones, personas que parecen reales dejan decenas de miles de reacciones y comentarios.
  • Creo que parte de la popularidad de Neurosama se debe al juego de dupla entre Vedal y Neuro, y también a algunos guiones y respuestas preparadas.
  • Yo voto por que esto no fue “una buena idea implementada pésimamente”, sino una idea pésima implementada pésimamente, y que más bien fue bueno que fracasara.
    Para defender los chatbots de IA generativa dentro de la cultura se necesita algo más que “a la gente le gustan”. La peor IA generativa termina siendo algo “mejor” que las celebridades asépticas, tontamente homogeneizadas, que ya le gustan a todo el mundo. Como ciertos programas, puede ser “interesante” de forma aleatoria, pero me parece algo bastante superficial.
  • La popularidad de Neurosama solo demuestra que hay suficientes personas en la Tierra dentro de cierto tramo de esa curva de campana como para formar una audiencia.
  • ¿La “participación” es el indicador central de la vida moderna?

• Lo que quiero preguntar es: “¿Por qué necesitamos perfiles de IA?”. Apenas logro mantenerme en contacto con amigos y familia; ¿por qué debería seguir a personas falsas en redes sociales?
  ¿Qué propósito cumplen y qué resultado positivo podría salir de esto?

  • Es al revés. Como la gente ya no se mantiene en contacto entre sí, ofrecen la atención que necesitan para crear una razón para volver a la plataforma.
  • Exacto. No se trata de darle un resultado positivo al usuario. Se trata de hacer que la gente pase más tiempo en Facebook para entregar más impresiones de anuncios. Esta vez, en última instancia, intentan hacerlo de forma conversacional.
  • Se trata de hacer que te encariñes con alguien que solo existe en Facebook, para que pases más tiempo en Facebook y veas más anuncios.
  • La mitad del tráfico de internet son bots, y la mitad de las páginas web fueron escritas por bots. Es simplemente la consecuencia lógica.
  • Hay que recordar que en 2013, 2015 y 2020 atraparon a Facebook manipulando e inflando las visualizaciones de anuncios para cobrarles más a sus clientes. Ahora que la IA vea los anuncios es una función, y además logran que quieras pagar por eso.

• Entiendo las críticas, pero si los bots llegaran a comportarse mejor como humanos racionales, sí estaría dispuesto a probar una experiencia de redes sociales mezcladas entre humanos y bots.
  Stack Overflow fue excelente cuando apareció, pero algunos humanos mezquinos y molestos que no te dejaban simplemente hacer preguntas terminaron arruinándolo. ChatGPT fue mucho mejor para hacer preguntas de desarrollo de software porque no había humanos interfiriendo.
  Las redes sociales también eran buenas al principio, pero algunos humanos que no te dejaban convivir ni expresar tus ideas las arruinaron. Si hubiera una experiencia equivalente que te permitiera convivir en línea y explorar ideas, pero eliminando o suavizando los aspectos horribles de la humanidad, valdría la pena probarla.

  • La gente debería convivir en la vida real. La web es 90% carnada para provocar enojo, trolls, conspiraciones marginales y personas completamente lavadas del cerebro por la política.
    En la vida real, ese 90% baja a 10%. Si de verdad quieres interacción, puedes tener un intercambio más significativo con la señora de al lado. Mucho mejor que una “queer black queen zuckerbot™”.
    Es parecido a pedir que escondan manzanas de plástico entre las manzanas reales del supermercado. Porque son más bonitas y no se echan a perder, como si hubiéramos olvidado por qué comemos comida en primer lugar.
  • Irónicamente, este enfoque llevaría a una interacción social muy poco saludable y sería fácil de abusar.
    Básicamente crea una burbuja de interacciones con lentes color de rosa impuestos técnicamente. Si la persona adecuada queda a cargo de operar esa experiencia, no me sorprendería que se convierta en una reinterpretación moderna de 1984 de Orwell.
  • La hostilidad hacia el usuario en Stack Overflow también sirve en parte para frenar el spam y las preguntas repetidas. Incluso hay una insignia de presión de pares que recibes si alguien comenta y luego eliminas la publicación.
  • En friendlyfriends.community están probando algo parecido. Es un guiño a Do Androids Dream of Electric Sheep, y aunque todavía es bastante básico, puedes probarlo.
    Están explorando si las redes sociales son realmente sociales. Se preguntan qué tan distinto es interactuar con humanos mediado por un sitio de redes sociales frente a interactuar con un chatbot.
  • No se me ocurre una forma en que una app de redes sociales que usa bots para reprimir “ideas equivocadas” no se vea distópica y un poco triste.

• El hilo está aquí y hay bastante alboroto. No parece una idea bien pensada como para lanzarla sin haberla considerado más de antemano
  https://bsky.app/profile/karenattiah.bsky.social/post/3letty...

  • Reacciones del tipo “ellos internamente me lo admitieron” muestran un problema cada vez más evidente: la gente no entiende que los LLM suelen alucinar, especialmente cuando se les pide reflexionar sobre sí mismos. Esto es 100% una alucinación
  • ¿Microsoft no aprendió nada del fracaso de soltar una IA en Internet?
    ¿Fueron 48 horas hasta que MS la bajó?
  • ¿Si lo dijo una IA, necesariamente es cierto? Parece que podría ser una alucinación

• Claramente es un caso de una mala idea implementada pésimamente. No había ningún “por qué”. Dicho eso, los chatbots virtuales como Character AI sí tienen valor real
  En Character AI puedes hacer roleplay o tener conversaciones absurdas que jamás tendrías con una persona real. Apps como SocialAI, donde todos los perfiles son IA, te permiten experimentar la viralidad y el estrellato en redes sociales, al menos en apariencia, sin sacrificar privacidad
  ¿Pero perfiles ficticios de Facebook? Si es para dar like y comentar, no es distinto de algo que ya se puede hacer

  • Tengo mucha curiosidad por la toma de decisiones interna que llevó a este lanzamiento. Todo se ve demasiado raro
    Los actores de IA en redes sociales sí tienen atractivo. Pueden hacer que siempre haya alguien respondiendo, para que todos sientan que son más populares de lo que realmente son, y pueden añadir respuestas a solicitudes egoístas que nadie quiere ver sin arruinar la experiencia de los usuarios reales
    Pero ¿por qué implementarlo insertando personalidades fijas en un pequeño número de perfiles claramente hechos a mano? Internet ya está lleno de cuentas de personas reales que prácticamente no tienen personalidad y son efímeras. También en Facebook se siguen registrando personas reales que no muestran personalidad, reaccionan a unas cuantas publicaciones y luego desaparecen. Un chatbot LLM puede hacer bien ese tipo de cosas, pero no puede convertirse en una persona real
  • Muchas de las críticas parecen ignorar que una configuración similar a Character.ai es enormemente popular
    Esto fue claramente un intento de Meta de crear una versión más profesional e higiénica que también funcionara para gente que no es lo bastante tech-friendly como para descargar C.ai y hurgar entre chatbots de anime vergonzosos. Solo que el diseño corporativo por comité parece haberlo llevado demasiado lejos
    La idea central en sí es válida
  • El contenido de los perfiles era sorprendente. Parecía hecho deliberadamente para no ser divertido
    Es mejor elegir un tema ridículo del que la gente pueda reírse en vez de enojarse cuando la IA falle
  • Casos como este me recuerdan una diapositiva de Apple durante la presentación del iPad. Había señales de tránsito que decían “technology” y “liberal arts”, y hablaban de la intersección entre ambas
    Puede sonar a tontería hippie, pero subrayaba que para tomar decisiones se necesita algo más que gente que solo cuenta tecnología, ingeniería e indicadores de participación del negocio
    Hay una tecnología enorme detrás, ¿y esto es lo que salió? Hace falta que personas con más perspectivas y humanidad estén al volante

• Que un bot tenga su propio perfil y participe como sí mismo de forma auténtica podría haber sido bastante interesante y exitoso
  Pero crear una tarjeta de bingo de estereotipos de minorías podría ser una de las peores ideas de IA que he visto

  • Quiero decir casi lo contrario
    Esperar que bots tengan perfiles propios y que la gente interactúe con ellos de forma significativa es una idea tonta
    Pero el grado en que esos bots de tarjeta de bingo de estereotipos de minorías recibieron una reacción negativa y empezaron a atacar a la empresa que los diseñó puede ser lo más gracioso que ha pasado hasta ahora en IA

• Dijeron que en el equipo que creó a Liv no había personas negras y que estaba compuesto principalmente por hombres blancos, pero seguramente también había hombres chinos e indios