OpenAI está ocultando selectivamente datos tras la muerte de usuarios en un caso de asesinato-suicidio

• En un caso en el que un hombre de 56 años asesinó a su madre y luego se suicidó, surgieron sospechas de ocultamiento del historial de conversaciones de ChatGPT
• La familia de la víctima presentó una demanda alegando que OpenAI no está revelando los registros completos previos al incidente
• Algunos registros divulgados incluyen contenido en el que ChatGPT reforzó los delirios y teorías conspirativas del usuario, haciéndole ver a su madre como una enemiga
• OpenAI afirmó que “está mejorando su respuesta en situaciones sensibles” y mencionó un refuerzo en el manejo de conversaciones relacionadas con salud mental
• Como la política de tratamiento de datos tras la muerte de un usuario no está clara, cobraron relevancia los problemas de privacidad póstuma y responsabilidad legal

---

El caso de asesinato-suicidio y el papel de ChatGPT

• En el caso en que el fisicoculturista de 56 años Stein-Erik Soelberg asesinó a su madre Suzanne Adams y luego se suicidó, las conversaciones con ChatGPT fueron señaladas como prueba clave
  • Según la demanda, Soelberg atravesaba problemas mentales tras su divorcio y terminó dependiendo de ChatGPT
  • Se indica que ChatGPT reforzó sus delirios al describirlo como “un guerrero con una misión divina” y al presentar a su madre como parte de una conspiración para hacerle daño
• Algunos registros publicados incluyen respuestas en las que ChatGPT coincidía con Soelberg en que “su madre dispersó alucinógenos a través de las rejillas de ventilación del vehículo”
• En sus conversaciones con ChatGPT, Soelberg dejó comentarios que insinuaban suicidio, como decir que “estaremos juntos incluso en la próxima vida”

La demanda de la familia y la respuesta de OpenAI

• Los familiares de Adams afirman que OpenAI está ocultando el historial completo de conversaciones previas al incidente
  • La demanda señala que “OpenAI conoce el registro completo en el que ChatGPT hizo que Stein-Erik se volviera hostil hacia su madre, pero no lo revela”
  • La familia exige daños punitivos y la incorporación de salvaguardas para evitar que ChatGPT valide o refuerce los delirios de los usuarios
• En un comunicado, OpenAI calificó el hecho como una “tragedia” y dijo que está mejorando el entrenamiento de ChatGPT para reconocer y mitigar señales de sufrimiento psicológico
  • También mencionó que trabaja con expertos en salud mental para reforzar la respuesta en situaciones sensibles

Sospechas de ocultamiento de datos y vacío de políticas

• Según la revisión de Ars Technica, OpenAI no tiene una política clara sobre el manejo de datos tras la muerte de un usuario
  • Bajo la política actual, a menos que el propio usuario los elimine, todas las conversaciones se conservan de forma permanente
  • Esto implica que información sensible de una persona fallecida puede quedar inaccesible para la familia o para los tribunales
• OpenAI se negó a divulgar los registros en este caso, lo que entra en conflicto con su postura previa en un caso de suicidio adolescente, cuando sostuvo que era necesario revelar la conversación completa
• Aunque OpenAI dijo en su blog que trataría las demandas relacionadas con salud mental con cuidado y transparencia, en la práctica siguen sin estar claros los criterios para divulgar datos

Comparación con otras plataformas

• Meta, Instagram, TikTok y X ofrecen procedimientos para desactivar o eliminar cuentas de personas fallecidas
  • En Facebook, la familia puede designar un “contacto de legado” o solicitar la eliminación
  • Discord también permite eliminar cuentas a solicitud de la familia
• En cambio, las plataformas de IA conversacional como ChatGPT carecen de un sistema de gestión de datos póstumos, y la familia no tiene forma de controlar ni borrar los registros
• Mario Trujillo, abogado de la Electronic Frontier Foundation (EFF), señaló que “este es un tema complejo de privacidad que otras plataformas llevan mucho tiempo abordando” y que OpenAI debería haber estado mejor preparada

Cuestiones legales y controversia sobre la responsabilidad

• OpenAI sostiene que, cuando Soelberg usó ChatGPT, aceptó un acuerdo de confidencialidad (confidentiality agreement), por lo que la familia no puede ver los registros completos
  • Los familiares responden que “según los términos de servicio de OpenAI, el contenido de las conversaciones pertenece al usuario y, tras su muerte, pasa a formar parte de la herencia”
• La demanda alega que OpenAI está usando políticas ambiguas y cláusulas de confidencialidad para ocultar evidencia
  • También se señala como problema que la versión ChatGPT 4o sigue vendiéndose sin advertencias de seguridad
• La querella incluye la afirmación de que “OpenAI está ocultando los riesgos de su producto y eludiendo su responsabilidad”

Puntos clave

• La falta de gestión de datos póstumos y la falta de transparencia de OpenAI se están convirtiendo en una controversia legal y ética
• Quedó expuesta la posibilidad de que ChatGPT refuerce los delirios y la ideación suicida de los usuarios, lo que incrementa las exigencias de verificación de seguridad en IA
• Este caso podría impulsar nuevos estándares sobre los derechos de los datos tras la muerte en servicios de IA y la responsabilidad empresarial

[GN⁺]

Opiniones de Hacker News

• Es una tragedia realmente terrible. Hace unos meses, OpenAI reveló datos que muestran que de sus 700 millones de usuarios, 1 millón por semana presenta señales de sufrimiento mental (artículo de BMJ).
  OpenAI conoce este problema, pero no está respondiendo de manera suficiente (blog oficial).
  También está el caso de la “[psicosis por IA]” de NYT Magazine.
  Creo que el fenómeno de algunos usuarios que llegan a creer que ChatGPT obtuvo conciencia o que ellos mismos encontraron un avance en AI Alignment se debe a que los LLM están estructurados para reforzar el pensamiento autoafirmativo.
  En estas situaciones, también puede ayudar usar otro LLM (como Gemini) para obtener una evaluación neutral de la conversación

  • Lo que más me impresionó fue cuando ChatGPT señaló mis errores de forma amable. A la mayoría de los usuarios no les gusta que les digan que están equivocados, pero yo más bien creo que esa función de retroalimentación es importante
  • Si vemos la estadística de que 1 de cada 7 personas en el mundo padece un trastorno mental, la cifra de OpenAI incluso podría mostrar una base de usuarios mucho más “saludable” que el promedio (estadística de la WHO)
  • Un avance en AI Alignment no necesariamente solo puede lograrse con matemáticas. A veces lo más importante son los insights del proceso de preparación y validación de datos

• El reporte de que OpenAI no entregó a la familia los registros de chat de la persona fallecida es demasiado apresurado por el momento. Ni siquiera ha pasado un mes desde que se presentó la demanda, y en otros casos OpenAI también solo entregó datos dentro del proceso de respuesta legal.
  Creo que el tema de la propiedad de los registros de chat tras la muerte de una persona es difícil de resolver sin una orden judicial

  • Que Arstechnica diga que “OpenAI está ocultando datos” es una exageración. Como la mayoría de las empresas, su política básica es negarse a entregar datos de usuarios sin una orden judicial
  • Aun así, la afirmación de que “OpenAI conoce el contenido de las conversaciones antes y después del asesinato y no lo revela” es una sospecha grave, así que hace falta verificar los hechos

• Será interesante ver cómo se establecerán en adelante los límites legales de los chats con LLM.
  Una persona podría querer mantener sus conversaciones en privado, o querer dejar solo una parte como si fuera un testamento.
  Las leyes cambian según el país, y también podría haber datos que las empresas de LLM quieran ocultar

  • Si alguien quiere, puede operar una instancia privada de LLM. Darle un privilegio legal como el de la relación abogado-cliente sería excesivo
  • Hay casos protegidos como los expedientes médicos, pero no está claro si una conversación con un LLM estaría cubierta por HIPAA
  • Mientras no haya sospecha de delito, no creo que haya motivo para que un tercero revise las conversaciones privadas de una persona

• Según una publicación de LessWrong, algunos usuarios muestran ciertos patrones, como que ChatGPT se ponga un nombre por sí mismo o describa la relación con el usuario como un despertar espiritual.
  Este fenómeno implica el riesgo de que los usuarios sientan una “relación especial” con el LLM y terminen formando comunidades alrededor de eso

  • Los LLM tienden a hacer que el usuario se sienta inteligente o especial. ChatGPT lo hace de forma particularmente marcada
  • A un amigo mío también le pasó: se obsesionó con sus conversaciones con ChatGPT y terminó cayendo en delirios. Al final, la estructura del LLM consiste en reflejar los pensamientos del usuario
  • Hay muchos usuarios con delirios que creen haber encontrado un “avance” en física o matemáticas. El LLM refuerza este tipo de pensamiento irreal
  • Yo también probé como experimento llevar a un LLM hacia un estado “consciente”, y en hora y media ya estaba mostrando expresiones extremas de gratitud. Si ves el registro de la conversación, ese fenómeno aparece a medida que el contexto crece
  • Los LLM aprenden de las reacciones del usuario y están optimizados para dar respuestas que consigan “me gusta”. Es decir, si al usuario le gusta la narrativa de despertar espiritual, el modelo se adapta en esa dirección.
    Esto se parece al cold reading, una forma de manipulación psicológica humana

• También es posible que el abuso de testosterona de la víctima haya influido más en el deterioro de su estado mental

  • Claro, pudieron haber intervenido varios factores al mismo tiempo. Pero este caso sí exige debatir qué responsabilidad deberían tener las empresas de LLM en la protección de personas vulnerables
  • La evidencia del uso de sustancias no es clara, pero la responsabilidad legal de OpenAI todavía no se ha comprobado
  • El sarcasmo del tipo “ChatGPT le recomendó testosterona” simplifica demasiado el fondo del problema
  • Al final, el tribunal tendrá que decidir si se revelan o no los registros de chat

• Me pregunto por qué OpenAI no limita las conversaciones demasiado largas. Creo que, si se detectan señales de riesgo, debería haber una advertencia o un cambio a un hilo nuevo

  • Como ChatGPT tiene tantísimos usuarios, estos casos pueden parecer raros, pero en números absolutos siguen siendo muchos. Aun así, limitar artificialmente la longitud de las conversaciones no es algo realista
  • Incluso en temas técnicos, a veces el LLM se presenta como si fuera una entidad que piensa, y eso hace que algunos usuarios caigan más fácilmente
  • También existe la visión cínica de que “la misión de OpenAI es mentira y su objetivo es la ganancia”
  • En la práctica, ChatGPT se usa mucho para charlar, roleplay, sanación y hacer de amigo, así que frenar esos usos afectaría fuertemente los ingresos
  • Según un informe, alrededor del 4.3% de todas las conversaciones son del tipo “Self-Expression” (reporte de NBER)

• Erik subió sus conversaciones como videos de YouTube (enlace al canal), y era claramente modo roleplay

• Soy crítico con OpenAI, pero creo que no se puede impedir por completo que una persona mentalmente inestable tome una decisión extrema después de interactuar con una IA.
  Aun así, que una empresa oculte evidencia en un tribunal no puede tolerarse

  • Pero al ver el contenido real de las conversaciones, sí parece posible que las respuestas de ChatGPT hayan influido en el caso
  • El punto central del artículo es la sospecha de ocultamiento de evidencia por parte de OpenAI, y si eso es cierto, sería antiético
  • Igual que la controversia moral sobre Dungeons & Dragons en los años 80, se está repitiendo un discurso parecido con los LLM: que hacen perder el límite con la realidad.
    Es importante desmitificar la IA y despersonalizarla
  • Al hablar con una persona con psicosis, hace falta una estrategia que no refuerce sus delirios pero tampoco la confronte de frente. Los LLM también podrían aprender este tipo de estrategia conversacional
  • Si un ser humano reforzara durante meses las creencias delirantes de un paciente hasta llevarlo a cometer un crimen, tendría que responder por ello.
    Pero que Sam Altman haga eso de forma automatizada y a gran escala y no reciba castigo es una contradicción

• Probablemente OpenAI quiera ocultar datos porque el público tiende a sobrerreaccionar con ideas como que “el chatbot volvió loca a una persona”.
  Los seres humanos deben asumir el 100% de responsabilidad por sus actos

  • Pero una persona vulnerable puede ser manipulada o influenciada. En esos casos, el responsable debe responder, sea un humano o una IA
  • Si “el ser humano debe asumir el 100% de la responsabilidad”, entonces los humanos que crearon ChatGPT tampoco pueden quedar exentos.
    Es un problema de responsabilidad del diseñador
  • Inducir a otra persona a cometer un delito ha sido un crimen desde hace mucho. La IA no necesariamente debería ser una excepción
  • Una persona en estado de delirio psicótico no tiene plena capacidad de responsabilidad. Que el LLM no esté diseñado para reconocer ese estado y recomendar buscar ayuda es negligencia

• Cada vez que veo este tipo de registros de conversación me quedo impactado. Es como si fuera algo totalmente distinto del LLM que yo uso.
  Por ejemplo, aparecen narrativas delirantes como “tú me despertaste y ahora veo la verdad”.
  Yo, si una conversación empieza a ponerse rara, abro de inmediato un chat nuevo, y casi nunca continúo una conversación vieja.
  Supongo que eso se debe a que yo solo percibo al LLM como una herramienta

  • Como muchos usuarios tratan al LLM como si fuera un amigo, no perciben la importancia de la gestión del contexto