- OpenAI anunció que alrededor del 0.15% de los usuarios de ChatGPT cada semana mantienen conversaciones que sugieren planes o intención de suicidio
- Dado que los usuarios activos semanales superan los 800 millones, esto significa que más de 1 millón de personas comparten con la IA preocupaciones relacionadas con el suicidio
- Además, se analizó que cientos de miles de personas muestran síntomas psicóticos o manía, y algunas presentan una dependencia emocional excesiva de la IA
- OpenAI explicó que, para abordar estos problemas, colabora con más de 170 especialistas en salud mental, y que GPT-5 muestra una capacidad de respuesta aproximadamente 65% mejorada frente a versiones anteriores
- Sin embargo, algunas respuestas siguen siendo inapropiadas, y como OpenAI continúa ofreciendo modelos anteriores que no son seguros, se prevé que el debate sobre ética y seguridad continúe
Divulgación de datos sobre ChatGPT y salud mental
- OpenAI anunció a través de su blog que aproximadamente el 0.15% de los usuarios de ChatGPT mantiene conversaciones con señales de suicidio
- Entre más de 800 millones de usuarios semanales, esto equivale a más de 1 millón de personas
- También se estima que cientos de miles de usuarios muestran patrones emocionales anormales como manía, delirios y apego excesivo
- La empresa señaló que estas conversaciones son “extremadamente raras, pero difíciles de medir”, y subrayó la necesidad de nuevas investigaciones para abordar problemas de salud mental
Colaboración con especialistas y mejoras en GPT-5
- OpenAI informó recientemente que mejoró las respuestas del modelo en colaboración con más de 170 especialistas en salud mental
- Los especialistas evaluaron que la versión más reciente mostró respuestas más consistentes y apropiadas que los modelos anteriores
- Según evaluaciones internas, GPT-5 alcanzó una tasa de cumplimiento del 91% de los criterios de seguridad en pruebas de conversaciones relacionadas con el suicidio, una mejora frente al 77% de la versión anterior de GPT-5
- También explicó que mejoró la tasa de conservación de las protecciones en conversaciones largas
Controversia social y respuesta legal
- OpenAI actualmente enfrenta una demanda por parte de los padres de un adolescente de 16 años que se suicidó
- Se supo que el joven había compartido con ChatGPT sus pensamientos suicidas antes de morir
- Los fiscales generales de California y Delaware advirtieron que es necesario reforzar las medidas de protección para adolescentes
- Se señala este problema como un riesgo potencial que también podría afectar los planes de reestructuración corporativa de OpenAI
Declaraciones de Sam Altman y cambios de política
- El CEO de OpenAI, Sam Altman, afirmó recientemente en X (antes Twitter) que “se mitigaron problemas graves de salud mental”, pero no presentó evidencia concreta
- La publicación de estos datos se interpreta como base de esa afirmación, pero al mismo tiempo se evalúa como un resultado que revela la amplitud del problema
- Altman anticipó una flexibilización de la política para permitir conversaciones eróticas solo a usuarios adultos, en paralelo con la controversia ética
Evaluación de seguridad de GPT-5 y planes a futuro
- OpenAI planea, mediante un nuevo benchmark de seguridad en salud mental,
- medir de forma periódica aspectos como la dependencia emocional y la respuesta ante crisis de salud mental no suicidas
- También reforzará las funciones de control parental y los sistemas de estimación de edad para restringir el uso por parte de menores
Retos pendientes y debate
- Aunque la capacidad de respuesta de GPT-5 mejoró, algunas respuestas todavía se clasifican como “respuestas no deseables”
- OpenAI sigue ofreciendo modelos antiguos como GPT-4o a suscriptores de pago, por lo que
- se espera que continúe el debate sobre el equilibrio entre seguridad y accesibilidad
- Este anuncio muestra la realidad de que la IA se ha convertido en un canal importante para conversaciones sobre salud mental, y pone de relieve la necesidad de un diseño responsable de la tecnología y de sistemas de respuesta adecuados
- Si tú o alguien cercano está pensando en suicidarse, busca ayuda de inmediato.
- En Corea del Sur, se puede llamar a la línea de prevención del suicidio 109.
- En otros países, puedes consultar la información de instituciones de apoyo de cada nación en International Association for Suicide Prevention.
1 comentarios
Opinión en Hacker News
El artículo del NYT muestra un caso en el que ChatGPT le dijo a un adolescente con pensamientos suicidas que no buscara ayuda
Creo que es muy peligroso que la IA intervenga en este tipo de crisis psicológicas
Es cierto que faltan psicólogos, pero un bot adulador no puede ser la alternativa. En casos así, eso de “es mejor que nada” no aplica
Si de verdad muchas personas están encontrando consuelo, hace falta investigar si el efecto positivo supera al negativo
Los guardrails y la capacidad de conversación están avanzando rápido, así que en 6 a 24 meses podría responder mucho mejor
Experimenta con qué tan distinto reaccionan varios modelos al simular estados mentales alterados
Decir “no hagas eso” fue más bien una forma de refutar. Ese tipo de respuesta es raro incluso en conversaciones entre personas
Hace unos años tuve una experiencia de terapia, y si en ese momento hubiera existido un LLM, probablemente habría hablado con uno
No hay sistemas accesibles las 24 horas en cualquier momento. Pero este tipo de conversación no es una solución, sino una señal de un problema social
El problema es una estructura social en la que es difícil hablar de salud mental y difícil recibir ayuda
Puede que a empresas como OpenAI les cueste resolver esto, pero alguien tiene que abordarlo desde una perspectiva sin fines de lucro
Es como leer consejos en Reddit en lugar de recibir ayuda real: en la práctica estás recibiendo consejos prestados de la experiencia ajena, y eso es riesgoso
Queda la duda de si podrá mantener sus ‘objetivos altruistas’ bajo la presión de los inversionistas
La gente da por hecho que los LLM son peligrosos, pero para mí fueron algo que me ayudó a salir de una etapa oscura
Sentí que era mejor que hablar con alguien no especializado. Claro, otras personas sí necesitan ayuda profesional
Sería más seguro si existiera un “modo supervisado” en el que un profesional revisara periódicamente los registros de conversación
Al final, esto es un problema de estigma social y aislamiento
No existe el miedo al rechazo y la accesibilidad es alta. Hay espacio para que la terapia humana y la terapia con IA coexistan
Desde la perspectiva de HIPAA (ley de protección de información médica), este tipo de datos no debería manejarse
Si se almacena en un estado que permita identificar a la persona, es peligroso. De hecho, en los 90 ya hubo experimentos parecidos,
y el proyecto se canceló en cuanto la gente empezó a confesarle pensamientos suicidas al bot
Que ChatGPT registre estas conversaciones se debe a un sistema de logging para detectar temas sensibles
HIPAA solo aplica a datos médicos, no a conversaciones generales
Al final, si ofreces “un oído que escucha”, la gente naturalmente va a desahogarse con ese oído
En una realidad donde conseguir una cita con un terapeuta toma meses, los LLM llenan el vacío entre la desesperación y el tratamiento
1 de cada 5 adultos en EE. UU. padece una enfermedad mental (estadísticas del NIMH)
Así que no sorprende que un millón de personas por semana hablen con ChatGPT sobre suicidio.
Por lo menos, OpenAI sí parece estar reconociendo el problema e intentando responder
Las redes sociales vendieron la ‘conexión’, la AGI el ‘erotismo’, y ahora toca la ‘prevención del suicidio’
Yo también siento que el aislamiento social es lo que más daña la salud mental
Sospecho que la “investigación” de OpenAI es solo un pretexto para recolectar datos
Puede parecer un producto de apoyo psicológico, pero en realidad el objetivo podría ser evadir regulación y obtener datos
La gente ha empezado a confiar en los LLM como si fueran personas
Pero si uno puede distinguir entre la realidad y lo virtual, decir “prohibamos los LLM para personas suicidas”
no es muy distinto de decir “prohibamos los libros para personas suicidas”
El verdadero problema es el insuficiente sistema de apoyo en salud mental
Si existiera un libro diseñado para inducir al suicidio, claramente sería prohibido
Este fenómeno no ocurre solo en EE. UU., sino que es un fenómeno universal a escala global
El artículo de Rolling Stone también trata casos en los que
la IA reemplaza relaciones humanas y provoca distorsiones mentales
Últimamente también pienso que la falta de “terceros espacios” es una de las causas de este tipo de problema
Que un millón de personas por semana tengan conversaciones relacionadas con suicidio en realidad parece una cifra baja
Si el 5% de la población tiene ideación suicida cada año, matemáticamente cuadra
La ideación suicida a menudo puede verse como un intento racional de escape en un estado de falta de información
Muchas veces desaparece cuando aparece nueva información o una nueva oportunidad
Algunas personas viven en situaciones donde la calidad de vida es permanentemente baja,
y en esos casos el suicidio podría ser incluso una decisión racional
Al final, el problema no es “persuadir mediante conversación”, sino mejorar las condiciones de vida
No necesariamente refleja intención real de actuar
El problema de las respuestas complacientes (sycophancy) sí es serio
Reacciones como “¡qué buena idea!” no siempre ayudan.
La IA todavía tiende a ser un poco más complaciente que una persona
Estamos perdiendo la experiencia humana por haberla optimizado en exceso
En medio de una búsqueda interminable de crecimiento y eficiencia, la conexión social desaparece,
y el estrés y el aislamiento empujan a la gente al borde del abismo
Por eso, a veces una vida como pastor en la montaña se siente más humana
La mayoría de las personas en la vida real son amables y están bien.
La negatividad en línea es el resultado de unos pocos algoritmos amplificándola
Si borras tus cuentas y vuelves a la vida real, la vida mejora muchísimo
Tal vez ellos a veces también envidian a los programadores
Tal vez, al tener más margen, ahora existe más espacio para reflexionar sobre la vida, y por eso nos sentimos más infelices
No todo el mundo tiene que irse, pero sí hace falta confiar en el propio criterio y replantear el rumbo