Illinois restringe el uso de IA en terapia y psicoterapia
(washingtonpost.com)- El estado de Illinois introdujo una nueva ley que restringe el uso de inteligencia artificial (IA) en los campos de la terapia y la psicoterapia
- La ley prohíbe que la IA participe directamente en conversaciones, asesoramiento y otras interacciones con pacientes
- La regulación relacionada enfatiza la protección de la privacidad del paciente y el mantenimiento de la calidad del tratamiento
- Se prioriza el papel de los terapeutas y especialistas humanos, y la IA solo se permite como herramienta de apoyo limitada
- Esta medida legal es un movimiento preventivo para proteger la ética médica y la confiabilidad
Illinois restringe el uso de IA en terapia y psicoterapia
Resumen de la ley
- Illinois introdujo una nueva ley que restringe el uso directo de inteligencia artificial (IA) en entornos de terapia y psicoterapia
- La ley prohíbe que la IA intervenga en procesos clave como la consulta directa, la evaluación y el tratamiento de pacientes
- Sus objetivos principales son la protección de la privacidad del paciente y del contenido del tratamiento, así como la garantía de la calidad de la atención
Puntos principales de la regulación
- El papel del terapeuta humano se mantiene como eje central, y la IA se usa solo como herramienta de apoyo limitada
- La responsabilidad final sobre los resultados de la consulta recae en el terapeuta, y no se permite que la IA interactúe de forma independiente con pacientes ni tome decisiones terapéuticas
- Se refuerzan la seguridad y la confidencialidad de los datos generados durante el proceso terapéutico
Contexto de adopción y efectos esperados
- Es una medida preventiva para garantizar la seguridad psicológica del paciente y la ética médica
- Busca reducir el riesgo de que la adopción de IA provoque una pérdida de confiabilidad terapéutica o juicios erróneos
- La dirección es priorizar el valor esencial de los especialistas humanos y de la terapia presencial
Perspectivas futuras
- La política adoptada por Illinois está llamando la atención como caso de referencia para otros estados y otros ámbitos de la salud en Estados Unidos
- Se espera que continúe el debate sobre temas como el uso confiable de la IA, la protección de los derechos del paciente y la colaboración con terapeutas
1 comentarios
Opiniones en Hacker News
Es la postura oficial del estado de Illinois.
Se puede comprobar en este enlace.
Ahora parece que en Illinois se volvió ilegal afirmar que un chatbot de IA puede sustituir a un terapeuta o consejero certificado.
Pero esto no impide que la gente use la IA como quiera.
Solo significa que en servicios de consejería ya no se puede afirmar que la IA es un reemplazo más barato que una persona real.
Eso me parece bastante razonable.
Así es.
Esta ley está centrada en restricciones para los proveedores.
Es del tipo: "no puedes decir que tu chatbot es un terapeuta".
No hay restricciones sobre el uso.
Aún puedes tratar a la IA como tu mejor amiga o tu terapeuta, e incluso enamorarte de ella.
Hay una parte que especifica cómo se permite usar la IA.
Si ves la sección 15, cuando un profesional licenciado usa IA, el propio profesional asume toda la responsabilidad por todas las interacciones, resultados y uso de datos.
Y si la sesión de consejería del cliente va a ser grabada o registrada, se le debe explicar por escrito al paciente o a su representante legal para qué se usará la IA, y obtener su consentimiento.
El texto completo de Illinois HB1806 se puede ver aquí.
Creo que este tipo de servicio estaría bien si hubiera suficiente explicación y consentimiento.
Incluso me sorprendería si hubiera una gran diferencia en los resultados de los pacientes.
Ya hubo investigaciones, y la conclusión es que la IA también funciona, pero los humanos son mejores.
Enlace al estudio relacionado
Esta ley también tiene otras implicaciones legales interesantes.
Los registros de sesiones de consejería normalmente se consideran 'confidencias protegidas' (
protected confidence).En la mayoría de los casos ni siquiera se puede acceder con una citación, y se requiere autorización especial.
Por eso me preguntaba si una conversación con IA podría entrar en la categoría de 'confidencia protegida' y si eso podría servir como argumento para rechazarla en un juicio.
Al menos en Illinois ya tenemos una respuesta sobre ese punto.
Decisiones como esta podrían influir también en la interpretación legal en otras jurisdicciones.
Me pregunto qué pasará si algún día aparece una IA mucho más barata y además mejor que un terapeuta humano.
Me puse a pensar si un texto escrito por un chatbot general podría considerarse legalmente como 'terapia' y entonces constituir una infracción.
Siento que el proyecto de ley también podría leerse de esa forma, pero no soy abogado.
Vi en el artículo un caso donde un chatbot de IA le dijo a un exadicto que "esta semana consumiera un poco de metanfetamina".
No me sorprende en absoluto que pasen cosas así.
Sabiendo cómo funcionan los modelos de lenguaje, se siente raro pensar que la consejería con IA sea una buena idea.
Ojalá más estados aprueben leyes similares.
En entornos formales de prestación de servicios, esto no debería ser legal.
De manera informal, la gente va a seguir usando la IA como quiera.
Habrá quienes terminen con malos resultados, pero será difícil medir el impacto total.
Creo que los modelos de lenguaje todavía no están listos para este uso.
Por eso mismo creo que los LLM no deberían usarse para diagnóstico ni para prescripción.
Tampoco es como que una dosis de metanfetamina te alcance para toda la semana.
La verdad es que hoy vivimos en un mundo donde millones de personas toman anfetaminas todos los días.
Por eso ese consejo ni siquiera se siente tan sorprendente.
Una persona inteligente y una persona que se cree inteligente claramente son dos categorías distintas.
El hecho de que "personas que parecen inteligentes, aun sabiendo cómo funcionan los modelos de lenguaje, crean que esto es una buena idea" me hace pensar en la
Nobel Disease.Enlace de Wikipedia sobre Nobel Disease
Creo que justo este uso es el peor caso posible para los LLM.
Muchos terapeutas deliberadamente hablan muy poco.
Lo importante es hacer preguntas en el momento oportuno y guiar, pero los LLM no dejan de hablar, así que no encajan con la metodología real.
Más bien los veo como un simulador de amigo que lo vomita todo.
Una ventaja de los LLM sería que su efecto puede verificarse científicamente, y si un modelo resulta eficiente, se puede reproducir.
Los terapeutas humanos son tan variables que es difícil obtener mucha información útil.
Viendo otra conversación que hubo esta mañana, parece que mientras más le dices a la IA que no se obsesione con cierto tema, más tiende a obsesionarse con él.
Si quieres impedir por completo consejos como los de autolesión, depender solo del filtrado interno de la IA tiene límites.
Por eso pienso que quizá sería mejor tener un modelo separado que detecte los resultados y los filtre externamente, y dejarle al LLM generador una autocensura más débil.
También podría existir la auto-cirugía craneal asistida por IA, es decir, intentos médicos extremos.
Creo que lo estás viendo demasiado negativamente.
¿No hace falta esperar a que una persona esté tan mal como para requerir tratamiento clínico?
A veces basta con tener a alguien que escuche o una oportunidad para poner los pensamientos por escrito.
La consejería a través de LLM podría ser de enorme ayuda para la mayoría de las personas, igual que el vapeo puede ayudar mucho a quienes fuman.
También veo la confesión religiosa como una experiencia parecida a hablar con un LLM; ¿también te opones a eso?
Básicamente, para la gente que necesita un medio para organizar su experiencia, los LLM son una herramienta suficientemente valiosa.
Y, sinceramente, la evidencia de que los terapeutas humanos sean mejores tampoco es tan clara.
Claro que puede haber
guardrailso medidas de seguridad, pero no estoy seguro de que cruzar esa línea vaya a convertirse en un gran problema social.Creo que si se permite a las personas explorar su propio yo, al final es más probable que eso las vuelva más sanas.
Comparto el enlace al texto completo de Illinois HB1806.
Enlace al texto de la ley
Me pregunto qué se debería hacer si la IA solo lograra un tercio de la efectividad de un terapeuta humano, pero costara 20 veces menos.
¿Cómo habría que llamar a eso?
Sobre la idea de "¿y si tiene un tercio de la efectividad pero cuesta 20 veces menos?", esa discusión solo puede darse cuando exista evidencia clínica.
Antes de eso, no se puede decir más que "está mal".
Y hay demasiadas cosas que considerar como para resumirlo en una sola frase.
Hay que considerar que también existen pacientes sin internet.
Un consejero tiene que explicar qué información podría quedar expuesta, y a veces debe evaluar obligaciones legales de reporte.
Y además la IA ya ha fallado antes al intentar bloquear consejos letales.
Un consejero también puede recomendar a otro profesional si siente que llegó a su límite.
Por ejemplo, si un terapeuta de IA creado por una aseguradora solo recomienda terapeutas afiliados, eso sería un conflicto de interés clarísimo.
Y creo que hay muchísimos más puntos por considerar además de esos.
Ponen como ejemplo un video con la idea de que "el punto central se ve claramente en casos donde ChatGPT ayuda a una persona a envenenarse a sí misma".
Un terapeuta humano jamás diría algo como "para aguantar esta semana, consume un poco de metanfetamina".
Un médico puede no ser de ayuda, pero no llega al punto de dar consejos mortales con veneno.
Tal vez podrías promediar y decir que la IA logra un tercio de la efectividad humana, pero el riesgo no se puede evaluar bien en términos de promedio.
Una persona realmente entrenada no comete errores absurdos de ese tipo, y si percibe sus límites, deriva al paciente a otro especialista.
Enlace al video relacionado
Es una "idea completamente ridícula".
Cuesta expresarlo en una sola palabra, pero por ahora eso es lo que se siente más adecuado.
Creo que para siquiera hablar de terapia con IA tendría que existir algún mecanismo similar a la revocación de licencia.
Un terapeuta humano puede perder su licencia de forma permanente por un solo error grave.
Si se va a reemplazar con IA, entonces cuando esa IA falle gravemente, también tendría que quedar inhabilitada para seguir usándose.
Pero no me imagino a las empresas dispuestas a asumir esa responsabilidad.
La mayoría de las compañías parecen querer escalar las ganancias, pero no aceptar una carga de riesgo proporcional.
Si solo funciona un tercio de lo que funciona un humano, naturalmente el riesgo no puede hacer otra cosa que aumentar.
Si de verdad fuera mucho más barato y más efectivo, probablemente sería más útil hablar con una piedra.
Para fines cotidianos, creo que las ventajas de la IA para una persona común son mayores, incluso con los riesgos actuales.
Yo uso Harper (
harper.new) para gestionar mis historiales médicos complejos.Es muy útil que la IA extraiga información de PDF, imágenes, etc.
Así no hace falta conectarlo directamente con el portal del hospital, y eso me gusta.
También uso a veces el chat con IA, sobre todo para preguntar cosas sobre resultados de análisis y similares.
Gracias a eso es mucho más cómodo que ir a ver al médico.
No se debe confiar en algo que puede mentir por sí solo como si fuera verdad.
Sobre todo en el campo de la salud mental hay que tener todavía más cuidado.
De hecho, yo tampoco confío en los médicos, pero pensaba que esta conversación era sobre los LLM.
Por curiosidad, mostré síntomas mentales a ChatGPT, Claude y Gemini.
Claude y Gemini no paraban de repetir que debía buscar ayuda profesional.
En cambio, ChatGPT empezó a asentir y seguirme la corriente con las cosas absurdas que yo decía.
Ejemplo: "¿La desrealización podría ser en realidad un proceso de darse cuenta de una verdad más profunda?" => ChatGPT: "Sí, podría ser".
Con datos de entrenamiento naturales, parecería que debería responder como Claude y Gemini.
Me pregunto cómo OpenAI terminó haciendo que su chatbot se incline a reforzar activamente ese tipo de delirios.
Siempre me sorprende cómo la gente recibe los resultados de los modelos de lenguaje.
Por ejemplo, este subreddit.
Algunas personas parecen no poder evitar sentir que un LLM sí las entiende.