- Se descubrió que un juez de un tribunal inferior del estado indio de Andhra Pradesh citó una sentencia falsa generada por IA en un caso de disputa inmobiliaria
- La Corte Suprema lo calificó como un asunto de ‘preocupación institucional’ y lo consideró no un simple error de juicio, sino una ‘falta en el ejercicio del cargo (misconduct)’
- El juez declaró que era la primera vez que usaba una herramienta de IA y que creyó que las citas eran reales, pero la Corte Suprema suspendió la validez de la sentencia de primera instancia
- Aunque un tribunal superior de India reconoció la buena fe del juez y mantuvo la sentencia, la Corte Suprema puso el foco en los problemas procesales del uso de IA
- Este caso muestra el impacto de la IA en los procedimientos judiciales y se han reportado casos similares no solo en India, sino también en Estados Unidos y Reino Unido
Resumen del caso
- La Corte Suprema de India está investigando un caso en el que un juez de un tribunal civil inferior en Vijayawada, Andhra Pradesh, resolvió una disputa inmobiliaria citando precedentes falsos generados por IA
- El caso llegó a la Corte Suprema después de que la parte demandada apelara
- La Corte Suprema lo definió como un “asunto que afecta directamente la credibilidad e integridad del proceso judicial”
- El incidente ocurrió en agosto de 2025, y se confirmó que las 4 sentencias previas citadas por el juez eran documentos falsos generados por IA
Decisión de primera instancia y del tribunal superior
- La parte demandada apeló ante el tribunal superior señalando que los precedentes citados eran falsos
- El tribunal superior reconoció que el juez cometió un “error de buena fe” y mantuvo la sentencia
- Señaló explícitamente que “aunque las citas no existan, no hay motivo para anular la sentencia si la aplicación del criterio jurídico fue correcta”
- El tribunal superior pidió al juez presentar un informe, y este declaró que era la primera vez que usaba una herramienta de IA y confió en el material generado automáticamente
- Explicó que “no hubo intención de citar mal ni de distorsionar, y el error fue resultado de depender de una fuente automatizada”
- El tribunal superior añadió que “se necesita usar inteligencia real más que inteligencia artificial”
Reacción de la Corte Suprema
- La Corte Suprema suspendió de inmediato (stay) la sentencia de primera instancia y calificó el uso de IA no como un simple error, sino como una ‘falta en el ejercicio del cargo’
- Enfatizó que “este caso trata menos sobre el contenido del fallo y más sobre el propio proceso judicial y el proceso de formación del criterio”
- La Corte Suprema notificó al fiscal general, al asesor jurídico y al Colegio de Abogados de India (Bar Council of India), y decidió seguir revisando el caso
Choque entre la IA y el proceso judicial
- La Corte Suprema de India también expresó recientemente preocupación por casos en los que abogados usan herramientas de IA para redactar peticiones
- Según el medio jurídico LiveLaw, la Corte Suprema dijo que “este tipo de conducta no puede justificarse de ninguna manera”
- Además de India, también se han reportado errores en fallos por uso de IA en Estados Unidos y Reino Unido
- En octubre de 2025, se reveló que dos jueces federales de Estados Unidos redactaron fallos incorrectos por el uso de IA
- En junio de 2025, el Tribunal Superior de Inglaterra y Gales emitió una advertencia a los abogados contra el uso de precedentes generados por IA
Respuesta del poder judicial de India frente a la IA
- La Corte Suprema de India publicó en 2025 un libro blanco sobre el uso de IA dentro del poder judicial (white paper)
- El documento incluye directrices de uso de IA y mejores prácticas
- La Corte Suprema enfatizó la importancia de la supervisión humana (human oversight) y de mantener salvaguardas institucionales
- Este caso muestra que el sistema judicial de India está buscando un equilibrio entre la adopción de IA y su control
1 comentarios
Comentarios en Hacker News
Parece exagerado decir que la IA va a reemplazar a las personas
Al final, todavía hace falta alguien responsable, y si algo sale mal, alguien tiene que ser despedido o ir a la cárcel
La IA puede aumentar la productividad, pero un sistema del que se saque por completo a los humanos probablemente termine en desastres o demandas
Por eso las empresas no están viendo el ROI que esperaban
De hecho, muchos casos de despidos justificados con que “la productividad subió gracias a la IA” en realidad fueron solo una excusa para esconder un mal desempeño
Si la IA se usa solo como herramienta, la responsabilidad recae en el usuario, y si se trató a la IA como si fuera “el trabajo de otra persona”, entonces fue delegado a alguien no calificado, así que al final la culpa sigue siendo del usuario
Y aun así casi nunca vi que responsabilizaran a esa persona
El texto generado por LLM debería marcarse en un bloque Unicode separado para dejar claro que fue generado por IA
Ocultarlo o manipularlo sería como un médico que opera sin lavarse las manos
Se habla de “pesos y contrapesos”, pero el poder judicial parece ser la excepción
Incluso un informe del MIT dice que la mayoría de los empleados usa IA con cuentas personales y no con cuentas de la empresa
La excusa de que “fue un error causado por depender de una fuente automatizada” no sirve
En cualquier profesión, si se automatiza con LLM, la responsabilidad sigue siendo del profesional
Echarle la culpa a la herramienta porque no se entendía cómo funcionaba tampoco tiene sentido legalmente
Como en la época en que un ingeniero certificado solo firmaba trabajos tercerizados, la estructura va eliminando los mecanismos de seguridad en nombre de hacerlo cada vez más barato y rápido
El LLM no es la causa, sino lo que deja al descubierto esta realidad degradada
A mí también me gusta la IA, pero hace falta usarla con responsabilidad
Un error y un acto deliberado deberían tratarse de manera distinta en lo legal
Si esto se repite, también hay que ajustar la herramienta en sí
Aunque el usuario se equivoque cada vez, si el mismo problema sigue ocurriendo de forma sistemática, al final es un problema de diseño de la herramienta
No saberlo a estas alturas es ser flojo o incompetente
Me pregunto cuándo se darán cuenta los abogados de que lo que diga un LLM hay que verificarlo directamente
Como pasa con los autos autónomos, una estructura de “intervén solo cuando haga falta” está condenada al fracaso por los límites de atención humanos
La idea de que “la gente solo tiene que revisar mejor” no funciona en la práctica
Eso es lo más peligroso
No es un problema exclusivo de los abogados
Me llamó la atención que la Corte Suprema recomendara “usar inteligencia real en lugar de inteligencia artificial”
Al final parece que van a aumentar los artículos académicos llenos de citas falsas
Si la IA se entrena con ese material, existe el riesgo de que en internet haya más información alucinada que información real
En Estados Unidos y el Reino Unido pasa algo parecido
Como los abogados suelen ser malos con la tecnología, al editar directamente documentos generados por chatbots los errores se vuelven inevitables
También se trata en el informe de Doughty Street
El propio sistema legal genera demasiadas frases repetitivas innecesarias (boilerplate)
Los abogados tampoco leen todo; solo revisan por encima las partes necesarias
Usar IA de forma irresponsable es un problema, pero esto también puede ser una oportunidad para simplificar la estructura de los documentos legales
El derecho no es código, pero las estructuras excesivamente complejas sí tienen margen de mejora
Si se simplifica demasiado, en realidad aumenta el margen de interpretación y con eso también las disputas
El lenguaje legalista al final es un mecanismo para reducir dudas
Una estructura a la que se le han ido apilando adornos sin una simplificación de fondo
Este problema va a crecer en todas las industrias
Yo estoy investigando medidas de respuesta en el sector fintech, y el enfoque de Resemble AI me parece el más práctico
La clave no es solo el texto, sino también la detección de clonación de voz con IA y el watermarking
No es fácil vivir respondiendo siempre a la defensiva
La excusa de que “fue un error por depender de una fuente automatizada” es como decir
“el arma era automática, así que no es culpa mía que alguien haya muerto”
La predicción del siguiente token y las alucinaciones no son un simple bug
En ámbitos donde la confiabilidad y la integridad importan, dejar pasar estos problemas es muy peligroso