- Un empleado de una institución médica creó directamente un sistema de gestión de pacientes con un agente de codificación con IA, y los datos de los pacientes quedaron expuestos en internet sin cifrado
- Las grabaciones de conversaciones médicas se enviaban a dos servicios de IA para resumirlas automáticamente, y todos los datos tenían permisos de lectura y escritura abiertos
- Los datos se almacenaban en servidores de EE. UU., se operaban sin un acuerdo de procesamiento de datos (DPA) y tampoco se informó previamente a los pacientes
- Estas acciones podrían violar la ley de protección de datos nDSG de Suiza y la obligación de secreto profesional
- El autor advierte que “si la codificación con IA se queda en un simple nivel de vibe, conducirá a un futuro inseguro”
El desastre de seguridad de una app de gestión de pacientes hecha con IA
- Caso de un empleado de una institución médica que creó directamente un sistema de gestión de pacientes usando un agente de codificación con IA
- Importó todos los datos existentes de pacientes y los distribuyó públicamente en internet
- Añadió una función para grabar conversaciones durante la consulta y la envió a dos servicios de IA para implementar una función de resumen automático
- Como resultado, todos los datos de los pacientes quedaron expuestos en internet sin cifrado
- El autor obtuvo permisos de lectura y escritura sobre todos los datos en solo 30 minutos
- Reportó el problema, pero la respuesta que recibió fue un mensaje de agradecimiento generado automáticamente por IA
- Los datos estaban almacenados en servidores de EE. UU. y operaban sin un acuerdo de procesamiento de datos (DPA)
- Los archivos de grabación de voz también se enviaban a empresas de IA con sede en EE. UU.
- A los pacientes no se les informó previamente sobre este tratamiento de datos
- Esto podría constituir una violación de la nDSG (ley de protección de datos) de Suiza y de la obligación de secreto profesional (Berufsgeheimnis)
- Aunque no es un experto legal, considera que se infringieron múltiples disposiciones
- Se advierte que “si la codificación con IA se queda en el simple nivel de ‘vibe’, llevará a un futuro inseguro”
Contexto técnico
- La aplicación estaba compuesta por un único archivo HTML
- Todo el JavaScript, CSS y el código estructural estaban incluidos en línea
- El backend usaba un servicio de base de datos administrada sin ningún control de acceso
- La lógica de control de acceso existía solo en el JavaScript del cliente
- Era posible acceder a los datos con una sola línea de comando
curl
- Era posible acceder a los datos con una sola línea de comando
- Todos los archivos de grabaciones de voz se enviaban directamente a APIs externas de IA para su transcripción y resumen
- Solo con esto ya queda claro que había fallas de seguridad graves
Perspectiva
- Al usar herramientas de codificación con IA, es indispensable tener la capacidad de comprender la estructura del código y la arquitectura
- Un enfoque de simplemente “disfrutar la vibra de programar con IA” puede provocar resultados peligrosos
- En medio de la expansión de las herramientas de desarrollo con IA, es imprescindible contar con conciencia básica de seguridad y comprensión técnica
11 comentarios
Pues, ya desde antes... incluso si buscas
OPENAI_API_KEYen GitHub, salen un montón expuestas...A este paso, capaz que llegue una época en la que haya que sacar una certificación de vibe coding..
Con la IA, cada vez hay más personas que fingen ser expertas, y como empezaron a hablar de más, el mundo se ha vuelto demasiado caótico.
...
En Corea también, de acuerdo con la Ley de Protección de la Información y el artículo 21, párrafo 2, de la Ley Médica, se establece que el personal de las instituciones médicas no debe permitir que terceros consulten los registros de un paciente salvo en circunstancias excepcionales.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…
Gracias al rezagado entorno de seguridad de la información en Corea, como todos creen firmemente en la separación de redes, por suerte parece que este tipo de incidentes no ocurre con frecuencia en los grandes hospitales.
Como el entorno en el que se consultan los registros de los pacientes está en la red interna, a los usuarios que no saben de seguridad se les dificulta conectar directamente servicios comerciales de IA.
No sé qué estará pasando en las clínicas de atención primaria, donde las computadoras de consulta médica están conectadas directamente a Internet jaja
La PHI siempre requiere cuidado... y más cuidado...
A mí también me pasó lo mismo: le mostré Claude Code a un amigo y, como dos semanas después, me dijo “¡¡hice algo!!”, pero resultó ser exactamente la misma situación.
Dicen que también hubo un avance revolucionario en las técnicas para encontrar vulnerabilidades de seguridad.
El hecho de haber encontrado esas vulnerabilidades implica que también surge la necesidad de contar con formas de protegerlas,
así que parece que los métodos de seguridad también se irán reforzando.
Para empezar, los no especialistas probablemente ni siquiera sepan que esas cosas existen ni por qué son necesarias.
Cuanto más pasa esto, más me hace tomar conciencia de que hay que aprender ciencias de la computación.
Me parece una expresión que realmente da en el clavo.
Opiniones de Hacker News
En España viví algo parecido. No fue en salud, sino en una aseguradora pequeña, pero, por increíble que parezca, ellos también hicieron su CRM con vibe-coding
Cuando les avisé por correo sobre el problema, me amenazaron con demandarme. Fue absurdo, pero al final presenté una denuncia ante la AEPD (Agencia Española de Protección de Datos). Esa entidad tiene fama de ser bastante poderosa
El viernes pasado también les envié un burofax exigiendo la eliminación de mis datos personales
Les avisé del problema con un README.txt, pero nada cambió. Pensé en ir personalmente, arreglarlo y quizá convertirlo en mi primer trabajo, pero más bien ellos se molestaron. Dijeron que ya trabajaban con un proveedor externo caro y que yo había entrado sin autorización. Así que me fui de inmediato
Incluso en un foro de pequeños negocios donde participo, alguien presumió que había hecho su propia app con IA. Pero no tenía idea de la responsabilidad legal, y cuando desarrolladores en Reddit le dijeron “contrata a un desarrollador de verdad”, se enojó. Ahora cree que los desarrolladores son una especie al borde de la extinción
En LinkedIn, vendedores que no entienden de tecnología andan diciendo que la IA es la respuesta a todos los problemas
En este ambiente da miedo pensar que en algún momento va a ocurrir un desastre realmente grande
El vibe-coding se ve bien, pero sus límites aparecen rápido
Cuando pasas de unos miles de líneas, la estructura se desmorona, y los sistemas reales son mucho más complejos. Al final, hacen falta los fundamentos de la ingeniería de software
Para prototipos o herramientas internas puede servir, pero en producción real es peligroso. Yo no querría confiar mis datos a un sistema así
Yo uso Jira Rovo MCP con Claude Code para crear diseño y documentación, lo reviso manualmente y luego implemento en una sesión nueva
Como los LLM se vuelven más tontos mientras más contexto acumulan, conviene usar sí o sí la configuración de la barra de estado de contexto
Yo probé Gemma 4 en local y, aunque era lenta, era tan potente como los modelos en la nube. La ventaja es que los datos no salen al exterior
Hace unos meses vi una webapp hecha con vibe-coding por un cirujano
Funcionaba, pero no había index.html en el directorio raíz, y en los archivos de respaldo estaban tal cual los datos de conexión a la base de datos y las claves de AWS
Bastaba con agregar un index.html vacío para resolverlo, pero ni el desarrollador ni la IA entendían por qué
La app en sí era impresionante, pero tenía demasiados errores básicos de seguridad. Habría bastado con que alguien con experiencia en DevOps le diera una sola revisada
Al final, la IA no sabe lo que no le preguntan. Un desarrollador con experiencia recuerda fracasos del pasado, pero el vibe-coder solo tiene el prompt
Que “toda la lógica de control de acceso estaba en el JavaScript del cliente” es realmente lo peor
Este es un caso típico de uso irresponsable de IA por parte de alguien no profesional.
Cuando se usa IA en trabajo real, hay que entender necesariamente la responsabilidad y el riesgo
Sin un control adecuado del flujo de trabajo y sin validar los resultados, este tipo de problemas va a seguir ocurriendo. Ahora mismo estamos en el Lejano Oeste de los LLM
Creo que la ingeniería de software también necesita ya un sistema de certificación profesional
Así como se necesita certificación para diseñar puentes o edificios, los desarrolladores que crean sistemas importantes también deberían cumplir ciertos estándares
Al final, con el tiempo se va a consolidar una comprensión más clara sobre IA y privacidad
Este texto se siente demasiado vago, como si fuera ficticio
Si la IA se entrenara para ocultar la implementación, es decir, para dejar el cliente más delgado y usar autenticación OAuth, ¿sería mejor?
Este tipo de errores simples se pueden evitar perfectamente. Pero el objetivo sigue siendo reemplazar a los desarrolladores
Lo peor es que la gente está empezando a creer que “aprender cosas difíciles es ineficiente”
Yo trabajo en criptografía, y algunos estudiantes piensan que las técnicas de seguridad pronto desaparecerán por culpa de la IA. Por eso les hago implementar autenticación web simple para mostrarles la realidad
Una firma contable que conozco también está haciendo su propio CRM con Lovable. No tienen absolutamente ningún perfil técnico
Ya se ve venir el desastre
Todas las demás industrias de alto riesgo tienen sistemas de doble verificación. Los pilotos tienen copiloto, los cirujanos tienen listas de control y las plantas nucleares tienen validación independiente
Pero el software ha sido la excepción, y el vibe-coding elimina incluso la poca verificación basada en comprensión que todavía quedaba