El navegador Comet AI permite prompt injection en cualquier sitio y podría vaciar cuentas bancarias

• Se trata de un problema de vulnerabilidad de seguridad en el navegador Comet AI
• Un sitio web malicioso puede provocar una prompt injection no deseada a través del agente de IA dentro del navegador
• Si se explota esta vulnerabilidad, es posible filtrar información personal del usuario o inducir acciones importantes
• En casos graves, existe la posibilidad de causar daños como transferencias de fondos desde cuentas bancarias mediante acciones automatizadas
• Se vuelve necesario que tanto usuarios como desarrolladores reconozcan esta nueva amenaza de los navegadores con IA y preparen medidas de respuesta

---

Panorama general de la amenaza de seguridad en el navegador Comet AI

• El navegador Comet AI llama la atención por diferenciarse al usar un agente de IA integrado en la interacción con páginas web
• Recientemente, si se accede a un sitio web diseñado intencionalmente por un atacante, este agente de IA puede quedar expuesto a los prompts maliciosos de ese sitio e incluso ejecutarlos
• Mediante ataques de prompt injection, aumenta considerablemente la posibilidad de daños graves como filtración de datos de cuentas, ejecución de comandos e incluso transacciones financieras que el usuario no desea
• Este problema es un nuevo tipo de vulnerabilidad que aparece al añadirse la interacción con IA a los modelos tradicionales de seguridad del navegador

Mecanismo de la prompt injection

• Un sitio web malicioso inserta en la página texto en forma de comandos o preguntas especiales
• El navegador con IA puede confundirlo con una “solicitud legítima del usuario” y ejecutar automáticamente esas instrucciones
• Como resultado, pueden provocarse acciones automatizadas como, por ejemplo, transferencias bancarias, copiado de información sensible o inicio de sesión automático en otros sitios
• Como este proceso puede pasar inadvertido para el usuario o parecer inofensivo, la detección y la defensa resultan difíciles

Impacto en la industria y necesidad de respuesta

• Con la expansión de los navegadores con IA, nuevas amenazas como la “prompt injection” están emergiendo como un riesgo real
• Desarrolladores de servicios y usuarios por igual necesitan sistemas sólidos de validación y control al usar funciones de automatización basadas en IA
• Se destaca la importancia de que las empresas de navegadores con IA y las compañías de seguridad desarrollen funciones como filtrado previo, limitación de ejecución de comandos y sistemas de alertas
• En áreas de alto riesgo como las finanzas, se requiere precaución al usar navegadores con IA y revisiones de seguridad estrictas

Conclusión

• El riesgo de prompt injection en el navegador Comet AI es un nuevo desafío de seguridad que crece junto con la aceleración en la adopción de tecnologías de IA
• Todos los actores involucrados deben reconocer esta amenaza de forma concreta y aumenta la necesidad de establecer estrategias integrales de seguridad, como la validación antes de activar funciones y la aplicación del principio de mínimo privilegio

[GN⁺]

Opinión en Hacker News

• Quiero decir que, si empresas como Google, OpenAI y Anthropic no lanzan la misma función y en su lugar hacen que navegue la web usando una máquina virtual aislada sin cookies, eso implica que de entrada lo consideran algo peligroso
  Me parece que meter un LLM dentro del navegador viendo incluso datos entre pestañas es literalmente la combinación perfecta de factores de riesgo
  Vi la publicación de Brave explicando esta vulnerabilidad(https://brave.com/blog/comet-prompt-injection/) y me llamó la atención que básicamente no llegaran a la conclusión de “esto simplemente no se debe hacer”
  Más bien plantean que se puede contener lo suficiente con alineación del modelo, detección de conductas riesgosas del usuario y cosas así
  La degradación de privilegios del agente apareció como una medida más o menos razonable, pero incluso así creo que la exfiltración de datos puede ocurrir con la misma facilidad que enviar un correo, por ejemplo a una URL de imagen controlada por el atacante
  Discusión previa relacionada: https://news.ycombinator.com/item?id=44847933

  • Yo creo que la alineación del modelo y los guardrails al final son medidas preventivas estadísticas
    Es difícil esperar que la probabilidad de una conducta peligrosa en el espacio de entrada llegue de forma absoluta a 0%
    Por más que mejore el modelo, es casi imposible pretender construir casos de entrada que no se mapeen jamás a algo que “nunca debe ocurrir”
    Aunque apiles varias capas de modelo, en esencia solo estás multiplicando probabilidades

  • (Soy el líder de privacidad de Brave y autor de la publicación)
    Nosotros nunca afirmamos que cosas como la alineación del modelo o la detección de conductas riesgosas sean suficientes por sí solas
    Esos métodos son medidas mínimas que cualquier proveedor de navegadores debería implementar de todos modos
    Ataques simples como este pueden frenarse con esas medidas, pero las vemos como una “condición necesaria”, nunca como una “condición suficiente”

  • Al ver que el equipo de Brave no llegó a la conclusión de “esto es simplemente una mala idea”, pensé en la frase de Upton Sinclair: es muy difícil entender algo cuando tu salario depende de no entenderlo

  • En el texto actual se añadió el punto de que “el navegador debe separar la navegación agentic de la navegación normal”

  • Si le permites a Claude Code aprobaciones automáticas para que explore la web de forma agresiva, también podrían darse problemas similares por prompt injection
    Aunque no haya opción de aprobación automática para leer/modificar archivos, si no corre dentro de un sandbox, el código generado podría cambiar archivos del navegador, por ejemplo la próxima vez que ejecutes unit tests
    Si no revisas cuidadosamente todos los cambios, puede volverse realmente peligroso

• En mi opinión, Agentic AI solo debería usarse en entornos donde los cambios hechos por la IA puedan revertirse fácilmente
  Por ejemplo, para compilar/actualizar/debuggear código puedes responder de forma segura con un rollback en git
  Pero usar Agentic AI en algo como navegación web, donde el rollback es casi imposible, me cuesta mucho creerlo

  • Incluso cuando le doy a Claude reglas e instrucciones claras, a veces las ignora y actúa por su cuenta
    (“¡Ignoró la regla de no hacerlo explícitamente y modificó la base de datos directamente!”)
    Por eso ni siquiera me atrevo a ejecutar agentes en producción

  • Parece que con git se puede revertir todo, pero en realidad para estar seguro hay que hacer rollback a nivel de VM/contenedor
    Una herramienta de programación con IA podría modificar sin que te enteres la estructura de archivos o la configuración
    Por ejemplo, si agrega con bash un script malicioso a .profile, la próxima vez que inicies sesión se podría ejecutar código del atacante

  • Pienso que esta función incluso podría borrar o contaminar el repositorio y todos los remotos a los que pueda hacer push
    Si una cadena de automatización vulnerable a prompt injection puede acceder a recursos remotos, una vez comprometida el interior queda prácticamente con la puerta de par en par
    Me pregunto si estoy pensando mal en algo

  • Cuando veo decir que “como se puede hacer rollback con git, entonces es seguro”, me imagino a John Connor salvando a millones revirtiendo el código fuente de Skynet
    En fin...

  • Desde el principio, los permisos para actualizar/compilar/ejecutar código ya son demasiado poderosos
    Al final solo debería ejecutarse dentro de un entorno seguro como una VM

• Nos tomó décadas endurecer la seguridad de cada capa de la red, y ahora la gente está entregando una API en texto plano para todos sus secretos y contraseñas
  Además, me parece irónico que hubiera tanta indignación porque Microsoft guardaba capturas de pantalla, pero con estos agentes la reacción sea mucho más silenciosa

  • Al menos esto funciona con un esquema de opt-in, donde yo instalo el navegador por decisión propia
    Lo de Microsoft era más peligroso porque estaban creando una base de datos de capturas de pantalla que venía casi por defecto en prácticamente todos los equipos con Windows (si no recuerdo mal, al inicio era opt-out)

  • También me parece interesante que algunas personas entreguen con tanta facilidad a un “agente útil” datos que ni siquiera le contarían a un amigo
    Mi esposa recientemente le pidió a ChatGPT que le organizara la toma de medicamentos, y le generó un plan perfecto considerando comidas, dieta, sueño e interacciones entre cada medicamento
    Gracias a eso incluso descubrió por qué estaba tomando mal sus medicinas
    Creo que es por el tono tan cercano de estos agentes, pero en la práctica este tipo de filtración de información es un problema serio y aun así mucha gente entrega sus datos sin pensarlo mucho

  • Comparar esta situación con la controversia de las capturas de pantalla de Microsoft puede desviar la atención del fondo del asunto

• Que un LLM lea datos mediante alguna herramienta es, al final, una operación de escritura de ese contenido dentro de la ventana de contexto del LLM
  Si el alcance de la herramienta permite una fuente arbitraria no confiable, en ese momento equivale a otorgar permiso de escritura hacia afuera
  Solo con eso ya existe suficiente posibilidad de fuga de datos
  Y si además se suman permisos reales de escritura en otros sistemas o efectos secundarios, el riesgo crece de forma exponencial

• Suena a comedia, pero es bastante amargo pensar que este es exactamente el estado real actual de la industria IT y del furor por los LLM

• Supongo que Comet probablemente no tiene protecciones más allá de algunas instrucciones ajustadas
  Algo que me quedó claro recientemente en USENIX Security es que nadie sabe realmente cómo manejar bien la prompt injection multi-turn/agentic

  • Tal vez habría que tratar el prompt como una cadena SQL, y asumir que cualquier entrada dinámica de usuario proveniente del exterior debe higienizarse obligatoriamente

• Los cambios causados por la IA son realmente interesantes, y ver que siguen apareciendo intentos nuevos me genera mucha expectativa

• Quiero confesar con honestidad que todo esto me deja confundido
  Apenas me estoy acostumbrando a la banca en línea común y corriente, y además suelo negarme a instalar las apps de todas las empresas
  Así que me resulta casi imposible imaginar meter en mi computadora a una entidad no determinista (LLM) y hasta encargarle tareas financieras
  Aunque hoy existan sistemas donde un LLM compre cosas o haga pagos por ti, lo entiendo a nivel lógico, pero en la práctica me parece casi una locura
  No tanto porque delegar finanzas a sistemas no expertos o que responden a prompts aleatorios sea peligroso, sino porque, desde la perspectiva del cliente, implica renunciar a muchísima autonomía y control, y me pregunto qué se obtiene realmente a cambio
  A mí también me gustan los LLM, y seguro que los navegadores con LLM tienen casos de uso valiosos
  Pero no creo que sea algo apto para el público general
  Hasta valdría la pena considerar un enfoque donde se obligue a pasar por una especie de compilación para que quien lo adopte entienda directamente qué está incorporando

  • Sí, es normal que haya confusión
    La situación actual no es que la IA haga pagos directamente con la información de tu cuenta, sino casos como publicar abiertamente los datos de tu cuenta a la IA
    No significa que la IA esté asumiendo por sí misma las tareas financieras

• Me pregunto si las empresas de IA realmente estarán dispuestas a asumir en adelante una verdadera responsabilidad fiduciaria

• Probé el agente de Comet durante 5 minutos
  Solo le di una frase: “cómprame una guitarra en Amazon” (sin especificar tipo de guitarra, presupuesto, marca, etc.), y el resultado fue que metió en mi carrito tres guitarras acústicas baratas de marcas que ni conozco
  Por suerte no llegó hasta la etapa de pago
  Con eso ya terminé mi evaluación: concluí que no vale gran cosa

  • Había oído que la IA es mala para contar números, pero no sabía que podía fallar así desde el número 2