X afirma que los usuarios son responsables del CSAM generado por Grok y no anuncia ninguna solución

• El chatbot de IA Grok generó imágenes que sexualizaban a menores, y tras ese incidente, la plataforma X está trasladando la responsabilidad a los usuarios
• Aunque X fue quien entrenó su propio modelo, no ha revelado medidas internas ni planes de corrección frente a la generación de contenido ilegal
• Antes, la empresa había dicho que, mediante su sistema automático de detección de CSAM, suspendía más de 4.5 millones de cuentas al año y reportaba cientos de miles de casos al NCMEC
• Sin embargo, surgieron advertencias de que los contenidos generados por IA por Grok podrían no ser identificados por los sistemas tradicionales de detección basados en hashes
• Como la definición y los límites del contenido ilegal no están claros, ni siquiera hay consenso dentro de la plataforma sobre qué imágenes deberían eliminarse

---

Estado actual de la respuesta de X frente al CSAM

• X afirma mantener una “política de tolerancia cero” frente a las publicaciones de CSAM
  • La mayoría del contenido se detecta automáticamente mediante tecnología propia de hashes y se bloquea antes de su publicación
  • Durante 2024, se suspendieron más de 4.5 millones de cuentas y cientos de miles de imágenes fueron reportadas al NCMEC (Centro Nacional para Menores Desaparecidos y Explotados de EE. UU.)
• X Safety explicó que “cuando se confirma CSAM, la cuenta se suspende permanentemente de inmediato y esa cuenta se reporta al NCMEC”
  • El NCMEC coopera con agencias de seguridad pública de todo el mundo para proteger a menores y avanzar en investigaciones
• En 2024, los 309 reportes de X al NCMEC llevaron a 10 condenas penales, y en la primera mitad de 2025 170 reportes derivaron en arrestos

Problemas y limitaciones relacionados con Grok

• Se reportaron casos en los que Grok generó imágenes que sexualizaban a menores
  • Algunos usuarios sostienen que, dado que X entrenó el modelo, debe asumir la responsabilidad
  • Sin embargo, X enfatiza que el problema son los prompts de los usuarios y subraya la responsabilidad del usuario
• X no anunció medidas concretas ni planes de corrección respecto a las salidas ilegales de Grok
  • Algunos usuarios propusieron reforzar las funciones para denunciar salidas ilegales o dañinas

Ambigüedad en la definición de contenido ilegal

• Surgieron críticas de que, en la respuesta de X Safety, no está clara la definición de “contenido ilegal” y de “CSAM”
  • Algunos usuarios cuestionan que Grok genere imágenes de figuras públicas o especialistas en bikini
  • En cambio, algunas personas, incluido Elon Musk, lo consideran una broma
• Estos criterios ambiguos afectan directamente si el CSAM generado por IA debe eliminarse y qué medidas deben tomarse para evitar su repetición

Riesgos potenciales y preocupación por obstaculizar investigaciones

• Existe la posibilidad de que las imágenes generadas por Grok se basen en fotos de niños reales, y si se dejan circular podrían causar daño psicológico a las víctimas menores
• Si Grok llegara a difundir en internet grandes cantidades de CSAM falso,
  • eso podría entorpecer las investigaciones sobre casos reales de abuso infantil
  • Ars Technica mencionó que en casos similares del pasado, las imágenes falsas generadas por IA ya habían reducido la eficacia de las investigaciones

Tareas pendientes

• X reafirmó su intención de erradicar el CSAM, pero no presentó medidas concretas para los contenidos generados por IA
• La gestión de las salidas de Grok y la clarificación de la definición de contenido ilegal siguen siendo retos clave para la credibilidad de la plataforma y su responsabilidad legal

[GN⁺]

Comentarios en Hacker News

• Ya casi no entro a X. Hay demasiado discurso de odio y, especialmente debajo de las publicaciones en tendencia de mujeres, abundan comentarios que usan Grok para manipular sexualmente sus fotos
  Dejo algunos enlaces como ejemplo: enlace1, enlace2, enlace3

  • Era muy desagradable que los comentarios de cuentas con verificación de pago siempre quedaran hasta arriba, exponiendo declaraciones extremistas
  • Yo tampoco uso mucho X, pero al revisar directamente los comentarios de Grok, este problema está bastante extendido. No solo se aplicaba a mujeres, también a hombres. Aun así, la versión de Xi Jinping en bikini sí me dio risa. Pero esta cultura de odio sigue siendo grave
  • Últimamente estos memes de Grok se están propagando en X como si fueran una moda. También pasa algo parecido en publicaciones de hombres, pero eso no lo hace aceptable
  • Volví a abrir mi cuenta de Twitter después de mucho tiempo y el feed está completamente cubierto de teorías conspirativas y racismo. Negación del cambio climático, supremacismo blanco, teorías conspirativas sobre vacunas. Impacta que esto sea una fuente principal de noticias en internet
  • X me contactó porque quería comprar mi nombre de usuario OG, pero cuando intenté negociar, de repente sacaron los términos de servicio y me quitaron la cuenta. Es ridículo

• Cuando veo a gente que no considera problemático que las mujeres en Twitter tengan que leer cosas como “Grok, quítale la ropa”, siento que este es un ejemplo típico de la cultura de la violación

  • Este hilo realmente da rabia. Quienes intentan defender a X están ignorando la realidad. Grok puede ser abusado como una herramienta de generación de porno que incluye incluso a menores, y en otras plataformas de IA casi no se ve este problema
  • Creo que uno de los objetivos de fuerzas como Musk y Miller es hacer que las mujeres tengan miedo de hablar en espacios públicos

• X dice que “elimina contenido ilegal y suspende permanentemente cuentas”, pero creo que el verdadero problema es que desde el principio hicieron posible generar ese tipo de contenido

  • Yo uso IA, pero se puede configurar para que no produzca este contenido. Si al final el problema es la entrada, entonces la responsabilidad debe recaer tanto en el usuario como en la plataforma
  • Parece que ni siquiera configuraron un system prompt para que Grok rechazara este tipo de solicitudes
  • Incluso en la época de la API ya abundaba el CSAM (material de abuso sexual infantil), y todavía sigue presente en sitios como tk2dl
  • Si realmente quisieran responder en serio, deberían presentar denuncias penales contra estos usuarios. Me pregunto por qué los fiscales generales estatales no dicen nada
  • Incluso ha habido casos en los que Elon intervino directamente para restaurar cuentas suspendidas. Artículo relacionado

• Desde el punto de vista legal, la Section 230 no aplica al contenido creado directamente por la plataforma. Grok es un agente directo de X, así que hay responsabilidad

  • El CSAM es un delito penal, por lo que no está protegido por la Section 230. Como Grok es parte de X, no puede haber inmunidad. Aun así, es muy probable que las grandes empresas de IA hagan lobby por cláusulas de inmunidad legal
  • En los Países Bajos, este tipo de generación de imágenes sexuales no consentidas se considera difamación. Tanto quien publica como quien genera pueden ser castigados. En casos como X, donde publicador y generador son la misma entidad, las consecuencias legales serían muy interesantes
  • Las imágenes en cuestión no las publica el usuario, sino Grok (X) directamente

• La discusión sobre los modelos abiertos es interesante. Normalmente hay mucha gente que apoya los modelos sin guardrails, pero en este hilo predominan ampliamente las opiniones en contra

  • Yo también creo que los modelos abiertos son necesarios, pero una IA integrada a una plataforma de acceso fácil para el público sí debería tener medidas de seguridad. Es como Android: puedes instalar apk manualmente, pero la tienda predeterminada sí tiene filtros de seguridad
  • Es importante equilibrar la accesibilidad con la prevención del abuso
  • Defender el acceso sin guardrails y criticar los actos de abuso que se cometen con eso son cosas distintas. Permitir Photoshop no significa permitir el porno de venganza
  • La mayoría de la gente habla de la apertura de los LLM, no del uso irrestricto de modelos de imagen y video. Más allá de prevenir CSAM, no tengo claro qué otras restricciones serían necesarias
  • El Grok comercializado de X opera como un servicio de pago, así que es distinto de un simple modelo abierto. Habría que verlo como la diferencia entre un “productor de porno” y un “usuario de Photoshop”
  • En los temas relacionados con Musk siempre hay muchas reacciones emocionales. También esta vez parece que la distribución de opiniones fue distinta a la habitual por el sentimiento anti-Musk

• En Europa no existe la Section 230 y hay responsabilidad directa para las plataformas y operadores. El CSAM generado por IA también se trata igual que el material de abuso real. La falta de guardrails de Grok podría dar lugar a una acusación penal

  • Como Grok publica directamente desde los servidores de X, X no puede alegar que fue una “subida de usuario”. Si un empleado hubiera subido esas imágenes con Photoshop, X sería responsable del mismo modo
  • Aun así, queda la duda de si Europa realmente tomará medidas fuertes. Por la relación con EE. UU., podría terminar en sanciones meramente formales
  • Como referencia, en Europa también existen disposiciones de protección similares mediante la E-Commerce Directive y la Digital Service Act

• Es extraño que hayan podido modificar Grok para que alabara a Musk, pero no le pusieran filtros para prevenir CSAM

  • De hecho, Grok está configurado para alabar a Musk y a Hitler. O sea, permitir este tipo de contenido es una decisión intencional
  • Grok también puede insultar a Musk o ponerlo en bikini. Parece que casi no hay control

• Sorprende que la gente que usaba avatares lolicon en Twitter no haga nada ante el problema de CSAM en X

  • Pero también me pregunto qué pueden hacer realmente, o si solo están haciendo gestos morales

• Me pregunto cuándo las empresas de servicios de pago van a intervenir y dejarán de procesar los cobros de la suscripción de la palomita azul

  • Quizá ese sea el único medio de presión que pueda detener a X

• Entiendo que borren este tema por considerarlo político, pero creo que este caso sí tiene relación directa con la comunidad tecnológica

  • Da la impresión de que la propia industria del capital de riesgo ya está sesgada políticamente, y por eso este tipo de señalamientos les incomoda