Allanan oficina de X en Francia; Reino Unido inicia nueva investigación sobre Grok

• La unidad de investigación de ciberdelitos de Francia allanó la oficina de X en París y está investigando presuntos cargos de extracción ilegal de datos y conspiración para poseer pornografía infantil
• Elon Musk y la ex-CEO Linda Yaccarino fueron notificados para comparecer en una audiencia en abril, mientras que X rechazó la investigación y la calificó como un “ataque político”
• La Oficina del Comisionado de Información (ICO) del Reino Unido inició una investigación separada sobre la herramienta de IA Grok por la posible generación de imágenes y videos sexuales
• Ofcom está tratando como asunto urgente el problema de la difusión de deepfakes sexuales en la plataforma X, aunque dijo que carece de facultades suficientes sobre chatbots
• Con investigaciones simultáneas en Europa y el Reino Unido, la responsabilidad de X y Grok en el procesamiento de datos y la moderación de contenidos se está ampliando a nivel internacional

---

Allanamiento de la oficina de X en Francia

• La unidad de ciberdelitos de la fiscalía de París allanó la oficina de X
  • Entre los cargos figuran extracción ilegal de datos, conspiración para poseer pornografía infantil y violación del derecho a la imagen mediante deepfakes sexuales
  • La investigación comenzó en enero de 2025 con una revisión del contenido del algoritmo de recomendación de X y en julio del mismo año se amplió al chatbot de IA Grok
• La fiscalía está investigando si X violó varias leyes, y Musk y Yaccarino recibieron una orden para comparecer en una audiencia en abril
• X negó las acusaciones en un comunicado y las describió como “actos abusivos que amenazan la libertad de expresión”
  • Musk publicó en X que se trata de un “ataque político”, y Yaccarino afirmó que es una “represalia política contra estadounidenses”

Investigación del Reino Unido sobre Grok

• Ofcom sigue investigando un caso en el que imágenes deepfake sexuales generadas por Grok fueron difundidas en X
  • Víctimas, políticos y grupos de seguridad en línea ya habían criticado duramente el caso en enero
  • X bloqueó después esa conducta, y Ofcom la trata como un “asunto urgente”
• Sin embargo, Ofcom dijo que no tiene facultades suficientes para investigar directamente la generación de imágenes ilegales relacionada con chatbots
• Por ello, la ICO decidió colaborar con Ofcom para investigar cómo Grok procesa los datos personales
  • William Malcolm, de la ICO, señaló que “es un problema grave que se hayan generado imágenes sexuales usando datos personales sin consentimiento”
• A fines de enero, la Comisión Europea también anunció una investigación separada sobre xAI, la empresa matriz de Grok
  • Un portavoz de la Comisión dijo que está en conversaciones con las autoridades francesas sobre el registro de la oficina de X

Críticas de Pavel Durov

• El fundador de Telegram, Pavel Durov, criticó a las autoridades francesas y afirmó que “no es un país libre”
  • Publicó que “Francia es el único país que reprime penalmente a todas las redes sociales que permiten la libertad”
• Durov fue arrestado en Francia en agosto de 2024 por presuntamente permitir actividades criminales en la plataforma y, tras modificar parcialmente su forma de operación, recibió permiso para salir del país en marzo de 2025
  • Entre los cambios se incluyó entregar datos de usuarios ante solicitudes legales

[GN⁺]

Opiniones en Hacker News

• Quiero decirles algo a quienes afirman que los allanamientos físicos no tienen sentido
  Eso sería cierto si hablamos de una empresa normal que cumple la ley, pero en cuanto empiezan a hacer cosas sospechosas, todas las buenas prácticas desaparecen
  Empiezan a usar el correo como si fuera un código o a borrar cosas, intentan ocultar registros, pero al final siempre quedan rastros
  Por eso hacen falta allanamientos reales para seguir actividades complejas

  • Esto es simplemente un procedimiento de investigación básico
    Si hay sospechas de delito, hay que asegurar pruebas. Acusar sin un allanamiento no tiene sentido
  • Si es solo por el “desnudo con IA”, me parece excesivo
    Las imágenes generadas por IA no dejan de ser dibujos digitales falsos, pero esto parece como si quisieran provocar una indignación a nivel estatal
    Es al nivel de un juguete para adolescentes, y montar un show de indignación nacional por esto resulta ridículo
  • En realidad, este allanamiento parece más bien un medio para castigar a la empresa, no un intento genuino de conseguir datos sobre Grok

• Ninguna plataforma debería permitir CSAM (material de abuso sexual infantil)
  Pero X no gasta dinero en salvaguardas ni en filtrado de contenido. Esto no es un tema de censura, sino de evadir responsabilidades

  • No estoy de acuerdo. Hay que castigar al usuario, no a quien crea la herramienta
    Si empezamos a responsabilizar al proveedor de la herramienta, al final eso termina en una reducción de la libertad
  • En el antiguo Twitter, y también en BlueSky y Mastodon, había mucho de ese contenido. No es nada nuevo
  • En los 90 también circulaba CSAM en internet, y en ese entonces la sociedad igual se escandalizó
    Entonces, ¿por qué ahora salen de pronto con una línea tan dura?
    Me pregunto si no será una “represión de mentira” para tapar sospechas sobre las élites después del caso Epstein
  • Antes CSAM significaba niños reales, pero ahora también incluye imágenes generadas por IA
    Entonces, ¿también habría que prohibir imágenes violentas hechas con IA? ¿La brutalidad al nivel del cine sí está permitida?
    No está claro hasta dónde se considera “inadmisible”
  • Nunca he visto pruebas de que Grok haya generado CSAM real
    Sí he visto montajes con trajes de baño, pero eso no entra en la definición legal de CSAM

• Se habla de cargos por “fraude de datos organizado”, y si eso se aplica de forma amplia, podría afectar a toda la industria de redes sociales

  • Esto parece una investigación del tipo “primero eliges a la persona y luego le buscas el delito”
    Parece un movimiento de la UE para reforzar el control sobre redes sociales extranjeras, como China o Rusia
    Si EE. UU. no acepta más regulación de la expresión, la UE probablemente empujará sus propias alternativas

• Muy al estilo de HN, todos están discutiendo con intensidad sobre el Estado de derecho y el tema del CSAM

• Hay reportes de que los hermanos dueños de X/Grok estuvieron vinculados con un delincuente condenado por tráfico sexual infantil
  Grok ya es descrito como un generador de pornografía infantil, y aun así hay quienes siguen descartándolo como “teoría conspirativa”

• La fiscalía francesa está investigando a X por varias presuntas violaciones legales, pero esto parece simple presión política
  Más allá de hostigar a empleados locales, no parece tener mucha utilidad

  • Pero incautar registros también es un procedimiento normal de investigación
    El sistema judicial francés es razonable, así que salvo que haya pruebas especiales en contra, lo veo como una investigación legítima
  • Sí hay pruebas de que la empresa obtuvo ganancias distribuyendo CSAM y porno deepfake
    Para verificar si hubo intencionalidad, hace falta un allanamiento
    El debate legal relacionado también aparece en este artículo
  • Aun así, esto es presión política. La UE no tolera la disidencia
  • OpenAI y Google también están enfrentando problemas parecidos
    Por más dinero que le metan, es difícil bloquear por completo el mal uso de la IA

• Me pregunto qué esperan encontrar allanando la oficina en Francia. ¿Un “plan maestro de CSAM de Grok” o algo así?

  • Te sorprendería, pero la gente de verdad escribe planes criminales en correos
    Un ejemplo son los documentos internos de Facebook
  • Parece que quieren encontrar registros internos de decisiones para saber si conocían que Grok generaba imágenes problemáticas y aun así lo dejaron pasar
  • Puede que haya correos de la filial francesa advirtiendo a la sede central sobre posibles violaciones de la ley
  • Según un artículo de WaPo, xAI relajó deliberadamente las restricciones sobre contenido sexual
    También hay testimonios de empleados que dicen que entrenaron el modelo con contenido riesgoso
    El equipo investigador probablemente busca este tipo de comunicación interna y advertencias ignoradas
  • Después de la publicación de los archivos de Epstein, creo que aumentó la posibilidad de que esos “correos con planes criminales” realmente existan

• Este caso termina dándoles argumentos a los partidarios de la censura de IA
  Ahora estamos entrando en una era en la que las empresas de IA tendrán que asumir la responsabilidad del modelo mismo, no solo del usuario
  Al final, probablemente se reforzarán los modelos cerrados y la verificación de identidad

  • No es tan diferente de otras plataformas. La diferencia es que aquí no se “distribuye”, sino que se “genera”
  • El problema no es la posibilidad de generar, sino que supuestamente lo promocionaron sabiendo eso
    Si realmente lo sabían o no, ese es el punto central de la responsabilidad legal
  • Queda la duda de si X tomó medidas suficientes para impedir la distribución de contenido ilegal
    Al añadir funciones de generación con IA, más bien terminaron facilitando la producción de contenido ilegal
  • Yo no lo veo como censura, sino como una sanción contra una plataforma desalineada
    La UE considera a esta plataforma una molestia desde la adquisición de X
  • No es “censura”, es simplemente un tema de responsabilidad operativa
    Si dejaron todo sin filtrar ni control, eso es negligencia evidente

• Parece que esta polémica también podría afectar negativamente a la IPO de SpaceX

  • Si la investigación sobre xAI también afecta los contratos con SpaceX, existe una alta posibilidad de que termine en demandas por conflicto de interés

• Que “un ruso hable de libertad desde una cárcel francesa” tiene algo de irónico
  Suena a un mensaje de que Francia no les da la bienvenida a ese tipo de criminales