Una startup respaldada por a16z anunciaba con cuentas de TikTok creadas por IA, y un hack lo dejó al descubierto

• Se hackeó una “phone farm” compuesta por 1,100 smartphones, dejando expuesta la actividad de cuentas publicitarias generadas con IA que operaban en TikTok
• Este sistema era operado por Doublespeed, una startup respaldada por a16z, y administraba cientos de cuentas de redes sociales basadas en IA para promocionar productos
• Un hacker obtuvo acceso y pudo ver la asignación de cuentas, la información de proxies y el historial de tareas
• Imágenes y videos de personas creados con IA se usaban para promocionar distintos productos, como suplementos, apps y masajeadores, y se encontraron múltiples indicios de promoción de productos sin identificarlos como publicidad
• El hacker afirma que reportó la vulnerabilidad a la empresa el 31 de octubre, pero que todavía puede acceder al backend y a la phone farm

---

Resumen del incidente de hackeo de Doublespeed

• Un hacker tomó control de una phone farm compuesta por 1,100 teléfonos móviles y expuso la actividad de cuentas publicitarias generadas con IA que operaban en TikTok
  • Esta phone farm era administrada por Doublespeed y se usaba para promocionar productos a través de más de cientos de cuentas de redes sociales generadas con IA
• El hackeo dejó al descubierto que existía una gran cantidad de contenido promocional que no indicaba que era publicidad
  • Estas cuentas estaban promocionando productos en formato de influencers creados con IA
• El hacker accedió al backend de la empresa y pudo verificar qué gerente de PC controlaba qué teléfono y qué cuenta de TikTok
  • También quedaron expuestos los servidores proxy, las contraseñas y hasta la cola de tareas de cada cuenta
  • El hacker señaló que podía manipular libremente unos 1,100 smartphones y que eso podría haberse usado para explotar recursos de cómputo o para spam

Cómo funcionaba la promoción con influencers de IA en TikTok

• De más de 400 cuentas de TikTok operadas por Doublespeed, alrededor de 200 se usaban realmente para promocionar productos
• Muchas publicaciones se subían sin indicar que eran anuncios
• Algunas cuentas parecen haber pasado por un proceso de “warming up” para acumular actividad previa y parecer usuarios reales
• Para evitar la detección de comportamiento inauténtico por parte de TikTok, imitaban patrones de uso de smartphones reales

Casos concretos de promoción

• Un personaje de mujer de mediana edad generado con IA hablaba de dolores corporales mientras mostraba repetidamente el masajeador Vibit
• Una persona generada con IA, presentada como estudiante de UCLA, criticaba a la industria farmacéutica mientras promocionaba el suplemento de moringa Rosabella
  • El texto de la etiqueta del frasco del producto estaba generado como formas sin sentido, lo que dejaba claro que era una imagen creada con IA
• Algunas cuentas incluso usaban videos generados con IA para promocionar agencias de contenido para TikTok como Playkit

Acceso del hacker y respuesta de la empresa

• El hacker pidió permanecer en el anonimato por temor a represalias y afirmó que reportó la vulnerabilidad a Doublespeed el 31 de octubre
• Al momento de redactarse el artículo, el hacker dijo que todavía podía acceder al backend de la empresa y al sistema de la phone farm
• Doublespeed no respondió a las solicitudes de comentarios de la prensa

Reacción de la plataforma y de los inversionistas

• Doublespeed es una startup respaldada por Andreessen Horowitz (a16z)
• TikTok establece la obligación de etiquetar el contenido generado con IA y, tras la denuncia, añadió etiquetas a esas cuentas
• Ni a16z ni Doublespeed emitieron una postura oficial sobre el incidente
• Un vocero de Reddit dijo que el servicio de Doublespeed viola sus términos de uso
• Meta no dio una respuesta oficial, aunque este modelo de negocio viola su política de representación auténtica de identidad

[roxie]

Vaya, qué tipo de negocio es este...

[GN⁺]

Opiniones de Hacker News

• enlace de archive

• La IA está destruyendo las redes sociales a largo plazo
  Incluso antes de la IA, muchas publicaciones y comentarios ya eran de bots o de cuentas pagadas
  Ahora Reddit se ha vuelto un espacio menos confiable incluso que ChatGPT
  Aun así, todavía quedan espacios satíricos como The Onion-verse

  • Se siente como si la Dead Internet Theory hubiera pasado de chiste a realidad
  • No creo que una estructura donde todo el mundo conversa de forma improvisada pueda producir resultados positivos
    Los humanos son vulnerables al anonimato y a los entornos sin supervisión, y estos foros maximizan esa debilidad
    A esta escala, nunca fue una buena idea desde el principio
  • Incluso podría ser algo bueno
    Si cada vez más gente abandona estas plataformas y vuelve a los medios tradicionales, tal vez se vuelva más racional
  • Reddit ya se convirtió en una plataforma muerta para mí cuando permitió los perfiles privados este verano
  • Yo pienso algo parecido, pero me preocupa que a la gente le guste este contenido de baja calidad (sloppy content)
    Me pregunto si solo les parece curioso o si de verdad quieren algo así

• Es demasiado extraño vivir en una realidad donde las granjas de bots (bot farm) ya son algo cotidiano
  Antes uno asociaba esto con regímenes autoritarios como Rusia o China, ¿y ahora nosotros también nos estamos volviendo así?
  Además, me impacta que los VC estén invirtiendo en esto
  Ahora cada vez que escucho el podcast de a16z pienso en granjas de bots y se me hace difícil seguir oyéndolo
  Me hace dudar de si la gente realmente piensa en la moral y la ética

  • Aun así, sigo creyendo que un futuro con una web of trust basada en confianza todavía es posible
    Solo que no sé bien cómo explicarlo

• Me viene a la mente la frase: “no construyas una máquina a imagen de la mente humana”
  Se siente como si la Butlerian Jihad hubiera llegado antes de lo previsto
  No por opresión o violencia, sino por marketing viral y cuentas falsas, que están provocando la rebelión

  • Pero en cierto sentido la violencia ya empezó
    OpenAI está respondiendo a varias demandas por casos en los que usuarios de chatbots se quitaron la vida

• Qué risa. Justo le acababa de decir a alguien que había demasiados anuncios de Vibit y que todos los comentarios parecían falsos

• Si lo que reveló el hackeo al final solo muestra que esa startup está haciendo exactamente lo que dijo que iba a hacer, entonces esto me suena más bien a publicidad

• Viendo el Twitter de Zuhair y el sitio oficial, da muchísimo asco
  Sus fotos de phone farm están todas en este tuit
  Eso de “acelerar la internet muerta” hace imposible entender por qué estamos fomentando esta degradación de los espacios públicos (enshitification)

  • Parece que él solo está buscando contenido para provocar enojo (ragebait), pero el problema es que el producto realmente existe
    Cory tenía razón desde el principio
  • Parece un adolescente inteligente que tomó el camino equivocado
    Más que una mala persona, parece alguien que necesita mejores modelos a seguir
    Creo que si uno no hace algo de lo que luego se avergüence, tampoco tiene oportunidad de reflexionar
  • Un enlace accesible es xcancel.com/rareZuhair
  • Crear herramientas así es peligroso
    Algún día podrían convertirse en armas que se vuelvan contra su propio creador
  • No es algo extraño, es simplemente el resultado de la avaricia y la obsesión por el control

• Esto parece simplemente un reporte que muestra cómo opera su negocio esa empresa
  doublespeed.ai

  • Resulta hasta refrescante que usen frases como “never pay a human again” y “** spawn variation**” de forma tan directa
    Claro que me desagrada, pero se siente al menos más honesto que otras empresas que te engañan con envoltorio de marketing
  • Pensé que este tipo de negocio sería ilegal o al menos una zona gris, pero ahora parece que los VC ya abandonaron por completo cualquier moral
    ¿Apuestas? Bien. ¿Spam? Invertimos. ¿Fraude publicitario? No hay problema
  • Me intriga cómo ganan dinero en TikTok con estas granjas de contenido con IA
  • Al final, toda esta polémica se está convirtiendo en publicidad gratis para ellos
  • De verdad se siente como ver “copy publicitario de villanos” en la vida real

• Me pregunto por qué no demandan a una empresa así bajo la Computer Fraud and Abuse Act (CFAA)

  • Usar la CFAA contra cualquier objetivo que no te guste es peligroso
    Ya existen leyes para tratar este tipo de marketing engañoso
    Por ejemplo: 16 CFR Part 255 del Código de Regulaciones Federales de EE. UU.
  • Pero las empresas con dinero y una red de patrocinio logran escapar de la aplicación de la ley
    En el peor de los casos, escuché que hoy en día un indulto (pardon) ni siquiera sale tan caro