Bots, demasiados bots

Bots, demasiados bots

Inicio

• ProductHunt tiene más de 1 millón de registros de usuarios
• Más del 60% de ellos son bots

Así empezó

• He usado ProductHunt desde 2014
• Últimamente, parece que la mayoría de los comentarios fueron generados con ChatGPT

Una prueba simple

• Lancé un producto después de inyectar un prompt de LLM en la descripción del producto
• Confirmé que casi todos los comentarios estaban automatizados

¿Se pueden distinguir los bots?

• Responder comentarios es una pérdida de tiempo
• Si muchos bots están comentando, probablemente también estén dando upvotes
• También hay personas que pagan por comprar upvotes

Análisis de datos

• Se analizó la lista de usuarios, lanzamientos, upvotes y comentarios de ProductHunt
• Hay más de 1 millón de registros de usuarios, más de 300 mil lanzamientos, 2.5 millones de comentarios y 20 millones de upvotes
• Cada producto tiene un ranking diario, que es la puntuación después de 24 horas tomando como referencia la medianoche PDT de cada día

Detección de cuentas bot

• Detectar bots es difícil
• Se intentó encontrar tendencias analizando los horarios de los comentarios de los usuarios
• Por ejemplo, un usuario se registró hace 677 días, dejó 2009 comentarios y dio 4649 upvotes
• Esto usa automatización, pero no es un bot
• Un usuario bot se registró hace 140 días, dejó 173 comentarios y dio 246 upvotes
• Los comentarios de bots aparecen en intervalos regulares, y el gráfico no es fluido sino con forma de bloques
• Se asignó una puntuación de riesgo a los usuarios según varios criterios
• Los comentarios generados por ChatGPT usan con más frecuencia palabras como "game-changer"
• Los comentarios de bots incluyen caracteres o nombres de productos que no son fáciles de escribir
• El clustering funciona hasta cierto punto, pero muchas cuentas bot se desechan después de usarse
• Al final, se detectó que más del 60% de los registros de usuarios son cuentas bot automatizadas

Evolución de la actividad bot con el tiempo

• Desde 2018 se han creado más usuarios bot que usuarios reales
• Desde finales de 2022, los comentarios de bots se dispararon
• Incluso en 2022, los upvotes de bots superaron a los upvotes reales
• Los bots forman anillos de votación y los creadores compran upvotes
• La mayoría de los productos lanzados solo reciben unos pocos upvotes reales
• Para quedar en el puesto 1 del ranking diario, se necesita un 15% de upvotes bot
• Más del 60% de los upvotes bot no logran llevar un producto al puesto 1

Reflexión final

• Quería crear una lista de lanzamientos quitando los upvotes bot, pero por falta de tiempo lo dejé para la próxima publicación del blog

Resumen de GN⁺

• Más del 60% de los usuarios de ProductHunt son cuentas bot
• Los comentarios y upvotes de bots distorsionan la actividad de los usuarios reales
• Detectar bots es difícil, pero es posible asignando puntuaciones de riesgo con varios criterios
• A medida que aumenta la actividad bot, la confiabilidad de ProductHunt puede deteriorarse
• Otro producto con una función similar es Hacker News

[GN⁺]

Opiniones en Hacker News

• Hay un problema con cualquier análisis que empieza con una clasificación arbitraria sobre si un usuario es un bot o no. Si esa clasificación está mal, todo el análisis está mal

  • Por ejemplo, a finales de 2022 hubo un aumento repentino en los comentarios de bots. Eso coincide con el momento en que ChatGPT empezó a usarse de forma masiva
  • Los comentarios generados por ChatGPT suelen usar palabras como "game-changer". Los comentarios de bots incluyen tal cual caracteres o nombres de productos que no son fáciles de teclear
  • Entonces, clasifican como bots a los usuarios que se comportan como ChatGPT, y piensan que esos usuarios aumentaron después del lanzamiento de ChatGPT. Pero también es posible que ya hubiera muchos bots antes

• Me pregunto si ProductHunt usa alguna solución de CAPTCHA

  • CAPTCHA sigue siendo útil para bloquear ataques de spam
  • Las críticas habituales son problemas de usabilidad, accesibilidad y privacidad. A los usuarios no les gusta
  • En los últimos años han aparecido CAPTCHA que funcionan sin entrada del usuario y protegen la privacidad
  • Los bots avanzados pueden saltarse CAPTCHA fácilmente. Pero las técnicas tradicionales siguen siendo útiles para detener bots básicos. Contra bots avanzados se puede pelear con tecnologías más sofisticadas, como ML
  • CAPTCHA no sirve contra ataques que usan humanos reales. Para eso hacen falta otros mecanismos

• Cuando publiqué un producto en ProductHunt hace 5 años, recibí decenas de mensajes garantizando el primer lugar. Ahora probablemente esté peor

• Me pregunto quién está en ProductHunt. ¿Clientes? Probablemente no. ¿Indiehackers? Tal vez. Me pregunto a quién le estás vendiendo y si vale la pena lanzar en ProductHunt

• Se nota mucho el esfuerzo y el resultado de alguien que conoce el tema de primera mano. Bien hecho

• Esto es un avance de la "teoría del internet muerto". Para garantizar interacciones reales, se necesita una identidad fuerte y confiable, con consecuencias en caso de abuso

  • Esa identidad debería implementarla el gobierno. Las grandes tecnológicas todavía no lo han resuelto, y dudo que tengan voluntad de hacerlo
  • Por ejemplo, si Google lo reprimiera con fuerza y resultara que el 60-80% del tráfico de YouTube viene de bots, desaparecerían los ingresos

• Hay algunas publicaciones en Reddit donde, de vez en cuando, bots basados en GPT dejan comentarios como "¿Tema? ¡Wow! De verdad da para pensar, me pregunto por qué es importante"

  • Puede que Reddit esté operando bots así para impulsar la participación

• Mucha gente no se dará cuenta de que está hablando con GenAI

  • Ya es un problema cuando una misma persona conversa fingiendo ser varias personas a través de múltiples cuentas. GenAI permite manipular narrativas de forma barata por medio de bots
  • Es un problema de todas las redes sociales. Verificar que eres humano es la única solución
  • Estoy construyendo una red social donde solo humanos reales pueden dar upvote/downvote y comentar

• Tengo una cuenta en X de hace 1 año y nunca he comentado nada. Pero 35 mujeres atractivas me siguen. No hay hombres ni mujeres no atractivas. No es por lo atractivos que sean mis likes

  • Esto es una versión reducida de toda la web

• Alguien debería vender una camiseta que diga "me good LLM"