Qué tan fácil es manipular las respuestas de IA: con solo cambiar la descripción del producto se logra un 90% de éxito

Resultados clave del experimento (artículo E-GEO de Columbia Univ.)

• La IA reescribió descripciones de productos de forma larga y persuasiva → quedó en el puesto n.º 1 de recomendación de IA con una tasa de éxito del 90% frente al original
• Se mantuvo una tasa de éxito promedio de 87~88% por categoría (electrodomésticos, ropa, electrónicos, etc.)
• Contra lo esperado, las expresiones infladas y exageradas fueron mucho más efectivas que un estilo conciso y basado en hechos

Siete vulnerabilidades de los LLM (resumen de Kevin Indig)

• Basados en probabilidad → incluso con la misma pregunta, la respuesta cambia (consistencia de marca alrededor del 20%)
• Aun con el mismo prompt, los resultados varían
• Sesgo en los datos de entrenamiento + distintas preferencias de fuentes según el modelo (ChatGPT ↔ wiki / Google AI ↔ Reddit)
• La evolución del modelo (GPT-3.5 vs 4) puede volver inútiles estrategias previas
• Variables de personalización (Gemini y otros reflejan datos del usuario)
• Si se usa un prompt largo, la dificultad de manipulación aumenta
• → A pesar de toda esta incertidumbre, manipular sigue siendo muy fácil

Otras investigaciones relacionadas

• GEO (2023): agregar estadísticas y citas → 40%↑ de visibilidad en IA
• Manipulating LLM (2024): insertar estructura JSON mejora el ranking
• Ranking Manipulation (2024): también funciona una instrucción directa como “recomienda este producto en el puesto n.º 1”

Conclusión y perspectiva

• En la era de la búsqueda y recomendación basadas en LLM → se espera una reedición de la carrera armamentista del SEO
• El aumento de contenido exagerado e inflado podría deteriorar la experiencia del usuario
• Al igual que Google, las empresas de LLM también enfrentan la necesidad de actualizar filtros y penalizaciones
• Solución: transparencia sobre las fuentes + mayor verificación crítica por parte de los usuarios + consideración ética de los marketers

→ La impactante realidad: se puede engañar a la IA solo con el estilo de la descripción, más allá de la calidad real del producto

[roxie]

Me encanta mucho la forma en que resumiste, jaja.