SlopStop: el sistema comunitario de detección de contenido generado por IA en la búsqueda de Kagi

• Para limpiar un entorno web contaminado por spam generado por IA y granjas de contenido, Kagi Search introdujo ‘SlopStop’, un sistema de detección con participación de la comunidad
• SlopStop muestra en los resultados de búsqueda una ‘puntuación de AI slop’ en tiempo real para texto, imágenes y video generados por IA, y permite que los usuarios reporten directamente contenido de baja calidad
• Mediante degradación automática a nivel de dominio y funciones de filtrado de medios generados por IA, refuerza la visibilidad de información más confiable
• SlopStop se integra con el proyecto ‘Small Web’ para priorizar a creadores centrados en lo humano y contenido auténtico
• Con esto, Kagi busca construir el conjunto de datos de AI slop más grande del mundo y usarlo en el futuro para tecnologías de defensa contra alucinaciones y desinformación de la IA

---

Definición de AI Slop y la respuesta de Kagi

• AI slop se refiere a contenido engañoso o de poco valor generado por IA con el objetivo de manipular el posicionamiento en búsquedas o captar atención
  • Entre los ejemplos se incluyen reseñas falsas, falsa pericia, información incorrecta y granjas de contenido enfocadas en monetización
• Kagi no rechaza la IA en sí, pero deja claro que el contenido de IA que reemplaza la perspectiva y la conexión humanas es dañino
• La filosofía de Kagi es una “experiencia de búsqueda donde los humanos mantienen el control”, y ya había venido degradando páginas de baja calidad centradas en anuncios y rastreadores
• SlopStop amplía el filtro de imágenes existente para detectar contenido generado por IA en todo tipo de formatos, como video, artículos y dominios

Cómo funciona SlopStop

• Se añadió a los resultados de búsqueda una función para mostrar la puntuación de AI slop, lo que permite a los usuarios verificar de inmediato la confiabilidad del contenido
• Los usuarios pueden reportar contenido de baja calidad en resultados web, de imágenes y de video mediante la función ‘Reportar como contenido generado por IA’
  • Kagi lo valida con sus propias señales y luego degrada automáticamente los dominios con alta proporción de contenido de IA
  • En el caso de dominios mixtos, solo se marca como generado por IA la página individual
• Las imágenes y videos generados por IA se etiquetan y degradan automáticamente en cuanto se confirman, y los usuarios pueden elegir un filtro para bloquear por completo medios de IA
• El CEO Vlad señaló que “el AI slop es una amenaza existencial para un internet centrado en lo humano, y SlopStop es el primer paso para eliminarlo”

La combinación de SlopStop y Small Web

• Aunque el avance de la IA es rápido, SlopStop y Small Web buscan en conjunto restaurar un ecosistema web centrado en las personas
• Small Web construye una lista blanca de creadores humanos verificados para dar prioridad a contenido auténtico
• Cuanto más contenido de IA filtre SlopStop, mayor será la visibilidad del contenido creativo y humano
• Ambos sistemas funcionan como una doble capa de defensa para proteger internet de la comercialización y la contaminación artificial

Construcción y uso del conjunto de datos de AI Slop

• SlopStop es una fase de refuerzo de confiabilidad en todo el ecosistema de Kagi, y combina reportes de la comunidad con tecnología interna de detección para construir el mayor conjunto de datos de dominios de AI slop del mundo
• Este conjunto de datos se usará para desarrollar tecnologías de detección destinadas a prevenir alucinaciones, afirmaciones falsas y desinformación de la IA
• Kagi cita una investigación de NewsGuard para señalar que entre el 30% y el 41% de otros chatbots generan respuestas falsas
• La base de datos se publicará más adelante, y los usuarios interesados pueden registrarse para recibir actualizaciones

Participación de usuarios y protección de calidad

• Kagi impulsa el desarrollo de una solución final automatizada mediante una operación de SlopStop basada en crowdsourcing
• Los usuarios pueden participar haciendo clic en el ícono de escudo junto a los resultados de búsqueda → seleccionar ‘Reportar como contenido generado por IA’
• Todos los reportes son verificados y aplicados por el equipo de revisión de Kagi, contribuyendo a mejorar la calidad de búsqueda
• A través de la documentación técnica y el foro de SlopStop, se ofrecen detalles sobre su funcionamiento y canales de retroalimentación
• Kagi enfatiza que “la participación de cada usuario crea una experiencia de búsqueda más confiable”

[GN⁺]

Opiniones en Hacker News

• Esto es realmente interesante. Ojalá HN tomara esta función como referencia y añadiera una marca similar
  • Le pedí acceso a la base de datos a @freediver. Pronto se integrará en hcker.news
    Me gusta el enfoque centrado en la comunidad de Kagi. La lista pública de Small Web es realmente útil.
    Si aplicas el filtro smallweb en HN, la página principal se siente mucho más fresca
  • De acuerdo
• HN también necesita algo así. Ojalá hubiera un refugio seguro frente a contenido tipo correo no deseado sofisticado
  • La solución es simple. Solo hay que exigir verificación humana para cada comentario. Por ejemplo, entregar una gota de sangre por comentario
• En el documento distinguen entre slop de imágenes, video y “páginas web”; me pregunto si habrá alguna forma de filtrar agresivamente solo el slop de páginas web
  A veces hay textos con buenas ideas que aun así llevan una imagen de encabezado hecha por IA. Si el cuerpo del texto es auténtico, no quisiera filtrarlos. Me pregunto si esa distinción del documento permitirá un filtrado tan fino
• Ojalá hubiera alguna persona brillante que investigara una teoría que tengo. Puede que la clave de la detección sea aprender la diferencia de entropía entre contenido escrito por humanos y contenido escrito por LLM
  Por ejemplo, como en la “prueba de Will Smith comiendo espagueti”, si comparas la entropía entre una escena real y una generada, parece que la diferencia sería clara. Al final, que “se vea real” significa que coincide con el nivel de entropía que esperamos
  • No creo que el slop de IA pueda resolver el slop de IA. La economía de la publicidad y de la atención ya se había llenado de slop, y la IA solo lo hizo más evidente.
    Para la IA es fácil aumentar artificialmente la entropía. Al final habrá una guerra de información y la gente será la víctima
  • En realidad ese es el principio básico de los “detectores de IA”. Son modelos entrenados para clasificar contenido humano vs. contenido generado por LLM, pero como todos sabemos, su precisión es pésima
  • Ese tipo de intento ya existe. En imágenes funciona gracias a los artefactos de los modelos de difusión, pero en texto no da buenos resultados.
    El texto tiene una densidad de información demasiado alta y los modelos tipo GPT, de hecho, están entrenados para minimizar justamente la entropía de la que hablas
  • Puede servir para distinguir entre fotos reales y fotos generadas por IA, pero en texto no creo que la entropía sea tan importante.
    Además, la IA también puede ser entrenada para engañar esa detección
  • Pensé que la “prueba de Will Smith comiendo espagueti” era una broma, pero la busqué y sí existía. Sorprendente
• El internet no está muerto, pero empezó a oler raro
• Llevo un año siendo usuario de pago de Kagi. Ha sido el gasto más valioso que he hecho hasta ahora.
  Hace poco probé buscar en Google y fue realmente terrible.
  Yo quiero un internet silencioso — un lugar donde preguntas y te responden, sin intenciones ni anuncios, solo respuestas sinceras
• Creo que el enfoque escalable al final sería hacer que la IA identifique a la IA. Claro, con revisión humana obligatoria
  La mayoría de la gente probablemente no puede distinguir texto de IA que se salga de la “voz por defecto” del prompt
  • La siguiente generación de modelos evolucionará excluyendo de los datos de entrenamiento las muestras clasificadas como IA.
    Ese ciclo continuará, y se parece a la estructura de una GAN (Generative Adversarial Network)
  • Hacer que la IA atrape a la IA se parece a esa fantasía del problema de alineación de que “la buena IA vencerá a la mala IA”. Puede ser posible, pero depende de demasiados supuestos
  • Si la IA pudiera detectar a la IA, esto ya estaría resuelto. La clave es la falta de confiabilidad
  • Si se maneja el prompt con cuidado, se puede producir texto difícil de detectar.
    Pero en la web real sigue habiendo muchísimo slop de IA.
    Yo muchas veces busco información donde importa la veracidad, así que más que detectar IA, me importa la confiabilidad de la fuente.
    Al final, lo importante es quién lo escribió poniendo su nombre o reputación en juego
• Da la impresión de que el mundo actual está dividido en dos universos. Uno es el universo que empuja contenido generado a la fuerza, y el otro es el que lo rechaza por completo
  No entiendo por qué algunos CEO son tan tercos con esto. A la gente no le gusta el contenido artificial, y aun así ellos siguen obsesionados
  • En YouTube existe una audiencia enorme que disfruta contenido generado por IA.
    Por ejemplo, este video y este video están hechos con guion escrito por GPT, ilustraciones de IA y voz de IA.
    En Reddit también llegan arriba publicaciones escritas por GPT, y la gente las elogia diciendo que tienen “metáforas hermosas”.
    Al final, mucha gente disfruta el contenido de IA sin darse cuenta o sabiéndolo
  • La terquedad de los CEO se debe en su mayoría a la presión del directorio y de Wall Street. En realidad solo están reaccionando a señales de mercado emitidas por gente que ni siquiera ha usado LLM de verdad
  • Es una trampa total de costos hundidos y obsesión con el crecimiento. Más que la lógica, mandan la moda y la impaciencia de los inversionistas
  • Kagi tampoco ha excluido por completo a los LLM. De hecho usa LLM para los resúmenes de noticias
    Como puede verse en este issue relacionado, por eficiencia económica es difícil excluirlos por completo
  • Si un creador tiene que revelar que usó IA, entonces yo debería tener el derecho a filtrarlo.
    Hoy en día es demasiado difícil encontrar contenido real.
    El problema no es tanto el contenido de IA en sí, sino el entorno en el que los creadores cuidadosos quedan sepultados
• La situación actual se parece a una partida donde la IA juega ajedrez contra sí misma.
  La detección se vuelve más sofisticada y la IA más astuta. Sigue un duelo interminable de detección vs. evasión
• “La guerra del slop ha comenzado”
  Apoyo cualquier intento de frenar la avalancha de slop de IA en los resultados de búsqueda.
  Se siente como el regreso del viejo spam SEO, solo que con otro empaque
  • Esta vez es mucho peor. Antes el spam SEO se distinguía rápidamente a simple vista, pero ahora está lleno de basura aparentemente perfecta.
    La razón por la que a otros buscadores les gusta esto es que pueden reforzar su papel de puerta de entrada sin tener que crear contenido ellos mismos
  • Irónicamente, el grupo que más odia el contenido de IA es la industria del SEO.
    Porque los resúmenes de IA están sustituyendo su contenido diseñado para atraer clics.
    Quizá ellos mismos estén detrás de este movimiento de filtrado