El declive de la Búsqueda de Google por “mil cortes”

• A medida que aumentan las restricciones de acceso en grandes sitios, como el cambio a modo privado de Reddit y el inicio de sesión obligatorio y los límites de velocidad de Twitter, muchos enlaces en los resultados de Google terminan siendo resultados que en realidad no se pueden abrir
• A medida que los modelos de lenguaje grandes se entrenan con datos públicos, los sitios de contenido tienen incentivos para vender sus datos o usarlos directamente en lugar de seguir manteniéndolos abiertos
• Estas restricciones pueden bloquear o volver más compleja la recopilación del índice de búsqueda de Google, y también afectar la obtención de datos para entrenar modelos de IA
• Si incluso sitios que aparecen con frecuencia en los resultados, como Wikipedia, comienzan a cobrar o limitar el acceso a su API, también podrían tambalearse las fuentes clave de la Búsqueda de Google
• Aunque Google refuerce esto con respuestas de IA, si los datos se mueven detrás de muros de inicio de sesión y de pago, la calidad de la búsqueda podría empeorar gradualmente durante varios años

---

Las restricciones de acceso convierten los resultados de búsqueda en enlaces muertos

• Algunas comunidades de Reddit siguen en estado privado como protesta contra las nuevas reglas de la API
• Twitter está reforzando el muro de inicio de sesión y aplicando límites de velocidad a los usuarios
• Con estos cambios, millones de resultados que permanecen en el índice de Google se convierten en la práctica en enlaces muertos
  • Los usuarios que encontraban resultados de Reddit en Google para usarlos pierden una alternativa, en una situación donde sienten que la búsqueda interna de Reddit es inferior
  • Los enlaces a tuits en los resultados de búsqueda llevan a muchos usuarios a una pantalla que exige iniciar sesión

El control de datos en la era de la IA presiona el índice de Google

• Los modelos de lenguaje grandes se entrenan con datos públicos recolectados vía API, y mientras más contenido tenga un sitio, más probable es que reciba el impacto de modelos entrenados con sus propios datos
• Estos sitios, tras restringir el acceso a los datos, podrían considerar dos opciones
  • vender los datos
  • entrenar sus propios modelos
• Las restricciones de acceso bloquean o complican el proceso mediante el cual Google recolecta datos automáticamente para la búsqueda, y también afectan la obtención de datos para entrenar modelos
• La Búsqueda de Google podría sufrir mil cortes al ir perdiendo resultados sitio por sitio

• Si Wikipedia impone restricciones

  • Se estima que Wikipedia aparece en la primera página en el 99% de las búsquedas de Google
  • Si cobra o limita el acceso a la API, el impacto en los resultados de búsqueda podría ser grande
  • Los datos de Wikipedia forman parte de los datasets incluidos en casi todos los corpus de modelos de lenguaje grandes
  • La Wikimedia Foundation ha solicitado apoyo financiero mediante banners de donación y lanzó en 2021 un producto de API empresarial llamado Wikimedia Enterprise
  • Si los resultados se van convirtiendo uno por uno en enlaces muertos y se eliminan del índice, los usuarios dependerán más de la búsqueda dentro de cada sitio en servicios cerrados
  • Google podría intentar reforzar los resultados con respuestas generadas por IA, pero no todas las respuestas serán lo suficientemente buenas y los datos de entrenamiento también podrían moverse detrás de muros de inicio de sesión o de pago
  • Hasta que aparezca una nueva alternativa, la búsqueda podría deteriorarse gradualmente durante varios años

[GN⁺]

Opiniones de Hacker News

• Siento que la búsqueda de Google ya se viene muriendo lentamente desde hace mucho tiempo
  Antes podías encontrar información concisa como documentación, publicaciones en foros o wikis, pero ahora solo aparecen textos de marketing optimizados para SEO, granjas de enlaces, clickbait, artículos larguísimos de miles de palabras que no dicen nada, peroratas políticas sin contexto si no eres estadounidense y una cantidad absurda de anuncios
  Esta situación parece un resultado creado directamente por Google Ads y por el propio algoritmo de búsqueda de Google, así que preguntarle a un LLM resulta mucho más atractivo que buscar. Si no fuera por las alucinaciones, la IA podría filtrar el ruido y extraer la información real
  La web ya no existe para las personas ni para explorar información, sino para bots, crawlers, el algoritmo de Google y el marketing, y como a la gente cada vez le cuesta más digerir eso, termina esperando de la IA resultados más concisos y directos

  • Google básicamente mató a la gallina de los huevos de oro. Depende de una web abierta y sana, pero como uno de los actores con mayor influencia sobre la web, fracasó por completo en mantener o mejorar ese ecosistema
  • Hace poco busqué "canned cabbage soup" y el sitio móvil quedó fijado en un modo que nunca había visto
    Solo mostraba recetas spam de blogs para enlatar sopa de repollo casera mediante una interfaz de recomendaciones en mosaico; no había enlaces de texto normales ni productos reales de sopa enlatada. Revisé varias páginas y no cambió nada
    Curiosamente, al buscar "canned cabbage soup history" cambió al modo normal de resultados y aparecieron productos y Wikipedia. Si es una búsqueda con intención clara de comprar un producto, ahí es donde más evidente sería una razón comercial para arruinar Google con una búsqueda especial rara, pero no entiendo por qué existe ese modo de "servir spam de blogs"
    Encima, ahora al menos cinco veces al día me aparece la pantalla preguntando si soy un robot
  • Anoche busqué una frase que era exactamente el título de una página y obtuve 0 resultados. Cambié la búsqueda y la página que quería apareció como primer resultado; Google de verdad se ha deteriorado muchísimo
  • Lo que quiero de un buscador no es que una IA me lo resuma de forma más concisa o más fácil de digerir
    Lo que quiero es una lista de enlaces a lugares con información relevante, y no quiero que el buscador me resuma ni me depure el contenido. Si no lo leo y lo entiendo por mí mismo, se pierde demasiado conocimiento y contexto
  • Creo que parte del miedo hacia la IA/aprendizaje automático viene de darse cuenta de que todo su mundo de anuncios y marketing podría volverse irrelevante
    El usuario puede obtener una respuesta corta y precisa sin pasar por anuncios, y eso se parece bastante a cómo era la web hace mucho tiempo

• Mientras tanto, sitios que sí deberían eliminarse, como clones spam de Stack Overflow o páginas como Canva y Pinterest que generan miles de páginas casi iguales con títulos apenas distintos, siguen permitidos en Google y aparecen arriba
  También detesto las 10 primeras páginas que salen al buscar algo como "best domain name registrar". Preferiría que me mostraran registradores de dominios reales en vez de entradas de blogs spam llenas de enlaces de afiliados, y si le preguntas a ChatGPT, eso sí lo hace
  Google está demasiado manipulado y parece que no lo corrigen porque esos blogs spam llevan sus anuncios. Hay trucos de filtrado de uBlock Origin que aprendí en HN, pero la búsqueda en sí la tiene que arreglar Google. Ahora mismo el contenido útil queda bloqueado y el spam sube en el ranking

  • Desde la primera vez que vi la palabra SEO, sentí que se había puesto en marcha el cronómetro hasta la muerte de la búsqueda
    Antes ya daban mala espina los trucos como palabras clave en fuentes diminutas y transparentes visibles para el crawler pero no para el usuario, pero en el momento en que manipular buscadores se volvió una profesión, empezó a verse el final de la búsqueda
    Al final probablemente volveremos a los webrings y a los índices de enlaces, y después de que también se integren y se llenen de cobros, se abandonarán. Con suerte, en los años 2040 quizá volvamos a los BBS por marcación
  • Kagi publicó hace poco su ranking personalizado por dominio, y Pinterest quedó 2.º en "bajar" y 1.º en "bloquear": https://i.imgur.com/ViLamx7.png
  • Siempre me da la impresión de que ya sería bastante efectivo poner a una sola persona a hacer búsquedas al azar, etiquetar el spam obvio y sacarlo del índice
    Pero parece que Google, aun pudiendo contratar humanos para hacer bien ese trabajo, insiste en entrenar IA para no lograr hacer lo mismo
  • No entiendo por qué no pueden simplemente eliminar los sitios clon spam de Stack Overflow. Cada vez que busco una respuesta termino perdiendo tiempo valioso
    Parece una función fácil, pero Google ya perdió el rumbo hace mucho
  • Para quienes usan Google o DDG, tengo mi filtro de uBlock con cientos de clones de GitHub/StackOverflow: https://github.com/quenhus/uBlock-Origin-dev-filter
    Bloquea y oculta sitios clon en varios buscadores. También se puede usar junto con uBlacklist

• Esto es un fracaso de innovación de Google
  El objetivo de Google era "organizar la información del mundo", pero no logró crear Wikipedia, un repositorio curado de información de alta calidad agradable de leer para los humanos, ni tampoco creó ChatGPT, el primer LLM lo bastante bueno como para recordar y organizar información no trivial
  Tras su éxito inicial con la búsqueda, Google intentó afianzar su ventaja gastando dinero a manos llenas en “las personas más inteligentes” para que la competencia no pudiera contratarlas. Como resultado, terminó siendo mejor usar sus recursos para controlar infraestructura de internet como Android, Chrome y el correo electrónico, y así defender su ventaja existente, en vez de innovar
  A menos que haya un cambio muy grande, veo a Google como un muerto viviente. Aquí, “las personas más inteligentes” se refiere a gente con éxito académico, pero que sigue bien las reglas, tiene poca imaginación y evita el riesgo

  • Google creó los avances clave de los que todavía dependen todos los LLM hoy en día, en particular la arquitectura de atención y el entrenamiento de redes neuronales profundas a gran escala, y ya tenía un chatbot similar, Meena, mucho antes de que apareciera ChatGPT
    Aun así, como no lo lanzó al público, sí fue un fracaso de innovación, pero no un fracaso técnico ni de aprendizaje automático
    https://ai.googleblog.com/2020/01/towards-conversational-age...
  • Google tenía LLM antes que OpenAI, y también creó las técnicas clave que lo hicieron posible
    Mi interpretación es que Google quedó aplastado por su propio peso. Las multas del gobierno y la estructura corporativa que empezó a temer esas multas ralentizaron el avance, y en un entorno así es muy difícil lanzar cambios
    Lo mismo pasa con la línea base. La gente reacciona al cambio y toma el estado actual como el estándar de oro. En ese contexto, creo que es difícil sacar cambios radicales
    Pienso que la única salida es reducir el producto. Separarlo, fragmentarlo o hacerlo lo bastante pequeño en comparación con el resto como para no convertirse en el blanco principal. Empresas como Coca Cola o Procter & Gamble hacen esto bien
  • Tengo dudas sobre la calidad del contenido de Wikipedia
    Todo lo que puede politizarse se politiza, y todo lo que puede usarse para empujar la agenda o la perspectiva de alguien, se usa de esa forma
    Más allá de la mala intención, al estar basada en voluntariado, algunos documentos también omiten información relevante o contienen errores
  • Parece apresurado predecir que Google se está muriendo. Más allá de la búsqueda, controla el ecosistema Android
  • Hace unos días algunos estaban discutiendo la idea de Schumpeter de que “las empresas muy grandes impulsan la innovación”, y me pregunto cómo habría que ver Google Search desde esa perspectiva

• Cuando trabajaba en ciencia planetaria, tenía la costumbre de buscar IDs de imágenes en Google
  Normalmente eran imágenes orbitales específicas de lunas mencionadas en artículos, y por supuesto hay archivos dedicados para buscar esas cosas, pero Google daba resultados sorprendentemente buenos
  Ahora, si busco un ID de imagen, literalmente obtengo 0 resultados. No sé qué cambió. Me pregunto si quitaron del índice el Planetary Data System o si quitaron del índice los artículos de ciencia planetaria

  • Parece que las consultas de alta entropía, como números de parte o códigos de error, corren la misma suerte
    Peor que no tener resultados en absoluto es cuando siguen apareciendo en cada página “resultados” con números o códigos apenas distintos
  • Más que eliminar resultados del índice, parece que empezaron a hacer búsqueda vectorial en lugar de coincidencia de texto. Esos IDs no tienen adónde ir en el espacio vectorial
  • Cuando estudiaba literatura, podía encontrar referencias muy tenues con solo describir algunos fragmentos de texto o de artículos que recordaba
    Ahora no hay resultados o solo salen textos de SEO irrelevantes
  • Si se trata de búsqueda de imágenes, conviene probar Yandex en vez de Google. En búsqueda de imágenes le lleva a Google más de un orden de magnitud
    Edit: pasé por alto que no se trataba de buscar la imagen, sino el ID de la imagen
  • Sospecho de BERT y la búsqueda semántica
    La mayoría de los modelos de embeddings de palabras anteriores eran monolingües y no veían el contexto, así que no servían mucho para búsqueda; por eso Google tenía que usar índices invertidos y algoritmos afinados durante años
    Después de BERT, pueden crear modelos que generan embeddings para consultas de búsqueda del 99.99% del lenguaje, y como funcionan más o menos bien para el 99% de las consultas, parece que consideran que eso basta
    Habría sido relativamente fácil detectar qué consultas funcionaban mejor con el índice anterior que con el nuevo enfoque, pero parece que no lo hicieron, y como resultado se perdió mucha utilidad en cosas como buscar números de teléfono

• La muerte de Google va más allá del problema del corpus; su algoritmo de ranking también está empeorando mucho
  Hace una semana, buscar < James Palmer manchester foreign policy > no mostraba https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... en la primera página, pero < James Palmer manchester site:foreignpolicy.com > sí lo encontraba
  Hoy parece estar corregido, pero hace unos años habría sido impensable en Google algo como no poder satisfacer ni siquiera una intención de búsqueda de nivel preescolar como esa
  https://twitter.com/BeijingPalmer/status/1670904508191322112
  https://twitter.com/shalmanese/status/1670973880637493249

  • Sigo esperando una explicación correctiva para este resultado de búsqueda: https://www.google.com/search?q=pieces+of+me+is+actually+a+g...

• Esto es la versión de internet de la tragedia de los comunes: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
  Demasiadas personas y grupos están tratando de obtener beneficios con el menor esfuerzo posible, mientras van agotando recursos compartidos como datos de libre acceso, APIs abiertas y software FLOSS, sin considerar el impacto a largo plazo
  Los datos pueden copiarse infinitamente, pero al principio alguien tiene que generarlos, y si no se actualizan se vuelven obsoletos y menos útiles. Si nadie tiene la voluntad y la capacidad de generarlos o renovarlos, lo bueno desaparece y la relación señal-ruido se derrumba rápidamente. Todo se vuelve ruido y termina siendo pésimo

  • En la historia de la humanidad, la propiedad intelectual es un fenómeno relativamente reciente
    Muchas tecnologías y expresiones culturales se crearon sin esa "protección". A veces me pregunto cómo habría sido la historia reciente sin derechos de autor ni patentes
  • Ahora se siente como una zona de un MMO tan llena de spammers y vendedores que no puedes encontrar al dador de quests

• Hace mucho tiempo, Google era muy útil incluso sin Reddit
  Había una razón por la que se convirtió en una megacorporación: realmente hizo herramientas y servicios buenos y utilizables. La gente usaba sus productos porque eran buenos, y cosas como Search, Gmail, Maps y Translate eran verdaderas joyas
  No sé si descuidaron la búsqueda o si la rompieron a propósito, pero está claro que se rompió independientemente de Reddit. Reddit sí tiene mucha información, pero no es el único sitio web de internet
  Sin embargo, Google parece indexar solo los 150 o 200 sitios principales de internet, y aun en esos resultados a menudo faltan términos de la búsqueda

  • También creo que influye que internet se haya siloizado y que gran parte de los espacios públicos haya quedado detrás de un inicio de sesión
  • La búsqueda de Google se arruinó a medida que internet evolucionó en la era de AdWords
    Todo el mundo se dio cuenta de que podía ganar dinero con pageviews y optimización para buscadores, y empezó una carrera hacia el fondo para quedar primero en todos los términos de búsqueda
    Incluso si Google abordara esto desde una perspectiva totalmente centrada en el usuario, parece un problema difícil de resolver; y además, desde Sundar, Google básicamente se convirtió en IBM/Oracle. Así que ahora está girando hacia el desagüe al doble de velocidad
  • Lo rompieron a propósito por dinero
    En el momento en que empezaron a pagarle a la gente para manipular su buscador, es decir, en el momento en que introdujeron AdSense, todo empezó a ir por el camino de volverse inútil. Esos incentivos ya existían de todos modos, pero Google les puso turbo con un incentivo de 33 mil millones de dólares en 2022
  • Desde la perspectiva de la empresa en el corto plazo, la pregunta de si "descuidaron la búsqueda o la rompieron a propósito" puede ser una falsa dicotomía
    Si suben los ingresos por anuncios en búsquedas, entonces la búsqueda parece estar bien, como si no estuviera podrida ni rota
    Se asume que Google trata a los usuarios como clientes, pero en realidad puede tratarlos como un recurso natural explotable

• Wikipedia tiene dumps de datos descargables, casi no le cuesta nada proporcionárselos a Google y además tiene una misión organizacional de hacer públicos esos datos
  Incluso si decidiera cobrar por el acceso, Google podría pagarlo. Mejor no plantear supuestos completamente irreales

  • Wikimedia Enterprise es justamente lo que vende acceso a datos "consumibles": https://en.wikipedia.org/wiki/Wikimedia_Enterprise
  • Si Wikipedia cobrara o restringiera el acceso a la API, mi juego de rompecabezas Redactle(https://redactle.net) quedaría en riesgo, como GeoGuessr cuando lo amenazaron los cobros de Google Maps
    También en relación con este artículo, me ha costado posicionar Redactle en Google porque versiones baratas y llenas de anuncios pertenecientes a grupos de granjas de enlaces estaban mejor posicionadas. Muchas de ellas incluso fingían ser mi marca "Redactle Unlimited"
    Google parece preferir un paquete de sitios spam que se enlazan entre sí antes que miles de enlaces hechos por usuarios verificados en Reddit, Facebook y otros lugares
  • Es cierto que Google puede asumir ese costo
    Pero, ¿qué pasaría si Wikipedia exigiera el 10% de los ingresos cuando sus datos se usan para mostrar resultados de búsqueda? Me pregunto si Google aceptaría o si en cambio crearía un servicio competidor de Wikipedia para luego matarlo cuatro años después
    El sistema es tan complejo que es muy difícil predecir cómo reaccionará una parte cuando otra se vea afectada por restricciones distintas. El scraping de datos de Reddit por parte de OpenAI, el deseo de Reddit de monetizar, los moderadores de Reddit protestando contra las reglas, la posible extensión indefinida del apagón de dos días, y el hecho de que un paper de LLM publicado por Google termine afectando su propio negocio a través de ChatGPT, todo eso está entrelazado

• El verdadero problema meta aquí es la vieja cuestión de cómo se financian los servicios web, incluida la búsqueda
  Google, Twitter, Reddit y Gfycat son todas variaciones inmediatas del mismo problema, y no existe una solución técnica para esto. La idea ingenua de que todas estas cosas pueden ser gratis es absurda, especialmente cuando se sostiene dentro de un ecosistema apuntalado por ingresos publicitarios
  Alguien tiene que pagar los costos de desarrollo y operación, y por lo general quien pone el dinero termina teniendo el poder de decisión, lo que lleva al desastre de UX moderno
  Al menos por ahora, gracias a la situación del capital de riesgo, hay mucho menos dumping de producto de facto dirigido a destruir el mercado de participantes legítimos

  • De acuerdo. Si la gente no quiere pagar por aquello que considera valioso, entonces eso deja de estar hecho para ellos
    Pasa a estar hecho para quienes sí pagan, es decir, los inversionistas

• El problema de Google en este momento no es ni Reddit ni Twitter
  Google ya se convirtió en una marca llena de resultados realmente pésimos y campañas de AdWords, y ni siquiera está claro por qué están pagando los marketers
  Parece que hay que volver al paper original de Brin y Page: https://research.google/pubs/pub334/
  Google todavía hace cosas asombrosas, como AlphaZero o Project Zero, pero da la impresión de que ya no sale nada realmente nuevo de la organización, como pasaba antes con Xerox PARC
  Mientras tanto, Google Workspace, por ejemplo Sheets y Docs, sí es un buen competidor en el espacio de oficina. La ejecución del negocio es buena, pero la búsqueda en Google Drive es pésima