Google lucha por eliminar manualmente respuestas extrañas de IA en la búsqueda

• En redes sociales hay mucho revuelo por ejemplos de cosas extrañas que dice el nuevo producto AI Overview de Google
  • Como decirles a los usuarios que pongan pegamento en la pizza o sugerirles que coman piedras
• Debido a este lanzamiento confuso, Google está ocupada desactivando manualmente AI Overview para ciertas búsquedas
  • A medida que se publican varios memes, los usuarios ven que desaparecen poco después de ser compartidos en redes sociales

AI Overview de Google

• Google ha estado probando AI Overview durante un año
  • Se lanzó en beta en mayo de 2023 como Search Generative Experience
  • El CEO Sundar Pichai mencionó que durante ese período procesó más de mil millones de consultas
• Pichai también dijo que redujeron en 80% el costo de ofrecer respuestas de IA
  • Gracias a hardware, ingeniería y avances técnicos
  • Sin embargo, es posible que estas optimizaciones se hayan hecho demasiado pronto, antes de que la tecnología estuviera lista

Problemas de calidad de la IA

• Un fundador de una startup de IA comentó que ahora Google ya es conocida por ofrecer resultados de baja calidad
• Google afirma que el producto AI Overview ofrece principalmente "información de alta calidad"
  • La vocera de Google, Meghan Farnsworth, confirmó por correo electrónico que están tomando medidas rápidas para eliminar AI Overview en algunas consultas
  • También dijo que están usando estos ejemplos para desarrollar mejoras amplias en el sistema

Opinión de expertos en IA

• Gary Marcus, profesor emérito de neurociencia en la Universidad de Nueva York, comentó que muchas empresas de IA están vendiendo el sueño de que la tecnología pasará de 80% a 100%
  • El 80% inicial es relativamente sencillo porque aproxima grandes cantidades de datos humanos
  • El 20% final es una tarea muy difícil
  • En la práctica, podría requerirse inteligencia artificial general (AGI)

La situación competitiva de Google

• Bing incorporó IA antes que Google
  • OpenAI está desarrollando su propio motor de búsqueda
  • Nuevas startups de búsqueda con IA ya tienen valoraciones de mil millones de dólares
  • Las generaciones más jóvenes quieren la mejor experiencia y están migrando a TikTok
• Google siente la presión competitiva, y eso ha llevado a un lanzamiento de IA confuso
  • En 2022, Meta lanzó un sistema de IA llamado Galactica, pero lo retiró poco después por problemas como recomendar comer vidrio

Los planes de Google para AI Overview

• Google tiene grandes planes para AI Overview.
  • La función actual es solo una parte de lo que la empresa anunció la semana pasada.
  • Razonamiento multietapa para consultas complejas, páginas de resultados organizadas por IA y búsqueda de video en Google Lens
• Sin embargo, en este momento la reputación de la empresa depende de hacer bien lo básico, y la situación no se ve muy bien

Gary Marcus - "[Estos modelos] fundamentalmente no pueden hacer una verificación de cordura de su propio trabajo, y eso es lo que terminará frenando a esta industria"

Opinión de GN⁺

• Problema de confiabilidad de la IA: Los sistemas de IA tienen una limitación estructural que les impide verificar su propio trabajo. Esto implica el riesgo de dar información incorrecta a los usuarios.
• Presión competitiva: Google está sintiendo la presión de sus competidores, y eso puede afectar la calidad de sus lanzamientos.
• Desafío técnico: El proceso de pasar de 80% a 100% en tecnología de IA es una tarea muy difícil. Esto muestra claramente los límites y desafíos de la IA.
• Experiencia de usuario: Las generaciones más jóvenes quieren la mejor experiencia de usuario, y este es un aspecto que Google debe seguir mejorando.
• Otras alternativas: Para los usuarios que estén considerando motores de búsqueda con IA, Bing o nuevas startups de búsqueda con IA también pueden ser buenas alternativas.

[hhcrux]

"Menciona que muchas empresas de IA están vendiendo el sueño de que la tecnología pasará del 80% al 100%"
Esa parte es algo que yo también pienso siempre. También es la base de mi idea de que, incluso si llega un mundo dominado por la IA, el trabajo humano no va a desaparecer.

[GN⁺]

Opinión de Hacker News

Resumen de comentarios de Hacker News

• Enfoque de Google para eliminar manualmente sugerencias de búsqueda

  • Hace recordar casos en los que Google en el pasado intentó ajustar el propio algoritmo en vez de modificar manualmente los resultados de búsqueda.
  • Durante una prueba de Froogle en 2002, al buscar "running shoes" aparecía una estatua de duende de jardín entre los primeros resultados.
  • Un ingeniero compró ese producto y así se resolvió el problema. Sin cambiar el algoritmo, comenzaron a devolverse resultados correctos.

• Problemas de precisión de la IA

  • El 80% inicial de precisión puede alcanzarse con relativa facilidad, pero el 20% final es muy difícil.
  • Alcanzar 100% de precisión es una meta que ni siquiera los humanos pueden lograr.
  • El objetivo es reducir las respuestas obviamente absurdas.
  • Los LLMs (modelos de lenguaje grandes) generan buen texto, pero eliminar las respuestas evidentemente absurdas no siempre es algo sencillo.

• Problemas de calidad en la búsqueda de Google

  • Existe controversia sobre si Google perdió el rumbo debido a la guerra de la IA.
  • Actualmente, los resultados de búsqueda de Google están llenos de spam, clickbait y propaganda.
  • Se sostiene que los resultados deberían reflejar al menos verdades ampliamente aceptadas.
  • Es importante identificar el troleo evidente, el clickbait y el contenido malicioso.

• Diferencia entre motor de búsqueda y motor de preguntas

  • Un motor de búsqueda es una herramienta para buscar en internet, no para hacer preguntas.
  • Preguntarle algo a una IA es una tarea distinta de buscar en internet.

• Problemas con la integración de IA en Google

  • Cada vez que Google integra IA, aparecen problemas que se repiten.
  • Cuando surge un problema, un alto ejecutivo anuncia que lo resolverán, pero el mismo problema vuelve a ocurrir.

• Problemas de dataset en Google

  • Sorprende que Google, después de 25 años afinando resultados de búsqueda, no tenga un buen dataset.
  • Tal vez incluso haga falta usar viejos CD de enciclopedias para crear datos de entrenamiento.

• Generación y prueba de consultas extrañas con LLM

  • Decepciona que Google no haya usado LLM para generar y probar consultas extrañas.
  • Hay muchas ventajas que podrían obtenerse de un despliegue limpio.
  • La carrera actual de la IA podría ser una carrera hacia el fondo.

• Problemas de las primeras versiones de IA

  • La IA actual es peor que la búsqueda tradicional en todos los aspectos.
  • Los dedos en las imágenes generadas por IA resultan impresionantes.

• Problema de alucinaciones en los LLM

  • La gente cree que los LLM solo alucinan de vez en cuando, pero en realidad ocurre con más frecuencia.

• La ironía de eliminar manualmente resultados de IA

  • Resulta irónico tener que eliminar manualmente resultados incorrectos generados por IA.