Comparación de la calidad de búsqueda entre Google, Bing, Marginalia, Kagi, Mwmbl y ChatGPT

• Incluso con solo 6 búsquedas simples, se hizo evidente que en los primeros resultados de grandes motores de búsqueda como Google y Bing se mezclan con frecuencia spam SEO, anuncios fraudulentos y respuestas inexactas
• La comparación incluyó Google, Bing, Marginalia, Kagi, Mwmbl y ChatGPT 3.5, y se revisaron también los resultados localizados para Vancouver, BC, con el bloqueador de anuncios desactivado
• Marginalia no siempre pudo dar una respuesta completa, pero mostró relativamente menos resultados fraudulentos, mientras que ChatGPT fue bueno en algunas búsquedas, aunque también mostró negativas a responder y alucinaciones
• Google y Bing mostraron sitios fraudulentos y resultados publicitarios en posiciones altas en búsquedas comunes como descargas de YouTube, bloqueadores de anuncios y pronóstico de nieve en invierno, cosas que mucha gente busca normalmente
• Para obtener buenos resultados ahora hacen falta trucos de usuario avanzado, como restringir por sitio, combinar palabras clave y hacer búsquedas de seguimiento, lo que se aleja de la experiencia de búsqueda de antes, cuando “bastaba con buscar”

---

Método de comparación y criterios de evaluación

• Los comparados fueron Google, Bing, Marginalia, Kagi, Mwmbl y ChatGPT 3.5
• Las búsquedas se eligieron de tres tipos
  • búsquedas que podría hacer una persona no técnica al configurar una computadora nueva
  • preguntas técnicas o científicas que un estudiante de preparatoria podría entender, pero cuya respuesta es difícil de encontrar
  • búsquedas de información local que realmente se necesitaron mientras se escribía
• Estas fueron las 6 consultas usadas
  • download youtube videos
  • ad blocker
  • download firefox
  • Why do wider tires have better grip?
  • Why do they keep making cpu transistors smaller?
  • vancouver snow forecast winter 2023
• La evaluación se dividió en Terrible, Very Bad, Bad, Ok, Good, Great, y los resultados fraudulentos se consideraron un factor de fuerte penalización
• La mayoría de las búsquedas se hicieron en noviembre de 2023, y algunas a mediados de diciembre
• Las consultas en motores de búsqueda se ejecutaron en una nueva ventana de incógnito con las cookies borradas; como Kagi no permite buscar sin iniciar sesión, se usó una cuenta nueva
• La ubicación era Vancouver, BC, y parece que en algunos motores se aplicó ranking localizado

Resultados generales

• Marginalia a veces dio respuestas aceptables pero imperfectas, y cuando no podía responder una pregunta tendía a no mostrar resultados o a devolver resultados claramente no relacionados
  • La proporción de resultados fraudulentos fue menor que en otros motores, aunque incluso en esta prueba sí aparecieron algunos
• Mwmbl permite a los usuarios editar directamente el ranking de los resultados
  • En una consulta, tras una edición, los resultados pasaron a ser dignos de Great, pero como estaban optimizados manualmente para el benchmark, eso no se reflejó en la puntuación
• Google mostró una fuerte preferencia por resultados recientes y videos recientes de YouTube
  • En la búsqueda ad blocker aparecieron videos de YouTube con contenido pobre, y uno de ellos decía erróneamente que el primer resultado era “oficial de Google”
• ChatGPT fue mucho mejor que los buscadores tradicionales en un caso, en otros dio resultados aceptables o evitó responder, y en varias consultas produjo alucinaciones
• Se evaluó que Google y Bing devolvieron más resultados alucinatorios y manipulados que ChatGPT en algunas consultas
  • En la búsqueda del pronóstico de nieve aparecieron sitios falsos de pronóstico hechos para monetizar con anuncios y resultados de negocios locales que intentaban empujar servicios innecesarios de remoción de nieve

Resultados por consulta

• download youtube videos

  • El resultado ideal era yt-dlp o un wrapper GUI liviano y gratuito para yt-dlp; también se consideraban aceptables proyectos menos actualizados como youtube-dl
  • Google no tuvo buenos resultados; la mayoría de los primeros resultados orgánicos inducían a instalar badware, mostraban anuncios fraudulentos, alternativas de pago, listas promocionales y videos de YouTube tipo blogspam
  • Bing tampoco tuvo buenos resultados, y abundaban las extensiones que parecían badware, botones falsos de descarga y anuncios de descargadores de pago
  • Marginalia tuvo como primer resultado una respuesta antigua relacionada con youtube-dl e incluyó blogs sobre instalación y uso de yt-dlp, por lo que fue evaluado como el mejor
  • Kagi estaba lleno de sitios de descarga que presumían Norton SafeWeb, pop-ups de estafa y enlaces viejos de archive.org para youtube-dl
  • Mwmbl mezcló algo de software de pago, artículos de instalación de youtube-dl, videos sobre wrappers GUI y sitios fraudulentos o de baja calidad
  • ChatGPT respondió que no se debía descargar sin YouTube Premium y se negó a recomendar apps o sitios web concretos de terceros

• ad blocker

  • El resultado ideal era uBlock Origin, o al menos un bloqueador no fraudulento que bloquee anuncios por defecto
  • En Google no apareció un enlace a uBlock Origin, y se mezclaban bloqueadores que participan en el programa Acceptable Ads y permiten ciertos anuncios por defecto con anuncios que parecían fraudulentos
  • En Bing, los anuncios superiores llevaban a Avast Secure Browser, TOTAL Adblock y sitios de reseñas falsas, y la etiqueta de anuncio era tan sutil que podía confundirse con resultados normales
  • Marginalia mostraba en los resultados 3 y 4 recomendaciones de uBlock Origin, y el resultado 8 era el propio uBlock Origin, con pocos resultados directamente fraudulentos, por lo que salió bien parado
  • Mwmbl mezcló Ghostery, bloqueadores de pago, sitios llenos de publicidad y recomendaciones de uBlock Origin dentro de comentarios de Hacker News
  • Kagi tenía resultados de Adblock Plus y la familia AdBlock en la parte superior, e incluía artículos con pop-ups que intentaban instalar TOTAL Adblock
  • ChatGPT, ante How do I install the best ad blocker?, propuso uBlock Origin como primera recomendación, por lo que fue evaluado como el mejor en esta consulta

• download firefox

  • El resultado ideal era el enlace de descarga de Firefox, sin enlaces falsos o fraudulentos
  • Bing, Mwmbl y Kagi ofrecieron enlaces de descarga de Firefox y fueron evaluados como Great
  • ChatGPT dio instrucciones de instalación técnicamente inexactas, pero indicó ir al sitio correcto, por lo que se consideró probable que el usuario sí pudiera descargar Firefox
  • Marginalia no tenía un enlace directo de descarga de Firefox y solo mostraba enlaces indirectos relacionados, así que recibió Ok
  • Google tenía en su mayoría enlaces legítimos de descarga entre los primeros resultados, pero los resultados 7 y 10 llevaban a instalaciones de badware o a páginas que pedían datos de tarjeta de crédito, así que fue evaluado como Bad

• Why do wider tires have better grip?

  • Se consideró que la respuesta correcta debía explicar el efecto de las llantas más anchas en el frenado en seco y los tiempos por vuelta, el frenado en mojado y el aquaplaneo, la diferencia entre cambiar por separado el ancho del rin y el ancho de la llanta, y hasta los cambios en la presión de la llanta
  • Google, Bing y Kagi devolvieron muchas explicaciones incompletas o incorrectas sobre área superficial, huella de contacto y carga dinámica, además de páginas promocionales
  • ChatGPT dio una respuesta con buena gramática, pero era una alucinación plausible al estilo de comentarios de internet
  • Marginalia no tuvo resultados para la pregunta original, y al quitar el signo de interrogación devolvió solo un resultado incorrecto
  • Mwmbl devolvió artículos no relacionados del NYT o textos sobre llantas de bicicleta
  • Ningún motor dio una explicación correcta, y Marginalia fue evaluado como relativamente mejor por tener menos resultados erróneos y menos enlaces fraudulentos

• Why do they keep making cpu transistors smaller?

  • La respuesta esperada era un recurso que explicara de forma intuitiva por qué los transistores más pequeños son más rápidos y cómo se relacionan con la energía y la capacitancia
  • Google devolvió una tarjeta de conocimiento y resultados de Stack Exchange y Quora, pero la mayoría eran respuestas parciales del tipo “más pequeño es más rápido” o respondían otra pregunta
  • Bing obtuvo Ok porque parte de la tarjeta superior de conocimiento daba respuestas parciales que podían servir para continuar investigando
  • Kagi devolvió resultados de Reddit, Stack Exchange, Quora y Metafilter, y aunque el enlace 10 podía llevar a conceptos como Dennard Scaling, la respuesta directa era débil
  • Marginalia no tuvo resultados, y Mwmbl devolvió solo un artículo no relacionado de Vox titulado “Why do artists keep making holiday albums?”
  • ChatGPT dio una no-respuesta sobre aumento de rendimiento, y al pedir más explicación produjo una respuesta potencialmente engañosa sobre propagación de circuitos e interconexión

• vancouver snow forecast winter 2023

  • Un buen resultado era el pronóstico de nieve estacional de 2023 de Environment Canada, que indicaba que en Vancouver habría bastante menos nieve de lo normal y temperaturas más altas
  • Google mostró como tarjeta de conocimiento un pronóstico aparentemente falso de una empresa local de remoción de nieve, cuya página predecía mucha nieve y frío para empujar la compra de servicios
  • Una página que parecía un resultado principal relacionado en Bing era un sitio falso de pronóstico SEO que parecía manipular probabilidades diarias de “tormenta invernal”
  • Kagi mostró ese sitio falso de Bing en sus primeros 4 resultados e incluía noticias no relacionadas y spam SEO
  • Marginalia no tuvo resultados, y Mwmbl devolvió resultados no relacionados, como un artículo sobre apagones en 2022, un pronóstico de nieve de Filadelfia, el congelamiento del río Ohio y noticias locales de Oregon
  • ChatGPT no respondió directamente y dijo que se revisaran sitios o apps del clima; una vez, por error, sugirió Environment Canada desde un prompt con User\n

Cómo se mezclan anuncios, SEO y alucinaciones

• En los resultados de búsqueda se mezclaban tanto resultados manipulados intencionalmente como páginas típicas de granjas SEO publicitarias
• En la búsqueda del pronóstico de nieve aparecieron tanto sitios falsos de pronóstico hechos para ingresos publicitarios como pronósticos falsos orientados a vender servicios de remoción de nieve
• En la búsqueda de bloqueadores de anuncios había sitios de reseñas falsas que parecían evaluaciones objetivas, pero guiaban a instalar un bloqueador específico
• En la búsqueda de descargas de YouTube, en lugar de herramientas gratuitas y de código abierto, aparecían repetidamente software de pago, extensiones sospechosas de badware y botones falsos de descarga
• Se plantea que el ecosistema de búsqueda tradicional está fuertemente incentivado a poner primero resultados que más benefician a la cadena de suministro de software, no necesariamente los mejores para el usuario
• Señales de ranking como clics e interacción solo pueden reforzar buenos resultados cuando el usuario tiene la experiencia suficiente para reconocerlos

El problema de incentivos en la búsqueda basada en anuncios

• El artículo original de PageRank de Sergey Brin y Larry Page sostenía que la búsqueda basada en anuncios tiene una desalineación de incentivos con el objetivo de ofrecer buenos resultados
• El artículo explica que los ingresos publicitarios pueden sesgar al motor de búsqueda hacia los anunciantes y alejarlo de las necesidades del consumidor
• Se argumenta que Google y Bing actuales han cambiado en la dirección de hacer que los anuncios se parezcan a resultados reales de búsqueda, y que muchos usuarios no distinguen entre anuncios y resultados orgánicos
• La evaluación del ranking se basó en el orden visible en la página
  • Si había 4 anuncios por encima de los resultados orgánicos, esos anuncios contaban como posiciones 1 a 4 y el primer resultado orgánico contaba como posición 5
• En el ejemplo de búsqueda cellular phone, los primeros resultados de Google estaban llenos de Google Store Pixel 7, teléfonos Android de Amazon, Wikipedia, resultados comerciales y spam SEO
• El resultado “The Effect of Cellular Phone Use Upon Driver Attention”, mencionado en el artículo de PageRank como un buen resultado superior, quedaba enterrado debajo del montón de resultados comerciales y no se veía

Posibilidades de buscadores pequeños y metabúsqueda

• Resulta interesante que Marginalia, pese a ser un buscador desarrollado por una sola persona, haya dado resultados relativamente buenos en algunas consultas
• Sigue siendo difícil crear un buscador principal que reemplace a Google
  • indexación de cosas que cambian en tiempo real como Twitter y noticias
  • NLP por encima del nivel básico
  • aumento de las funciones que los usuarios esperan de un buscador
• En cambio, se considera que ahora es más fácil hacer un buscador útil para una minoría de usuarios
  • porque los resultados de Google han empeorado frente a antes en muchas consultas
• Se dice que Google ahora falla con mucha más frecuencia al devolver la página deseada incluso para páginas poco populares o búsquedas por cadenas recordadas con precisión
  • algo que antes casi no pasaba, que en 2015 era raro, y que ahora ocurre en una proporción considerable
• Se considera que la idea de combinar varios buscadores pequeños para dar mejores resultados que Google a muchos usuarios ya lleva años acercándose al “sí”
• El método de curación por usuarios de Mwmbl se considera difícil sin ajustes adicionales
  • hubo un caso de edición de usuario que añadió blogspam a lo más alto de la búsqueda RSS, y no había una forma fácil de reportarlo
• Un enfoque al estilo de Metacrawler de 1996, agregando varios motores, ChatGPT, Bard y otros, podría ser técnicamente bastante bueno, al margen de problemas legales o de costos de licencia

Apéndice: otros motores de búsqueda

• DuckDuckGo en el pasado era muy parecido a Bing, y esta vez también, quitando los anuncios de Bing, seguía siendo similar, aunque no tanto como antes, así que no se consideró que valiera mucho la pena ponerlo en una tabla aparte
  • si un usuario avanzado escribe bien las consultas, puede salir aceptable como Google, pero con las consultas ingenuas de esta comparación no fue bueno
• wiby.me es, como Marginalia, un motor pensado para encontrar resultados relativamente ambiguos
  • produjo resultados interesantes y muy distintos en 4 consultas, pero no devolvió resultados relevantes
• searchmysite.net dio resultados algo relacionados en algunas consultas, pero no tan relevantes como Marginalia
  • tenía muchas menos páginas fraudulentas y promocionales que Google, Bing y Kagi
• indieweb-search.jamesg.blog no funcionó en ninguna consulta por errores del servidor
• Teclis conserva la caja de búsqueda, pero fue cerrado por abuso de bots, y en la portada aparece una nota que dice que el 99.9% del tráfico eran bots
  • se indica que sus resultados pueden usarse mediante el lente Non-commercial Web de Kagi y su API

Apéndice: el proceso indirecto para encontrar buenas respuestas

• En la pregunta sobre agarre de llantas más anchas, los buscadores normales no dieron una buena respuesta, y el proceso terminó pasando por búsqueda en YouTube, comentarios, libros sobre autos, exploración de libros similares y búsqueda por nombres específicos de modelos
• Tune To Win de Carroll Smith menciona que una huella de contacto más ancha reduce la acumulación de calor y permite diseños de goma más suave que operan en un rango de temperatura más estrecho, pero se considera que eso no explica suficientemente el fenómeno observado
• The Unified Theory of Tire and Rubber Friction de Kummer, The Physics of Tire Traction de Hays and Browne, y Race Car Vehicle Dynamics de Milliken and Milliken tampoco llegan a una explicación suficiente
• The Science of Vehicle Dynamics de Guiggiani estuvo más cerca de cómo pensar y modelar los factores relevantes
• A partir de la pista del brush model en el último capítulo, se buscó brush model tire width y eso llevó a Tire and Vehicle Dynamics de Pacejka, libro que sí empieza a explicar el agarre de las llantas más anchas y el modelado necesario de dinámica de llantas y del vehículo
• Para conseguir buenos resultados de búsqueda ahora hacen falta trucos de usuario avanzado que combinen términos, sitios y búsquedas de seguimiento, y no todos los usuarios tienen esos recursos

Casos de tarjetas de conocimiento de Google

• Se dice que los resultados de tarjetas de conocimiento de Google eran con frecuencia inexactos incluso para respuestas fáciles de encontrar o preguntas absurdas
• oc2 gemini length devolvió 20″, la longitud de un bebé mencionada en un artículo, en lugar de la longitud del bote
• busy beaver number devolvió el número telefónico [phone]
• Feedly revenue devolvió $5.2M/yr basándose en un sitio que aparentemente manipula estimaciones privadas de ingresos y ganancias
• boston up118s dimensions devolvió el tamaño del piano como 5826298 x 5826899 x 582697 in
• Intel number of engineers devolvió un número telefónico en lugar de la cantidad de ingenieros
• fraser river current speed devolvió el valor inexacto 97 to 129 kilometers per hour
• futura c-4 surfski weight devolvió 39 pounds, que era el peso de otro surfski

Respuesta a las críticas

• Esta comparación no es un estudio revisado por pares, e incluye evaluaciones subjetivas sobre unas cuantas consultas
• Basándose en experiencia con artículos de recuperación de información y un best paper award, se argumenta que el hecho de ser un paper académico no lo hace automáticamente más riguroso
• Algunas refutaciones de usuarios de Kagi consistieron en fijar resultados de GitHub o en ejecutar solo consultas donde GitHub daba buenos resultados
• Aún no ha habido refutaciones que muestren resultados realmente buenos para las consultas sobre llantas, transistores y pronóstico de nieve
• El punto central del debate sobre calidad de búsqueda no es la habilidad del usuario avanzado, sino qué tan fácilmente un usuario común que hace búsquedas simples termina encontrándose con anuncios fraudulentos y spam SEO

[GN⁺]

Opiniones en Hacker News

• Aunque recientemente mejoró mucho su algoritmo de búsqueda, creo que Marginalia Search tuvo algo de suerte con las consultas de muestra.
  Sus resultados todavía tienden a ser más irregulares que los de otras alternativas, lo que también muestra lo difícil que es evaluar la calidad de búsqueda.
  Su efectividad también depende mucho de que el usuario entienda que es un motor de búsqueda por palabras clave sin comprensión semántica.

  • Justamente me gusta porque es una búsqueda por palabras clave sin comprensión semántica.
    La “comprensión semántica” a veces puede ser sesgada y funcionar de manera sospechosa.
  • Me gustaría escuchar más sobre lo que te pareció personalmente interesante respecto de la dificultad de evaluar la calidad de búsqueda.
    Sigo hasta cierto punto el mundo de las búsquedas DIY y no corporativas, como YaCY, y me interesa conocer mejor el trasfondo de las decisiones de ingeniería al construir un motor de búsqueda.
    Marginalia es, en general, un trabajo muy impresionante, y solo he oído comentarios positivos de usuarios de aquí.
  • Comentarios después de probarlo para ver qué era realmente.
    Busqué marginalia en DDG, pero no apareció en la primera página, y en Google salió después de varios resultados misceláneos.
    Al entrar a marginalia.nu aparece un error de SSL, mientras que search.marginalia.nu sí funciona.
    Si buscas duckduckgo en Marginalia, el primer enlace es sobre la app, así que tiene cierta relación, pero los demás, aunque relacionados con DDG, tienen una relevancia ambigua.
    Al buscar uBlacklist, mencionado arriba, tampoco se ven resultados directamente relacionados.
  • Parece que evitó por completo la pregunta de “¿cómo puede un solo desarrollador hacerlo tan bien?” ;)
    Es cierto que la búsqueda se volvió mucho peor, pero también mejoró nuestra capacidad para armar consultas sabiendo palabras mágicas como “ublock origin” en vez de “Adblock”, o “yt-dlp” en vez de “download YouTube”.
    Al final, todos hemos estado haciendo prompt engineering contra un enorme modelo de lenguaje a escala de todo Internet, en el que todos son spammers.

• Buscar hoy en día es bastante difícil, y todos saben cómo manipular los resultados.
  Recomiendo motores de búsqueda que permitan cambiar de forma efectiva qué sitios aparecen, como Kagi o los Programmable Search Engines de Google.
  En particular, bloqueo YouTube porque no me gusta que contamine los resultados generales con videos, aunque a veces tenga resultados acertados. Obtener información de un video toma demasiado tiempo.
  La posibilidad de recomendar resultados para consultas específicas es atractiva, pero también es muy probable que sea manipulada; al final, solo el enfoque DIY parece manejable.
  En mi caso, solo permito resultados de dominios que considero correctos. El enfoque de lista blanca tiene desventajas, y normalmente valido dominios nuevos por vías sociales como Reddit o este sitio, no mediante resultados de búsqueda.
  Creo que hay un trade-off fundamental entre la posibilidad de descubrimiento y la posibilidad de manipular resultados.
  Entiendo la nostalgia por los resultados de Google de 2008, pero en ese entonces había varios órdenes de magnitud menos contenido que ahora, y probablemente casi no había SEO porque las empresas todavía no sabían lo valioso que era el ranking en búsquedas.
  Además, no estoy de acuerdo con que yt-dlp sea la “respuesta correcta” cuando el usuario promedio busca “Youtube Download”. Es muy probable que el usuario promedio no conozca ni quiera usar la línea de comandos.

  • Hoy en día, más bien tiendo a priorizar los videos de YouTube cuando busco.
    Muchos sitios web no son más que el mismo contenido reprocesado, como granjas de SEO de baja calidad, porque son fáciles de crear y baratos de alojar.
    En cambio, hacer videos requiere tiempo y esfuerzo, así que la barrera para usarlos como granjas de clics es más alta.
    Varias veces, cuando la búsqueda tradicional falló, un video subido alrededor de 2009 en YouTube explicó de forma clara, tranquila y detallada exactamente lo que estaba buscando.
    También suele ser una mejor fuente al buscar información para comprar productos. Por ejemplo, si buscas qué ventilador comprar, hay canales dedicados que prueban la utilidad de varios ventiladores y muestran en video su enfoque y resultados.
    Los canales mainstream no ayudan mucho, pero existen videos apasionados al estilo de la “web antigua” sobre casi cualquier tema, y son como un tesoro.
  • En 2008 ya habían pasado 10 años desde la creación de Google; la gente ya entendía el SEO, y Google también seguía actualizando sus algoritmos para castigar la manipulación.
    Por ejemplo, el artículo de Wikipedia sobre “link farming” explica que eso existía desde 1999 y estaba orientado al SEO de Inktomi.
    https://en.wikipedia.org/wiki/Link_farm
    Recuerdo que, alrededor de 2004, en una presentación interna de Amazon también se decía que reforzar el SEO en Google de las páginas web de Amazon aumentaría el tráfico y las ventas. Amazon, por algo parecido al síndrome NIH, en realidad estaba algo atrasada.
  • Me cuesta creer que sea tan difícil para un motor de búsqueda distinguir entre sitios antiguos y confiables, y basura generada creada solo para existir como resultados de búsqueda.
    Si un humano puede distinguirlo, en principio una computadora también puede.
  • Los PSE de Google están bien, pero no hay una buena forma de alternar entre varios y administrarlos.
    Bastaría con agregar un pequeño desplegable en la interfaz de enlace público de cada PSE para elegir cuál usar, y es una lástima que no exista.
    Giggle[1] ofrece esta función, y yo lo ejecuto localmente junto con Kagi para búsquedas más específicas sobre una lista de dominios que he ido reuniendo durante años.
    1. https://github.com/dan-lovelace/giggle
  • Por el tema de la manipulación de resultados, me gustan los motores de búsqueda de sitios no comerciales.
    Si los clics no generan ingresos, la mayor parte del juego desaparece.
    No significa que no tengan derecho a ganar dinero, pero ese modelo claramente incentiva comportamientos hostiles hacia el usuario.
    Incluso sitios legítimos como los de periodismo usan este modelo, así que podría ser bueno dejarlo como opción.

• Conocí Kagi en HN y, después de hacer 100 búsquedas, me suscribí.
  Si busco algo al azar relacionado con JS o CSS, MDN aparece como primer resultado; si no, puedo bajar de posición los sitios de spam que aparecen arriba.
  Me gustaría que un modelo de lenguaje grande local estuviera entrenado para detectar clickbait o contenido de bajo esfuerzo.
  Imagino que, en la búsqueda de YouTube, todo el clickbait se plegara como Kagi agrupa los artículos tipo lista, y que solo lo demás quedara como contenido potencialmente de alta calidad. No sé si eso ya es posible.

  • Para videos de YouTube, usar Kagi Summarizer evita perder tiempo viendo videos basura.
    Es un excelente truco de productividad para la vida diaria.
  • Lo vi en HN y me volví un gran fan de Kagi.
    Es sorprendente lo bueno que puede llegar a ser un motor de búsqueda que no está lleno de anuncios.
  • Llevo pagando Kagi más de 6 meses y estoy muy satisfecho.
    Suelo odiar bastante las suscripciones, así que en un ámbito de servicios que originalmente son gratis, eso es una valoración bastante significativa.
    A veces tengo que pasarme a Google para búsquedas locales, pero fuera de eso estoy conforme.

• Comparto los resultados actuales de Kagi para que quienes no tienen cuenta puedan comparar.
  youtube downloader
  https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
  ad blocker
  https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
  download Firefox
  https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
  why do wider tires have better grip?
  https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
  why do they keep making cpu transistors smaller?
  https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
  vancouver snow forecast winter 2023
  https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
  Estoy de acuerdo con el autor en que hay demasiado spam en la web. Creo que Kagi por lo general es bastante bueno bajando de posición el spam, y la cantidad de anuncios y rastreadores es una señal negativa de ranking para Kagi.
  Aun así podemos hacerlo mejor, y los modos de búsqueda especiales como “Small Web” prácticamente eliminan el spam.
  Damos la bienvenida a este tipo de verificaciones de la comunidad, y esperamos que sigan manteniéndonos honestos.

  • Kagi te da sitios web en los que hay que hacer más clics, mientras que Google te da una respuesta razonable directamente.
    En los ejemplos tampoco veo spam.
    Para “why do wider tires have better grip?”, responde que los neumáticos más anchos distribuyen el peso de forma más uniforme gracias a una mayor superficie de contacto y aumentan la tracción al tomar curvas, mejorando el control y la estabilidad.
    Para “why do they keep making cpu transistors smaller?”, responde que los transistores más pequeños permiten hacer más cálculos sin sobrecalentarse y son más eficientes energéticamente; además, reducen el tamaño del die, bajan costos y aumentan la densidad, lo que permite más núcleos por chip.
    Para “vancouver snow forecast winter 2023”, responde que para la temporada 2023/2024 se espera suficiente nevada y temperaturas alrededor del punto de congelación, así que conviene prepararse.

• Me cuesta muchísimo entender por qué, en artículos sobre ChatGPT, usan 3.5.
  Es una forma bastante engañosa de mostrar qué resultados se pueden obtener con la mejor versión disponible de ChatGPT.
  Como comparación, aquí están los resultados de hacerle a GPT-4 todas las preguntas del autor:
  https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...

  • Porque ChatGPT 3.5 es lo que la mayoría de la gente puede usar.
    Para la gran mayoría de los lectores, hablar de algo por lo que no van a pagar es casi inútil, y un tercero cualquiera no tiene ninguna obligación de incentivar a otros a enviarle dinero a OpenAI.
    Si te molesta que la gente use 3.5, deberías reclamarle a OpenAI, no a quienes usan el servicio que ofrecen gratis.
    Personalmente, no siento que esté justificada la adoración exagerada por la diferencia entre 4 y 3.5.
    https://news.ycombinator.com/item?id=38304184
  • Si es tan malo, ¿por qué OpenAI sigue ofreciendo ChatGPT 3.5?
  • Para la mayoría es un poco difícil de usar.
    Hay que pagar una suscripción fija de 20 dólares al mes con límite de mensajes, entender cómo obtener una clave de API, o usar un servicio de terceros con costos y limitaciones similares.

• Conviene probar uBlacklist. Es como uBlock, pero para resultados de búsqueda.
  https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
  https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
  Permite sincronizar la configuración y la lista personal de bloqueos con Dropbox o Google Drive, y también suscribirse a listas de bloqueo.
  Eso sí, hay que activar manualmente los motores de búsqueda y suscribirse a las listas. La configuración de suscripciones de uBlacklist todavía no tiene feeds integrados.
  El sitio de uBlacklist tiene algunos feeds.
  https://iorate.github.io/ublacklist/subscriptions
  También encontré una mejor lista de feeds.
  https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...

  • Kagi ya tiene esta función.
    Puedes subir la prioridad de un dominio o ponerlo en la lista negra desde los resultados de búsqueda.
  • uBlacklist es realmente excelente.
    Lo uso desde hace años y no he tenido ningún problema.
    Como tip rápido, si activas “Skip the "Block this site" dialog” y desactivas “Hide the "Block this site" links”, puedes bloquear sitios web de spam mucho más rápido.
  • Si usas uBlacklist junto con tu propia lista negra, Google también se vuelve bastante usable.

• Soy de los que creen que los resultados de Google todavía son muy buenos.
  Eso sí, uso uBlock Origin, y ni siquiera intentaría desactivarlo.
  Entiendo la intención del autor al desactivar el bloqueador de anuncios para obtener una “experiencia de navegación de usuario no experto”, pero también podría haber hecho una prueba separada con uBlock activado en todas las consultas.
  Además, no es muy consistente simular la experiencia de un no experto y, al mismo tiempo, esperar que aparezca yt-dlp en los resultados para descargar videos.
  yt-dlp es una utilidad de Python de línea de comandos. Está muy lejos de ser para no expertos.
  La mayoría de la gente ni siquiera sabe que un video puede ser un archivo descargable, y aun entre quienes lo saben, la mayoría no conoce la línea de comandos ni Python.
  Si buscas “how to download youtube videos” en Google, el primer resultado es un servicio llamado savefrom.net, que funciona bien y no parece una estafa. Para mí eso califica como “muy bueno”.
  Si buscas “how to download youtube videos from the command line”, los primeros resultados están relacionados con youtube-dl e incluyen enlaces a GitHub y Super User. No menciona yt-dlp, pero youtube-dl es un buen punto de partida.

  • Si busco “how to download youtube videos” en Google desde una pestaña de incógnito, los dos primeros resultados son estos:
    https://msunduziassociation.online/perfect-online-videos/
    https://gssaction.org/program-all-in-one-media-solutions/
    Igual que el autor, claramente los pondría en la categoría de “horrible”.
  • Me pregunto si realmente probaste savefrom.net.
    Si ingresas “https://www.youtube.com/watch?v=IkYVmtgxebU” y presionas “Download”, se abre una nueva pestaña que intenta instalar malware.
    Si rechazas la instalación, esa nueva pestaña te lleva a la página principal del malware.
    Si cierras la pestaña y vuelves a la original, savefrom.net muestra el error “The download link not found.” y no te ayuda a descargar el video.
  • Los bloqueadores de anuncios son necesarios y, en lo personal, creo que también lo son los bloqueadores de scripts.
    Tengo la sensación vaga de que la búsqueda ha empeorado con el tiempo, pero no es un gran problema. Normalmente un buen sitio está dentro de la primera o segunda página, así que basta con entrar y revisar.
    Pero si eso significa que te atacan en cuanto haces clic en un sitio, la gravedad de la situación sube muchísimo. Ya no importa solo si hay sitios buenos, sino también si no hay sitios malos.
    Por lo demás, habría que entrenar a la gente para que, en general, no descargue programas desde sitios web. Con el tiempo parece que esto ha mejorado un poco.
    Google podría bajar el ranking de los sitios con enlaces a ejecutables; probablemente ya lo esté haciendo.
  • Soy de los que creen que Google y los demás motores de búsqueda son horribles salvo para términos técnicos muy específicos y únicos, como “weak neutral currents”.
    Las búsquedas más cotidianas se convierten en hurgar entre montones de basura donde ni siquiera aparecen los términos que buscas.
    Incluso con la búsqueda “verbatim”, más vale tener suerte: o se ignora o devuelve 0 resultados.
  • Lo esencial que saqué de ese artículo es que “todos pueden crear sus propias pruebas, en vez de apoyarse en los sentimientos de otros o en el meme de que X es malo e Y es bueno”.
    Simular una experiencia de no experto sin atajos no es un patrón de uso general, porque cada quien tiene sus propias formas de sacarle más valor a su herramienta favorita.
    Pero el artículo muestra cómo estructurar el experimento: “por qué eligió esas consultas, cómo evaluó las estafas”, etc.
    Sería bueno que la gente, con ese mismo espíritu, evalúe si su elección actual de herramientas no está atrapada en un óptimo local.

• Se entiende por qué la gente siente que los resultados de búsqueda son malos
  Que un gran resultado para “Download youtube videos” sea “idealmente, los primeros resultados deberían ser yt-dlp o un wrapper gráfico ligero”...
  A mí me basta con un sitio web donde pueda pegar el enlace y descargarlo al disco duro. No me importa qué paquete use
  Tampoco me preocupo por malware como en los 90, y el 99.999% de la gente no se dedica a programar
  Esto hace darse cuenta de lo subjetivos que son los resultados de búsqueda. Sus resultados “excelentes” para mí son todos “terribles”

  • El malware de los 90, más precisamente los virus reales, era algo casi ridículo
    Sobre todo porque las computadoras eran objetos aislados. Las computadoras conectadas eran la excepción
  • Lo acabo de probar y el primer resultado de Kagi fue exactamente un sitio de ese tipo
    Procesó el video muy rápido y me dejó descargarlo
    ¿Por qué una persona razonable preferiría youtube-dl?

• Lo que siempre me confunde de la actitud de “la búsqueda se volvió pésima” es que muchas veces se basa, en el mejor de los casos, en evidencia anecdótica, y en el peor, en recuerdos anecdóticos
  Yo también tengo la impresión de que la búsqueda empeoró en los últimos años, pero ¿cómo saber si realmente es así?
  Debería ser una afirmación verificable. Se podrían probar los N términos de búsqueda más populares de lugares como Google Trends y ver el desempeño
  Parece fácil crear un benchmark, pero nadie de los que se quejan de este problema parece querer hacerlo
  Dan empezó a aportar evidencia real y criterios para puntuar los resultados, pero incluso él solo revisó 5 ejemplos. Es una muestra realmente pequeña para hacer afirmaciones generales
  Por eso me queda la duda de por qué hay tantos textos sobre la sensación de que la búsqueda empeoró, pero nadie verifica esa afirmación

  • Creo que el punto central es que las páginas de resultados de los buscadores convencionales son un campo minado de estafas por el que una persona común difícilmente puede pasar con seguridad
    Si el problema fuera solo la relevancia, la crítica sobre el tamaño de la muestra sería válida, pero si el énfasis está en el daño, una muestra pequeña también importa
    Si alguien dice “encontré jeringas usadas en 3 de 5 parques infantiles”, normalmente no se le piden valores p ni barras de error
  • No me parece una crítica justa
    1. La etapa de evaluar “qué tan bien funciona” es inevitablemente subjetiva
    2. Se podría diseñar un estudio y reclutar participantes, pero eso no es trabajo de un bloguero
    3. El artículo también enlaza una encuesta donde la gente coincide en que los resultados empeoraron. Tiene problemas de muestra, pero es mejor que nada
       En especial, en este caso el autor está respondiendo a la pregunta: “según mis gustos, ¿qué resultados son los mejores?”
  • No puedo representar a los demás; simplemente intento encontrar algo en línea
    No estoy intentando crear un motor de búsqueda para competir con Google ni escribir un paper
    Este problema se planteó aquí muchas veces durante años, pero la respuesta siempre fue una explicación, no una solución
    La degradación de calidad no ocurre de la noche a la mañana, sino a lo largo de varios años
    Google empezó a mostrar “did you mean...?” para algunas búsquedas supuestamente menos comunes, obligando a hacer un segundo clic para la búsqueda original, y empeoró cuando empezó a ignorar incluso los modificadores para evitar eso
    Cuando me di cuenta de que una consulta simple de tres palabras, elegidas con cuidado, arrojaba miles de resultados sin que ninguno fuera relevante, sentí que ya era suficiente. Para cada persona puede ser distinto
  • Dan abordó el problema desde una perspectiva cualitativa
    Si más gente adoptara ese enfoque en lugar del maximalismo cuantitativo, quizá tendríamos menos productos que nos vuelven locos
    Lo importante es la sensación abrumadora de que la búsqueda empeoró, no otra hoja de cálculo más de las que nos trajeron hasta aquí
  • Para hacer esto se necesita una definición integral de “calidad”, lo cual no es nada fácil y al menos en parte será inevitablemente subjetivo
    También es difícil incluir las omisiones en la definición de calidad, y qué debería omitirse también es subjetivo
    Por ejemplo, al buscar “Gaza”, un motor puede enfocarse solo en los acontecimientos recientes, mientras que otro puede ignorarlos e incluir solo información general
    ¿Cuál tiene mayor calidad? En realidad depende de qué se esté buscando
    Al final no queda más que hacer una lista subjetiva de las cosas que uno considera importantes y puntuar según eso, lo que es casi lo mismo que una evaluación anecdótica con pasos adicionales

• Si quieres saber por qué Google, o cualquier motor de búsqueda, no es tan bueno, mira cómo mide sus propios resultados de búsqueda
  La mayoría de las empresas de búsqueda hacen algo muy parecido a lo que hizo el autor, a gran escala y con directrices muy específicas
  Por ejemplo, Google tiene una guía de 168 páginas para evaluadores de calidad de búsqueda
  https://static.googleusercontent.com/media/guidelines.raterh...
  Ahí se explica cómo entender el significado de una consulta, determinar la intención del usuario, evaluar la “calidad” de un sitio web y puntuar qué tan útil es el sitio en relación con el significado y la intención de la consulta, entre otras cosas
  Es decir, no es que las empresas de búsqueda no hagan lo que hizo el autor; simplemente tienen criterios distintos a los del autor
  Esos criterios quizá coincidan mejor con los usuarios que los del autor, pero quizá no, y no necesariamente será así para siempre

  • No es fácil decir que eso sea correcto
    La página 29 del documento enlazado describe el “Lowest Quality Content”
    La mayoría de los resultados que el autor evaluó como spam o estafas encajan claramente en esas directrices
    Entonces, o los evaluadores no conocen lo suficiente el tema como para identificar sitios dañinos o engañosos, o los evaluadores sí los calificaron correctamente pero eso no produce el efecto deseado
  • Puede estar relacionado con cómo entiende Google las búsquedas de la “persona promedio”
    Google pasó a verse como un motor de búsqueda de productos y un sitio de comparación de precios, y en ese campo es excelente
    Para cualquier producto que valga la pena considerar comprar, encuentra productos relevantes, así que Google puede haberse optimizado para eso
    La mayoría de mis búsquedas se relacionan con TI, programación, software y computación en general, pero la gente común busca productos, noticias y horarios de tiendas
    Google es bastante bueno para eso, y el dinero está en “ir a comprar algo”
    Los anuncios de búsqueda de productos de Google siempre son mucho más precisos que los resultados reales
    Creo que Google se optimizó para la venta de productos
  • ¿Por qué el usuario promedio querría resultados de spam de blogs?
    Espero que, a medida que mejoren los modelos de lenguaje grandes, puedan filtrar mejor los resultados devueltos