Kagi Small Web

 (blog.kagi.com)
3 puntos por GN⁺ 2023-09-08 | 1 comentarios | Compartir por WhatsApp
  • Para volver a dar visibilidad al contenido web personal enterrado por la publicidad y la comercialización, Kagi integró Small Web en su búsqueda, sitio web, RSS y API
  • Small Web se refiere a una web no comercial creada por personas para la autoexpresión y el intercambio de conocimiento más que para obtener beneficios económicos, y Kagi selecciona unos 6,000 sitios web para recopilar contenido nuevo
  • La búsqueda de Kagi aprovecha los índices Teclis y TinyGem para mostrar también entradas de blogs personales incluso en búsquedas generales como swiftui o apple watch
  • El nuevo sitio de Kagi Small Web funciona sin JavaScript y permite dejar un “appreciate” en las publicaciones o escribir notas públicas que desaparecen примерно después de una semana
  • Los operadores de sitios pueden participar mediante la lista curada en GitHub, el sitio de feedback y Discord; el RSS se actualiza cada 5 horas y la API se ofrece a 2 dólares por cada 1,000 consultas

La web que busca Kagi Small Web

  • Kagi Small Web es una iniciativa de Kagi para construir una web más humana
  • “Small Web” no tiene una única definición, pero normalmente se refiere a una web no comercial creada para la autoexpresión personal o para compartir conocimiento, más que para obtener beneficios económicos
  • Este concepto conecta con el ambiente de la web temprana, menos comercializada, antes de que los modelos de negocio basados en publicidad dominaran internet
  • Como material para entenderlo mejor, se presenta The Small Web is Beautiful de Ben Hoyt, y en el repositorio de GitHub también hay una lista de textos relacionados

Cómo reúne y muestra el contenido

  • Kagi Small Web recopila publicaciones subidas durante la última semana desde una lista curada de blogs y las muestra por varias vías
  • Los miembros actuales de Kagi no necesitan configurar nada por separado para ver contenido de Small Web en los resultados de búsqueda
  • Este experimento se inspiró en una discusión en Hacker News y comenzó a finales de julio mostrando en los resultados de búsqueda entradas de blog de usuarios de HN
  • Actualmente, la lista curada incluye unos 6,000 sitios web reales operados por personas con intereses diversos
  • La iniciativa completa y la lista de sitios curados están publicadas en Kagi GitHub

La web personal entra en los resultados de búsqueda

  • Kagi ya mostraba contenido de Small Web desde antes mediante sus índices de búsqueda internos Teclis y TinyGem search index
  • Con esta integración, el contenido web de alta calidad pero menos conocido se vuelve más visible directamente como un diferenciador de los resultados de búsqueda de Kagi
  • Ejemplos de búsqueda
  • A diferencia de los resultados centrados en grandes sitios, este tipo de resultados permite descubrir perspectivas más diversas incluso sobre un mismo tema

Sitio web de Kagi Small Web

  • El sitio web de Kagi Small Web es una nueva plataforma para dar visibilidad al contenido reciente de Small Web que en los buscadores tradicionales suele pasar desapercibido
  • El sitio funciona sin JavaScript, en línea con el espíritu de Small Web
  • Los usuarios pueden dejar un “appreciate” en las publicaciones o notas públicas temporales
    • Las notas desaparecen aproximadamente después de una semana, a medida que rota el contenido nuevo
    • Este diseño enfatiza el carácter temporal e imperfecto de Small Web
  • Cuando se mostró antes a algunos beta testers del canal de Discord, un usuario dijo que ver su blog incluido en el feed curado le dio ganas de escribir más

Criterios de curación y condiciones de publicación

  • Para entrar en el feed curado, deben cumplirse estos criterios
    • El blog debe tener publicaciones de al menos 3 años atrás
    • El contenido debe estar en inglés
    • El sitio debe ofrecer autoexpresión auténtica o un alto valor informativo
    • Se excluye el contenido NSFW
  • Para que una publicación aparezca en el sitio web de Kagi Small Web, hay condiciones adicionales
    • La publicación debe haberse escrito dentro de los últimos 7 días
    • El sitio debe ser compatible con incrustación mediante iframe
    • Los sitios no compatibles con iframe pueden seguir siendo indexados para los resultados de búsqueda
  • El código del sitio web también está publicado como open source y aceptan pull requests

Experimento Small YouTube

  • Kagi también ofrece Small YouTube, una función experimental
  • Esta función destaca contenido de creadores emergentes de YouTube con menos de 400,000 suscriptores
  • Kagi está recibiendo feedback sobre este criterio

RSS, API y formas de participar

  • El feed RSS de Kagi Small Web ofrece actualizaciones en tiempo real y se renueva cada 5 horas
  • Los usuarios de la API pueden acceder a noticias de alta calidad fuera de lo convencional mediante el índice TinyGem integrado con Kagi Small Web
    • El precio es de 2 dólares por cada 1,000 consultas
  • Si hay sitios faltantes o inclusiones inapropiadas, se puede contribuir a la lista curada siguiendo las guías
  • Los reportes de errores y sugerencias de funciones se envían en kagifeedback.org con la etiqueta small-web
  • La discusión general se realiza en el Discord de Kagi

La premisa que asume el proyecto

  • Si la web fue hecha por innumerables personas, esta iniciativa parte de preguntarse por qué quedan ocultas en los motores de búsqueda tradicionales y cómo corregirlo
  • Como el contenido rastreado puede incluir cualquier cosa, Kagi considera que recomendarlo exige una decisión que pone en juego su reputación
  • Quienes contribuyen a la Small Web crean invirtiendo tiempo y esfuerzo aunque no tengan una audiencia garantizada
  • El objetivo de Kagi es revivir una web más humana, con mucha creatividad, autoexpresión y contenido significativo

Lecturas relacionadas

1 comentarios

 
GN⁺ 2023-09-08
Opiniones de Hacker News

  • Soy Vlad, de Kagi. Apenas publicamos la entrada del blog, el feed RSS se rompió inesperadamente, lo cual se sintió muy acorde con el espíritu de la small web :) El feed ya está restaurado y, como el sitio usa ese mismo feed, vuelve a funcionar.
    Este fue un proyecto al que personalmente le puse mucho cariño y, como el equipo estaba ocupado con otras cosas, me metí bastante directamente en el código. Cuando digo “el feed se rompió”, en realidad significa que yo lo rompí. Para un desarrollador de la vieja escuela, el software es un trabajo desordenado, y también aprendí que ya no soy tan buen programador al tener que volver una y otra vez a arreglar cosas que ya creía que estaban bien. El código se puede ver en el repositorio vinculado: https://github.com/kagisearch/smallweb
    Lo más importante es que este sitio reemplazó para mí la necesidad de descubrimiento, y me gustó la sensación de conocer a distintas personas y sus textos. Aparecieron muchas cosas inesperadas y sentí que la web volvía a estar más cerca. Hay un hilo de esperanza en este concepto, y también mejoras reales en la calidad y diversidad de las búsquedas.
    La lista de sitios web incluidos puede consultarse aquí: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    Las publicaciones más recientes ya aparecen también en los resultados de búsqueda de Kagi para consultas relacionadas: https://kagi.com/smallweb

    • Me alegra mucho que se haya lanzado esta función. Dar más visibilidad a la web indie/de pequeña escala es algo excelente. Antes ya me había quejado en HN de que blogs personales útiles quedaban enterrados bajo contenido spam de los motores de búsqueda.
      A futuro, me gustaría poder buscar solo dentro de la small web, y quizá más adelante podría ofrecerse como una lente.
      En cuanto a la regla contra la autopromoción, no estoy de acuerdo con la política actual. Si se trata de un blog antiguo, incluso bajando el criterio a más o menos 1 año, estaría bien permitir que la gente lo envíe directamente. A la mayor parte de la web pequeña/indie le falta exposición, así que eso ayudaría. Mi blog parece haber sido recopilado de un antiguo post de “compartan sus blogs en HN”, así que ya está en el índice, pero otros quizá no tuvieron tanta suerte.
    • Cuanto más uso Kagi como servicio de pago, más me entristece la posibilidad de que pueda desaparecer si no consigue más usuarios.
      Para mí, Kagi es un logro enorme. Es el primer motor de búsqueda que ofrece mejores resultados que Google, respeta la privacidad y ofrece personalización y más funciones.
    • Soy cliente de pago y esta es otra buena incorporación. Algo así solo lo puede hacer Kagi. Ojalá sigan haciendo este tipo de trabajo.
    • ¿No es más probable que esto se haya inspirado en Marginalia que en el hilo de blogs personales? En el ejemplo de Apple Watch no aparecen los mismos resultados, pero fue lo primero que se me vino a la mente apenas leí el título.
      Es https://search.marginalia.nu y también se menciona con frecuencia en HN: https://hn.algolia.com/?query=marginalia
    • Buen intento. Los resultados también se ven geniales, y si se integra en los resultados principales de búsqueda podría permitir echar un vistazo fuera de la web gigante.
      Soy cliente de Kagi y estoy muy satisfecho. El motor de búsqueda es sorprendentemente bueno, y esta función hace que me guste aún más mi elección de buscador.

  • La frase “Estas notas se reemplazarán con contenido nuevo y desaparecerán después de aproximadamente una semana. Destaca el carácter efímero e imperfecto de la small web.” podría simplemente admitir que Kagi no quiere ajustar ni almacenar las notas de forma permanente. No hace falta menospreciar la small web. Muchos sitios pequeños preservan bien su contenido.
    Puede que Kagi tenga datos sobre la frecuencia con que los sitios se caen, pero en mi experiencia el contenido de las grandes plataformas también desaparece con frecuencia, incluso cuando no se trata simplemente de creadores que se olvidaron de él. Un sitio web de la small web creado por alguien que se preocupa por él, de hecho, tiene muchas más posibilidades de durar.

    • ¿Dónde se muestran esas notas?
      Me gustaría que Kagi Small Web tuviera una interfaz ActivityPub, para poder agregar a la cronología de Mastodon o Lemmy los sitios mejor valorados del día.
    • Es una frase curiosa. La mayoría de los sitios personales realmente se esfuerzan para que no se rompan los enlaces de hace 10 o 20 años :P

  • Kagi vale totalmente lo que cuesta. Lo he usado como motor de búsqueda principal durante 6 meses y creo que en ese periodo usé Google !g unas 10 veces.

    • El simple hecho de poder bloquear sitios basura de SEO como GeeksForGeeks, y de que los primeros 3 a 5 resultados no estén llenos de anuncios, ya hace que valga la pena. También está bueno poder subir más alto los resultados de ciertos sitios a nivel de personalización.
      Eso sí, yo uso bastante la búsqueda y también busco seguido por accidente, así que me da un poco de pena superar a menudo el volumen de búsquedas del nivel “Pro” cada mes. Aun así, por suerte existe la opción de comprar búsquedas adicionales sin tener que pasar al nivel ilimitado, que es bastante caro.
    • Después de acostumbrarte a Kagi, buscar en Google desde la computadora de otra persona se siente realmente raro. Hace poco pedí una pequeña mejora de usabilidad y la implementaron en unas semanas. Con otros motores de búsqueda no hay ninguna posibilidad de que pase eso.
      Los resultados de búsqueda son consistentemente mejores que en otros lugares, incluido DuckDuckGo, así que seguiré siendo un cliente de pago satisfecho.
    • Coincido. Llevo algo más de un año pagándolo con gusto, y antes de eso también usé la beta.
      Se siente un poco parecido a cuando descubrí Google por primera vez, en la época en que existía AltaVista.
    • Otro usuario muy satisfecho con Kagi. Definitivamente vale la pena pagarlo, y es un buen ejemplo de qué tipo de servicio se vuelve posible cuando uno está dispuesto a pagar aunque sea un poco.
    • Para aportar una perspectiva un poco menos positiva: probé Kagi unas semanas y me gustaron sus funciones y su modelo de negocio, pero los resultados de búsqueda no fueron mejores que los de mi instancia de Searx. Kagi básicamente hace llamadas API anonimizadas a motores de búsqueda de terceros, de forma parecida a Searx, pero envuelto en una UI más amigable; la experiencia tampoco es tan distinta.
      Además, Searx soporta muchos más motores de búsqueda y puedo configurarlo exactamente como quiero.
      Es claro que Kagi tiene buenas intenciones y un buen producto, y espero que les vaya bien, pero prefiero una solución equivalente open source y self-hosted, aunque sea menos pulida y tenga menos funciones, antes que un SaaS propietario para el que hay que crear una cuenta.
      Edición: en realidad estaba equivocado. Kagi también tiene su propio crawler e índice: https://help.kagi.com/kagi/search-details/search-sources.html Aun así, no siento que los resultados de Searx se queden cortos, así que no me estoy perdiendo gran cosa.
      Lo que me preocupa de Searx, y en parte de Kagi, es que terceros podrían bloquear estas solicitudes API en cualquier momento; entonces Searx dejaría de ser utilizable y los resultados de Kagi podrían volverse menos relevantes. No sé si este enfoque es sostenible para crear un motor de búsqueda, pero valoro mucho la postura de Kagi y Searx frente a la publicidad. Usar motores de búsqueda mainstream con un frontend propio es, en el mejor de los casos, una experiencia frustrante.

  • Cosas como esta hacen que me alegre mucho ser suscriptor de Kagi. No solo obtengo valor de Kagi, sino que además esto muestra que el dinero que pago se usa para desarrollar Kagi en una dirección con la que estoy de acuerdo.
    En comparación, Spotify es solo una de las suscripciones que uso, pero aun así se siente hostil. Pago, pero si sintiera que hay una alternativa, lo cancelaría de inmediato.
    Valoro mucho que lo que siento que estoy comprando esté alineado con la dirección de desarrollo de Kagi.

    • El streaming de música es un desastre. Intenté bastante encontrar un servicio decente, pero todos tenían problemas vergonzosos.
      Spotify es realmente hostil y manipulador, y terrible para los artistas. Desde mi perspectiva, la pantalla de inicio es demasiado comercial, y la interfaz de CarPlay es, honestamente, un desastre hostil para el usuario al punto de ser insegura.
      TIDAL es bastante bueno en varios aspectos. También les paga bien a los artistas y sus recomendaciones son decentes. Pero la app tiene bugs tontos que llevan años ahí; el más irritante es que, cuando pones una playlist en aleatorio, la interfaz solo mezcla la docena de canciones que precargó arriba. Si intento reproducir toda mi biblioteca en aleatorio, termino escuchando la misma docena de canciones una y otra vez.
      Quería que Deezer me gustara, pero la app no era buena y faltaban más canciones de las que esperaba.
      Al final me quedé con Apple Music. Como uso iPhone, encaja de forma natural, y la interfaz de CarPlay también es excelente. El pago a artistas está casi al nivel de TIDAL. Las recomendaciones son suficientemente buenas, y la pantalla de inicio no me da tanto la sensación de empujar constantemente solo lo que los grandes sellos pagaron por promocionar. La app de Windows es horrible y no hay app para Linux, pero por suerte una app open source bastante buena llamada Cider resuelve ese problema.

  • Parece que están eliminando MathML de los feeds RSS; ¿es intencional o están usando una herramienta de limpieza antigua que no lo reconoce? Por ejemplo, en la entrada más reciente https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections de mi feed RSS https://www.jefftk.com/news.rss aparece lo siguiente:
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    Pero en el feed RSS de Kagi https://kagi.com/api/v1/smallweb/feed aparece como e y kt.
    Edición: registré el issue: https://github.com/kagisearch/smallweb/issues/10

  • Tengo algunas preguntas.
    Primero, me da curiosidad saber cuál es el fundamento para favorecer las actualizaciones recientes de blogs. En mi experiencia, las actualizaciones recientes son las más débiles como resultados de búsqueda, son más vulnerables a cambios o enlaces rotos y, en general, suelen ser de menor calidad. También me pregunto si impulsar el contenido reciente no creará un incentivo para publicar montones de textos de baja calidad con tal de aumentar las probabilidades de aparecer en la lista.
    Segundo, cuando uno toca un poco este ámbito, casi siempre se inclina de manera casi absurda hacia blogs de tecnología/programadores. Aunque hay una fuerte superposición entre el grupo de personas que tienen blogs y el grupo con intereses de programadores, creo que sería más atractivo para otros grupos si otros intereses estuvieran mejor representados. Me da curiosidad saber si han pensado en esto y, si es así, qué creen que se podría hacer.

    • ¡Hola, Viktor!
      Sobre lo primero, hay varios factores. Para una misma consulta, el contenido más reciente suele ser más relevante y, al menos por su frescura, ayuda a evitar que se vuelva completamente irrelevante. Lo que más debe evitar un motor de búsqueda son los resultados completamente irrelevantes. La calidad está garantizada en cierta medida por el hecho de que, para empezar, es una lista curada.
      Como dependemos de la tecnología de feeds RSS, fue relativamente fácil reunir y mantener la lista, y también había muchas fuentes para usar como datos iniciales.
      Enfocarse en publicaciones recientes puede animar a algunas personas a escribir más, como en el ejemplo destacado en el post del blog. En general, la web necesita más contenido no comercial de alta calidad, y en última instancia esa es la parte a la que queremos contribuir. Ofrecer una plataforma que fomente ese comportamiento, aunque sea muy pequeña, nos acerca un paso más a la web que nos gusta.
      Sobre lo segundo, estoy mayormente de acuerdo. Dicho eso, para este intento tratamos de crear un conjunto diverso de sitios web; por ejemplo, también se ven muchos sitios relacionados con economía o fotografía. Al final, solo podemos fomentar que se cree más contenido en distintos campos a través de plataformas como Kagi o Marginalia, y esperar que todo salga bien.

  • ¡Realmente genial! Durante los últimos 2 meses estuve haciendo, por mi cuenta, un recorrido por enlaces de la small web. Empecé con el post de HN “Ask HN: ¿pueden compartir sus blogs personales?”, y también descubrí que alguien había creado un sitio, https://dm.hn/, que recopilaba los enlaces de ese post.
    Exporté los 1651 enlaces de blogs a XLS y, de vez en cuando, abro 5 a 7 al azar, leo algún artículo y los marco como “vistos”. Hasta ahora he visto 250 de 1651.
    Me gustaría que Kagi tuviera una función parecida para ver en un solo lugar los enlaces a sitios web personales recopilados de todas las fuentes.

  • Gracias por poner un enlace destacado a mi artículo “The Small Web is Beautiful”. Considero ese texto mi manifiesto personal de software, así que me alegra verlo promocionado más ampliamente.
    Me gusta mucho lo que están haciendo con Kagi Small Web. Me gusta la iniciativa de empezar a sacar a la superficie este contenido tan bueno. Espero que sigan así. También pienso probar la búsqueda de Kagi.

    • Ben, gracias por escribir ese artículo. Es realmente inspirador. Espero que también te guste la experiencia de usar Kagi.

  • ¡Vlad, genial! Es difícil saber cuánto ayuda esto realmente a los usuarios o a la empresa, pero reconforta saber que cosas así todavía pasan en la internet moderna.

    • Gracias. Simplemente era una de esas cosas que quería hacer, y escribí yo mismo el 100% del código de principio a fin para esto; me tomó una buena parte de casi un mes. Podría decirse que no es el mejor uso del tiempo de un CEO, pero fue divertido y se sintió como lo correcto.

  • Quiero agregar mi sitio web a la lista, pero como en robots.txt bloqueo a todos los crawlers, parece que no se permite enviarlo directamente. ¿Hay alguna forma de que se agregue?
    Me parece bien aparecer en los resultados de búsqueda de Kagi, pero no quiero que Google, ChatGPT y el resto de la manada me raspen el sitio, así que por ahora bloqueé todo de la forma más sencilla.