Search My Site: un motor de búsqueda open source para sitios web personales e independientes

• Search My Site es un motor de búsqueda para encontrar contenido real de sitios web personales, que pone en primer plano el contenido web independiente que suele quedar sepultado en los grandes buscadores
• Limita el alcance del índice a sitios enviados y revisados por usuarios, por lo que funciona de forma distinta a un índice de toda la web mezclado con spam, contenido para SEO y clickbait
• No muestra anuncios y promueve páginas de resultados sin publicidad, con el objetivo de reducir los incentivos que alimentan el spam y el capitalismo de vigilancia
• Busca un modelo en el que los costos operativos se cubran con funciones de search as a service en lugar de publicidad, evitando el conflicto entre las necesidades de los usuarios y los intereses de los anunciantes
• Es un proyecto open source que publica de forma transparente los procesos de búsqueda, ranking e indexación, y prioriza la privacidad al no usar un modelo de recopilación de datos personales basado en publicidad

---

Búsqueda centrada en sitios web personales

• searchmysite.net es un motor de búsqueda boutique para sitios web personales
  • Su objetivo es el contenido web personal e independiente, también conocido como indieweb, small web o digital gardens
• La búsqueda pública puede usarse para encontrar experiencias personales de la gente sobre temas específicos, hobbies o intereses
• Su principal diferencia es evitar los sitios web de marketing y el spam en blogs que suelen encontrarse en los grandes motores de búsqueda

Modelo operativo sin publicidad

• El índice no abarca todo Internet, sino solo sitios enviados por usuarios y revisados
  • Es un enfoque distinto al de un índice de toda la web mezclado con spam, contenido optimizado para motores de búsqueda y clickbait
• No muestra anuncios y promueve páginas de resultados de búsqueda sin publicidad
  • Su objetivo es eliminar los incentivos que impulsan el spam y el capitalismo de vigilancia
• Busca un modelo sostenible y orientado al usuario en el que los costos operativos se cubran mediante funciones de search as a service, no con publicidad
• Al no depender de la recopilación de datos personales para venderlos a anunciantes, aspira a un alto nivel de privacidad para un motor de búsqueda
  • Más detalles disponibles en la Privacy Policy

Open source y participación de la comunidad

• El servicio es completamente open source
  • Aumenta la transparencia de los procesos de búsqueda, ranking e indexación
  • Permite que la comunidad participe más en la mejora del servicio

[GN⁺]

Opiniones en Hacker News

• También vale la pena mencionar Wiby. Es un motor de búsqueda que intenta crear una “web hecha de páginas web de los primeros tiempos de Internet”, y sus criterios de indexación se acercan a: HTML simple, preferencia por sitios no comerciales, uso mínimo de scripts/CSS decorativos, nada de anuncios intrusivos que se superpongan al contenido, y exclusión de páginas tipo portal que llevan a sitios web pesados
  https://wiby.me

  • No tiene el mismo objetivo. El criterio de indexación no es “debe ser un sitio independiente/personal”, sino “debe parecerse a un documento HTTP común y corriente”
    Search My Site busca dar visibilidad a sitios web personales/independientes, mientras que Wiby busca resaltar documentos con un estilo mínimo, así que sus objetivos son distintos

• También existe Marginalia. Ya se presentó varias veces antes en HN
  https://marginalia-search.com/
  https://news.ycombinator.com/item?id=35611923
  https://news.ycombinator.com/item?id=31536626

• Otros sitios relacionados: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
  Normalmente rastreo Internet para encontrar páginas, y dejo los resultados en https://github.com/rumca-js/Internet-Places-Database. A las páginas personales les pongo la etiqueta “personal”

  • También tengo https://minifeed.net/, que opero directamente. Pronto llegará al índice de 1,000 blogs personales

• Me gusta la simplicidad de https://pagefind.app/

  • Lo uso en mi blog personal con Astro y funciona muy bien
  • Interesante. ¿Es algo más cercano a una variante más completa de fuse.js? Tengo fuse.js agregado medio a la fuerza en un blog estático con Jekyll
  • Me gusta tanto Pagefind que lo uso en todos mis sitios estáticos

• Para una herramienta de búsqueda de sitios web personales, Postgres quizá sea una base de datos un poco grande. Aun así, tendré que probarla; hacen falta más herramientas como esta

  • Postgres se usa solo para administrar el sitio. Sirve para llevar registro de envíos, estado de revisión, suscripciones, etc.; el índice de búsqueda real está en Apache Solr
    En teoría, los datos administrativos también podrían guardarse en Solr, pero normalmente no se recomienda usar el almacenamiento de documentos al estilo Solr para guardar datos maestros. Algo más liviano como SQLite también sería posible, pero es una herramienta pensada para despliegue en servidor y Postgres tampoco consume tantos recursos

• Me gusta. Perdí una hora mirando justamente esos sitios web personales aleatorios pero cuidados, de los que hicieron grande a la web

  • Eso es exactamente lo que searchmysite.net intenta hacer. Busca que “navegar por la web” vuelva a ser una actividad de ocio divertida
    Cuando apareció en HN hace casi 3 años, mucha gente vio la caja de búsqueda y pensó que era un reemplazo de Google, y algunos se decepcionaron al enterarse de que no lo era. Ahora parece más útil que nunca tener una forma de encontrar contenido web hecho por personas, no por IA
    https://news.ycombinator.com/item?id=31395231

• Este tipo de proyectos es realmente bueno para encontrar blogs interesantes y sitios poco conocidos. El que uso principalmente es Marginalia Search
  https://marginalia-search.com/

• Se ve bien. Irónicamente, pensando en cómo Google dominó durante la última década, tengo la fuerte impresión de que uno de los grandes ganadores en el campo de la IA será un motor de búsqueda backend
  La búsqueda web moderna está demasiado contaminada por todo tipo de técnicas para llegar a la primera página de Google, y mucho contenido bueno queda enterrado. Ahora que los grandes modelos pueden llamar a la web, esta pesadez también está apareciendo en la búsqueda con IA. Hace falta un verdadero motor con prioridad en los datos, sin anuncios, y más enfocado en datos estructurados que en mostrarlos de forma vistosa

• Al revisar el proyecto, este artículo del blog fue el más revelador sobre los detalles técnicos del motor de búsqueda
  https://blog.searchmysite.net/posts/searchmysite.net-buildin...

• Estoy un poco confundido. Solr es el motor de búsqueda, pero también hay un modelo LLM cargado. Me pregunto qué aporta el modelo LLM en esta solución

  • El LLM era para experimentar con generación aumentada por recuperación, es decir, una interfaz tipo “chatear con mi sitio web”, y se usó Apache Solr como almacén vectorial
    Para poder asumir el costo lo probé con un LLM pequeño autoalojado, pero los resultados no fueron lo bastante buenos como para desplegar toda la función, así que el LLM está desactivado y probablemente lo termine eliminando por completo