Marginalia: registro de 3 años

• Marginalia Search comenzó como un pequeño experimento para encontrar un “internet genial” y en 3 años se convirtió en un proyecto de tiempo completo, y el motor de búsqueda también se acerca a su estado más estable hasta ahora
• El trabajo clave de este año fue ordenar la base de código y simplificar la aplicación para reducir la carga operativa y hacer que otros operadores y desarrolladores puedan manejarla con más facilidad
• Antes, cambiar de índice requería varios días de interrupción, pero ahora esa interrupción desapareció y recientemente incluso se hicieron posibles las actualizaciones sin tiempo de inactividad
• La calidad de búsqueda mejoró desde que se añadió soporte para palabras clave de texto ancla, y a medida que las señales de relevancia se asentaron, la capacidad para encontrar resultados mejoró mucho
• La meta de indexar mil millones de documentos sigue en marcha, pero la relación señal-ruido de la web es baja y eso lo hace más difícil de lo esperado; el siguiente enfoque será mejorar el análisis y la ejecución de consultas

---

3 años: de experimento a proyecto de tiempo completo

• Marginalia Search comenzó hace 3 años como un pequeño experimento y ahora es un proyecto en el que se trabaja de tiempo completo
• Al motor de búsqueda todavía le quedan cosas por mejorar, pero se considera que funciona al mejor nivel que ha tenido hasta ahora
• Uno de los hitos más grandes fue que el motor de búsqueda salió de la sala de estar y se trasladó a un servidor empresarial
• Este año se enfocó en reducir la carga operativa a un nivel manejable y en ordenar la base de código y la aplicación para que otros operadores y desarrolladores puedan acceder a ella con más facilidad
• La forma de operar también cambió mucho
  • Antes, al cambiar de índice se necesitaban varios días de interrupción del servicio
  • Ahora ya no hay interrupciones durante el cambio de índice
  • Recientemente incluso se hicieron posibles las actualizaciones sin tiempo de inactividad
  • Muchas tareas que antes eran procesos manuales de varias semanas ahora pasaron a hacerse presionando un botón en la GUI

Calidad de búsqueda y expansión del índice

• El soporte para palabras clave de texto ancla tuvo un gran impacto en la relevancia de búsqueda
  • Justo después del cambio, el efecto no fue evidente de inmediato porque la integración aún no era suficiente
  • Una vez que las nuevas señales de relevancia se asentaron, la capacidad del motor para encontrar resultados relevantes mejoró mucho
• Gracias al apoyo de NLnet, el proyecto pasó a ser un trabajo de tiempo completo desde hace unos 8 meses
  • Sigue siendo difícil no trabajar demasiado
  • Se intenta descansar al menos 1 día por semana, y se considera que cuando se descansa bien se puede trabajar de forma más inteligente
• La meta de mil millones de documentos indexados sigue avanzando
  • La dificultad no está tanto en la capacidad del software para procesarlos, sino en que la relación señal-ruido de la web no es buena
  • Una de las grandes razones por las que el motor funciona relativamente bien está en qué decide no indexar
  • El tamaño del índice creció de entre 50 y 100 millones hace un año a 220 millones en el rastreo más reciente
  • Cuando termine la próxima ronda de rastreo, podría llegar a entre 290 y 300 millones, según la tendencia de crecimiento de las dos particiones ya completadas

Próximas mejoras y apoyo

• El siguiente objetivo de mejora es el análisis y la ejecución de consultas
  • Hay mucho margen de mejora en esta área
  • Antes de empezar el trabajo de lleno, se está preparando el terreno ordenando el código afectado
• Los grandes saltos del proyecto siempre salieron de experimentos, y aunque haya trabajo planificado, es muy posible que lo que realmente produzca grandes cambios sea algo no planeado, como ocurrió con el texto ancla
• Se agradece a NLnet, FUTO, a los patrocinadores de Patreon, a quienes apoyan el proyecto y a sus usuarios

[GN⁺]

Opiniones en Hacker News

• Tengo esto en favoritos y lo uso para encontrar material muy de nicho sobre modelado numérico.
  Para cosas relacionadas con solvers, generación de mallas y métodos de optimización, el material que encuentra es mucho mejor que lo que se puede hallar en Google, y también aparecen bien materiales de los 80 y 90.
  Para quienes no usamos solo paquetes comerciales ya hechos, poder encontrar este tipo de conocimiento y ejemplos de código en Fortran es muy valioso.

  • Me da curiosidad si hay ejemplos de páginas de expertos de nicho que hayan podido encontrar más fácilmente con Marginalia que con Google.

• Sí, esto se parece muchísimo a las búsquedas de antes.
  Aunque no pueda encontrar una búsqueda como “all quiet on the western front book movie differences”, tampoco en AltaVista de 1998 se encontraba algo así de esa manera.
  En cambio, si uno escribía solo “all quiet on the western front”, salían muchos sitios raros como blogs personales; si escribía “polytopes”, aparecían papers universitarios y sitios con código; y con “rust generics” también salían debates de listas de correo, blogs, grupos de discusión de Rust, sitios personales y conversaciones especializadas.
  Eso era justamente la búsqueda web de antes, y lo que me pregunto es cómo se puede sostener financieramente a largo plazo.

  • Ahora funciona con subvenciones y donaciones, y gracias a eso hay margen para unos cuantos años.
    Los costos reales de operación son unos 100 dólares al mes de colocation más los gastos personales de vida, así que el dinero que entra rinde más de lo que uno esperaría.
    A futuro, si se pule más, podría conseguir financiamiento adicional de gente con una mentalidad similar, o también vender acceso a la API a otros buscadores.
    La búsqueda es conocida por ser difícil de monetizar fuera de la publicidad, pero si los costos son bajos, parece un camino bastante razonable.

• Probé buscar “transformers intuition” y los resultados fueron realmente impresionantes.
  Google me llevó a sitios optimizados para SEO, sobre todo Medium y sitios que se ven vistosos por fuera pero tienen contenido flojo; Marginalia fue mucho mejor.

• Un hilo retrospectivo que muestra que ya funcionaba bien a los 6 meses de su lanzamiento, pero también sus aspectos ambiguos: https://news.ycombinator.com/item?id=28550764
  Aunque ahora, en el filtro predeterminado, parece haber demasiados resultados de Reddit, Stack Exchange y Wikipedia.

• La parte que más me resonó fue esta:
  que sea más difícil de lo esperado no se debe a que el software no dé abasto, sino a que la relación señal-ruido de la web no es buena; y una gran razón por la que este buscador funciona relativamente bien está en qué decide no indexar.

• No uso mucho Marginalia porque estoy acostumbrado a Google, pero el proyecto en sí es excelente.
  Como parece que cada vez hay más sitios SEO de spam y respuestas generadas por IA, creo que lo voy a usar con más frecuencia.

  • Creo que todavía necesita algo más de tiempo para servir como buscador predeterminado de uso diario.
    Siendo optimistas, si este verano se termina el trabajo relacionado con consultas y ejecución, podría acercarse a ese nivel.

• Tengo curiosidad por preguntarle a Viktor si Common Crawl [0] podría serle útil.
  Actualmente ronda los 100 TB y 3.350 millones de páginas, así que descargarlo tomaría mucho tiempo si no se procesa directamente desde S3; y no sé qué tal será su relación señal-ruido.
  [0] https://commoncrawl.org/overview

• Es un buscador genial.
  Pronto pienso revisar también el código fuente; busqué “ROME2D16-2T” y me devolvió resultados relevantes de fuentes bastante oscuras, y me sirvió.

• Probé 3 búsquedas recientes de Google.
  “india test cricket lowest total” no dio buenos resultados ni una respuesta; “raid calculator” tuvo resultados aceptables, pero por la palabra raid también se mezcló ruido como páginas de editores de guardados/trucos de Pokémon.
  “all quiet on the western front movie book differences” dio 0 resultados: una página completamente vacía.

  • En esta etapa, este buscador no tiene como objetivo ofrecer un grafo de conocimiento.
    Es una herramienta para encontrar documentos en internet más que para responder preguntas; la función de respuestas es algo que uno podría querer, pero a menudo se obtiene a costa de sacrificar la capacidad de encontrar documentos.
    Los resultados de Pokémon trataban sobre una aplicación llamada “raidcalc”, así que desde la perspectiva de un buscador que no perfila al usuario en absoluto y no conoce sus intereses, parece una coincidencia bastante buena.
    “all quiet on the western front movie book differences” parece haber chocado con el límite de longitud de la consulta; es un vestigio antiguo de una época en la que no manejaba bien las consultas largas, así que probablemente pueda eliminarse.
    Probé aumentar el límite, pero los resultados seguían sin ser muy buenos; esto entra exactamente en el próximo trabajo pendiente: comprensión y ejecución de consultas.
    El buscador actual no entiende la consulta agrupándola como lo haría una persona: que all quiet on the western front es una frase, que sería bueno que aparezca en el título o varias veces, y que movie, book y differences son importantes en el documento pero no necesariamente tienen que aparecer en ese orden exacto.
    Actualmente busca documentos donde todas las palabras aparezcan cerca unas de otras, o documentos donde las palabras individuales tengan una alta relevancia tf-idf, así que no es adecuado para esta consulta.

• Interesante. Alguien encontró un sitio web cualquiera [0] donde, solo por diversión, hicieron un parche binario para agregar soporte IPv6 a C&C Tiberian Sun.
  Conserva con fuerza esa sensación de la vieja web que se extraña.
  Curiosamente me recordó a Searchlores de Fravia [1]; si Umberto Eco se hubiera interesado por las computadoras, creo que habría tenido algo de ese estilo.
  El sitio en sí también se sentía como el laberinto de la biblioteca de El nombre de la rosa: al doblar cualquier esquina descubrías algo sorprendente, y después lo perdías para siempre :D
  [0] http://ts.sesse.net/
  [1] https://www.biostatisticien.eu/www.searchlores.org/indexo.ht...