Métodos de evaluación para crear un algoritmo de búsqueda más inteligente

• Shopify evaluó si los resultados de búsqueda realmente mejoraron al cambiar el algoritmo que usaba en la búsqueda de productos

→ Vanilla PageRank anterior: calculaba el ranking con PV basados en búsquedas

→ Nuevo Query-specific PageRank: calculaba los pesos con base en el historial de clics para cada término de búsqueda

• Evaluación en 3 etapas

1. Recolección de datos: eventos de Kafka y dataset anotado

2. Evaluación de métricas offline: evaluación del nuevo algoritmo usando consultas de búsqueda existentes

→ Mean Average Precision (MAP): aplica una penalización cuando entre los primeros N resultados que devuelve una consulta se incluyen documentos no relevantes

→ Normalized Discounted Cumulative Gain (NDCG): calcula el puntaje de corte para el cálculo de MAP y penaliza cuando los ítems con buena calificación (Great/Good) aparecen en posiciones bajas

3. Evaluación de métricas online: usa logs de búsqueda para evaluar cómo funciona la búsqueda real

→ Métricas que determinan el éxito: con qué frecuencia buscan los usuarios, cuánto hacen scroll para encontrar el resultado deseado y si contactan al equipo de soporte para resolver el problema, etc.

→ Click-through rate (CTR): tasa de clics en los resultados de búsqueda. Más alta es mejor

→ Average rank: ranking promedio del resultado clicado. Más bajo es mejor

→ Abandonment: tasa de abandono al no encontrar el resultado deseado; claro, también puede verse afectada por bots/spam y otros factores, pero en general conviene que sea relativamente baja

→ Recolección usando Kafka

→ Prueba A/B frente al método existente

• Como resultado, el nuevo algoritmo de búsqueda superó al método anterior y se procedió a reemplazarlo

• Puntos clave

→ Un dataset etiquetado, confiable y de alta calidad es la clave de la evaluación

→ Las métricas online ofrecen excelentes insights sobre el comportamiento de los usuarios

→ Las métricas offline ayudan a iterar rápidamente sobre nuevos algoritmos y a reducir riesgos