• Resolver la complejidad del modelo de producción: el sistema de recomendación existente de Netflix dependía de miles de features hechas a mano y de una arquitectura compleja, lo que elevaba el costo de agregar nuevos casos de uso; GenRec, basado en modelos de lenguaje grandes (LLM), fue desarrollado para reemplazarlo.
• Pipeline central de GenRec: GenRec convierte el historial del usuario, los metadatos de los ítems y el contexto en prompts en lenguaje natural (Verbalization), y genera el ranking de recomendaciones combinando un LLM fundacional ajustado con datos propios de Netflix y un cabezal de puntuación con conocimiento del catálogo (Scoring Head).
• Marco de entrenamiento en 2 etapas: en la Fase 1, un LLM de código abierto se adapta al corpus de Netflix para aprender contenido y patrones de comportamiento; en la Fase 2, se realiza post-entrenamiento con base en datos de ranking y objetivos de recompensa.
• Introducción de la ingeniería de contexto: para resolver las restricciones del presupuesto de tokens, se aplicó ingeniería de contexto que conserva interacciones de alta señal, omite eventos de baja señal o comprime comportamientos repetidos, reduciendo de forma importante los tokens y el costo sin degradar la calidad.
• Función objetivo de ranking ponderada por recompensa: se usó una función de pérdida ponderada por recompensa que refleja proxies de satisfacción de miembros a largo plazo y objetivos de negocio (reajustados según tipo de contenido y etapa de lanzamiento), logrando una optimización que va más allá del simple clic.
• Inferencia solo de prefill basada en vLLM: en la pila interna de serving de LLM que utiliza vLLM, se ejecutó en modo solo de prefill (prefill-only) en lugar de decodificación autorregresiva, optimizando el costo de serving al calcular la puntuación de todo el conjunto de candidatos con un solo forward pass.
• Resultados de la prueba A/B en línea: en una prueba A/B a gran escala de 4 semanas realizada sobre cerca del 10% del tráfico, GenRec registró mejoras estadísticamente significativas en métricas en línea de corto y largo plazo frente al modelo de ranking de producción existente, aun usando muchos menos datos etiquetados de Fase 2 y menos señales de entrada.
Aún no hay comentarios.