vLLM PagedAttention: una revolución en el rendimiento de inferencia de LLM

Consulta el contenido detallado en el enlace. Este es un resumen.

El desafío central del serving de LLM (modelos de lenguaje grandes) es administrar de forma eficiente la memoria de la KV cache (Key-Value Cache). Los sistemas tradicionales tenían la limitación de que, debido a problemas de fragmentación de memoria, bajaba la utilización de la GPU y se restringía el rendimiento.

vLLM resuelve este problema mediante el algoritmo PagedAttention, inspirado en las técnicas de memoria virtual y paging de los sistemas operativos. PagedAttention administra la KV cache dividiéndola en “bloques” físicamente no contiguos, lo que reduce de forma drástica el desperdicio de memoria y permite una asignación mucho más flexible.

Con base en este PagedAttention, vLLM implementa las siguientes tecnologías clave para maximizar el rendimiento de inferencia.

• Batching continuo (Continuous Batching): funciona de manera dinámica, agregando solicitudes al batch tan pronto como llegan y retirando del batch las secuencias que ya terminaron. Con esto se minimiza el tiempo ocioso de la GPU y se mejora el rendimiento hasta 24 veces frente al batching estático tradicional.

• Soporte para funciones avanzadas de inferencia: vLLM aprovecha la flexibilidad de PagedAttention para soportar de forma eficiente varias funciones avanzadas, como las siguientes.

  • Prefill por chunks (Chunked Prefill): divide la etapa de prefill de prompts largos en varios chunks para evitar que una sola solicitud monopolice el sistema y para mejorar la latencia de otras solicitudes.
  • Cacheo de prefijos (Prefix Caching): comparte sin recálculo la KV cache del prefijo del prompt que se comparte entre múltiples solicitudes, eliminando operaciones redundantes.
  • Decodificación guiada y especulativa (Guided and Speculative Decoding): soporta técnicas para controlar la salida de modo que siga un formato específico (por ejemplo, JSON) o para acelerar la generación usando un modelo borrador más pequeño.
  • Separación de prefill/decoding (Disaggregated Prefill/Decoding): procesa la etapa de prefill, intensiva en cómputo, y la etapa de decoding, intensiva en ancho de banda de memoria, en instancias separadas para optimizar el uso de recursos.

En conclusión, vLLM resuelve las ineficiencias fundamentales de la administración de la KV cache mediante PagedAttention y, sobre esa base, aplica técnicas de optimización como el batching continuo para elevar el rendimiento y el desempeño de los sistemas de inferencia de LLM.