Aceleración de hardware para LLM: encuesta integral y comparación

LLMs acelerados por hardware: encuesta integral y comparación

• Los LLM han surgido como una herramienta poderosa en tareas de procesamiento de lenguaje natural, revolucionando este campo con su capacidad para comprender y generar texto similar al humano
• Este artículo realiza una encuesta integral de diversos esfuerzos de investigación sobre la aceleración de redes transformer para modelos de lenguaje grandes mediante el uso de aceleradores de hardware

Marco de trabajo y comparación

• Presenta el marco de trabajo propuesto y realiza comparaciones cualitativas y cuantitativas de tecnología, plataformas de procesamiento (FPGA, ASIC, In-Memory, GPU), mejora de velocidad, eficiencia energética, rendimiento (GOPs) y eficiencia energética (GOPs/W)
• El principal desafío es que cada esquema propuesto está implementado con distintas tecnologías de proceso, lo que dificulta una comparación justa
• La principal contribución de este artículo es estimar los resultados de rendimiento y eficiencia energética en una misma tecnología, permitiendo una comparación justa

Experimentos y resultados

• Implementa partes de los LLM en varios chips FPGA para estimar resultados bajo la misma tecnología de proceso y comparar el rendimiento de manera justa

Resumen de GN⁺

• Este artículo ofrece una encuesta integral sobre la aceleración de hardware de los modelos de lenguaje grandes (LLM)
• Compara el rendimiento y la eficiencia energética en diversas plataformas de procesamiento, lo que permite una comparación justa
• Mediante experimentos con chips FPGA, estima resultados bajo la misma tecnología
• Puede ser útil para quienes están interesados en mejorar el rendimiento de los LLM en el campo del procesamiento de lenguaje natural
• Otros proyectos con funciones similares incluyen los aceleradores GPU de NVIDIA y las TPU de Google

[GN⁺]

Opiniones de Hacker News

• Desde la década de 1990, la velocidad de la CPU ha mejorado más rápido que el ancho de banda de la memoria

  • William Wulf y Sally Mckee predijeron la "pared de memoria" en 1995
  • Durante los últimos 20 años, los FLOPS del hardware de servidores han aumentado 3 veces cada 2 años, pero el ancho de banda de la DRAM y de la interconexión solo ha aumentado 1.6 y 1.4 veces, respectivamente
  • En el entrenamiento y la inferencia de los LLM, el cuello de botella del rendimiento se está desplazando cada vez más hacia el ancho de banda de memoria
  • Especialmente en los modelos decodificadores Transformer autorregresivos, el ancho de banda de memoria puede convertirse en el principal cuello de botella
  • Se están volviendo necesarias nuevas tecnologías como compute-in-memory (CIM) o processing-in-memory (PIM)
  • CIM/PIM mejora la latencia y el consumo de energía al ejecutar cálculos directamente en la memoria sin transferir los datos a los registros de la CPU
  • El artículo estima el rendimiento usando un proceso de 16 nm para comparar hardware ASIC y FPGA en distintos tamaños de proceso de semiconductores
  • No se hicieron estimaciones sobre CIM/PIM, porque su rendimiento no depende solo de la tecnología de proceso
  • Se puede consultar más información en los enlaces de abajo
    • arxiv.org
    • Wikipedia
    • vcl.ece.ucdavis.edu

• Hay una preferencia personal por los systolic arrays

  • Después de revisar varias opciones durante décadas, se eligió como solución óptima una cuadrícula cartesiana de celdas
  • Cada celda tiene 4 bits de entrada y 4 bits de salida, y en el centro hay un registro de desplazamiento de 64 bits
  • Mediante la magia del coloreado de grafos, es posible sincronizar todas las celdas para que los datos fluyan en cualquier dirección
  • Tiene la flexibilidad de un FPGA sin necesidad de preocuparse por problemas de temporización o condiciones de carrera
  • Todas las operaciones se realizan en paralelo
  • Esta idea existe desde 1982, y se espera que alguien la haga realidad
  • A esta idea la llaman BitGrid
  • El artículo relacionado puede consultarse aquí

• Quisiera ver un LLM en WebGL donde todo esté hecho de texturas

  • Sería divertido ver visualmente las diferencias entre arquitecturas

• Se explica el éxito del LPU basado en ASIC de Groq

  • La inferencia de LLM en Groq Cloud es muy rápida
  • La reducción del consumo energético también es una ventaja

• El movimiento de memoria es el cuello de botella hoy en día

  • Por eso se necesita HBM, que es costosa
  • El diseño de Nvidia también está optimizado para la memoria

• Me pregunto si una arquitectura híbrida FPGA + ASIC + in-mem podría tener un papel en la escalabilidad/flexibilidad

  • Me pregunto si integrar las ventajas de cada uno (por ejemplo, la flexibilidad del FPGA, el rendimiento del ASIC y la eficiencia energética del in-memory) podría mejorar aún más el rendimiento de los LLM

• Había un artículo sobre ejecutar un LLM con la misma energía que un foco

  • arxiv.org
  • news.ucsc.edu

• Me pregunto si hay una buena forma de leer contenido en Arxiv

  • La interfaz del sitio me resulta confusa, así que muchas veces me voy sin ver el contenido

• Me pregunto si "in-memory" es hardware especializado que combina CPU y RAM