Intel publica biblioteca de aceleración para NPU

Biblioteca de aceleración Intel® NPU: mejora el rendimiento de IA con la unidad de procesamiento neuronal de Intel

• La biblioteca de aceleración Intel NPU es una biblioteca de Python que aprovecha la potencia de la unidad de procesamiento neuronal (NPU) de Intel para aumentar la eficiencia de las aplicaciones de inteligencia artificial. Optimiza las cargas de trabajo de IA al dirigir de forma eficiente el cómputo y el flujo de datos para lograr un rendimiento y una eficiencia energética óptimos, maximizando el uso de cómputo y minimizando la transferencia de datos.

• La biblioteca fue diseñada para procesadores Intel Core Ultra, que integran la NPU con funciones de aceleración de cómputo y transferencia de datos. Incluye un motor de cómputo neuronal para operaciones de IA, un motor vectorial de arquitectura híbrida de streaming para tareas de cómputo general y un motor DMA para una transferencia eficiente de datos.

• Entre las funciones principales de desarrollo se incluyen cuantización de 8 bits y 4 bits, inferencia de precisión mixta nativa en la NPU, compatibilidad con Float16 y BFloat16, soporte para archivos torch.com, implementación de fusión horizontal MLP para LLM, inferencia de formas estáticas, inferencia MHA en la NPU y cómputo heterogéneo NPU/GPU.

• Para usar la biblioteca, verifique que el sistema tenga una NPU disponible e instale el paquete mediante pip. Es compatible con sistemas Windows y Linux, pero MacOS todavía no está soportado. Para obtener el mejor rendimiento, actualice el controlador de la NPU a la versión más reciente.

• La biblioteca ofrece ejemplos implementados y soporta archivos torch.com para optimizar modelos de PyTorch para la NPU. Además, proporciona funcionalidad explícita al usar versiones de PyTorch inferiores a 2.0.0 o al compilar modelos en entornos Windows.

[kuroneko]

Parece prometedor ver hasta dónde pueden llegar los cálculos de IA solo con la NPU, incluso sin una tarjeta gráfica dedicada.