Meta presenta MTIAv2, su acelerador de próxima generación para entrenamiento e inferencia

Meta presentó MTIAv2, la versión de próxima generación de MTIA (Meta Training and Inference Accelerator) v1, su acelerador de inferencia de IA desarrollado internamente y dado a conocer el año pasado. MTIA es un chip diseñado para las cargas de trabajo de IA de Meta, especialmente para modelos de recomendación basados en aprendizaje profundo que mejoran diversas experiencias en todos sus productos. A medida que las cargas de trabajo de IA se vuelven cada vez más importantes en los productos y servicios de Meta, parece que las mejoras en la eficiencia de MTIA reforzarán su capacidad para ofrecer la mejor experiencia posible a usuarios de todo el mundo.

Este chip MTIAv2 de próxima generación ya mostró una mejora de rendimiento de 3 veces frente al chip de primera generación en 4 modelos principales. A nivel de plataforma, gracias al doble de dispositivos y a una potente CPU de 2 sockets, fue posible alcanzar 6 veces más rendimiento de serving de modelos y una mejora de 1.5 veces en rendimiento por watt frente al sistema MTIA de primera generación. En comparación con las GPU comerciales, se está demostrando que MTIA cumple un papel muy complementario para ofrecer rendimiento y eficiencia óptimos en las cargas de trabajo propias de Meta.

Características principales de MTIAv2

Las características principales de MTIAv2 son las siguientes:

• Más del doble de mejora en rendimiento de cómputo y ancho de banda de memoria frente a la generación anterior
• Diseñado para procesar de manera eficiente modelos de ranking y recomendación
• Compuesto por elementos de procesamiento (PE) en una cuadrícula de 8x8, con una mejora de 3.5 veces en rendimiento de cómputo denso y de 7 veces en cómputo disperso
• 3 veces más almacenamiento local de PE, 2 veces más SRAM en chip y 3.5 veces más ancho de banda, además del doble de capacidad LPDDR5
• Arquitectura NoC (Network on Chip) mejorada, con el doble de ancho de banda y menor latencia para coordinar entre PE

⚠️Publicidad⚠️ Ver la misma publicación en la comunidad coreana de PyTorch

• https://discuss.pytorch.kr/t/meta-mtiav2/4042