ExecuTorch Alpha: impulsando el despliegue en el edge de modelos de lenguaje grandes e IA junto con la colaboración de la comunidad

• PyTorch presenta ExecuTorch Alpha, centrado en desplegar modelos de lenguaje grandes (LLM) y modelos grandes de ML en dispositivos edge, estabilizar las API y reforzar el proceso de instalación.

• ExecuTorch Alpha ofrece soporte para Llama 2 de Meta y soporte temprano para Llama 3, lo que permite ejecutar estos LLM de forma eficiente en dispositivos edge como iPhone, teléfonos Samsung Galaxy y otros.

• Para optimizar el rendimiento en dispositivos edge con recursos limitados, ExecuTorch Alpha utiliza técnicas de cuantización y aprovecha el soporte de formas dinámicas de XNNPack y nuevos dtype para una amplia compatibilidad con dispositivos CPU.

• El SDK de ExecuTorch proporciona herramientas mejoradas de depuración y perfilado, permitiendo a los desarrolladores volver a mapear nodos de operadores al código fuente original en Python para una resolución eficiente de anomalías y el ajuste del rendimiento.

• La colaboración con socios como Arm, Apple, Qualcomm Technologies, Google, Unity y Meta ha sido clave para avanzar en ExecuTorch, que Meta ya está utilizando para seguimiento de manos y diversos modelos en dispositivos.