MLC LLM - Solución de código abierto que permite desplegar modelos LLM en cualquier dispositivo

• Su objetivo es permitir que cualquiera desarrolle y optimice modelos de IA para desplegarlos en cualquier dispositivo
• Utiliza MLC (Machine Learning Compilation) y Apache TVM Unity
• Plataformas compatibles
  • iPhone/iPad/Android
  • GPU Metal y MacBook con Intel y ARM
  • GPU AMD/Intel y NVidia (Vulkan en Windows/Linux)
  • GPU NVidia (CUDA en Windows/Linux)
  • WebGPU en el navegador

[carnoxen]

Parece que lo multiplataforma está de moda en muchos sentidos.