IPEX-LLM - Biblioteca de PyTorch para ejecutar LLM en CPU/GPU de Intel
(github.com/intel-analytics)- Basado en Intel Extension for PyTorch (IPEX)
- Optimizado y validado para más de 50 modelos (LLaMA2, Mistral, Gemma, LLaVa, Whisper, etc.)
- Se ejecuta con baja latencia en iGPU local o en GPU distribuidas como Arc/Flex/Max
- Buena integración con llama.cpp, HuggingFace, LangChain, LlamaIndex, etc.
Aún no hay comentarios.