Web LLM - Ejecutar LLM acelerados en el navegador con WebGPU
(github.com/mlc-ai)- Ejecuta en el navegador, sin servidor, LLM como LLaMA y Vicuna usando WASM
- Acelerado con WebGPU, pero también es compatible por separado con los backends de GPU que soporta Apache TVM (CUDA, OpenCL, Vulkan)
- Usa la tecnología MLC (Machine Learning Compilation)
Aún no hay comentarios.