Web LLM - Comienza el soporte para Llama2 7B/13B

• Servicio que ejecuta en el navegador, sin servidor, LLM como Llama, RedPajama y Vicuna mediante WASM
• Comienza el soporte para Llama 2 7B/13B
• También es compatible con Llama 2 70B, pero solo puede usarse en Macs con Apple Silicon + 64 GB de RAM o más
• Acelerado con WebGPU

[freejack]

• Como alguien que no sabe mucho de IA, lo probé por curiosidad aunque mi PC es de bajos recursos. - Primer modelo del Chat Demo (especificaciones de la PC: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
• En la primera pregunta descargó unos 4 GB y se inicializó; en mi entorno de PC tardó alrededor de 11 minutos.
• En cada pregunta usó la GPU en más de 60% en promedio y respondía como si estuviera escribiendo lentamente. (desesperante, la verdad...)
• Como prueba, le hice la pregunta "show me the earth picture" y sí me respondió con una URL de la NASA, pero no se podía ver la imagen. (Invalid URL)
• También reconocía preguntas en coreano, pero solo respondía en inglés.

[cosine20]

Porque es una 750Ti....

[laeyoung]

A menudo también se rompe en ChatGPT cuando la salida va como URL. Supongo que sí.

[kuroneko]

Me pareció increíble ver Stable Diffiusion corriendo en la web,
pero, ¿de verdad WebGPU podrá lograr una gran unificación de las APIs de GPU?

[ragingwind]

Es increíble.

[xguru]

Web LLM - Ejecutar LLM en el navegador acelerado con WebGPU