Secret Llama - implementación de un chatbot Llama 3 en el navegador impulsado por WebGPU

• Un chatbot LLM que funciona completamente en el navegador y garantiza la privacidad
• Compatible con modelos open source como Llama 3 y Mistral
• Los datos de la conversación nunca salen de la computadora, por lo que garantiza privacidad total
• Como funciona en el navegador, no requiere servidor ni instalación y también funciona sin conexión
• Ofrece una interfaz fácil de usar, al nivel de ChatGPT, pero para LLM open source
• Modelos compatibles actualmente
  • TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
  • Llama-3-8B-Instruct-q4f16_1 4.3GB
  • Phi1.5-q4f16_1-1k 1.2GB
  • Mistral-7B-Instruct-v0.2-q4f16_1 4GB

[bizring]

¿Se puede conversar en coreano?