Guía para ejecutar Llama 2 localmente

• Puedes ejecutar Llama 2 en tu propio dispositivo sin conexión a Internet.
• Hay tres herramientas de código abierto para ejecutar Llama 2 localmente: Llama.cpp, Ollama y MLC LLM.
• Llama.cpp es un port de Llama en C/C++ compatible con Mac, Windows y Linux.
• Ollama es una app para macOS que permite ejecutar Llama 2 desde la interfaz de línea de comandos.
• MLC LLM permite ejecutar Llama 2 en teléfonos, incluidos iOS y Android.
• Ollama recomienda al menos 8 GB de RAM para ejecutar el modelo 3B, 16 GB para el modelo 7B y 32 GB para el modelo 13B.
• MLC LLM es compatible con las versiones 7B, 13B y 70B de Llama 2, aunque todavía está en beta para usuarios de iPhone.
• Puedes compartir tus creaciones y recibir soporte en la comunidad de Discord.
• Replicate ofrece opciones para ejecutar Llama 2 en la nube y hacer fine-tuning.

[haebom]

Funciona bien ejecutándolo en una Mac Studio M2.

[GN⁺]

Comentarios en Hacker News

• Un usuario ofrece instrucciones para compilar Llama 2 en Windows, incluida la instalación del toolkit de CUDA y la descarga del modelo.
• Se comparte una función de PowerShell para ejecutar Llama 2 más fácilmente.
• Se menciona una transmisión de programación en vivo para ajustar finamente Llama 2 usando PEFT/Lora en una GPU A100 de Google Colab.
• Un comentarista sugiere la inferencia de Hugging Face para usar la GPU en una máquina Linux.
• Se comparte un fork del código original de Llama 2 que puede ejecutarse en CPU o en MPS (GPU M1/M2).
• Se recomienda GPT4All para usar Llama 2 fácilmente en macOS o Windows.
• Se plantea una advertencia sobre canalizar directamente scripts desde un sitio web a bash.
• Un comentarista habla sobre el potencial de Llama 2 para interpretar y usar imágenes.
• Se cuestiona cuál es el propósito de usar Llama 2 más allá de la investigación.
• Se mencionan las limitaciones de los modelos LLM, y que se niega a generar un objeto JSON sobre la película The Matrix.