LLaMA-rs - LLaMA implementado en Rust

• Proyecto que porta llama.cpp a Rust
• Compatible con modelos en versiones f16 o cuantizadas a 4 bits
• Usa la biblioteca de tensores ggml tal como el original, con un rendimiento equivalente al original

[xguru]

También existe una implementación de Rust de LLaMA: RLLaMA - Rust+OpenCL+AVX2.

llama.cpp - Inferencia del modelo LLaMA de Facebook en C/C++ puro