liteLLM - servidor proxy compatible con más de 50 LLM
(github.com/BerriAI)- Se puede llamar a la API
/chat/completionpara distintos LLM como Azure, OpenAI, Replicate, Anthropic y Hugging Face - Unifica el formato de entrada/salida al formato de OpenAI
- Soporta fallback de modelos (ej.: si GPT-4 falla, llama a llama2)
- Soporte de logging: Supabase, Posthog, Mixpanel, Sentry, Helicone
- Seguimiento del uso de tokens
- Implementación de Semantic Caching
- Soporte para streaming y asincronía
Aún no hay comentarios.