15 puntos por xguru 2023-08-14 | Aún no hay comentarios. | Compartir por WhatsApp
  • Se puede llamar a la API /chat/completion para distintos LLM como Azure, OpenAI, Replicate, Anthropic y Hugging Face
  • Unifica el formato de entrada/salida al formato de OpenAI
  • Soporta fallback de modelos (ej.: si GPT-4 falla, llama a llama2)
  • Soporte de logging: Supabase, Posthog, Mixpanel, Sentry, Helicone
  • Seguimiento del uso de tokens
  • Implementación de Semantic Caching
  • Soporte para streaming y asincronía

Aún no hay comentarios.

Aún no hay comentarios.