- Un gateway de IA ligero similar a LiteLLM; al ser un binario único de Go, la imagen del contenedor es liviana y el arranque en frío es rápido
- Integra 11 proveedores como OpenAI, Anthropic, Gemini, Groq y xAI en una sola API compatible con OpenAI
- Si pasas solo las claves de API como variables de entorno a un contenedor Docker, queda listo para usarse de inmediato con detección automática de proveedores
- Soporta todos los endpoints de la API de OpenAI como
/v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files y /v1/batches
- También ofrece
/p/{provider}/... para passthrough de API nativa, enviando la respuesta upstream tal cual (para usar de inmediato funciones que el gateway no soporta)
- Incluye caché de respuestas de dos capas
- Capa 1: caché de coincidencia exacta basada en hash del cuerpo de la solicitud (consulta en submilisegundos)
- Capa 2: caché semántica basada en búsqueda KNN de vectores de embeddings (60~70% de aciertos en cargas de trabajo con alta repetición)
- Soporta Qdrant, pgvector, Pinecone y Weaviate como backends vectoriales
- Incluye una interfaz de dashboard de administración para revisar uso de tokens, seguimiento de costos, logs de auditoría, estado de proveedores y overrides de modelos
- Funciones de observabilidad integradas como métricas de Prometheus, logging de auditoría y pipeline de guardrails (cada una se activa con variables de entorno)
- Usa
GOMODEL_MASTER_KEY para autenticación de API, y permite elegir SQLite, PostgreSQL o MongoDB como backend de almacenamiento
- También soporta registro de múltiples instancias del mismo proveedor mediante variables de entorno con sufijo (ej.:
OPENAI_EAST_API_KEY)
- Como backend de almacenamiento, permite elegir SQLite (predeterminado), PostgreSQL o MongoDB: en despliegues pequeños se usa al instante tras la instalación, y en despliegues grandes escala simplemente cambiando la base de datos
- Hoja de ruta para la versión 0.2.0: routing inteligente, incorporación de DeepSeek V3 y Cohere, gestión de presupuesto por
user_path, modo clúster y más
- Licencia MIT
Aún no hay comentarios.