GoModel - gateway de IA de alto rendimiento escrito en Go

• Un gateway de IA ligero similar a LiteLLM; al ser un binario único de Go, la imagen del contenedor es liviana y el cold start es rápido
• Integra 11 proveedores como OpenAI, Anthropic, Gemini, Groq y xAI en una sola API compatible con OpenAI
• Basta con pasar las API keys como variables de entorno en un solo contenedor Docker para usarlo de inmediato con detección automática de proveedores
• Soporta todos los endpoints de la API de OpenAI como /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files y /v1/batches
• También ofrece /p/{provider}/... para passthrough de API nativa, enviando la respuesta upstream tal cual (para usar de inmediato funciones que el gateway no soporte)
• Incluye caché de respuestas de 2 capas
  • Capa 1: caché de coincidencia exacta basada en hash del cuerpo de la solicitud (consulta en menos de un milisegundo)
  • Capa 2: caché semántica basada en búsqueda KNN sobre vectores de embeddings (60~70% de aciertos en cargas de trabajo altamente repetitivas)
  • Soporta Qdrant, pgvector, Pinecone y Weaviate como backends vectoriales
• Incluye una UI de dashboard de administración para revisar uso de tokens, seguimiento de costos, logs de auditoría, estado de proveedores y overrides de modelos
• Funciones de observabilidad integradas como métricas de Prometheus, logging de auditoría y pipeline de guardrails (cada una se activa con variables de entorno)
• Usa GOMODEL_MASTER_KEY para autenticación de API, y permite elegir SQLite, PostgreSQL o MongoDB como backend de almacenamiento
• También soporta registro de múltiples instancias del mismo proveedor mediante variables de entorno con sufijo (ejemplo: OPENAI_EAST_API_KEY)
• Como backend de almacenamiento permite elegir SQLite (por defecto), PostgreSQL o MongoDB, así que en entornos pequeños puede usarse apenas se instala y en entornos grandes escalar cambiando solo la base de datos
• Hoja de ruta de la versión 0.2.0: routing inteligente, incorporación de DeepSeek V3 y Cohere, gestión de presupuesto por user_path, modo clúster y más
• Licencia MIT

[xguru]

Parece una alternativa ligera que valdría la pena considerar para las empresas que estén pensando en adoptar LiteLLM.

Como LiteLLM, al estar basado en Python, una vez sufrió un ataque a la cadena de suministro, también da la impresión de que Go es relativamente más seguro.