Mozilla libera como código abierto any-llm-gateway, su solución para gestionar costos de LLM

Mozilla AI presentó el servidor proxy de código abierto any-llm-gateway para resolver el problema del aumento explosivo de costos y el freno a la innovación que surgen al usar LLM (modelos de lenguaje grandes). Basado en la biblioteca existente any-llm, es una herramienta lista para producción que refuerza la gestión de presupuestos, la administración de claves API y el análisis de uso.

Funciones clave:

• Gestión inteligente de presupuestos: permite configurar niveles de presupuesto compartidos para que varios usuarios los aprovechen en conjunto. Incluye reinicio automático diario/semanal/mensual y opción de aplicación forzada o solo seguimiento.
• Sistema flexible de claves API: admite claves maestras (para servicios confiables) y claves virtuales (con expiración/metadatos configurables, activación o revocación). También rastrea automáticamente el gasto por usuario.
• Análisis completo de uso: registra por solicitud la cantidad de tokens, el costo y los metadatos. También permite reportes de gasto por usuario y asignación de costos.

Utilidad práctica:

Ofrece una API compatible con OpenAI y permite especificar modelos con el formato provider:model (por ejemplo, openai:gpt-4o-mini). Incluye streaming y seguimiento automático de tokens. Puede desplegarse fácilmente con Docker y, gracias a su configuración por YAML/variables de entorno y soporte para sondas de Kubernetes, resulta adecuado para entornos de producción.

La herramienta es útil para implementar planes de precios SaaS, gestionar equipos de investigación y más, con énfasis en equilibrar el control de costos y la innovación. Al ser de código abierto, cualquiera puede usarla y personalizarla libremente.