Cafe24 presenta LLM Router

• Infraestructura LLM unificada para invocar más de 100 modelos como Claude, Gemini, Qwen, Llama y DeepSeek mediante un único endpoint
• Ofrece una API única compatible con OpenAI, por lo que no hace falta aprender ni mantener por separado especificaciones de API, lógica de reintentos ni formatos de streaming distintos para cada provider
• Auto Router analiza el prompt para identificar si es de tipo código, razonamiento, traducción o creación, y selecciona automáticamente el modelo con el costo óptimo
  • Ejemplo: "Créame código de scroll infinito en React" → detecta código → claude-sonnet-4-6
• Con Auto Fallback, ante fallas o timeouts cambia de inmediato a una ruta alternativa predefinida, y las llamadas fallidas no se cobran (ZCI)
  • Ejemplo: qwen3-72b → llama-3.3-70b → deepseek-v3
• Con Provider Routing se puede definir la prioridad de providers según criterios de costo, velocidad y throughput
• En modo BYOK (Bring Your Own Key), se pueden registrar directamente claves propias de OpenAI/Anthropic/Google para controlar los costos de forma directa
• Con Semantic Cache, las preguntas similares omiten por completo la llamada al LLM para reducir el costo de tokens, y la respuesta se devuelve en milisegundos
• La función Preset permite guardar en conjunto el modelo primario, el System Prompt, el sampling y una cadena de fallback multinivel; la invocación queda en una sola línea y los ajustes se hacen desde la consola, sin necesidad de redeploy del código
• Con Privacidad y gobernanza, ofrece enmascaramiento automático de información sensible (PII) en logs y datos enviados al modelo
• En el Realtime Dashboard se pueden revisar solicitudes, costos, tendencia de tokens, proporción de costos por modelo, tasa de éxito/fracaso y logs detallados por solicitud
• En el Playground se puede comparar al instante, sin código, la calidad de respuesta, velocidad y costo entre modelos
• Pago por uso con créditos sin contrato ni suscripción, cargo base mensual de 0 wones, créditos gratis al registrarse de inmediato, y soporte para facturación en won coreano y emisión de comprobante fiscal