Arch - gateway inteligente de prompts

• Optimiza los LLM integrándose con la API del usuario como un gateway inteligente de capa 7 para proteger, observar y personalizar aplicaciones LLM (agentes, asistentes, copilotos)
• Administra tareas importantes relacionadas con el procesamiento de prompts y detecta y bloquea intentos de Jailbreak
• Procesa solicitudes llamando a APIs backend según el prompt
• Proporciona enrutamiento inteligente y recuperación ante desastres entre LLM upstream
• Observa y administra de forma centralizada los prompts y las interacciones con LLM

Funciones principales

• Basado en Envoy: Construido sobre Envoy Proxy, administra el tráfico de entrada y salida de prompts de la misma forma que las solicitudes HTTP, y ofrece capacidades escalables de procesamiento de LLM.
• Function Calling: Soporta apps de agentes y apps RAG mediante LLM diseñados para manejar tareas rápidas y rentables, como llamadas a API o extracción de parámetros desde prompts.
• Prompt Guard: Administra de forma centralizada barreras de seguridad para prompts que previenen intentos de Jailbreak y garantizan interacciones seguras con el usuario sin necesidad de código adicional.
• Gestión de tráfico: Reintenta llamadas a LLM de forma inteligente y cambia conexiones automáticamente para garantizar la disponibilidad continua de las conexiones upstream.
• Observabilidad basada en estándares: Usa el estándar W3C Trace Context para permitir el rastreo completo de solicitudes entre aplicaciones, y ayuda a optimizar el rendimiento de aplicaciones de IA mediante métricas como latencia, uso de tokens y tasa de errores.