- Con el framework de Agents se pueden crear programas de servidor impulsados por IA que pueden ver, escuchar y hablar en tiempo real
- Se conectan con el dispositivo del usuario a través de una sesión de LiveKit, procesan streaming de texto, audio, imágenes y video, y transmiten al usuario los resultados generados por el modelo de IA
- En colaboración con OpenAI, ofrece la API de MultimodalAgent
- Envuelve por completo la Realtime API de OpenAI, abstrae el protocolo Raw Wire y ofrece transporte WebRTC de latencia ultrabaja entre GPT-4o y los dispositivos
- Es el stack tecnológico que usa la función Advanced Voice de la app de ChatGPT
- Funciones ofrecidas
- Plugins para LLM populares, servicios de transcripción y texto a voz, y bases de datos RAG
- Proporciona abstracciones de alto nivel para crear agentes o asistentes de voz con detección automática de turnos, manejo de interrupciones, llamadas a funciones y transcripción
- Es compatible con el stack de telefonía de LiveKit, por lo que los agentes pueden hacer o recibir llamadas telefónicas
- Sistema integrado de balanceo de carga para administrar pools de agentes con despacho basado en edge, monitoreo y failover transparente
- La ejecución de agentes funciona igual en localhost, entornos self-hosted y LiveKit Cloud
1 comentarios
LiveKit - plataforma open source de comunicación en tiempo real
Ya había compartido LiveKit una vez en 2021, y parece que al expandirse con la función Agents también terminó usándose en ChatGPT.
Originalmente es un producto para funciones de reuniones de audio/video en tiempo real para entre 10 y 1000 personas.
En ese momento recibió bastante atención porque podía convertirse en una alternativa open source a Agora, que usaba ClubHouse.
Y revisando un poco, resulta que Agora también está ofreciendo exactamente la misma función con el nombre de Conversational AI SDK.
https://www.agora.io/en/products/agora-openai-conversational-ai-sdk/