- Diseñado como un DataDog + PostHog para apps con LLM, para ser rápido, estable y escalable
- Permite hacer Trace, Evaluate, Label y Analyze de datos de LLM
- Stack basado en Rust compuesto por RabbitMQ (cola de mensajes) + Postgres (almacenamiento) + Clickhouse (análisis) + Qdrant (búsqueda semántica)
Qué diferencia a Laminar
- Se enfoca no solo en las llamadas al LLM, sino en procesar el rastreo completo de ejecución (execution trace)
- Instrumentación basada en OpenTelemetry: con solo 2 líneas de código + decoradores, realiza automáticamente llamadas a LLM/vector DB y rastrea funciones
- Construyó un recolector en Rust para spans de OpenTelemetry (Otel) usando reglas semánticas de GenAI
- Análisis basado en eventos semánticos
- Laminar aloja la cola de trabajos en segundo plano de los pipelines de LLM, y la salida del pipeline se convierte en métricas
- Puede rastrear “métricas semánticas” (como lo que realmente dice un agente de IA) y vincularlas con el lugar donde ocurren dentro del rastreo
- Separa la lógica principal de la app del procesamiento de eventos del LLM
Pipeline Builder
- Usa una UI de grafos que representa los LLM y las funciones utilitarias como nodos, y el flujo de datos como aristas
- Construyó un motor de ejecución de tareas personalizado que soporta ejecución de ramas en paralelo, ciclos y ramas
- Los pipelines se pueden invocar directamente como endpoints de API
- Laminar rastrea los pipelines directamente, eliminando la sobrecarga de enviar grandes volúmenes de salida por la red
Función de búsqueda de rastreos
- Indexa cada span en una vector DB y realiza búsqueda híbrida en tiempo de consulta
- Esta función todavía está en beta, pero será una parte importante de la plataforma en el futuro
Función de evaluación
- Adopta el enfoque de Braintrust y Weights & Biases de “ejecutar todo localmente y enviar los resultados al servidor”
- Con un SDK simple y un buen dashboard, se puede rastrear todo
- La función de evaluación aún está en una etapa temprana, pero la están impulsando activamente
Objetivo de Laminar
- Convertirse en la “Supabase para LLMOps”, una plataforma integral open source estándar para todo lo relacionado con LLM/GenAI
Aún no hay comentarios.