- Un orquestador de workflows de propósito general, escalable horizontalmente, que ofrece un servicio totalmente administrado de workflow as a service (WAAS)
- Administra workflows a gran escala, como pipelines de datos y pipelines de entrenamiento de modelos de machine learning
- Supervisa todo el ciclo de vida del workflow, incluidos reintentos, colas y distribución de tareas
- Soporta paquetes de lógica de negocio en varios formatos (imágenes Docker, notebooks, scripts de bash, SQL, Python, etc.)
- Soporta no solo DAG (Directed Acyclic Graph), sino también workflows no acíclicos y cíclicos
- Incluye varios patrones reutilizables, como bucles
foreach, subworkflows y ramificación condicional
- Definiciones de orquestación flexibles y potentes en formato JSON
- Mantiene consistencia en atributos clave (autor, información del propietario, configuración de ejecución)
- Crea una nueva versión con cada cambio en el workflow, lo que permite rastrear y revertir fácilmente
- Miles de usuarios en Netflix, incluidos científicos de datos, ingenieros de datos, ingenieros de machine learning, ingenieros de software, creadores de contenido y analistas de negocio, usan este servicio para diversos casos de uso
- La existencia del servicio ya se había dado a conocer hace 2 años, y ahora fue liberado como open source
- Soporta diversos casos de uso de workflows, como pipelines ETL, workflows de ML y pipelines de pruebas A/B
- Gracias a su escalabilidad horizontal, puede administrar una gran cantidad de workflows y muchas tareas dentro de cada workflow individual
- Programa diariamente cientos de miles de workflows y millones de tareas, y opera con SLO estrictos incluso en situaciones de picos de tráfico
- Migró con éxito millones de workflows existentes dentro de Netflix a Maestro sin interrupciones
- Durante el último año, la cantidad de tareas ejecutadas aumentó en 87.5%
- Ejecuta en promedio cientos de miles de tareas al día, y en los días de mayor carga completa cerca de 2 millones de tareas
1 comentarios
Parece que la IA resumió el texto de presentación que escribieron al publicarlo como open source: Maestro: el orquestador de flujos de trabajo de Netflix
Pero hay demasiadas cosas que se llaman Maestro jaja
Maestro - un kernel basado en Rust compatible con Linux
Maestro - framework de testing automatizado de UI para apps móviles