Verifiquemos si Airflow realmente es la mejor opción para mi caso de uso
(news.ycombinator.com)- Hay demasiadas alternativas a Airflow, así que conviene comprobar bien si Airflow es realmente la mejor solución para mi caso de uso (o incluso si sigue siendo una solución válida)
- Alternativas mencionadas en el artículo
- Prefect
- Dagster
- Cadence
- Temporal
2 comentarios
También existen cwl, wdl, nextflow y snakemake, entre otros.
El problema es que, hasta no probarlo directamente a cierta escala, no es fácil predecir si Airflow realmente te queda bien.
Parece que, para lo conocido que es, sí tiene algunas trampas que cuesta detectar de antemano.
La falta de triggers de DAGRun basados en eventos, el desarrollo local que no es tan sencillo (aunque desde la 2.2 apareció
airflow standaloney eso lo hizo un poco más llevadero), la configuración de DAGs que no es dinámica, y cosas como que, si no entiendes bien cómo funciona internamente, es fácil terminar usando malVariableen vez de usar plantillas de jinja, etc...En el próximo proyecto me gustaría probar Dagster.