Lecciones aprendidas al operar Airflow a gran escala

Shopify lo utiliza para extracción de datos, entrenamiento de modelos de machine learning, mantenimiento de tablas Apache Iceberg, modelado de datos basado en DBT, entre otros.

1. El acceso a archivos puede ser lento al usar almacenamiento en la nube
   → Mejora de rendimiento con GCS + NFS
2. Cuando el volumen de metadatos crece, las operaciones de Airflow pueden volverse lentas
   → Uso de políticas de retención y configuración en 28 días
3. Puede ser difícil vincular los DAG con usuarios y equipos
   → Uso de un repositorio centralizado de metadatos
4. Los autores de DAG tienen muchos permisos
   → Uso de políticas de DAG
5. Es difícil garantizar un balanceo de carga consistente
   → Crear calendarios estandarizados para reducir los picos de tráfico
6. Hay varios puntos de contención de recursos
   → Uso de Pools, Priority Weight, Celerey Queue e Isolated Workers