Una pila de infraestructura que permite desarrollar rápido en local y luego ejecutar a gran escala en la nube sin cambiar el código. Crea snapshots del código/datos/dependencias con los que se trabajaba en notebooks y los guarda en S3 o en el sistema de archivos, lo que permite reanudar workflows o reproducir resultados anteriores.
2 comentarios
Para entender por qué es Metaflow, pueden consultar la explicación visual en https://docs.metaflow.org/introduction/why-metaflow.
Netflix y AWS lo desarrollaron en conjunto, así que está integrado de forma profunda.
En local guarda en disco y, al instalar el notebook, se puede desarrollar de forma rápida y cómoda.
Luego, al subirlo a AWS, se pueden usar los servicios de abajo para ejecutarlo a gran escala.
Metadata - RDS o Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Sin importar si usas PyTorch, TensorFlow o Scikit-Learn como librería real de machine learning/data science, todo se puede integrar.