Ploomber - framework open source para crear rápidamente pipelines de datos

• Desarrollo usando Jupyter/VSCode/PyCharm, etc.

• Despliegue en servidores de producción sin cambios de código: Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm, etc.

• Permite refactorizar notebooks existentes en pipelines modulares

Funciones principales

• Desarrollo rápido usando YAML

• Ofrece flexibilidad con una potente API de Python

• Hace caché automáticamente de los resultados previos del pipeline y vuelve a calcular solo lo que cambió desde la ejecución anterior

• Despliegue distribuido mediante shell scripts o Kubernetes, Airfllow, AWS Batch, etc.

[japansea]

No podrá competir con Kafka, ¿verdad?