- Framework unificado para recolectar datos desde diversas fuentes, transformar datos con SQL y Python, y agregar verificaciones de calidad de datos para construir un flujo de extremo a extremo
- Similar a implementar dbt + Airbyte + Great Expectations en una sola herramienta
- Compuesto por una CLI escrita en Go y una extensión para VS Code que se integra con ella. Permite crear, administrar y desplegar canalizaciones dentro de VS Code
- Recolección de datos con ingestr
- ingestr es una CLI de código abierto independiente escrita en Python que facilita la copia entre fuentes de datos
- Soporta: AWS Athena, Databricks, DuckDB, Google BigQuery, Microsoft SQL Server, Postgres, Redshift, Snowflake, Synapse, Pager
- Transformación de datos usando SQL y Python (similar a dbt)
- Gestión del entorno de Python con
uv. Se ejecuta de forma aislada
- Verificaciones de calidad de datos integradas
- Soporte para plantillas Jinja
- Soporte de dry-run para validar la canalización de principio a fin
- Puede ejecutarse en máquina local, instancias EC2 y GitHub Actions
- Inyección de secretos mediante variables de entorno
- Soporte para diversas estrategias de materialización de tablas/vistas. Tablas incrementales
Aún no hay comentarios.