5 tendencias de datos en 2021
(towardsdatascience.com)-
Integración de data lakes y warehouses: Data Lakehouse
-
El "modern data stack" se vuelve mainstream: integración de las principales herramientas basadas en la nube
→ Data Ingestion: Fivetran, Stitch, Hevodata
→ Data Warehouse: Snowflake, BigQuery
→ Data Lake: Amazon S3
→ Data Lake Processing: Presto, Dremio, Databricks, Starburst
→ Data Transformation: dbt, Matillion
→ Metadata Management: Atlan
→ BI Tools: Looker
- Metadata 3.0: el renacimiento de la gestión de metadatos
→ Surgirán herramientas para manejar data discovery, data catalog, data lineage y observability, entre otros
- Aparición de nuevos roles
→ Data Platform Leader: líder que ayuda a aplicar la plataforma de datos al trabajo dentro de la organización
→ Analytics Engineer: con la aparición de herramientas como dbt, se vuelve posible un ingeniero de analítica que no solo analiza, sino que también manipula el data stack
- Auge de los frameworks de calidad de datos
→ Data profiling: revisar los datos, verificar la calidad e identificar cómo se usarán en el futuro
→ Definición de reglas de calidad de datos centradas en el negocio
→ Introducción de pruebas de calidad en los pipelines de datos: Amazon Deequ, Great Expectations
2 comentarios
Para el punto 2, sobre el "stack de datos moderno", consulten la serie "Entendiendo la infraestructura de datos moderna" en el YouTube de GeekNews ;)
https://youtube.com/playlist/?list=PLL-_zEJctPoJ92HmbGxFv1Pv_ugsggGD2
Creo que los puntos 3 y 5 también se tratarán en la parte final de la serie.
Escucho con mucha atención la serie "Entendiendo la infraestructura de datos moderna" cada vez que publican una entrega.
Como termino usando solo lo de todos los días, me cuesta encontrarme con nuevas tendencias, así que gracias por explicarlas tan bien.