Flat Data - Usar GitHub como herramienta ETL y repositorio de datos

• Un proyecto que ayuda a desarrollar fácilmente apps ligeras basadas en datos usando la técnica de Git Scraping

→ Construir y usar Data ETL sin infraestructura propia

• 3 componentes

→ Flat Action: una GitHub Action para obtener y transformar datos

→ Flat Editor: una GUI para editar el flujo de trabajo de Flat Data (extensión de VS Code)

→ Flat Viewer: un sitio web para ver, filtrar y compartir Flatfiles guardados en un repo

Cómo usar Flat Data

1. Obtener datos con Flat Action mediante consultas HTTP o SQL (MySQL, Postgres, SQLite, MongoDB, etc.)

→ Traer cotizaciones de acciones/cripto, Excel a CSV, dashboards de COVID, etc., y guardarlos en un repo de GitHub, entre otros

2. Transformar datos

→ Hacer postprocess con GitHub Action y guardarlos como un archivo nuevo

3. Visualizar datos

→ Ofrece una herramienta GUI que muestra los datos con solo agregar flat a cualquier dirección de GitHub: https://flatgithub.com/the-pudding/data

Por qué se creó Flat Data

• Para usar datos normalmente se necesitan sistemas distribuidos e infraestructuras grandes

• Para ayudar a que los desarrolladores puedan acceder fácilmente a estos datos haciendo el trabajo de adquisición/limpieza con GitHub Actions

• Guardar los datos en un repo sin necesidad de conocer dependencias complejas, librerías, package managers o infraestructura

• Este proyecto es un experimento del Developer Experience Team de GitHub OCTO (Office of the CTO), y no es un producto oficial de GitHub. Licencia MIT

[xguru]

Parece que GitHub adoptó la técnica de Git Scraping creada por Simon Willison y la convirtió en un producto excelente.

• Git Scraping - Registrar cambios web en un repositorio Git https://es.news.hada.io/topic?id=3008

Simon también es conocido por el consejo de guardar TIL (Today I Learned) en el índice de GitHub.

• Generar automáticamente el índice README de TIL con GitHub Actions https://es.news.hada.io/topic?id=1936