Flat Data - Usar GitHub como herramienta ETL y repositorio de datos

<p>- Un proyecto que ayuda a desarrollar fácilmente apps ligeras basadas en datos usando la técnica de Git Scraping<br /> → Construir y usar Data ETL sin infraestructura propia<br /> - 3 componentes<br /> → Flat Action: una GitHub Action para obtener y transformar datos<br /> → Flat Editor: una GUI para editar el flujo de trabajo de Flat Data (extensión de VS Code)<br /> → Flat Viewer: un sitio web para ver, filtrar y compartir Flatfiles guardados en un repo <br /> <br /> Cómo usar Flat Data<br /> 1. Obtener datos con Flat Action mediante consultas HTTP o SQL (MySQL, Postgres, SQLite, MongoDB, etc.) <br /> → Traer cotizaciones de acciones/cripto, Excel a CSV, dashboards de COVID, etc., y guardarlos en un repo de GitHub, entre otros<br /> 2. Transformar datos <br /> → Hacer postprocess con GitHub Action y guardarlos como un archivo nuevo <br /> 3. Visualizar datos <br /> → Ofrece una herramienta GUI que muestra los datos con solo agregar `flat` a cualquier dirección de GitHub: https://flatgithub.com/the-pudding/data<br /> <br /> Por qué se creó Flat Data<br /> - Para usar datos normalmente se necesitan sistemas distribuidos e infraestructuras grandes <br /> - Para ayudar a que los desarrolladores puedan acceder fácilmente a estos datos haciendo el trabajo de adquisición/limpieza con GitHub Actions <br /> - Guardar los datos en un repo sin necesidad de conocer dependencias complejas, librerías, package managers o infraestructura<br /> <br /> * Este proyecto es un experimento del Developer Experience Team de GitHub OCTO (Office of the CTO), y no es un producto oficial de GitHub. Licencia MIT </p>

[xguru]

<p>Parece que GitHub adoptó la técnica de Git Scraping creada por Simon Willison y la convirtió en un producto excelente.<br /> - Git Scraping - Registrar cambios web en un repositorio Git https://es.news.hada.io/topic?id=3008<br /> <br /> Simon también es conocido por el consejo de guardar TIL (Today I Learned) en el índice de GitHub.<br /> - Generar automáticamente el índice README de TIL con GitHub Actions https://es.news.hada.io/topic?id=1936</p&gt;