Git Scraping - Registrar cambios web en un repo de Git

• Ir recopilando y registrando en GitHub Actions los datos de sitios web que cambian continuamente, acumulándolos junto con el historial de commits

• Un ejemplo que recopila y registra datos recientes de incendios forestales de California del Departamento de Silvicultura y Protección contra Incendios de California

• Crear y ejecutar un archivo YML sencillo de workflow de GitHub Actions que obtiene datos JSON vía XHR con curl y los separa con jq para registrarlos

• Hacer que solo se haga commit cuando el contenido cambie, y ejecutarlo unas 3 veces por hora con la configuración de GitHub Cron

• El autor ya había publicado anteriormente todos sus registros de aplicaciones similares para información de huracanes y otros servicios públicos

[xguru]

A menudo los sitios web de organismos gubernamentales nacionales no cuentan con APIs ni con datos estructurados.

Parece que este tipo de enfoque también podría ser otro intento interesante.