DataJourney - Kit de herramientas de gestión de datos de código abierto con enfoque de diseño primero

• Ofrece un enfoque estructurado que aprovecha las fortalezas de la tecnología de código abierto para que las organizaciones puedan gestionar y aprovechar sus datos de forma efectiva.
• Con énfasis en la escalabilidad y la reproducibilidad, guía los pasos esenciales necesarios para construir flujos de trabajo con datos.
• Brinda soporte sistemático que incluye la definición de objetivos, la selección de herramientas, las pruebas del flujo de trabajo y la personalización.
• Con un diseño flexible y modular, puede ajustarse a las necesidades del usuario.

Filosofía de diseño: estructura por capas

1. PO (base): funciona como un home estático, al estilo de GitHub
2. P1 (herramientas): varias herramientas impulsadas por código abierto
3. P2 (mantenimiento y monitoreo): gestión del entorno y la automatización (Pixi y GHA)
4. P3 (abstracción): capa de CLI/administrador de tareas para la interacción del usuario (Pixi)

Flujos de trabajo actualmente compatibles

• Implementación de los principios de diseño del marco de empaquetado de Python
• Configuración de GitHub Actions
• Configuración de Vale.sh a nivel de PR
• Configuración de linting/formateo del código con pre-commit hooks
• Gestión del entorno usando Pixi
• Lectura de fuentes de datos en línea con Intake
• Construcción de pipelines de muestra usando Dagster
• Construcción de dashboards con Holoviews + Panel
• Análisis exploratorio de datos (EDA) usando Mito
• Construcción de UI web basada en Flask
• Extensión y reestructuración de la UI web con FastHTML
• Realización de análisis de datos utilizando modelos de IA de GitHub (GitHub AI models Beta)