Moose - Un framework open source para crear backends analíticos con ClickHouse

• Resuelve la complejidad y la lentitud del desarrollo tradicional de backends de datos, permitiendo desarrollar rápidamente backends de análisis de datos con TypeScript o Python
• Incluye una stack integrada por defecto (ClickHouse, Redpanda, Temporal) y planea expandirse a varias plataformas cloud en el futuro
• Simplifica el desarrollo local, con soporte para pruebas rápidas y hot reload inmediato
• Es adecuado para crear distintas aplicaciones intensivas en datos y puede usarse para análisis en tiempo real, migración de datos, event streaming y más

Moose

• Moose es un framework que permite construir backends analíticos de datos usando solo código TypeScript o Python
• Existe para resolver los problemas de lentitud y complejidad de las herramientas tradicionales para desarrollar backends de datos

• Problemas de crear un backend analítico con las herramientas actuales

  • Problema de herramientas dispersas
    Se termina invirtiendo tiempo en integrar numerosos servicios como Kafka, ClickHouse, Postgres, dbt y Airflow
  • Problema de desalineación de esquemas
    Los modelos de código, los esquemas de base de datos, la validación de API y los formatos de mensajes terminan desincronizándose con el tiempo
  • Dificultades en el flujo de desarrollo
    La falta de pruebas locales, los ciclos largos de despliegue y los frecuentes cambios de contexto reducen la productividad de desarrollo
  • Procesamiento solo con SQL
    Existe la incomodidad de tener que usar únicamente SQL en lugar de lenguajes de programación familiares

• Problemas al construirlo directamente

  • Incluso para agregar un campo simple, hay que hacer manualmente todo lo siguiente
    • Modificar el modelo de código TypeScript/Python
    • Modificar el esquema de la base de datos
    • Actualizar el tópico de Kafka
    • Actualizar la validación en tiempo de ejecución
    • Actualizar las transformaciones y consultas
  • Cada vez se requiere mucho tiempo y esfuerzo para probar con seguridad todos los cambios

Cómo lo resuelve Moose

• Lo que ofrece Moose

  • El propio código TypeScript o Python funciona como la única fuente de verdad para la lógica de la aplicación de datos y la infraestructura
  • A partir del código garantiza lo siguiente
    • Seguridad de tipos y validación completas
    • Eliminación del código boilerplate
    • Detección temprana de errores durante el desarrollo

• Elimina el cambio de contexto

  • No hace falta preocuparse por convenciones de nombres de tablas, sincronización entre modelos y campos de tablas, o si un campo debe ser Nullable

• Desarrollo local

  • Ejecución con un clic
    Con un solo comando es posible ejecutar toda la infraestructura de datos en local
  • Cero configuración
    Todos los componentes ya vienen preconfigurados, así que no se requiere configuración adicional
  • La misma estructura que en producción
    Usa la misma stack tecnológica que el entorno real de despliegue
  • Retroalimentación en tiempo real
    Los cambios se reflejan de inmediato en toda la stack

• Flujo de desarrollo habitual

  • Al agregar o modificar un modelo, basta con guardar para que se aplique hot reload inmediatamente en la infraestructura local
  • Si se agrega un nuevo campo, se aplica de inmediato a la API, los streams y la base de datos
  • Las pruebas del pipeline también pueden verificarse al instante enviando datos de ejemplo a la API local de ingestión

• Flujo de trabajo con hot reloading

  • Después de modificar un modelo, basta con guardar para que los cambios se apliquen automáticamente
  • Los campos agregados se aplican automáticamente a la validación de la API, el esquema de base de datos y los streams

• Modularidad

  • Se puede configurar seleccionando solo los componentes necesarios

Stack incluida por defecto en Moose

• ClickHouse
  Base de datos OLAP activada por defecto
• Redpanda
  Plataforma de event streaming compatible con Kafka (se puede desactivar)
• Temporal
  Herramienta de orquestación de workflows (se puede desactivar)

• Expansiones planeadas

  • Snowflake, Databricks, BigQuery
    Planea soportar data warehouses en la nube
  • Kafka, Kinesis, Pulsar
    Planea soportar diversas plataformas de event streaming compatibles con Kafka

Qué se puede construir con Moose

• Analítica en tiempo real para usuarios
  Integración de leaderboards, gráficos y métricas en apps web o móviles
• BI y data warehouse
  Recolectar diversas fuentes de datos para construir una base de datos analítica y generar reportes
• Migración de datos
  Mover datos desde sistemas legacy hacia un backend de datos moderno
• Event streaming
  Procesamiento en tiempo real de eventos en plataformas de streaming como Kafka o Redpanda
• Tareas ETL
  Recolección periódica de datos desde varias fuentes y carga en un entorno analítico