UnisonDB - base de datos en tiempo real basada en logs

• Motor de sincronización de alto rendimiento que funciona como un bus de mensajes para IA y computación en el edge
• Base de datos en tiempo real log-native: diseñada para resolver los problemas de consistencia de datos y capacidad de respuesta en tiempo real en entornos de IA en el edge y computación en el edge
• Combina un motor de almacenamiento B+Tree con replicación por streaming basada en WAL (Write-Ahead Logging) para garantizar replicación en menos de un segundo y consistencia fuerte entre cientos de nodos
• Arquitectura multimodelo con soporte para almacenamiento Key-Value, Wide-Column y Large Object (LOB)
• Notificaciones en tiempo real basadas en ZeroMQ para detección de cambios en milisegundos
• Diseño Edge-First optimizado para arquitectura local-first
• Soporte de multitenencia mediante aislamiento por namespaces
• Diferencias frente a sistemas existentes:
  • LMDB/BoltDB son almacenes locales rápidos, pero no permiten replicación
  • etcd/Consul ofrecen alta consistencia, pero con escalabilidad limitada
  • Kafka/NATS son fuertes en streaming, pero no permiten consultas
  • UnisonDB cierra esa brecha y ofrece una estructura unificada centrada en logs que integra almacenamiento y streaming
• Arquitectura central de 3 capas
  • 1. WALFS (Write-Ahead Log File System) – sistema de archivos de logs basado en mmap, optimizado para lectura/escritura a gran escala
    • Estructura de logs por segmentos, con escritura secuencial y lectura aleatoria optimizadas
    • Soporte para lectura zero-copy, búsqueda basada en offsets y tailing en tiempo real
    • Estructura de lectores en paralelo para que varios nodos de réplica puedan leer al mismo tiempo
  • 2. Engine – almacenamiento híbrido que combina WAL, MemTable y B-Tree
    • Basado en WALFS, combina MemTable (skip list) con índice B-Tree
    • Usa FlatBuffers para permitir transmisión durante la replicación sin deserialización
    • Soporta transacciones atómicas multiclave, garantizando consistencia por unidad de commit
    • Permite procesar y hacer streaming de LOB (objetos grandes) por chunks a nivel transaccional
    • El modelo Wide-Column permite actualizaciones parciales de columnas y expansión dinámica del esquema
  • 3. Replication – replicación por streaming basada en WAL, con seguimiento de offsets
    • Replicación por streaming basada en WAL, donde los followers rastrean offsets para sincronizarse en tiempo real
    • Usa registros de log en FlatBuffer para mantener una estructura de datos autodescriptiva
    • Implementa streaming eficiente mediante transferencia por lotes
    • Rendimiento de lectura aproximadamente 2 veces más rápido que BoltDB, con diseño centrado en la consistencia
• Cómo lo resuelve UnisonDB
  • La combinación de append-only log + B-Tree ofrece escritura rápida y lectura eficiente por rangos
  • Soporta replicación multiclave basada en transacciones y sincronización con reconocimiento de columnas
  • Realiza replicación integrada con streaming WAL por gRPC + snapshots de B-Tree
  • Su arquitectura sin compaction asegura latencia predecible y alto throughput
• Licencia: Apache License 2.0
• Lenguaje de desarrollo: Go
• Casos de uso adecuados: IA en el edge, IoT distribuido, procesamiento de datos local-first y sistemas de analítica en tiempo real