Mejoras de arquitectura para una canalización de datos en tiempo real sin lag

Este es un artículo sobre la relación entre los Kafka consumer groups y la cantidad de particiones, las dificultades de auto scaling que esto provoca y la introducción de una nueva arquitectura para resolverlo.

• Introducción al servicio Airbridge y a la carga de trabajo

• Problemas de la arquitectura existente

• Propuesta de una nueva arquitectura

  • Opción 1: modelo de driver y executor como Spark Streaming

  • Opción 2: modelo desacoplado entre Kafka consumer y application server

• Razones para elegir la opción 2

• Arquitectura del modelo desacoplado entre Kafka consumer y application server

• Consideraciones en la nueva arquitectura

• Dificultades encontradas

• Resultados después de aplicar la nueva arquitectura

• Lo que aún queda por intentar en el futuro

[lamanus]

Guau... yo también uso ECS, pero no había pensado en esto a este nivel; está muy bueno.

[lamanus]

Parece que, al usar envoy, la solicitud para reducir el tráfico entre zonas de disponibilidad estaba en estado pendiente.

https://github.com/aws/aws-app-mesh-roadmap/issues/94