WarpStream: ¡Kafka ha muerto, larga vida a Kafka!

• WarpStream es una plataforma de streaming de datos compatible con el protocolo de Kafka, construida directamente sobre S3
• Se ofrece como un único binario stateless en Go, por lo que no se necesitan discos locales para administrar, brokers que reequilibrar ni ZooKeeper que operar
• Como intercambia datos directamente con S3, es entre 5 y 10 veces más barato que Kafka (e incluso podría representar más del 80% del costo de infraestructura de un Kafka a gran escala)
• Kafka es un software excelente creado en 2011 para centros de datos, pero no es adecuado para cargas de trabajo modernas
  • Economía: por diseño, la estrategia de replicación de Kafka genera enormes costos de ancho de banda entre AZ
  • Sobrecarga operativa: operar un clúster de Kafka requiere un equipo aparte y herramientas personalizadas complejas
• WarpStream se ejecuta directamente sobre el almacenamiento de objetos de varias nubes (AWS S3, GCP GCS, Azure Blob Storage)
• Actualmente está en vista previa para desarrolladores

[xguru]

Mira también la versión resumida por GN⁺. https://es.news.hada.io/topic?id=10254

[pseudojo]

Una herramienta que reduce capas, pero que hay que manejar con muchísimo cuidado. Este tipo de herramientas siempre deja abierta la posibilidad de convertirse en una bomba de costos. (* se exceptúan los casos en que se opere en un centro de datos propio con MinIO u otros similares)

[ehlegeth]

Parece un intento interesante de aprovechar la dirección de almacenamiento desagregado.
Me da curiosidad cómo manejaron temas como el caché.

[xguru]

Aunque el título del post del blog es un poco clickbait, parece un intento interesante como alternativa ligera a Kafka.