Apache Kafka elimina la dependencia de ZooKeeper

• Como usa ZooKeeper como almacén externo de metadatos, surgen problemas de duplicación, ineficiencia y límites de escalabilidad

• KIP-500 : "Kafka on Kafka"

→ Gestiona directamente los metadatos dentro de Kafka y los almacena en particiones

→ Trata los metadatos como un log

→ Mejora la velocidad de creación/eliminación de tópicos: a diferencia de ZooKeeper, termina con una operación O(1) de escribir un nuevo tópico en la partición de metadatos

→ Un solo clúster puede soportar más de un millón de particiones

• Hoja de ruta

→ Aún existen herramientas de administración que se comunican directamente con ZooKeeper. Planean ofrecer APIs para reemplazarlas

→ Como se genera una dependencia entre la partición de metadatos y el controlador, en KIP-595 planean implementar un quorum de metadatos autogestionado con el protocolo Raft

→ Modo KIP-500 para ejecutar Kafka sin ZooKeeper: al principio el soporte completo será incompleto, por lo que planean usar ZooKeeper junto con el modo legacy

→ KIP-500 es una "Bridge Release". Es una actualización intermedia preparada para permitir la migración sin downtime hacia una versión posterior a KIP-500, donde el soporte de ZooKeeper desaparecerá por completo. También permitirá volver a actualizar después a una versión realmente sin ZooKeeper

[minji]

Gracias. Lo leí con gusto.