Todo lo que un ingeniero de software debe saber sobre los logs | El contexto en que nació Apache Kafka

Artículo que traduce e interpreta el texto que Jay Kreps, desarrollador de Apache Kafka en LinkedIn, escribió en 2013

• Log: el almacenamiento abstraído más simple; solo permite append-only y es una estructura de datos donde todos los eventos están ordenados cronológicamente
  • Al implementar replicación en sistemas tradicionales de bases de datos, el log cumple un papel central
  • Los sistemas distribuidos basados en máquinas de replicación de estado también son, en esencia, sistemas que replican logs
• Los logs y las tablas tienen una equivalencia.
  • Si tomamos como ejemplo un banco, el log es el registro de depósitos y retiros, y la tabla representa el saldo de la cuenta. Se puede construir una tabla a partir de un log y, a la vez, extraer un log desde una tabla
• Muchas empresas han sido proactivas en adoptar big data, pero han prestado poca atención a construir pipelines de datos confiables
  • La forma de conectar datos de extremo a extremo se volvió cada vez más difícil por fallas, mantenimiento, fragmentación de datos y la evolución de los datos de eventos.
  • La idea de Apache Kafka surgió a partir de la motivación de abstraer la estructura de datos llamada log como la capa principal de red
  • Jay Kreps explicó en Quora que en el pasado las colas de mensajes eran un área muy minoritaria en el mundo de la infraestructura, y que pensó que los datos en tiempo real debían abstraerse como flujos de eventos; además, señaló que un commit log persistente era la estructura de datos adecuada