Tecnología de Erasure Coding para sistemas distribuidos

[GN⁺]

Comentarios de Hacker News

• Sorprende que no se hayan mencionado los rateless fountain codes

  • El Luby Transform Code es interesante
  • Los LT codes se usan en la codificación RaptorQ de RFC6330

• Existe un algoritmo de network coding propuesto en el pasado

  • Permite recibir archivos más rápido a través de múltiples rutas

• El erasure coding es una tecnología antigua

  • Hay que recordar los archivos PAR2 de Usenet

• Si te interesa el erasure coding, hay que considerar casos multidimensionales

  • Hay que pensar la codificación a través de distintos dominios de falla, no solo spindles, sino también racks, salas, centros de datos y regiones

• Me pregunto si alguien ha usado Wirehair en un proyecto

  • Wirehair tiene un rendimiento de algoritmo y una API ideales
  • Pero Wirehair es una implementación de una idea, no una especificación
  • Aunque es estable, preocupa si podrá convertirse en una especificación confiable

• Es la tecnología central del pool de Erasure Code de Ceph

  • Los parámetros de codificación (k, m) no pueden actualizarse después
  • Por esa falta de flexibilidad, las réplicas siguen siendo la opción principal para almacenamiento de datos tolerante a fallas de alta disponibilidad

• Me pregunto si un producto generado durante un evento M of N se codifica de forma distinta a cuando los N completos están disponibles

  • Puede que se necesite un bit flag que indique "hay que recodificar cuando se restaure N"

• Hace pensar en el Information Dispersal Algorithm de Rabin

  • Se proporciona un enlace al artículo relacionado

• Me pregunto si solo es práctico para trabajos de solo lectura o con mucha lectura

• Es una de las estrategias de replicación que Ceph usa para almacenamiento distribuido de blobs