CDC File Transfer - herramienta de sincronización y streaming de archivos de Windows a Linux

• Funciona de forma rápida y eficiente usando FastCDC (Content Defined Chunking)
• Herramienta que se usaba en Google Stadia
  • Normalmente, los desarrolladores de juegos desarrollan en Windows y deben ejecutar en una máquina Linux
  • Para hacer copias rápidas en ese contexto, crearon las herramientas open source cdc_rsync y cdc_stream
• CDC RSync
  • Es similar al rsync tradicional, pero sincroniza aproximadamente 3 veces más rápido
  • Su algoritmo de diff remoto basado en CDC puede ser hasta unas 30 veces más rápido
  • Si la marca de tiempo y el tamaño del archivo son iguales, lo omite
  • Usa compresión rápida para toda la transferencia de datos
  • Si el archivo cambió, verifica qué partes cambiaron y transfiere solo esas partes
• CDC Stream
  • Conceptualmente es similar a sshfs, pero está optimizado para la velocidad de lectura, con mejoras de entre 2 y 5 veces
  • Almacena en caché en el dispositivo Linux los datos transmitidos por streaming
  • Si un archivo cambia en Windows y luego se vuelve a leer desde Linux, solo se hace streaming de las partes modificadas y el resto se lee desde la caché
  • Los metadatos de directorios funcionan de una forma amigable para el streaming, por lo que las operaciones stat son muy rápidas

[popopo]

Suelo usar mucho rsync para gestionar archivos de registro, así que me interesa que diga que es más rápido.