Garage - almacenamiento de objetos distribuido de código abierto compatible con S3

• Servicio de almacenamiento de objetos distribuido compatible con Amazon S3, diseñado para autoalojamiento de pequeña y mediana escala
• Diseñado para clústeres de almacenamiento compuestos por nodos que se ejecutan en distintas ubicaciones físicas
  • Soporta múltiples sitios y al mismo tiempo es liviano
  • Alta resiliencia: resistente a fallas de red, latencia de red, fallas de disco y errores del administrador del sistema
• Proporciona un binario sin dependencias que funciona en todas las distribuciones de Linux
• Despliegue rápido, operación segura: amigable para administradores de sistemas
• Funciones compatibles
  • Compatible con la API de S3 (no completamente)
  • Geo-distribution: almacena copias de los datos en varias ubicaciones para responder ante fallas
  • Despliegue sencillo. Sin dependencias externas
  • Topología flexible: se pueden agregar/eliminar nodos fácilmente y se reequilibran automáticamente
  • Soporta múltiples modos de replicación: 1,2,3,5,7,,,
  • Deduplicación y compresión opcional (Zstd)
  • Sin RAFT, que ralentiza la velocidad
  • Servidor web para hosting de sitios web estáticos
  • Los buckets pueden tener varios alias
  • API de administración del clúster
  • Proporciona métricas basadas en el formato de datos de Prometheus
  • Integración con Kubernetes y Nomad
  • Soporte para cambios de IP
  • API K2V (experimental): API de almacenamiento Key/Value

[sftblw]

La página principal es https://garagehq.deuxfleurs.fr/.

[xguru]

Opiniones de Hacker News

• Después de usar Minio durante 2 años, se cambiaron a Garage

  • Minio tiene dificultades para manejar archivos pequeños
  • Los SSD solucionan el problema hasta cierto punto, pero los HDD no
  • Incluso en modo síncrono, Minio sufre degradación de rendimiento
  • Después de migrar a Garage, experimentaron una mejora de rendimiento de 20 a 30 veces

• Se necesita un almacenamiento de blobs con direccionamiento por contenido

  • Si los blobs inmutables se almacenan por hash, se puede reducir la complejidad y la sobrecarga de rendimiento
  • Combinado con borrado suave, todas las operaciones se vuelven idempotentes y los blobs se pueden cachear fácilmente
  • Existen soluciones a gran escala como IPFS, pero se necesita un reemplazo de S3 para despliegues locales

• Han usado Garage durante mucho tiempo, pero el protocolo AWS sigv4 les resulta incómodo

  • Quieren enviar la API key en el header
  • Quieren poder enviar y recibir archivos sin usar el AWS SDK
  • No les interesan las ventajas de seguridad de AWS sigv4
  • Esperan que se considere otro método de autenticación

• SeaweedFS también es excelente

  • Enlace al GitHub de SeaweedFS

• Valoran mucho el bajo uso de memoria de Garage

  • Necesitan una función para respaldar automáticamente algunos buckets en AWS S3

• Garage admite replicación de almacenamiento en pares

  • Si hay un disco de 10 GB y otro de 1 TB, solo admite un mirroring similar a RAID1
  • La capacidad de almacenamiento queda limitada a 10 GB

• Apache Ozone es una alternativa de almacenamiento de objetos que corre sobre Hadoop

  • Enlace a Apache Ozone

• Se necesita una solución sencilla con compatibilidad S3 en local

  • Tienen curiosidad por saber si hay alguna recomendación útil para trabajo de desarrollo y pruebas