Lanzamiento de Amazon S3 Files: acceso a buckets de S3 como si fueran sistemas de archivos

• Amazon S3 Files es una función que permite montar directamente buckets de S3 como un sistema de archivos de alto rendimiento para acceder a ellos de inmediato desde EC2, ECS, EKS, Lambda y más
• Mantiene la durabilidad y eficiencia de costos del almacenamiento de objetos, mientras ofrece accesibilidad interactiva a archivos y baja latencia (~1 ms)
• Compatible con el protocolo NFS v4.1+, y ofrece operaciones de archivo comunes como crear, modificar y eliminar archivos, además de sincronización automática
• Refuerza la seguridad y el control de acceso con integración con IAM, cifrado TLS 1.3 y control de permisos POSIX, y permite monitoreo con CloudWatch y CloudTrail
• Proporciona una base para eliminar silos de datos y usar S3 como un hub central de datos en cargas de trabajo de IA, ML y procesamiento de datos

---

Introducción a Amazon S3 Files

• Amazon S3 Files es una nueva función que permite a los recursos de cómputo de AWS acceder directamente a buckets de Amazon S3 como si fueran un sistema de archivos de alto rendimiento
• Reduce la brecha entre el almacenamiento de objetos y los sistemas de archivos, manteniendo la durabilidad y eficiencia de costos de S3 mientras ofrece acceso interactivo a archivos
• Varios recursos de cómputo pueden compartir los mismos datos sin duplicarlos, y los cambios se sincronizan automáticamente con el bucket de S3
• Ofrece latencia de ~1 ms y compatibilidad con el protocolo NFS v4.1+
• Permite acceder a datos de S3 en forma nativa de sistema de archivos desde varios servicios de AWS, como EC2, ECS, EKS y Lambda

Funciones principales y funcionamiento

• El sistema de archivos representa los objetos de S3 como una estructura de archivos y directorios, y admite operaciones comunes como crear, leer, modificar y eliminar
• Los archivos de acceso frecuente se almacenan en caché en almacenamiento de alto rendimiento para ofrecer baja latencia, y los archivos grandes de lectura secuencial se transmiten directamente desde S3
• La función de lectura por rango de bytes (byte-range read) transmite solo la parte solicitada, reduciendo la cantidad de datos movidos y los costos
• El prefetching inteligente predice patrones de acceso para optimizar el rendimiento
• Se puede elegir si cargar el archivo completo o solo los metadatos, lo que permite un control granular de la caché

Estructura interna y rendimiento

• Internamente está basado en Amazon Elastic File System (EFS) y ofrece aproximadamente 1 ms de latencia para los datos activos
• Admite acceso concurrente desde varios recursos de cómputo y mantiene el modelo de consistencia NFS close-to-open
• Es adecuado para trabajos compartidos basados en archivos, como colaboración entre agentes de IA, pipelines de entrenamiento de ML y cargas de trabajo de procesamiento de datos

Ejemplo de uso en EC2

• Después de preparar una instancia de EC2 y un bucket de S3 normal, se puede crear un sistema de archivos S3 y configurar un destino de montaje desde la consola o la CLI
• Se puede montar en EC2 con los siguientes comandos
  • sudo mkdir /home/ec2-user/s3files
  • sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
• Después, se pueden manipular directamente los datos de S3 desde el directorio ~/s3files con comandos estándar de archivos
• Cuando se modifica un archivo, los cambios se reflejan automáticamente en el bucket de S3 en pocos minutos, y los cambios en el bucket se reflejan en el sistema de archivos en pocos segundos

Seguridad y administración

• Se integra con AWS Identity and Access Management (IAM) para permitir control de acceso a nivel de sistema de archivos y de objeto
• Los datos se cifran en tránsito con TLS 1.3 y en reposo con SSE-S3 o claves de AWS KMS
• Usa el modelo de permisos POSIX para realizar control de acceso basado en UID/GID
• Permite monitorear rendimiento y actualizaciones con Amazon CloudWatch y registrar eventos de administración con AWS CloudTrail
• En las instancias EC2 se requiere instalar el paquete más reciente amazon-efs-utils (incluido por defecto en AWS AMI)
• También permite montar buckets de S3 como sistema de archivos de la misma manera en ECS, EKS, Fargate y Lambda

Guía para elegir el servicio

• S3 Files es adecuado para cargas de trabajo que necesitan acceder a datos almacenados en S3 mediante una interfaz de sistema de archivos interactiva y compartida
  • Ejemplo: aplicaciones de producción, agentes de IA basados en Python, pipelines de entrenamiento de ML, etc.
• Amazon FSx es más adecuado cuando se necesita migrar entornos NAS on-premises o contar con funciones específicas de sistemas de archivos
  • FSx for Lustre: almacenamiento de alto rendimiento para HPC y clústeres GPU
  • FSx for NetApp ONTAP / OpenZFS / Windows File Server: para requisitos específicos de compatibilidad con sistemas de archivos

Precios y regiones disponibles

• S3 Files está disponible de inmediato en todas las regiones comerciales de AWS
• Los conceptos de cobro son los siguientes
  • volumen de datos almacenados en el sistema de archivos
  • lectura de archivos pequeños y todas las operaciones de escritura
  • solicitudes de S3 generadas durante la sincronización entre el sistema de archivos y el bucket de S3
• Los precios detallados pueden consultarse en la página de precios de Amazon S3

Valor de uso

• S3 Files ayuda a eliminar silos de datos, reducir la complejidad de la sincronización y eliminar el movimiento manual de datos entre objetos y archivos
• Las cargas de trabajo de IA, ML e ingeniería de datos que usan herramientas o scripts basados en sistemas de archivos pueden aprovechar directamente los datos de S3
• Permite almacenar de forma unificada todos los datos de una organización en S3 y usarlo como un hub central accesible directamente desde todos los recursos de cómputo de AWS