Amazon S3 ahora admite agregar datos a objetos

 (aws.amazon.com)
5 puntos por GN⁺ 2024-11-24 | 1 comentarios | Compartir por WhatsApp
  • Amazon S3 Express One Zone ahora admite una nueva función para agregar datos a objetos
  • Ahora las aplicaciones pueden agregar datos a objetos existentes, lo que resulta útil para aplicaciones de procesamiento de registros o de transmisión de medios
  • Antes había que combinar los datos en el almacenamiento local y luego copiar el objeto final a S3, pero ahora se pueden agregar datos directamente dentro de S3 Express One Zone y leer el objeto de inmediato
  • Se pueden agregar datos en todas las regiones de AWS donde esté disponible la clase de almacenamiento S3 Express One Zone
  • Puedes comenzar usando AWS SDK, AWS CLI o Mountpoint for Amazon S3 (versión 1.12.0 o posterior)

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-11-24
Comentarios en Hacker News

  • La clase de bucket "S3 Express One Zone" es más cara y tiene menor disponibilidad](https://simonwillison.net/2024/Nov/22/amazon-s3-append-data/)

    • Cuesta 16c/GB/mes, frente a 2.3c del nivel estándar de S3
    • Solo existe en una única zona de disponibilidad

  • Cada vez que se agregan datos a un objeto, se crea una parte del objeto, con un máximo de 10,000 partes

    • Esto no parece adecuado como solución para escribir archivos de log directamente en S3

  • GCS no admite append directo, pero se puede rodear la limitación componiendo un objeto existente como uno nuevo

    • Si agregas el objeto B al objeto A y lo nombras A, funciona igual que añadir B a A

  • Parece extraño seguir considerando S3 después del lanzamiento de R2

    • Hay muchos casos de migración a R2 que ahorran miles o incluso cientos de miles de dólares

  • Hace falta corregir el título: Amazon S3 Express One Zone admite una función para agregar datos a objetos

  • Puede no ser útil en muchos casos

    • Para que funcione, hay que especificar el offset de escritura, lo que puede complicarse si hay varios escritores
    • Hay que consultar el tamaño cada vez y competir usando el checksum actual del objeto

  • Tengo curiosidad por los distintos casos de uso de esta función

    • Creo que Firehose/Kinesis y similares ya ofrecen append con menos riesgos

  • Sorprende que hasta ahora no estuviera soportado

    • Me pregunto en qué se diferencia de Azure Blob Append
    • He usado Azure Storage Append Blob para guardar logs de trabajos de larga duración con flush periódico

  • Esta es una función específica de S3 "Express One Zone"

  • Me pregunto cuál será el impacto para todas las APIs similares a S3