Anuncio de presentación de S2

• Presentación de S2

  • S2 es un almacenamiento de datos de streaming para la era de la nube y una solución para fortalecer el núcleo de los sistemas de datos.
  • Busca aplicar la experiencia serverless de los almacenamientos de objetos existentes a los datos en streaming.
  • S2 considera los streams como un componente fundamental del almacenamiento en la nube.

• ¿Qué pasa si priorizamos los streams sobre los objetos?

  • El almacenamiento de objetos es ideal para datos en reposo, mientras que el almacenamiento de streams está diseñado para satisfacer las necesidades de datos en movimiento.
  • S2 procesa los datos por unidad de escritura y, aunque haya múltiples autores escribiendo simultáneamente, procesa todas las escrituras de manera secuencial.
  • A diferencia de S3, S2 permite rastrear los streams en tiempo real.

• Serverless: ¿y el costo?

  • S2 se construye sobre la escalabilidad y durabilidad ilimitadas del almacenamiento de objetos.
  • Los usuarios pueden ajustar el equilibrio entre latencia y costo por cada stream.
  • Proporciona dos clases de almacenamiento, Standard y Express, que están basadas en AWS S3 Standard y S3 Express One Zone, respectivamente.
  • La clase Express ofrece una latencia similar a la de un sistema de streaming en la nube basado en disco.

• Próximos pasos de S2

  • S2 se basa en una infraestructura de nube validada y se ha probado con una base de código en Rust.
  • Actualmente ofrece API gRPC, SDK de Rust y CLI, y también está en desarrollo la API REST.
  • Entre los planes futuros están la compatibilidad con el protocolo Kafka, la disponibilidad multi-región y un objetivo de latencia por debajo de 5 milisegundos.
  • S2 es una solución adecuada para quienes buscan un streaming en la nube sin límites en la cantidad de streams ni en el rendimiento.

[GN⁺]

Comentario de Hacker News

• Llamar al producto S2 y presentarlo como una tecnología que mejora a AWS S3 puede generar problemas de marca con Amazon.
• La API es hermosa y me gustaría usarla en mis proyectos, pero en esta forma no parece que vaya a durar mucho. Si tiene éxito, es muy probable que AWS haga una versión mejor.
  • Habría tenido mucho más sentido si se hubiera lanzado como un producto final para usuarios, como Papertrail.
  • Si pudieran agregar un backend compatible con S3, sería un gran producto independiente de la nube.
• Parece similar a WarpStream, pero en lugar de ofrecer compatibilidad con Kafka, parece que ofrece una API de nivel bajo.
  • Si se adopta a largo plazo, una API de streaming al nivel de S3 sería muy valiosa.
• Me pregunto por qué cobras de $0.05/GB si la transferencia de internet de AWS es de $0.09/GB. Me intriga si puede acceder al precio de transferencia privado de AWS.
• La tecnología está muy bien, pero me desanima que no se publique el código fuente. Si una licencia tipo FSL permitiera un autoalojamiento completo, lo consideraría como servicio comercial.
• Parece que han decidido pasar toda la vida explicando que no es S3.
• Ojalá alguien construyera algo que convierta los 'eventos' del stream en una expresión consultable por marca de tiempo.
  • Un patrón o framework para tener datos consultables en memoria por tiempo probablemente sería mejor que una base de datos específica.
• La propuesta de valor de un modelo de servicio en el que una escritura solo se reconoce cuando ya está almacenada en S3 me resulta confusa.
  • Posiblemente AWS podría implementar un servicio compatible por protocolo, como una reimplementación de Kafka.
• Es una lástima que no haya un Java SDK. La mayoría de las empresas usa Spring o clientes de Kafka, así que incluso dificulta un PoC.
• Me parece que se parece demasiado a AWS Kinesis Data Streams. Es bueno que exista competencia para AWS.