- Almacenamiento de objetos a gran escala, el primero en la nube con soporte nativo para vectores
- Puede reducir hasta en un 90% los costos de almacenamiento, carga y consulta de datos vectoriales, y ofrece rendimiento de consulta en menos de un segundo
- Introduce los conceptos de vector buckets y vector indexes, optimizados para almacenar y buscar datos vectoriales a gran escala en cargas de trabajo de IA generativa como embeddings de IA y RAG
- Integración con servicios de AWS como Amazon Bedrock, SageMaker y OpenSearch, para habilitar administración de vectores y búsqueda en tiempo real con un equilibrio entre costo y rendimiento
- Sin necesidad de montar infraestructura, permite almacenar, administrar, consultar, exportar e integrar datos vectoriales fácilmente mediante consola, CLI, SDK y API para distintos escenarios de uso
¿Qué es Amazon S3 Vectors?
- Amazon S3 Vectors es un nuevo almacenamiento dedicado de S3 que guarda conjuntos de datos vectoriales de gran tamaño y ofrece búsqueda vectorial rápida (semantic/similarity search)
- Diseñado para administrar de forma eficiente datos vectoriales (embeddings), que se usan con frecuencia en IA generativa
- Ofrece un nuevo tipo de bucket de S3 llamado vector bucket; cada vector bucket puede crear hasta 10,000 vector indexes, y cada índice puede almacenar decenas de millones de vectores
- Soporta asignar metadata (key-value) a cada vector, lo que permite consultas con filtrado por condiciones
Optimización de costo y rendimiento, y funciones de automatización
- Puede reducir hasta en un 90% los costos de carga, almacenamiento y consulta de datos vectoriales
- Incluso cuando los datos crecen, S3 Vectors optimiza automáticamente para mantener de forma continua el costo y el rendimiento
- Ofrece métricas de distancia Cosine/Euclidean, brindando un entorno de búsqueda flexible compatible con modelos de embeddings de IA
Integración con servicios de AWS e infraestructura de IA
- Integración nativa con Amazon Bedrock Knowledge Bases, y uso directo desde SageMaker Unified Studio
- Al integrarse con OpenSearch Service, los datos de largo plazo o de baja frecuencia pueden almacenarse en S3, mientras que las búsquedas de alta frecuencia o en tiempo real pueden migrarse a OpenSearch (colecciones vectoriales serverless)
- Adecuado para diversas aplicaciones de IA como sistemas de recomendación, RAG, análisis de documentos y recomendaciones personalizadas
Principales formas de uso
Creación de vector buckets e índices
- Crear un vector bucket desde el menú Vector buckets en la consola
- Al crear el bucket, se pueden especificar opciones de cifrado (SSE-S3, SSE-KMS)
- Agregar vector indexes a cada bucket y definir por índice la cantidad de dimensiones y la métrica de distancia
Inserción y consulta de datos vectoriales
- Insertar y administrar vectores usando AWS CLI, SDK y REST API
- Generar embeddings de texto en Amazon Bedrock → insertar los vectores en S3 Vectors
- Ejemplo: después de generar embeddings con
boto3, subir los datos al índice con la API s3vectors.put_vectors
- Usar metadata para hacer consultas por condiciones como género o categoría
Integración con OpenSearch y exportación
- Migrar un índice de S3 Vector a OpenSearch con Export to OpenSearch desde la consola
- Creación automática de una colección serverless y expansión hacia cargas de trabajo de búsqueda y análisis vectorial en tiempo real
Características principales y entornos compatibles
- Los buckets de S3 Vector tienen cifrado aplicado por defecto (SSE-S3), con soporte adicional para la opción KMS
- Uso automatizado y programático mediante CLI/SDK/REST API
- Regiones con soporte actual en vista previa: este/oeste de EE. UU., Europa (Fráncfort) y Asia (Sídney)
Integración y escenarios de uso
- Soporta diversos casos de uso de vectores por industria, como RAG, memoria de agentes, búsqueda de similitud/semántica, análisis inteligente de documentos, recomendaciones personalizadas y análisis automático de contenido
- Al integrarse con el ecosistema de AWS, como OpenSearch, SageMaker y Bedrock, permite construir soluciones de IA basadas en vectores, costo-eficientes y escalables a gran escala
Referencias y materiales adicionales
Aún no hay comentarios.