¿Qué es una base de datos vectorial?

• Las aplicaciones de IA dependen de los vector embeddings
  • Los embeddings son generados por modelos de IA y son difíciles de gestionar porque tienen una gran cantidad de atributos/features
  • En IA y ML, estos features representan distintas dimensiones de los datos que son esenciales para entender patrones, relaciones y la estructura subyacente
• Las bases de datos vectoriales como Pinecone son bases de datos especializadas para almacenar y consultar estos datos de embeddings de forma optimizada
• A través de una base de datos vectorial, es posible implementar en la IA funciones avanzadas como búsqueda de información semántica y memoria de largo plazo
  • Se generan vector embeddings del contenido a indexar mediante un modelo de embeddings
  • Los vector embeddings se insertan en la base de datos vectorial, incluyendo referencias al contenido original del que se generaron los embeddings
  • Cuando la aplicación hace una consulta, se genera un embedding para esa consulta usando el mismo modelo de embeddings, y con ese embedding se busca en la base de datos para encontrar vector embeddings similares
  • Estos embeddings están conectados con el contenido original

Diferencia entre un Vector Index y una Vector DB

• Un índice vectorial como FAISS (Facebook AI Similarity Search) también mejora la búsqueda de vector embeddings, pero no cuenta con las funciones de una base de datos
• Una Vector DB tiene varias ventajas
  • Funciones de gestión de datos: inserción, eliminación y actualización de datos de forma sencilla
  • Almacenamiento y filtrado de metadatos: permite guardar metadatos para cada vector
  • Escalabilidad: ofrece capacidades de procesamiento distribuido y en paralelo
  • Soporte para actualizaciones en tiempo real
  • Funciones de respaldo y colecciones (hacer respaldo solo de algunos índices seleccionados)
  • Integración con el ecosistema: integración con ETL (Spark), herramientas de analítica (Tableau, Segment), visualización (Grafana), y herramientas de IA (LangChain, LlamaIndex, ChatGPT Plugins)
  • Seguridad de datos y gestión de permisos de acceso

¿Cómo funciona una Vector DB? (solo se trasladan los subtítulos)

• Algoritmos: ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• Medición de similitud
• Filtrado
• Operaciones de base de datos

Resumen

• Con el crecimiento explosivo de los vector embeddings en NLP, visión por computadora y otras aplicaciones de IA, surgieron las bases de datos vectoriales
• Las bases de datos vectoriales fueron creadas específicamente para resolver los problemas que aparecen al gestionar vector embeddings en escenarios de producción
• Ofrecen ventajas significativas frente a las bases de datos tradicionales basadas en escalares y a los índices vectoriales independientes