Jina AI presenta el primer modelo open source de embeddings de texto 8K del mundo

• Modelo de embeddings de texto jina-embeddings-v2 compatible con una longitud de 8192 tokens
• Compite con text-embedding-ada-002 de OpenAI y muestra mejor rendimiento en benchmarks de clasificación, reordenamiento, búsqueda y resumen
• Fue reconstruido desde cero y, con un contexto de 8k, puede usarse en diversos campos: análisis de documentos legales, investigación médica, análisis literario, predicción financiera y AI conversacional
• Se pueden descargar 2 modelos en HuggingFace
  • Base Model (0.27G): diseñado para tareas exigentes que requieren alta precisión, como investigación académica o análisis de negocios
  • Small Model (0.07G): creado para aplicaciones ligeras, como apps móviles o dispositivos con recursos de cómputo limitados

[GN⁺]

Opiniones de Hacker News

• Jina AI lanzó un modelo open source de embeddings de texto de 8k.
• Algunos usuarios cuestionan el rendimiento de este modelo y señalan que quedó por debajo de los embeddings de OpenAI y de otras 14 contribuciones en el leaderboard.
• La ventana de contexto de 8k es una función nueva, pero algunos usuarios dudan de su utilidad, especialmente considerando el límite de 512 tokens.
• Aunque la mayoría de los benchmarks trabajan con documentos pequeños, hay dudas sobre el rendimiento del modelo con documentos más grandes.
• Algunos usuarios expresan entusiasmo porque la comunidad open source esté cerrando la brecha con "Open"AI.
• Los vectores de embedding del nuevo modelo tienen la mitad del tamaño que text-embedding-ada-002 (768 frente a 1536), lo que puede ahorrar espacio en la base de datos y acelerar las consultas.
• Se plantean dudas sobre los casos de uso de embeddings de 8k tokens, y algunos usuarios sugieren que quizá no sean muy útiles para RAG.
• Un usuario cuantizó el modelo para usarlo con onnx y redujo 4 veces el tamaño del archivo en transformers.js.
• Se lo compara con el modelo de OpenAI, ya que ofrece soporte multilingüe y calcula las mismas coordenadas para el mismo significado en distintos idiomas.
• El nuevo plugin llm-embed-jina fue lanzado para la herramienta LLM, lo que permite acceder al nuevo modelo de Jina.
• Algunos usuarios quedaron impresionados con este trabajo, pero se preguntan cuál es la mejor manera de aprovechar embeddings de 8k, y sugieren que podrían servir para matching aproximado de similitud o detección de plagio.
• Debido a las restricciones a la exportación de chips y a las tensiones entre EE. UU. y China, hay preocupación por las operaciones de Jina AI, que tiene oficinas en Berlín y China.