¿Sigue siendo necesario el chunking en los modelos de embeddings de contexto largo?

Incluso en escenarios donde los modelos de embeddings de contexto largo pueden procesarlo todo, se analiza si las estrategias de chunking siguen siendo útiles y cómo comparar distintas estrategias de chunking para encontrar el enfoque óptimo.

Embeddings de contexto largo (Long Context Embedding)

• Es un enfoque que usa modelos como Jina Embeddings v3 para generar un embedding de un solo vector para textos de hasta 8,192 tokens.
• Es útil para captar el contexto de un documento completo, pero a medida que el documento se alarga pueden surgir problemas de pérdida de información y dilución de la representación.
• Es adecuado para identificar el tema principal de un documento y funciona bien cuando la consulta del usuario está relacionada con el contenido general del documento.

Chunking ingenuo (Naive Chunking)

• Es un método que divide el texto en tamaños fijos o por oraciones, y luego genera embeddings de cada chunk de forma independiente.
• Mitiga el problema de dilución de la representación propio de los embeddings de contexto largo y favorece la búsqueda de información específica.
• Como cada chunk pierde la información de contexto de los chunks vecinos, no es adecuado para tareas que requieren considerar la relación entre chunks.
• Puede aumentar los costos de cómputo y almacenamiento.

Chunking tardío (Late Chunking)

• Primero genera embeddings de todo el documento para crear embeddings a nivel de token, y luego produce embeddings de chunk promediando esos embeddings de token según límites de chunk más detallados.
• Permite representaciones detalladas a nivel de chunk mientras mantiene el contexto de todo el documento.
• En comparación con el chunking ingenuo, resuelve el problema de pérdida de contexto y ofrece un mejor rendimiento de búsqueda.
• Es especialmente efectivo con chunks pequeños y útil cuando distintas partes del documento están altamente relacionadas entre sí.
• Sin embargo, si las distintas partes del documento tienen poca relación entre sí, el contexto innecesario puede actuar como ruido y degradar el rendimiento.

Impacto del tamaño del chunk

• El tamaño del chunk influye considerablemente en el rendimiento de búsqueda.
• En general, el chunking tardío muestra un mejor rendimiento que el chunking ingenuo cuando se usan chunks pequeños.
• A medida que aumenta el tamaño del chunk, el rendimiento del chunking ingenuo mejora, mientras que el del chunking tardío puede disminuir.

Conclusión

• La elección entre embeddings de contexto largo, chunking ingenuo y chunking tardío depende de las características de los datos y del objetivo de la tarea de búsqueda.
• Los embeddings de contexto largo son adecuados para documentos coherentes y consultas generales, mientras que el chunking es útil cuando el usuario busca información específica dentro del documento.
• El chunking tardío es efectivo cuando se necesita mantener la coherencia contextual dentro de segmentos pequeños.
• Se debe elegir el enfoque óptimo comprendiendo los datos y los objetivos de búsqueda, y considerando la precisión, la eficiencia y la relevancia contextual.