AutoRAG: herramienta de automatización que encuentra automáticamente el pipeline de RAG óptimo

• AutoRAG optimiza automáticamente RAG, igual que AutoML optimiza automáticamente ML.
• RAG (Retrieval-Augmented Generation), que permite que un LLM responda incluso sobre conocimientos que no conoce mediante búsquedas dentro de miles de documentos (PDF, Word, etc.), está recibiendo mucha atención.
• Construir un pipeline de RAG de alto rendimiento con documentos reales es difícil.
• En RAG, la combinación adecuada cambia según los datos y el objetivo, y para encontrar la combinación óptima hay que repetir muchos experimentos y evaluaciones.
• Las combinaciones de pipelines de RAG son tan variadas que solo con los 12 módulos que AutoRAG admite actualmente pueden surgir 960 combinaciones.
  (Se excluyen de la combinación los embeddings y los modelos de lenguaje)
• AutoRAG optimiza automáticamente RAG, igual que AutoML optimiza automáticamente ML.
• Se puede usar simplemente modificando un archivo YAML.
• El RAG óptimo encontrado se puede ejecutar y usar de inmediato como servidor fastAPI.

---

Al estudiar RAG, crear varios pipelines y probar su rendimiento, la mayor dificultad que sentí fue “optimizar para cada conjunto de datos”.
En el ámbito académico se proponen todos los días nuevos módulos y pipelines de RAG, pero muchas veces, después de traerlos con mucho esfuerzo y aplicarlos a datos reales, el rendimiento no mejora en absoluto. Además, resultaba tedioso y difícil construir un dataset de evaluación a partir de documentos como PDF, y luego experimentar y evaluar con varios módulos.

Como previmos que la mayoría de los equipos de desarrollo de RAG tendrían las mismas dificultades, nuestro equipo creó AutoRAG como open source. Si revisan GitHub y nuestra documentación y siguen los pasos, podrán usarlo fácilmente.

¡Tanto quienes ya estaban construyendo RAG con mucho esfuerzo como quienes recién se inician en RAG podrán usarlo con satisfacción!