Proyecto de código ligero y eficiente para evaluar modelos RAG

Retriever Simple Benchmark es un proyecto de benchmark ligero y eficiente diseñado para evaluar rerankers necesarios para RAG.
Lo estoy creando porque lo necesitaba y lo estoy desarrollando como open source.

---

Why?

Hubo mucho feedback de que las herramientas de benchmark existentes (por ejemplo, MTEB) eran difíciles de usar porque la instalación de dependencias y su ejecución eran engorrosas.
El objetivo es que se pueda ejecutar muy fácilmente, con dependencias mínimas, de forma ligera, y ver resultados de inmediato.

---

Introducción al repositorio

• Actualmente soporta cross-encoder basado en coreano, y más adelante se agregarán también modelos bi-encoder.
• Para que el proyecto en Python sea mantenible, fue reescrito desde cero con astral-uv.

---

Cómo usarlo 💻

1️⃣ Configurar el entorno

make init  

2️⃣ Ejecutarlo (por ahora solo soporta GPU única)

make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG  

---

Planes a futuro 📈

• Modelos con soporte adicional

  • Modelos bi-encoder basados en HuggingFace y FlagEmbedding

• Datasets adicionales

  • Actualmente soporta AutoRAG; está previsto agregar KURE

---

➡️ Ver el proyecto en GitHub
➡️ Discord de Instruct Korea