Toolkit open source CRoM v1.0.2 - menor consumo de tokens · mayor velocidad · prevención del deterioro en conversaciones largas

Presento la nueva versión v1.0.2 de CRoM (Context Rot Mitigation for Efficient LLMs), que he creado yo mismo y he ido actualizando de forma constante.

CRoM es un toolkit en Python que ayuda a mitigar el problema de Context Rot (difuminado de instrucciones, deriva del razonamiento, pérdida de memoria) que ocurre en prompts largos, para que los LLM puedan aprovechar el contexto de forma más estable y eficiente.

🔑 Funciones principales:
▫️Budget Packer: comprime de forma estable solo el texto importante dentro del presupuesto de tokens
▫️Hybrid Reranker: reordenamiento de documentos basado en TF-IDF + embeddings densos
▫️Drift Estimator: monitoreo de cambios semánticos entre respuestas
▫️Observability: monitoreo basado en métricas de Prometheus
▫️Extensión por plugins: soporte para FlashRank, LLMLingua y Evidently
▫️Benchmarking: evaluación end-to-end y análisis de rendimiento mediante CLI

📊 La versión más reciente v1.0.2 incluye correcciones de ImportError y SyntaxError, mejoras en la consistencia de la gestión de versiones, pruebas de integración añadidas (más de 10 casos) y validación de rendimiento con más de 1,000 documentos.

🔗 Enlaces
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️Historia de creación: https://medium.com/p/ab356e656d88