Implementación de TypeScript de LLMLingua-2

Proyecto open source que porta de Python a TypeScript a LLMLingua, el "compresor universal de prompts basado en LLM" desarrollado por Microsoft, para que pueda usarse en una mayor variedad de entornos.

¿Qué es LLMLingua?

• GeekNews: "Microsoft LLMLingua - Comprimir prompts para acelerar la inferencia y reducir costos"
• Sitio oficial de LLMLingua-2
• Actualmente se distribuye con una implementación oficial en Python.

Implementación de TypeScript de LLMLingua-2

• Demo de compresión de prompts (GitHub Pages)
  • JavaScript + React + Vite
  • Requisitos para probar la demo: se necesita un navegador con soporte para WebGPU (como Google Chrome en Windows/macOS)
• Código fuente: disponible en GitHub y HuggingFace
• Paquete (npm): npm install @atjsh/llmlingua-2

Puntos destacados

• El pipeline de LLMLingua-2, que estaba escrito en Python, fue portado a TypeScript puro
• Librerías usadas en la implementación: js-tiktoken, transformer.js y TensorFlow.js
• El soporte para Node.js sigue en desarrollo adicional (aunque ya se puede probar ahora mismo)
• Open source bajo licencia MIT

Todavía está en una etapa muy temprana

• Algunas funciones como use_context_level_filter y return_word_label aún no están implementadas
• Incluso la función principal de compresión de prompts podría tener partes implementadas incorrectamente en comparación con el LLMLingua-2 original...