- Un lenguaje que permite controlar modelos de lenguaje de forma más efectiva que los prompts tradicionales.
- Basado en plantillas Handlebars, permite especificar la estructura y el método de salida, además de controlar el flujo lógico.
- Usa caché de clave/valor dentro del prompt y hace inferencia solo en las partes deseadas, mejorando el rendimiento de inferencia.
- Va más allá del simple control de la estructura de salida y puede incluso garantizar sintaxis válida como JSON.
- Soporta integración sencilla con modelos de HuggingFace.
3 comentarios
A primera vista, parece ser más flexible y fácil de usar que LMQL, pero me da curiosidad conocer opiniones de quienes ya lo hayan usado.
Muy útil. Sería genial si hubiera una versión portada a Node.js.
Si vas al repositorio, hay muchos ejemplos, y con solo verlos ya resultan bastante interesantes.
En particular, me pareció bueno el punto de que, cuando se necesita una salida estructurada, hicieron que el LLM generara únicamente la parte del contenido en lugar de todo,
lo que redujo el tiempo de inferencia a la mitad.