Tanuki - Desarrolla fácilmente apps basadas en LLM
(github.com/Tanuki)- Permite llamar fácilmente a un LLM en Python en lugar de una función, ofreciendo los mismos parámetros y salidas que se esperarían de una función implementada manualmente
- Las funciones basadas en LLM son bien tipadas, confiables y sin estado, por lo que pueden agregarse directamente a apps en producción
- Cuanto más se usan las funciones, más baratas se vuelven gracias a la destilación automática de modelos (Distillation), con reducciones de costo de hasta 9 a 10 veces
- Soporta RAG y Output Align
Aún no hay comentarios.