Lanarky - Framework open source para desplegar LLM en producción
(github.com/ajndkr)- Basado en FastAPI
- Streaming de tokens multimodal
- Chatbot simple de gradio para prototipado rápido
- Soporte para aplicaciones de LangChain
- Múltiples estrategias de caché para LLM
- Próximamente: soporte para LlamaIndex, Guidance, Rebuff, entre otros, e integración con bases de datos SQL
Aún no hay comentarios.