OpenLLM - Plataforma abierta para operar LLM en producción
(github.com/bentoml)- Soporta varios tipos de LLM, lo que permite inferencia y despliegue
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- Con un solo comando, sirve LLM como API RESTful o gRPC
- Se puede invocar desde WebUI, CLI, cliente de Python/Javascript o cualquier cliente HTTP
- Soporte integrado para LangChain, BentoML y HuggingFace
- Próximamente soporte para ajuste fino de LLM
Aún no hay comentarios.