- Todo el código fuente, los pesos del modelo y el dataset de entrenamiento se publican bajo Apache-2.0
- 4 componentes principales
- Un LLM ajustado por instrucciones, afinado a partir de GPT-NEOX-20B con 43 millones de conjuntos de instrucciones
- Una receta de personalización que permite hacer fine-tuning según tus propias tareas
- Un sistema de recuperación extensible que puede reforzar las respuestas obteniendo información de un repo de documentos, APIs y fuentes que pueden actualizarse en tiempo real durante la inferencia
- Un modelo de moderación, afinado a partir de GPT-JT-6B, diseñado para filtrar las preguntas a las que responderá el bot
- Colaboración entre LAION y Ontocord: dataset OIG (publicado por separado) que incluye 43 millones de instrucciones
Aún no hay comentarios.