Databricks publica como código abierto Dolly 2.0, similar a ChatGPT

• El primer LLM ajustado por instrucciones verdaderamente abierto del mundo
• Se publican por completo el código de entrenamiento, el conjunto de datos y los pesos del modelo. Es decir, cualquier persona o empresa puede crear y poseer su propio LLM potente
• Ajustado finamente con el conjunto de datos databricks-dolly-15k de instrucciones generadas por personas
  • 15,000 pares de prompts/respuestas. Cualquiera puede modificarlo/ampliarlo y también usarlo con fines comerciales
    • (Alpaca, Koala, GPT4All, Vicuna, etc. no permiten uso comercial)
  • Estos datos fueron escritos directamente por 5,000 empleados de Databricks
• Basado en el modelo de lenguaje de 12B parámetros Pythia de EleutherAI

[kuroneko]

Es muy curioso que hayan abierto una conversación interna para crear un conjunto de preguntas para entrenar el LLM dirigido a empleados de la empresa, y que la participación haya sido mucho mayor de lo esperado, tanto que la cerraron antes de tiempo por miedo a que interfiriera con el trabajo.

De todos modos, de verdad quiero aplaudir que una gran empresa como esta haya liberado mediante una inversión audaz un conjunto de datos de alta calidad como totalmente open source (CC BY-SA 3.0).
¿No creen que, si poco a poco aumentan este tipo de empresas y crece la participación, algún día podría aparecer un modelo open source apto para uso comercial con un nivel comparable al de GPT-4?