OpenOrca - conjunto de datos y modelo de lenguaje afinado con instrucciones de código abierto

• Creado al tomar el contenido del paper Orca de Microsoft y replicarlo como código abierto
  • Aproximadamente 1 millón de FLANv2 mejorados con completions de GPT-4
  • Aproximadamente 3.5 millones de FLANv2 mejorados con completions de GPT-3.4
• Incluye los 75k CoT completos del conjunto de datos FLAN-1m
• Actualmente se está realizando fine-tuning de todos los pesos sobre la base de LLaMA-13B, por lo que tendrá un rendimiento similar al de Microsoft
  • OpenOrca-LLaMA-13b podría lanzarse hacia mediados de julio
• Están buscando patrocinio de cómputo GPU para aplicar OpenOrca a otras plataformas (Falcon, LLaMA, MPT, etc.)

[ninebow]

Ups, el enlace da 404.

Puedes revisar el dataset en Open-Orca/OpenOrca de HuggingFace. :D

[xguru]

Ah, parece que borraron la publicación.

Todavía queda en WaybackMachine.

https://web.archive.org/web/20230629002546/…

Ya dejé el enlace corregido con el link de HuggingFace que compartieron.