Turing-NLG, el modelo de lenguaje con 17 mil millones (17b) de parámetros presentado por MS

• Basado en Transformer

• El modelo de mayor tamaño, con más de 10 veces la cantidad de parámetros en comparación con BERT-Large 340M, RoBERTa 355M y OpenAI GPT-2 1.5b

• Fue posible gracias a DeepSpeed y ZeRO

Se dice que incluso el texto de resumen de la página de presentación fue generado por el propio Turing-NLG

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."