MS y Nvidia anuncian MT-NLG 530B, el modelo de lenguaje más grande del mundo

• Megatron-Turing Natural Language Generation

• 530 mil millones de parámetros, más que los 175 mil millones de GPT-3

• Muestra una precisión sin precedentes en comparación con modelos anteriores

• → completado de oraciones, comprensión, razonamiento de sentido común, inferencia en lenguaje natural, etc.

• 105 capas, basado en Transformer

• GPU NVIDIA A100 Tensor Core y red HDR InifiniBand

• El clúster de supercomputación NVIDIA Selene y Microsoft Azure NDv4