OPT - Meta publicó un modelo de lenguaje del tamaño de GPT-3 (175B)

"Open Pre-trained Transformer Language Model"

• Construir modelos de lenguaje tan grandes requiere una inversión considerable, y es difícil investigarlos cuando solo se ofrece acceso por API
• Para los investigadores interesados, publicaron para descarga el modelo completo, el código experimental y el cuaderno de registros
• Requiere solo 1/7 de la huella de carbono de GPT-3

[xguru]

https://github.com/facebookresearch/metaseq