¿Hacia dónde van los modelos de IA NLP de gran escala?

Situación actual

• LaMDA, presentado por Google en I/O; GPT-3, cuya licencia exclusiva compró MS; y el propio LLM (Large Language Model) que Facebook desarrolló para traducción y gestión de contenido: los grandes conglomerados están desarrollando cada uno sus propios modelos NLP de gran escala

• A medida que estos modelos, que cada empresa está creando de forma privada, se apliquen en la vida real, prácticamente no existen investigaciones sobre cómo los defectos de los LLM afectan a las personas, qué problemas hay y si pueden resolverse.

• El problema se agravó aún más cuando Google despidió en diciembre pasado a Timnit Gebru, codirectora del equipo de Ethical AI

Nuevos intentos

• En el proyecto BigScience, liderado por Huggingface, más de 500 investigadores de todo el mundo se han reunido y están acelerando la construcción de un LLM de código abierto.

• Un grupo de trabajo que mide el impacto ambiental de los LLM, incluida la huella de carbono del entrenamiento y la operación del modelo, considerando los costos del ciclo de vida (life-cycle costs) de las supercomputadoras

• Un grupo de trabajo que reflexiona sobre cómo obtener datos de entrenamiento de manera responsable

---

Me costó resumirlo, así que no hice un buen resumen.

Así como la agenda del "ingreso básico" surgió a partir de preocupaciones y esperanzas sobre la tecnología, parece que, por las expectativas y temores en torno a GPT-3 que apareció el año pasado, está saliendo a la superficie la agenda de la "preocupación por el desarrollo cerrado de la IA". Me gustaría volver a leer este artículo hacia 2050.