Los empleados de Google que crearon el Transformer

Ocho empleados de Google inventan la IA moderna: la historia interna

• El artículo científico titulado "Attention Is All You Need", escrito en la primavera de 2017, tenía 8 autores.
• Todos eran investigadores de Google, y Noam Shazeer, el contribuyente con más experiencia, se sorprendió al ver que su nombre aparecía primero.
• Los autores decidieron "destruir" la práctica de clasificar las contribuciones por rango, pusieron un asterisco junto a todos los nombres y añadieron una nota al pie que decía: "el orden de aparición es aleatorio".

El inicio de una transformación

• Este artículo hizo avanzar una tecnología llamada redes neuronales dentro del campo de la IA, transformándola en poderosos sistemas digitales que se sienten como si fueran producto de una inteligencia alienígena.
• Esta arquitectura se usa como ingrediente secreto en productos de inteligencia artificial como ChatGPT, Dall-E y Midjourney.
• A casi 7 años de su publicación, el artículo ha alcanzado un estatus legendario.

La arquitectura de la transformación: Transformer

• La historia de Transformer comienza con el cuarto autor, llamado Jakob Uszkoreit.
• Uszkoreit ideó un nuevo enfoque basado en su idea de self-attention.
• Esta red puede traducir palabras consultando qué partes de una oración debe tomar como referencia, lo que ayuda al sistema a generar buenas traducciones.

Colaboración e innovación

• Uszkoreit pensaba que un modelo de self-attention podía ser más rápido y más eficaz que las redes neuronales recurrentes.
• Esta idea evolucionó a través de la colaboración con otros investigadores, como Illia Polosukhin y Ashish Vaswani.
• Ellos redactaron un documento de diseño titulado "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Publicación e impacto del artículo

• El equipo de investigación realizó traducción de idiomas usando el modelo Transformer y midió su rendimiento con el benchmark BLEU.
• Su nuevo modelo superó a los competidores, y una versión más grande, Big, obtuvo una puntuación BLEU que rompió el récord anterior.
• El artículo se envió justo antes de la fecha límite, y Google presentó rápidamente una patente provisional sobre este trabajo.

La reacción de Google y los cambios

• Dentro de Google, este trabajo se veía simplemente como otro proyecto interesante de IA, y la compañía empezó a integrar Transformer en sus productos desde 2018.
• Sin embargo, este cambio parecía tímido en comparación con el salto radical de OpenAI y la audaz integración de sistemas basados en Transformer en la línea de productos de Microsoft.

Los autores que dejaron Google

• Todos los autores dejaron Google y ahora trabajan de distintas maneras sobre sistemas basados en lo que ellos mismos crearon.
• Muchas de estas personas dejaron Google para irse a nuevas startups de IA.

La opinión de GN⁺

• Este artículo ofrece una visión interesante sobre el avance de la tecnología de IA al explicar en detalle el nacimiento y la evolución del modelo Transformer, que desempeñó un papel importante en este campo.
• El modelo Transformer es hoy una tecnología central del procesamiento de lenguaje en inteligencia artificial y una invención clave que sirve de base para IA conversacionales como ChatGPT.
• El artículo muestra cómo el entorno de investigación innovador dentro de Google hizo posible un gran avance tecnológico.
• Sin embargo, el hecho de que Google adoptara un enfoque algo conservador para explotar comercialmente esta tecnología ofrece una lección importante sobre la velocidad y la estrategia de innovación de las empresas.
• Las empresas o desarrolladores que adopten esta tecnología deben considerar la complejidad y los requisitos de recursos del modelo Transformer, aunque los beneficios que pueden obtener son muy grandes.

[GN⁺]

Opiniones de Hacker News

• Debate sobre el modelo de atención:

  • El mecanismo de atención (Attention) no era algo nuevo, pero hubo investigaciones que demostraron que era suficiente para predecir la siguiente secuencia de palabras en un contexto específico.
  • Cuando se usó este marco en 2018, mostró comportamientos inesperados, pero fue una experiencia interesante.
  • Otro grupo descubrió que calcular algoritmos simples a gran escala producía mejores resultados.
  • Es molesto afirmar que un solo grupo descubrió y transformó la IA.
  • Los investigadores merecen reconocimiento, pero no inventaron la IA moderna; la hicieron avanzar de una manera interesante.
  • Ahora se quiere volver a enfoques más deterministas: modelos del mundo, memoria, grafos, minimización de energía, etc.
  • Los modelos generativos han sido divertidos y aleccionadores, pero no está claro si simplemente añadir más chips puede resolver la AGI/SGI.

• Recuerdo de la época dorada de Google:

  • Cuando se habló del papel de Uszkoreit y del equipo de NLP en el apogeo de Google en 2014, le preguntaron qué haría si tuviera un presupuesto ilimitado, y respondió: "Yo tengo ese presupuesto".

• Conversación sobre la historia de la IA:

  • En una conversación con Geoffrey Hinton y Fei-Fei Li, se abordaron la historia de la IA, la dirección de investigación de Hinton y los esfuerzos de Li con ImageNet.

• Comparación entre Google y OpenAI:

  • Resulta sorprendente que Google no sea OpenAI, ya que Google contaba desde temprano con DeepMind y con muchos doctores.

• Mención de la colaboración entre empleados de Google:

  • Se enfatiza que todos los autores eran empleados de Google y trabajaban en la misma oficina, lo que sugiere que la colaboración presencial es la mejor tecnología para la innovación.

• Crítica a la estrategia de IA de Google:

  • Ninguno de los autores sigue trabajando actualmente en Google, y se expresa desconcierto sobre lo mal que el CEO de Google ha manejado la IA.

• Documentos sobre la historia de la IA dentro de Google:

  • Los empleados de Google pueden ver en la intranet de Google momentos importantes de la historia de la IA, como la primera implementación del transformer y los comentarios de los revisores.

• Atención a la diversidad de los autores:

  • De los 8 autores, 6 nacieron fuera de Estados Unidos, y los otros dos son, respectivamente, hijo de un alemán residente en California con green card temporal y estadounidense de primera generación de una familia que llegó huyendo de la persecución.

• Apoyo a los departamentos de I+D:

  • Se apoya la existencia de departamentos de I+D libres de presión fiscal, con la esperanza de que una idea que quizá aparezca una vez por década pueda impulsar toda la economía.
  • Las maravillas de la computación moderna son resultado de la expansión de la I+D realizada sin un impacto inmediato en los resultados financieros de la empresa.