Noam Shazeer se une a OpenAI

 (twitter.com/NoamShazeer)
1 puntos por GN⁺ 7 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Noam Shazeer, figura clave detrás de la arquitectura Transformer y ex colíder de Gemini en Google, anunció que se une a OpenAI
  • Fue uno de los primeros empleados que entró a Google en 2000, y contribuyó a mejorar la corrección ortográfica en búsquedas y a crear el algoritmo central de AdSense
  • Fue coautor del paper "Attention Is All You Need" en 2017, donde se creó la arquitectura Transformer que sirve de base para casi todos los LLM modernos
  • También fue un contribuyente principal en LaMDA y Meena
    • Meena — un chatbot conversacional de dominio abierto presentado por Google en 2020, un proyecto de investigación que buscaba lograr conversaciones más naturales y contextualmente apropiadas mediante un modelo de 2.6 mil millones de parámetros
    • LaMDA (Language Model for Dialogue Applications) — sucesor de Meena, presentado en 2021 como un modelo de lenguaje de gran escala especializado en diálogo, con el objetivo de generar conversaciones multiturno naturales sobre temas libres, y que más tarde derivó en la tecnología base inicial para los chatbots de Google y Bard
  • Dejó Google en 2021 para cofundar Character.AI, pero en 2024 regresó a Google tras su adquisición por aproximadamente 4 billones de wones ($2.7B), donde se desempeñó como VP Eng y colíder de Gemini

Lecturas relacionadas

1 comentarios

 
GN⁺ 7 시간 전
Comentarios de Hacker News

  • Para quienes tengan interés, Wired cubrió hace 2 años la historia detrás del paper Attention Is All You Need: https://www.wired.com/story/eight-google-employees-invented-...
    Da contexto para entender la contribución de cada autor. Sobre Shazeer, el artículo dice que su incorporación fue decisiva, y que mecanismos teóricos e intuitivos como la self-attention muchas veces necesitan que un pequeño grupo de “magos” con mucha experiencia los implemente con enorme cuidado para que demuestren su potencial. Shazeer reescribió de inmediato una versión del código del equipo de Transformer a su manera y dijo que “tomó la idea básica y la construyó él mismo”; a veces le hacía preguntas a Kaiser, pero en general simplemente se iba a probar cosas por su cuenta y volvía diciendo “mira, funciona”. El artículo cuenta que llevó el sistema a otro nivel de una forma que luego sus compañeros describieron con palabras como “magia”, “alquimia” y “aditamentos”

    • Expresiones como “magia”, “alquimia” y “aditamentos” suenan a gente bastante entrenada en vender humo exagerado al público no técnico sin contenido real

  • Noam Shazeer es uno de los coautores del histórico paper “Attention Is All You Need”, que presentó la arquitectura Transformer

    • Eso minimiza su importancia. El orden de autores fue aleatorio, pero creo que la idea central realmente fue suya. También me pregunto qué dice eso sobre GDM

  • Para quienes no han seguido toda la secuencia, algo de contexto: Shazeer era un investigador veterano de Google que se unió a la empresa en 2000 y fue coautor de “Attention Is All You Need”
    En 2021 dejó Google para cofundar Character.AI, y en 2024 Google lo trajo de vuelta junto con algunos investigadores de Character.AI mediante un acuerdo de licencia y talento con Character.AI. Según reportes, el tamaño del acuerdo fue de unos 2.7 mil millones de dólares, y luego pasó a ser colíder de Gemini. Ahora vuelve a dejar Google para irse a OpenAI, así que es un momento interesante

    • La razón por la que dejó Google la primera vez fue que Google no quería lanzar el producto tipo chatbot que él creía posible. Google gastó mucho dinero para traerlo de vuelta y convertirlo en uno de los líderes de Gemini
    • La primera vez que vi a Noam fue en el podcast de Dwarkesh junto con Jeff Dean; si quieren una probadita de cómo ve las cosas la gente de Google, lo recomiendo
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • A este nivel, me pregunto si de verdad la compensación es el factor tentador o si importa más lo que uno puede hacer. Da la impresión de que Google también podría ofrecer fácilmente lo mismo que OpenAI, aunque al ser una empresa antigua quizá le cueste mucho más acomodar condiciones realmente fuera de lo normal
    • Me pregunto cómo alguien adquirido puede irse en menos de 2 años
    • Ojalá al final lleguemos a la conclusión de que “Hopfield Networks is All You Need”

  • Vaya, volvió hace muy poco, ¿qué pudo haber pasado para que terminara renunciando?
    Espero que esto no sea exacto, pero me preocupa que sí lo sea: https://x.com/signulll/status/2067446889956430273

    • Para quienes no quieran abrir el enlace de arriba, aquí va el de nitter: https://nitter.net/signulll/status/2067446889956430273
    • signull se parece más a una cuenta anónima bocona que a un insider reconocido de la industria, pero al menos desde fuera, siguiéndolo por ambiente, parece captar bastante bien la manera en que Sam Altman contribuye a OpenAI
    • Si tuviera que adivinar, diría que el dinero influyó en parte
    • Se lee como un episodio de Silicon Valley. Qué pena que no la estén reiniciando ahora, porque habría muchísimo material gracioso
    • Yo diría que fue por el “dinero” y por mucha de la palabrería sin sentido del lado de Altman

  • [Edición: mi comentario originalmente era una respuesta a otro que llamaba a Noam otro “Scam Altman”, pero el padre cambió. No importa que hayan limpiado el subhilo original, pero creo que este contexto hace falta para entenderlo.]
    Noam sí es alguien con talento real, y dentro de la ingeniería de Google en los viejos tiempos de los 2000 era casi una figura legendaria. Se cuenta que Paul Buchheit lo entrevistó con la pregunta de cómo construiría un corrector ortográfico; él ideó algo mejor que el estado del arte de ese momento y luego básicamente creó el corrector ortográfico de Google como su primer proyecto Noogler de 2 semanas
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Aquí parece haber algo de perspectiva. Edit: al parecer la publicación fue eliminada, pero los comentarios sí se pueden ver. El resumen en una línea es que, en el mejor de los casos, esa persona era abiertamente política y tenía convicciones fuertes.

  • Es una muy mala noticia para Gemini. El repunte breve del año pasado con 2.5 Pro parecía haber sido impulsado por Noam.

    • Sinceramente, no creo que tenga mucho impacto a largo plazo. Los modelos no tienen foso competitivo y cada vez se están volviendo más un commodity.
      Aun así, Google está en una posición bastante buena. No está quemando dinero en AI al nivel de Anthropic/OpenAI, y tiene líneas de producto donde puede integrar AI. Además, ya cuenta con un modelo publicitario maduro, así que quizá ahí esté una de las pocas vías para sacar aunque sea un poco de ingresos reales de los modelos de lenguaje grandes.

  • Primera pregunta: ¿cuánto gastó OpenAI en esto?
    Segunda pregunta: ¿por qué OpenAI gastaría ese dinero para intentar quitarle talento a Google, que claramente puede pagar más en contratación, en lugar de a Anthropic, que lidera el mercado y además tiene ciertas limitaciones financieras?

    • Por lo que se ha reportado, la gente de Anthropic es mucho más leal, y los intentos de robar talento por parte de OpenAI y Meta en general no parecen haber tenido mucho éxito.

  • Vaya, Google ofreció miles de millones de dólares para traer de vuelta a Noam. Si el reporte es correcto, OAI realmente logró algo impresionante.

  • La contratación en AI cada vez empieza a parecerse más al mercado de agentes libres en los deportes.
    Karpathy se va a Anthropic, y ahora Noam se va a OpenAI.

    • Pensé que Karpathy iba a OpenAI.