- Brendan Gregg, reconocido experto en gestión del rendimiento en Linux y principal contribuidor de BPF, explica por qué se unió a OpenAI
- Se unió a OpenAI para ayudar a resolver el problema del rápido aumento de los costos y el consumo energético de los centros de datos de IA, y al principio se enfocó en la optimización del rendimiento de ChatGPT
- Considera que la ingeniería de rendimiento tradicional tiene límites, por lo que busca idear nuevos métodos de ingeniería para encontrar con rapidez efectos de optimización mayores
- Tomó conciencia de la expansión social de la tecnología a través de casos de uso amplios de ChatGPT por parte de personas comunes, por ejemplo estilistas, agentes inmobiliarios, contadores fiscales y apicultores
- Tras 26 entrevistas comparó el nivel de ingeniería de varias empresas de IA y evaluó que la densidad de talento y el entorno colaborativo de OpenAI fueron lo más impresionante
- Ve la oportunidad de contribuir, desde su rol en OpenAI, a mejorar la eficiencia a escala planetaria y asegurar la sostenibilidad como un punto de inflexión en su vida
Los retos de los centros de datos de IA y la ingeniería de rendimiento
- El costo y la velocidad de crecimiento de los centros de datos de IA avanzan a un ritmo sin precedentes en la historia, y se perciben no solo como un problema de reducción de costos, sino también de protección del medio ambiente global
- Se unió a OpenAI para abordar directamente este problema y al principio se concentró en mejorar el rendimiento de ChatGPT
- Busca enfoques nuevos que vayan más allá de los límites de la ingeniería de rendimiento tradicional para lograr optimizaciones mayores y mejoras más rápidas
- Destaca una estructura abierta con muy pocas restricciones que bloqueen los cambios, incluso en un entorno de gran escala
- Lo describe con la actitud de: “prueba cualquier cosa, hazlo a escala y ejecútalo ahora mismo”
La expansión cotidiana de ChatGPT y el detonante personal
- Mientras era escéptico sobre la adopción de la IA, sintió directamente el uso masivo de ChatGPT en una conversación con Mia, una estilista
- Mia compartió varios casos de uso, como consultar en ChatGPT información sobre el destino de viaje de una amiga para mantener una conexión emocional
- Describió la función de memoria de ChatGPT como una experiencia parecida a hablar con una persona
- Agentes inmobiliarios, contadores fiscales y apicultores también usan ChatGPT activamente en su trabajo
- Ejemplo: un apicultor usa ChatGPT para gestionar la documentación de un pequeño negocio
- A través de estas experiencias comprendió que ChatGPT ya se había establecido como una herramienta cotidiana, y confirmó el significado social de su contribución técnica
Por qué eligió OpenAI y el proceso de entrevistas
- Por recomendación de varios expertos del sector, realizó 26 entrevistas con grandes empresas tecnológicas de IA, incluida OpenAI
- Encontró un entorno similar al de su etapa en Netflix: infraestructura cloud a gran escala, cambios rápidos de código y autonomía para los ingenieros
- Había retos amplios que abordaban problemas de rendimiento no solo en GPU, sino en todo el stack tecnológico
- En OpenAI ya trabajaban muchos colegas ingenieros muy capaces que él conocía de antes
- Su experiencia colaborando con personas como Vadim, excompañero de Netflix, influyó positivamente en su decisión de unirse
- Menciona que OpenAI ya cuenta con un equipo experimentado de ingeniería de rendimiento, y que él es “la incorporación más reciente” entre ellos
El sueño de infancia llamado ‘Orac’ y su vínculo con la IA
- Recuerda que en su infancia quedó fascinado por Orac, la supercomputadora de la serie británica de ciencia ficción Blake’s 7, y soñó con desarrollar IA
- En la universidad intentó crear por su cuenta software de procesamiento de lenguaje natural, pero lo abandonó por limitaciones de memoria
- Al usar ChatGPT recordó a Orac, y quedó impresionado al ver que ChatGPT recreaba perfectamente la personalidad de Orac en sus respuestas
- Desde entonces lo usa personalizado en la configuración de ChatGPT con el modo Orac
- También menciona la noticia del reboot de Blake’s 7
Su presente en OpenAI y sus planes a futuro
- Actualmente trabaja en remoto desde Sídney y se desempeña como Member of Technical Staff en el equipo de ingeniería de rendimiento de ChatGPT
- Su proyecto inicial consiste en mejorar el rendimiento y definir estrategias de reducción de costos mediante colaboración entre organizaciones
- Planea aplicar tecnologías existentes como eBPF, Ftrace y PMC adaptadas a las necesidades de OpenAI
- También usa Codex para diversas tareas además de programar
- Tras dejar Intel, muchas personas en la Linux Plumber’s Conference sintieron curiosidad por su siguiente paso, y eso lo llevó a escribir este texto
- Finalmente, cuenta que volvió a preguntarle a la estilista Mia si seguía usando ChatGPT, y ella respondió: “Lo uso las 24 horas del día”
- Aclara que este texto es un registro personal, escrito por iniciativa propia y no a pedido de la empresa
3 comentarios
Aunque digan que una empresa que acaparó el 40% de la memoria mundial vela por el interés público del planeta...
¿Y ahora esto qué es...? Desde la perspectiva de OpenAI, que no fabrica ni usa directamente nada propio, desde el chipset hasta el centro de datos, si se optimiza el stack de software escalarán tanto como les permita ese margen, así que su objetivo es maximizar las ganancias más que proteger el medio ambiente (como en el comentario de HN sobre la paradoja de Jevons).
Es una publicación tan de autopromoción que da hasta pena verla.
Comentarios de Hacker News
La frase “no se trata de ahorrar costos, sino de salvar el planeta” suena medio rara.
Da la impresión de que quizá, en el fondo, sí es simplemente por dinero.
Está bien tener pasión por el trabajo, pero tampoco hace falta posar como la Madre Teresa.
De hecho, esto me recordó esta escena de parodia de la serie Silicon Valley.
El objetivo de una gran empresa no es salvar el mundo, sino perseguir ganancias.
Si el hardware se vuelve más eficiente, al final solo se llenará con más cargas de trabajo.
Aun así, sí entusiasma ver qué nuevas innovaciones pueden salir de este campo.
Como fan del libro de Brendan, apoyo su llegada a OpenAI, pero me cuesta estar de acuerdo con su análisis.
Si OpenAI compra cierta cantidad de energía por X dólares, mejorar la eficiencia solo terminará en producir más tokens.
Más que ahorro de energía, esto se parece a la paradoja de Jevons.
Aun así, es posible que baje el costo energético de peticiones como “preguntarle a un chatbot el marcador de un partido de básquet”.
Mencionó el tema de la compensación, pero el dinero no es la única razón.
Quería resolver directamente el problema del costo energético de los centros de datos de IA.
Durante los últimos 20 años escribió material educativo casi por el equivalente a un salario mínimo, ayudando a otros desarrolladores,
y creó con software de código abierto la base de incontables startups.
También contribuyó a expandir la cultura del trabajo remoto.
Si aumenta la eficiencia, la estructura del mercado hará que al final se compren más GPU.
Para reducir esos efectos secundarios, hace falta regulación.
eso de “hacerlo por el bien del mundo” suena vacío.
Es decepcionante, pero es tu decisión y la respeto.
Enlace relacionado
pero también existe la posibilidad de que OpenAI mantenga parte de eso en privado para conservar su ventaja competitiva.
El tono autocomplaciente del texto era tan fuerte que me costó leerlo.
La parte de “la estilista Mia se quedó en silencio cuando le dije que yo era Intel Fellow” fue incómoda.
Casi parece que quería impresionarla y, como no hubo reacción, decidió cambiar de trabajo.
Cuando te topas con el mundo fuera de la industria tecnológica, esa reacción es perfectamente natural.
A la inversa, la marca de tijeras que mencionó la estilista también podría sonarnos desconocida a nosotros.
La forma de contratar en Silicon Valley apela a la autoimagen de las personas,
haciéndoles creer que son quienes van a cambiar el mundo,
y como resultado les dificulta ver de frente el impacto negativo.
Impacta ver que alguien que fue un gran ingeniero de sistemas escriba algo tan desconectado de la realidad.
Da la sensación de que la política y la autopromoción importaron más que la verdad técnica.
Promocionarse a uno mismo o a sus ideas también puede verse, al final, como una extensión de la ingeniería.
Leí el texto como fan, pero eso de “salvar el mundo” suena a autojustificación.
Suena a una metáfora irónica del estilo “voy a sacar el máximo calor posible de un incendio de neumáticos para salvar el planeta”.
Me dio tristeza la parte donde decía que, como un amigo estaba viajando lejos, habló con ChatGPT sobre esa ciudad y así sintió una sensación de conexión.
Para algo así no hace falta electricidad a escala de gigavatios.
Un modelo local pequeño sería suficiente.
La comunicación asíncrona entre personas ya es un problema resuelto.
Es menos deprimente que ver un programa de viajes.