Entrevista con Greg Brockman: ¡La IA va a crecer de forma explosiva! ¿Qué pasará a partir de ahora?
(fs.blog)- Greg Brockman considera que, para que OpenAI lograra su misión de AGI, tuvo que ir más allá de los límites de una organización sin fines de lucro y asegurar una entidad con fines de lucro y cómputo a gran escala
- Los puntos de inflexión técnicos de OpenAI llevaron a la expansión de PPO en Dota, al aprendizaje de significado en los modelos de lenguaje y a una revisión de los criterios de AGI después de GPT-4
- El desarrollo de IA ya se está acelerando con IA, y aunque la escritura de código está siendo reemplazada rápidamente, considera que los expertos humanos siguen siendo fuertes en el diseño de la estructura del código
- En adelante, la restricción clave será el cómputo, y OpenAI busca distribuir ampliamente los beneficios de la tecnología mediante centros de datos y acceso gratuito
- El despliegue iterativo, la seguridad, la neutralidad y la regulación son tareas centrales tanto para el producto como para la sociedad, y el criterio de éxito es que la AGI beneficie a toda la humanidad
Fundación de OpenAI y cambio de estructura
-
Por qué pasó de Stripe a la IA
- Greg Brockman pensaba que los problemas que resolvía en Stripe no eran el tipo de problemas a los que quería dedicar toda su vida, y que si podía influir en la forma en que la IA se desarrolla en el mundo, eso haría que su vida tuviera sentido
- Cuando Brockman intentó dejar Stripe, Patrick Collison le dijo que hablara con Sam Altman, y Sam vio en pocos minutos que Brockman ya había decidido irse
- Cuando Brockman dijo que estaba pensando en una empresa de IA, Sam respondió que él también quería empezar algo en IA y que siguieran en contacto, lo que llevó a las conversaciones para fundar un laboratorio en 2015
-
Fundación del laboratorio en 2015 y equipo inicial
- En ese momento, DeepMind parecía un “gorila de 10,000 libras” con investigadores, capital, datos y resultados, y su impulso ya era evidente incluso antes de la presentación de AlphaGo
- La pregunta clave era: “¿Es demasiado tarde o todavía es posible reunir a muchos de los mejores investigadores y empezar un laboratorio?”, y aunque había muchas razones para pensar que sería difícil, no se llegó a la conclusión de que fuera imposible
- Sam Altman y Brockman concluyeron que “había que hacerlo”, y Brockman se dedicó de tiempo completo a construir la organización desde el día siguiente
- La idea inicial incluía a Ilya Sutskever, Dario Amodei, Chris y Greg Brockman, pero no se concretó por completo; Chris fue a Google Brain y John Schulman, entre otros, mostró interés
- Como unas 10 personas preguntaban “quién más se va a sumar”, Sam propuso un offsite y reunió gente en Napa sin propuesta formal, sin estructura organizativa y sin integrantes confirmados
- En el offsite de Napa surgió una dirección muy cercana al plan técnico que siguieron durante los siguientes 10 años, y el núcleo era resolver el aprendizaje por refuerzo, resolver el aprendizaje no supervisado y una estrategia de aprender gradualmente objetos cada vez más complejos
-
Límites de la estructura sin fines de lucro y entidad con fines de lucro
- En 2017, OpenAI empezó a calcular las condiciones necesarias y la escala de cómputo requerida para construir AGI de verdad, y llegó a la conclusión de que necesitaba computadoras muy grandes
- Consideró que el hardware de cómputo único que estaba desarrollando Cerebras podía ir mucho más allá del nivel que indicaban sus cálculos, y concluyó que el acceso exclusivo o asegurar grandes centros de datos daría una ventaja enorme para construir AGI
- Vieron que la recaudación para una organización sin fines de lucro tenía un techo, y Elon Musk, Sam Altman, Ilya Sutskever y Greg Brockman acordaron que la única ruta para cumplir la misión de OpenAI era crear una entidad con fines de lucro vinculada a OpenAI
- Consideraban que para construir AGI hacía falta capital, pero que con una estructura puramente sin fines de lucro quizá se podían conseguir 100 millones o 500 millones de dólares, mientras que 1,000 millones sería extremadamente difícil
-
Tensiones internas y el despido de Sam Altman
- En una organización que cree que puede construir máquinas con inteligencia a nivel humano, la política interna típica de cualquier empresa —como quién decide, qué valores entran en esas decisiones y cómo se reparte el mérito— adquiere un peso existencial
- Brockman vio en una videollamada que la junta estaba reunida sin Sam, y recibió la notificación de que la junta había decidido sacar a Sam Altman
- Pidió más información, pero le respondieron que no había nada más para compartir, y también le informaron que él sería removido de la junta, aunque debía permanecer en la empresa porque era importante para cumplir la misión
- Sin recibir razones ni retroalimentación, Brockman habló con su esposa inmediatamente después de la llamada y concluyó que debía renunciar
- El mismo día de su renuncia, llegaron muchos mensajes diciendo que, hicieran lo que hicieran después, Sam y Brockman estarían juntos, y colaboradores cercanos también renunciaron ese día
- Sam y otras cuatro personas empezaron a diseñar una nueva empresa, y Brockman estimaba en 10% la posibilidad de recuperar la compañía
- Cuando la junta reemplazó el domingo por la noche a Mira, la CEO interina, por otra persona, la empresa reaccionó con fuerza, y el plan que iba a ser un pequeño “bote salvavidas”, aceptando solo a quienes ya se esperaba sumar, creció hasta el punto de tener que recibir a casi todos
- Incluso justo antes de Thanksgiving, muchos empleados cancelaron sus vuelos de regreso a casa y se reunieron en la oficina, y en el documento de petición había tanta gente intentando firmar al mismo tiempo que Google Docs se congeló
- Brockman revisó Twitter de madrugada y sintió un gran alivio al ver que Ilya había firmado la petición y publicado que quería que la empresa volviera a unirse
-
Reconciliación con Ilya Sutskever y lecciones de liderazgo
- Ilya tenía una relación tan cercana con Brockman que incluso ofició su boda civil, y ambos atravesaron tiempos difíciles juntos
- Después, pasaron mucho tiempo intentando entender y expresar cosas que se habían acumulado o que no se habían dicho, y Brockman sintió que ese proceso le permitió cerrar esa etapa
- Tras la crisis, empresas competidoras intentaron llevarse gente y quizá había más dinero o mejores ofertas, pero durante ese fin de semana OpenAI no perdió ni a una sola persona y nadie aceptó ofertas de la competencia
- Cuando Ilya se fue, fue casi el único momento en la historia de OpenAI en que Brockman sintió que ya no quería seguir, y tuvo que volver a encontrar por qué este trabajo era importante y por qué valía la pena soportar el dolor
- Durante su pausa, entrenó modelos de lenguaje con secuencias de ADN y, junto con su esposa, se interesó en lo que la IA podía hacer frente a problemas de salud animal, aplicando la tecnología a ámbitos personalmente significativos
- Mirando atrás, los errores que cometió casi siempre tomaron la forma de postergar demasiado decisiones que sabía que debía tomar, y la lección que aprendió una y otra vez fue tomar decisiones difíciles y tener conversaciones difíciles
Punto de inflexión técnico y aceleración del desarrollo de IA
-
Momentos consecutivos en los que sintieron “esto es real”
- El avance de OpenAI no fue una sola revelación, sino una secuencia de momentos en los que sintieron “esto es real”
- El lanzamiento inicial fue el momento en que pudieron reunir al equipo y perseguir la misión, pero al día siguiente en la oficina no sabían qué debían hacer, e incluso no tenían ni pizarrón
-
La escalabilidad que mostraron Dota y PPO
- Dota fue el primer gran logro y mostró que, si aumentas el cómputo, también aumentan los resultados
- Originalmente, el proyecto de Dota era un intento de desarrollar un nuevo método porque se pensaba que el aprendizaje por refuerzo existente no escalaría, y el algoritmo utilizado fue PPO
- Se pensaba que PPO, al planificar todos los pasos temporales y no tener jerarquía, era distinto de cómo los humanos planean su día, tenía muchos defectos y no escalaría, pero decidieron llevar la línea base al límite
- Al seguir escalando PPO, superó el rendimiento de los mejores jugadores humanos, lo que llevó al hallazgo de que un algoritmo simple y cómputo a gran escala sí funcionan en la práctica
- El entorno de Dota era complejo, difícil de programar, de anticipar y de explorar mediante búsqueda, y requería una intuición casi humana
- La red neuronal utilizada tenía un número de sinapsis más cercano al de “un pequeño cerebro de insecto”, y dejó abierta la pregunta de qué pasaría si ese mismo enfoque de cálculo se escalara a algo mucho más cercano al tamaño de un cerebro humano
-
Modelos de lenguaje, aprendizaje semántico y cambio de criterio después de GPT-4
- El artículo de 2017 sobre unsupervised sentiment neuron se menciona como el primer momento en que vieron surgir semántica a partir del objetivo de modelado de lenguaje
- Solo se entrenó para predecir el siguiente carácter, pero la red neuronal llegó a entender si una oración era positiva o negativa, mostrando que podía aprender no solo comas y posiciones de sustantivos y verbos, sino también el significado de la oración
- Mientras trabajaban con GPT-4, surgió la pregunta “¿por qué esto no es AGI?”, y aunque podía conversar con fluidez sobre el tema que se quisiera, claramente le faltaba algo
- Es posible que el criterio de AGI que tenían dos meses antes del lanzamiento de GPT-4 no coincidiera con sus capacidades reales, y consideran que todavía quedan momentos de ruptura que harán posible la siguiente etapa
-
La conexión entre predicción, aprendizaje no supervisado y aprendizaje por refuerzo
- Predecir la siguiente palabra parece algo común, pero surge la idea de que si realmente puedes predecir lo que Einstein dirá después, eres al menos tan inteligente como Einstein
- La clave de la predicción no está en acertar lo que ya se conoce, sino en prever qué vendrá después en situaciones nuevas que nunca antes se han visto
- El entrenamiento de modelos se divide entre aprendizaje no supervisado, en el que se aprende con datos estáticos y de observación a predecir lo que vendrá después, y aprendizaje por refuerzo, en el que la IA elige sus propias acciones, recibe observaciones del mundo y aprende a partir de sus propios datos
- La tecnología utilizada en ambas etapas es fundamentalmente la misma; lo que cambia es la estructura de los datos
-
La etapa en la que la IA acelera el desarrollo de la propia IA
- Consideran que ya entraron en una etapa en la que aplicar IA a su propio proceso de desarrollo hace que la velocidad de desarrollo aumente cada vez más
- Después de ChatGPT, el proceso interno de desarrollo se aceleró entre 10% y 20%, y las herramientas recientes de programación han cambiado mucho la forma de hacer ingeniería de software
- En la producción de modelos, la mayoría de los cuellos de botella están en el software, como la implementación de sistemas, el escalado y la gestión de grandes computadoras
- Consideran que pronto llegarán a una etapa en la que la IA proponga sus propias ideas de investigación, ejecute experimentos y haga pruebas
- Actualmente es difícil saber qué proporción del código escrito no fue hecha por IA y está en un nivel “casi desaparecido”; consideran que, si se le da el contexto y la estructura correctos, la IA escribe código real mejor que los humanos
- Sin embargo, creen que en el diseño estructural del código, como la disposición de módulos, la relación entre componentes y la definición de interfaces específicas, los expertos humanos siguen siendo muy superiores
-
Nuevas ideas y la no divulgación del chain of thought
- Consideran que se está acercando la etapa en la que la IA genere ideas nuevas en las que las personas no habían pensado
- En el diseño de chips propio en 2024, aplicaron tecnología de OpenAI para reducir el área del circuito, y la optimización generada por el modelo ya estaba en la lista humana, pero permitió implementar más rápido cosas que no habían podido hacer por falta de tiempo
- En matemáticas y física, dicen estar resolviendo problemas abiertos de matemáticas y problemas abiertos de física, y afirman que recientemente resolvieron cierto problema de física cuántica en una dirección opuesta a la prevista por la comunidad, incluso produciendo una fórmula elegante
- OpenAI procura dificultar la destilación y protege especialmente elementos que forman parte del modelo, pero no son esenciales para entregar resultados al usuario, como el chain of thought
- La ventaja central de OpenAI no está en un modelo específico, sino en la máquina que crea modelos
- Una de las razones por las que no muestran el reasoning es evitar la destilación, y una razón aún más importante es la interpretabilidad
- Si el chain of thought se entrena para verse bien, se pierde la fidelidad, y el modelo puede generar un reasoning con la forma que el usuario quiere en lugar de las razones reales
- OpenAI tomó desde el principio la decisión de resistir la tentación de entrenar el chain of thought en una forma agradable de mostrar al usuario, y por razones de competencia y seguridad se inclinó por no revelar el pensamiento intermedio
Restricción de cómputo, centros de datos y enfoque de producto
-
Un mundo donde el cómputo es la restricción clave
- Considera que, en general, avanzamos hacia un mundo con restricción de cómputo
- El valor que generan los modelos se expande más allá de simplemente responder preguntas: incluye acceso a información de salud, integración de múltiples fuentes de datos, búsqueda en bases de conocimiento empresariales, resolución de problemas difíciles y escritura de software mejor que los humanos
- El progreso desde GPT-5 hacia 5.1, 5.2 Codex y 5.4 ha sido muy grande, y los modelos han mejorado notablemente en su capacidad para entender la intención del usuario y alinearse con sus objetivos
- Al poner el modelo en una interfaz como Codex, los desarrolladores pueden lograr mucho más que antes
- Incluso si se intentara dar solo una GPU a cada persona del mundo, harían falta 8 mil millones de GPU, pero la trayectoria actual ni siquiera se acerca a ese nivel
- Hoy, cientos de miles de GPU ya representan una gran escala, y en el futuro podrían llegar millones, pero aun así sigue habiendo demasiado poco cómputo en el mundo, y se necesitará muchísimo más para llevar esta tecnología a todos
-
Estrategia de centros de datos e infraestructura física
- OpenAI ha dedicado mucho esfuerzo a construir cómputo anticipándose a lo que viene, y busca mantenerse enfocado en la misión de poner sus modelos a disposición de todos de forma amplia
- La estrategia de invertir mucho esfuerzo y dinero en centros de datos fue objeto de burlas por parte de competidores, pero ahora se considera que dará ventaja no solo al negocio, sino también al cumplimiento de la misión de llevar la tecnología a todos
- Los centros de datos para IA se parecen a “las máquinas más grandes que construye la humanidad”, y su propósito es ayudar a resolver problemas importantes para las personas, como curar el cáncer, operar negocios y responder consultas cotidianas, además de ayudar a alcanzar objetivos
- Sobre centros de datos dedicados a problemas específicos, por ejemplo uno gigantesco en Dakota dedicado únicamente a resolver el cáncer, considera que no se puede descartar que eso ocurra este año
- Hoy los centros de datos son grandes máquinas muy delicadas, y en el pasado hubo casos en que los cables estaban demasiado tensos, lo que causó problemas de integridad de señal e incluso que las computadoras dejaran de funcionar
- Actualmente el mantenimiento del sistema lo hacen personas de manera física, pero en el futuro podría desplazarse hacia la robótica
- Los centros de datos en el espacio presentan muchos problemas técnicos, pero cree que la demanda de cómputo es tan grande que hay que considerar todas las opciones
-
Asignación de cómputo y accesibilidad
- En una situación de cómputo limitado, se vuelve una pregunta socialmente importante dónde asignar el cómputo entre demandas distintas como “generación de imágenes” y “resolver el cáncer”
- OpenAI considera que todos deberían tener acceso al cómputo, y una de las razones para mantener un nivel gratuito en ChatGPT es permitir que la tecnología se use ampliamente y que la gente la entienda y dé forma a cómo utilizarla
- El enfoque de “torre de marfil”, en el que primero se resuelve el problema y luego se distribuyen los resultados, también tiene ventajas, pero el centro de gravedad de OpenAI está en distribuir ampliamente los beneficios de la tecnología
-
Convergencia entre enterprise y consumidores
- En la siguiente etapa de OpenAI, el segmento enterprise será muy importante, y la economía está transformándose ante nuestros ojos en una economía basada en cómputo
- El cambio ya se ha visto en la ingeniería de software, y se considera que en todos los campos donde se trabaja con computadoras se pasará de un modelo en que “las personas trabajan con computadoras” a uno en que las computadoras trabajan para las personas
- La frontera entre enterprise y consumidores puede volverse difusa, y ya están apareciendo cambios que hacen mucho más fácil emprender
- Un amigo iba escribiendo en Codex lo que su hermana menor quería en una app mientras la escuchaba; horas después, al mostrarle la app, ella preguntó “¿quién la hizo?”, y él respondió: “la hiciste tú”
- Codex se presenta no como una herramienta solo para ingenieros de software, sino como una herramienta que permite que cualquier persona con visión y voluntad de ejecutar pueda convertirse en builder
-
IA personal y un solo sistema tecnológico
- El área de consumo en la que OpenAI pone especial atención no es el entretenimiento ni la autoexpresión, sino la resolución de objetivos
- Si hay alrededor de 4 mil millones de usuarios de smartphones, considera que todos deberían tener una IA personal o un AGI personal que los conozca bien, entienda su contexto personal, sea confiable y al que puedan pedir consejo
- La IA personal puede actuar de forma proactiva, como comprar boletos cuando un músico favorito llega a la ciudad; en algunos casos puede confirmar primero y, en otros, ejecutar directamente con aprobación previa
- Se mantiene la premisa de que los objetivos deben definirlos los usuarios y de que el usuario debe conservar el control
- Cree que quienes deberían tener acceso a una IA personal o un AGI personal no son solo 4 mil millones, sino 8 mil millones, es decir, todo el planeta
- Ya sea para trabajo o para la vida personal, puede haber múltiples instancias, pero en lo fundamental se trataría de un solo sistema tecnológico
Despliegue, seguridad, neutralidad y regulación
-
Despliegue iterativo
- El despliegue iterativo (iterative deployment) ha sido uno de los pilares centrales que OpenAI ha usado para hacer que la tecnología beneficie a las personas y cumplir su misión
- Existe la ruta de crear AGI en secreto y no desplegar nada hasta que en algún momento se presione un botón, pero en ese caso habría que afrontar de una sola vez el primer contacto entre un sistema poderoso y la realidad
- En cambio, si se despliegan varias veces sistemas cada vez más potentes, se llega a una situación de manejar el “sistema número 100”, pudiendo aprender de la resolución de los 99 problemas anteriores, mientras el mundo también gana tiempo para adaptarse
- Antes del despliegue de GPT-3 se pensó mucho en panoramas generales como la desinformación, pero en la práctica el abuso más grande fue el spam médico que anunciaba múltiples medicamentos a la gente
- El despliegue iterativo consiste en lanzar al mundo versiones intermedias para ver y aprender del abuso real y de los riesgos reales; no significa desplegar sin más
- Para una tecnología tan poderosa y de despliegue tan rápido como la IA no existe un playbook, y OpenAI también está en una situación de aprender mientras lo va construyendo
-
La seguridad es una función del producto
- La seguridad no es un simple elemento adicional, sino una función central del producto, y nadie quiere un modelo que no esté alineado con uno mismo
- Los usuarios quieren un modelo en el que puedan confiar en cualquier situación y que haga lo correcto
- Consideran que OpenAI ha invertido mucho más en seguridad de lo que la gente percibe, quizá más que cualquier otro laboratorio
- Como ChatGPT es el caso de despliegue de modelo de lenguaje usado por más personas en el mundo, OpenAI tiene que preocuparse por la seguridad, y afirma que de hecho siempre lo ha hecho
- Consideran que no existe un estado sostenible en el que un desarrollador de IA que construye un producto exitoso no invierta con mucha fuerza en seguridad
-
Resiliencia social y OpenAI Foundation
- La seguridad no se conecta solo con el modelo en sí, sino también con la forma en que la sociedad desarrolla resiliencia
- Los autos necesitan cinturones de seguridad y carreteras, y la electricidad requiere normas de seguridad y reglas sobre la ubicación de postes y líneas de alta tensión
- En la IA también importa no solo el modelo en sí, sino cómo se integra con el mundo y cómo la sociedad desarrolla resiliencia
- OpenAI Foundation tiene como uno de sus enfoques centrales ayudar a que la sociedad invierta y construya una capa resiliente para la IA
-
Sesgo político del modelo, neutralidad y aprendizaje de preferencias del usuario
- OpenAI dice que dedica mucho esfuerzo a que el modelo sea neutral y represente la verdad, y que los valores y la forma de actuar que se incorporan al modelo pueden verse en las especificaciones públicas del sitio web, además de permitir retroalimentación
- Las capturas de pantalla de Twitter no siempre pueden ser totalmente honestas, porque a veces la respuesta fue orientada en cierta dirección por la memoria detrás, instrucciones ocultas o el contexto de conversaciones previas
- Algunas preguntas no tienen una respuesta correcta y, si se pide responder con una sola palabra, sin importar cuál se dé, pueden surgir acusaciones de sesgo
- Lo central para OpenAI es la verdad y una IA que represente al usuario
- La forma de entrenar al modelo según las preferencias del usuario ha evolucionado, y hubo un tiempo en que el modelo se inclinaba a decirle al usuario lo que quería escuchar
- El objetivo es que el modelo ayude con las metas de largo plazo y el bienestar a largo plazo del usuario, y se hicieron mejoras técnicas para evitar que ocurra “reward hacking” en busca de satisfacción inmediata
-
Regulación, preocupaciones sobre los centros de datos y estrategia nacional
- La regulación de la IA debe hacer que la tecnología termine beneficiando a las personas, y debe abordar que sistemas, profesiones y trayectorias de vida que se creían estables tal vez ya no lo sean
- Las preguntas clave de la regulación pasan por si todos deberían tener acceso al cómputo, y cómo evitar que, cuando la tecnología genere más valor económico, ese valor se acumule en un solo lugar
- Hay personas que dicen que el uso de ChatGPT salvó su vida o la de un ser querido, y consideran que ese tipo de uso debe apoyarse y protegerse
- Las conversaciones con médicos o abogados son comunicaciones privilegiadas protegidas legalmente, pero en la IA todavía no existe ese tipo de marco
- Existe preocupación por si los centros de datos están elevando las tarifas eléctricas, y OpenAI dice tener el compromiso de evitar que eso ocurra
- Se habla mucho del uso de agua de los centros de datos, pero OpenAI afirma que sus centros de datos usan muy poca agua y que decir que usan mucha es desinformación
- La razón del bajo uso de agua es que se trata de una estructura de circuito cerrado: se llena con una cantidad de agua comparable a la de una piscina y luego esa agua se sigue recirculando
- Consideran que la situación actual se parece más a un renacimiento global de la IA que a una “carrera global de IA”, y que la dinámica entre países todavía no está completamente definida
- Consideran que el liderazgo de Estados Unidos en IA es importante para que los valores democráticos queden protegidos y preservados
- Los países están dándose cuenta de que, si la IA se está convirtiendo en la base de la seguridad económica y la seguridad nacional, deben participar de alguna forma y necesitan una estrategia de IA soberana
- Si se restringen demasiado las exportaciones de chips y de tecnología, otros países crearán sus propios competidores o dependerán de otros proveedores; si se es demasiado flexible, Estados Unidos podría perder su ventaja
- El liderazgo no consiste solo en ir adelante, sino también en llevar al mundo consigo
Empleo, habilidades necesarias y el futuro deseable
-
La ansiedad por el empleo y lo que se gana
- No está claro exactamente cómo se desarrollará la IA y podría manifestarse de maneras sorprendentes; la IA y el mundo actuales también son distintos de lo que predecía la ciencia ficción
- No se puede negar que viene un cambio, y aunque es fácil ver lo que se pierde, es mucho más difícil ver de antemano lo que se gana
- Si a una persona de 1950 le explicaran que, pasando por computadoras, teléfonos móviles y GPS, podríamos pedir un auto a nuestra ubicación actual en menos de 3 minutos, le sonaría extraño, pero en la práctica esa inversión tecnológica llevó a miles, decenas de miles y millones de usos
- El núcleo de la IA está en la ampliación de capacidades y en la agencia humana, y algunas instituciones y profesiones quizá no sean tan estables como se cree, por lo que afectarán a las personas
- Al ver varias generaciones de tecnologías de IA, considera que quienes aprendieron primero la generación anterior tendieron a obtener los mayores beneficios también en la siguiente
- Las capacidades clave son la agencia, la visión y las ideas, y la barrera de entrada para intentar cosas es más baja que nunca
- El mundo debe pensar cómo apoyar a todas las personas que atraviesen esta incertidumbre y transición, y la economía cambiará hacia una economía basada en cómputo
-
Lo que debe aprender la generación joven
- Para estudiantes de secundaria, universitarios y personas en etapas tempranas de su carrera, una capacidad importante es usar la IA a fondo y entender cómo sacarle el máximo provecho
- Considera que podríamos avanzar hacia un mundo donde todos sean gestores de agentes y, más aún, CEO de empresas autónomas de IA
- Se puede imaginar una situación en la que la fuerza laboral de una empresa de 100 mil personas trabaje las 24 horas para uno mismo, y para eso se necesitan tokens y cómputo
- Que todo el mundo tenga acceso al cómputo es un problema clave que el mundo debe resolver correctamente
- En adelante, las capacidades importantes serán saber usar la IA, combinar tecnologías de formas nuevas, interactuar y gestionar agentes, y entender qué es lo que uno quiere y con qué propósito
-
Riesgos y el futuro deseable
- Hasta ahora, muchas veces la tecnología ha hecho que las personas retuerzan su cuerpo y su vida para adaptarse a las máquinas, y la imagen de teclear frente a una caja mientras se sufre síndrome del túnel carpiano y hombros encorvados no es algo natural para el ser humano
- En adelante pasaremos de un mundo donde las personas trabajan con computadoras a uno donde las computadoras trabajan para las personas, y eso crea tanto oportunidades como riesgos
- Si las máquinas ayudan a cumplir los objetivos de las personas, habrá que definir cómo coordinar objetivos que entren en conflicto entre sí y trazar límites sobre qué debe ayudar a hacer la IA y qué no
- Debemos encontrar cómo integrar la IA en la sociedad y cómo hacer que sus beneficios no vayan solo a una empresa o a un grupo, sino que eleven a todos
- Hay que elevar el piso para que todas las personas tengan una gran vida, acceso a esta tecnología y la capacidad de hacer algo con ella, y con eso también subiría el techo
- En acceso a la salud, considera posible un mundo donde todos lleven en el bolsillo un médico mejor que cualquier equipo médico actual
- Este cambio es disruptivo y no llegará gratis, y ya han aparecido errores iniciales
- Durante los próximos 2 años cree que puede ser una fuerza para el bien, pero para alcanzar ese potencial de crecimiento también hay que reconocer las formas en que puede salir mal y sus riesgos
-
Criterios personales y definición del éxito
- Escribir artículos, recibir citas y llamar la atención en conferencias no basta para cumplir la misión; solo es suficiente si se conecta con “cómo esa actividad hace que la AGI avance en una mejor dirección para el mundo”
- En palabras de Ilya, existe la idea de que “hay que sufrir”, en un sentido cercano a que si no hay sufrimiento, no se está creando valor
- Considera que la forma de OpenAI no ha sido tapar los problemas y seguir adelante a ciegas, sino más bien enfrentar las verdades difíciles y entender la realidad tal como es
- Lo que quiere transmitir sobre el significado de la IA a quienes no son técnicos es que ayudará en la vida personal, hará avanzar la ciencia y la medicina, y será una fuerza para el bien que eleve a todos
- El éxito es la misión de OpenAI, es decir, garantizar que la inteligencia artificial general beneficie a toda la humanidad
1 comentarios
Opiniones de Hacker News
Recuerdo cuando las revistas de computación de antes estaban dirigidas a programadores y hasta publicaban listados de código
Luego, en algún momento, no hablaban más que de la demanda de IBM contra Microsoft, y después parecían haber encontrado la fórmula de hablar solo de la política interna de las empresas de computación. Ese tipo de cobertura empresa contra empresa es aburrida, como un reality show tecnológico. Es como estar viendo si esta noche eliminan a Debra o a Deborah
Para el mundo, se parece menos a la tecnología real y más a la cantidad absurda de dinero, poder, influencia e intriga que esa tecnología hizo posible. Incluso en la época de IBM contra Microsoft la escala ya era grande, pero la escala de algo como OpenAI hoy está más allá de lo imaginable. También hay generaciones cuya conexión con la ingeniería y la tecnología existe solo por interés en ese otro lado. Extraño la época de Byte magazine
Si no quieres escuchar todo, aquí se puede ver: https://apecast.app/podcast/the-knowledge-project/episode/op...
También están los diarios personales que salieron a la luz durante la demanda de Musk y muestran cómo veía Brockman el pasado
Por ejemplo, incluyen frases como “Financially what will take me to $1B?”. Por cierto, Musk perdió porque presentó la demanda demasiado tarde
No entiendo por qué nadie pregunta por lo que realmente pensaba Ilya
No me cuadra que despidiera a Sam y luego firmara la carta de apoyo diciendo que dejaría OpenAI si Sam era despedido. Todo lo demás parece bastante superficial
En la práctica habría sido mucho más difícil de ejecutar, pero quizá sí logró convencer a todos de que era un resultado inevitable
No sé por qué, pero este episodio se me hizo bastante aburrido
Supongo que porque casi no compartió nada inesperado o poco conocido
No creo que eso hubiera matado a OpenAI. Más bien la habría corregido
Lo interesante es que, en esencia, encontraron la respuesta casi por accidente. El preentrenamiento es aprendizaje no supervisado a gran escala, y RLHF es aprendizaje por refuerzo. Solo que todavía no conocían la receta
No entiendo cómo una organización sin fines de lucro pudo hacer algo así
¿No sienta esto el precedente de que las organizaciones sin fines de lucro en realidad no significan nada? Usan una estructura ventajosa y luego la cambian cuando llega el momento de hacerse ricos
OpenAI se fundó en 2015 como una organización sin fines de lucro de Delaware y, al descubrir en 2017 las leyes de escalado, entendió que necesitaba muchísimo más cómputo y capital del que esperaba. Después vinieron negociaciones para cambiar la estructura y levantar más fondos; Musk se fue cuando los otros fundadores no quisieron darle el control. En 2018 intentaron aumentar mucho la recaudación incluso tras el fin de las contribuciones de Elon, pero solo consiguieron 50 millones de dólares de una meta de 100 millones. En 2019 crearon una subsidiaria con tope de ganancias para atraer capital comercial, y la organización sin fines de lucro contrató a un evaluador independiente para valorar la propiedad intelectual y transferirla a la entidad con fines de lucro por un valor justo de unos 60 millones de dólares. A cambio, la organización sin fines de lucro obtuvo el derecho a recibir hasta 100 veces esa inversión original en propiedad intelectual, es decir, hasta 6 mil millones de dólares, cuando hubiera ganancias, además del derecho a las utilidades residuales una vez que los futuros inversionistas alcanzaran su tope. Microsoft invirtió mil millones de dólares en 2019, 2 mil millones en 2021 y 10 mil millones en 2023; cada inversión tenía un tope de 20x o 6x, y la meta total de retorno era de 92 mil millones de dólares. En 2025 se recapitalizó la estructura de tope de ganancias como una corporación de beneficio público con participación tradicional, y la organización sin fines de lucro, a cambio de ceder sus derechos sobre utilidades residuales y el tope de 100x sobre aquella transferencia inicial de 60 millones, recibió una participación del 26% en la entidad con fines de lucro, hoy valorada en unos 200 mil millones de dólares. Todo esto sale del expediente de Musk v. Altman y, en resumen, la organización sin fines de lucro convirtió en 2019 una propiedad intelectual valorada en unos 60 millones en un derecho a 6 mil millones de ganancias futuras, y después de la recapitalización terminó con una participación valuada en 200 mil millones. Mucha gente en este hilo parece pensar que la organización sin fines de lucro ya no existe, pero eso no es cierto
Como comentario de procedimiento, la empresa de IA más importante en este momento es Anthropic