Si OpenAI sigue siendo una organización benéfica 501(c)(3), cualquier empleado de Microsoft que entre al directorio tendría un deber fiduciario de priorizar la misión de la organización benéfica por encima de las necesidades comerciales de Microsoft. El conflicto de interés es tan evidente que no parece probable que al IRS le guste esta estructura
En los directorios de grandes empresas, los conflictos de interés “en papel” son comunes. Si quieres que se sienten ahí personas con experiencia real de gestión y que actúen con responsabilidad, eso pasa en cualquier industria; no es algo particular del sector tecnológico ni de OpenAI
En la práctica, esto funciona con reglas del directorio y sentido común: apartarse cuando hace falta y no hacer tonterías
Es probable que una organización sin fines de lucro nunca haya enfrentado un escrutinio tan grande como este, y parece que los nuevos directores van a querer traer abogados para protegerse. Basta con imaginar su posición si Sam Altman realmente hizo algo que justificara su despido
Convertir OpenAI en una organización benéfica de interés público fue un gran error, y no dan ganas de meterse en ese caos. Si más adelante esto se inclina hacia el estatus de fundación privada, se va a poner más interesante
OpenAI no es una organización benéfica. La inversión de Microsoft fue en la empresa con fines de lucro OpenAI Global, LLC
Según https://openai.com/our-structure, la subsidiaria con fines de lucro está totalmente controlada por OpenAI Nonprofit, y los miembros del directorio deben cumplir su deber fiduciario hacia la misión de una “AGI segura y ampliamente beneficiosa”. La participación en ganancias para inversionistas, empleados y Microsoft tiene un tope, y el valor residual por encima de ese límite vuelve a la organización sin fines de lucro para beneficiar a la humanidad. Además, el directorio decide si ya se alcanzó la AGI, y la AGI queda excluida de la licencia de propiedad intelectual y de los términos comerciales de Microsoft
No hay señales de que el director nominado por Microsoft tenga que ser necesariamente un empleado de Microsoft. Claro, podría serlo, pero en grandes organizaciones sin fines de lucro es común que haya directores provenientes de empresas con fines de lucro
No parece que al IRS le vaya a importar demasiado esto. Si la acusación es que OpenAI favorece a Microsoft, una empresa con fines de lucro que sí paga impuestos, incluso asumiendo la peor interferencia de mala fe, esto parece más un asunto de la SEC que del IRS
No parece probable que el gobierno vaya a regular esto con fuerza. La IA es demasiado importante para el gobierno y para el ámbito militar como para retrasar una ventaja competitiva por conflictos de interés menores
Con el regreso de Sam como CEO, da la impresión de que el directorio de OpenAI demostró haber perdido su función. Sin importar quiénes lo integren, ya no pueden ejercer ni siquiera su poder más básico, que es despedir al CEO, y Sam mostró que en la práctica es imposible de despedir
Eso no significa que Sam haya mentido ni que vaya a hacerlo en el futuro
Para nada. Lo único que pasó es que el directorio actuó de la manera más incompetente posible dentro del grupo encargado de esa responsabilidad
Si hubieran seguido el debido proceso, informado a empleados e inversionistas y anunciado las razones para despedir al CEO, no habrían terminado resolviendo esto por una Google Meet de 15 minutos seguida de silencio total, ni habría habido tanta indignación
Imaginen que el directorio de Apple despidiera a Tim Cook sin previo aviso justo después de que subiera al escenario a anunciar las actualizaciones de la plataforma para desarrolladores de ese año y un crecimiento y ventas récord, y que durante días se negara a darles a los inversionistas una razón o cualquier comunicación útil, y que ese mismo fin de semana reemplazara a la primera CEO interina por otra CEO interina de una industria completamente distinta
Si crees que no habría habido una rebelión de accionistas contra el directorio solo porque ejerció su facultad básica de despedir al CEO, entonces te estás perdiendo parte de la situación
Este acuerdo es mejor para el directorio y peor para Sam de lo que la gente cree. Sam, Greg e Ilya salieron todos del directorio, D'Angelo sigue ahí pese a su comportamiento absurdo, y tendrá poder de veto y mucha influencia sobre la elección de nuevos directores
De ahora en adelante todos van a desconfiar de Sam. Va a tener mucho menos margen de maniobra del que tenía con el directorio anterior. Al final probablemente logre imponerse convenciendo a los otros directores independientes con carisma y habilidades sociales, pero va a tener que controlar mucho más su comportamiento si quiere mantenerlos de su lado y no del de D'Angelo
Sí, pero por otro lado esto mostró que OpenAI ya no funciona con fluidez y probablemente nunca vuelva a hacerlo. No puedes cortarle la cabeza a una serpiente, volver a pegarla y esperar que siga deslizándose como antes
Incluso si Sam se queda, en una organización tan compleja como OpenAI hay miles de reglas implícitas, relaciones y procesos ocultos que deben funcionar bien sin que el CEO intervenga directamente. La recontratación de Sam parece significar que el OpenAI del futuro se acerca más a una sombra tenue de lo que era antes. Si de verdad vuelve a asentarse en el cargo, se sentirá extraño, y más aún si piensas en otras salidas. Eso no significa que OpenAI vaya a morir, pero sí dejó en evidencia una debilidad
El directorio todavía podría despedir a Sam si primero convenciera a las partes interesadas clave. Lo absurdo fue despedir a alguien que parecía estar haciendo un buen trabajo sin ninguna justificación, y ese parece haber sido el problema central
Al final, todos saben que esta estructura sin fines de lucro es de adorno y no va a funcionar bien
No sé por qué, pero esto me recuerda al fiasco de Coke/New Coke. Al final, fue un caso que hizo a Coke Classic todavía más famoso que antes
Los consumidores se enfurecieron y exigieron que regresara el sabor que conocían y con el que crecieron, y la presión para revivir el producto original fue tan grande que los periodistas llegaron a preguntarse si todo el proyecto había sido montado. A eso respondió el presidente de Coca-Cola, Don Keough, el 10 de julio de 1985: “No somos ni tan tontos ni tan inteligentes.” https://en.wikipedia.org/wiki/New_Coke
Cuando relanzaron New Coke por Stranger Things, la probé y me pareció mucho mejor que Coca Cola Classic. Lástima que haya fracasado
Supuse que toda esa puesta en escena era para ocultar el cambio de azúcar a jarabe de maíz de alta fructosa
Ilya salió de la junta, pero Adam sigue ahí. Es de esas cosas que hacen levantar la ceja, pero así están las cosas
Que Sam haya vuelto no significa que esto simplemente vaya a desaparecer. Ahora que Sam parece alguien irremplazable, OAI va a pasar por grandes cambios. A largo plazo, dudo que OAI llegue a convertirse en una de esas megacorporaciones como Facebook o Uber; ha perdido la confianza
Más que ser irremplazable, se parece más a que si lo echas de repente y sin motivo, se arma un problema
La historia ha mostrado una y otra vez que un buen producto importa mucho más que la confianza, y Facebook y Uber son prueba de ello. Justo después de un escándalo todos hablan fuerte de pérdida de confianza, pero con el tiempo renuevan los contratos en silencio
Grandes empresas de publicidad como Google, Amazon y Facebook tienen escándalos casi cada mes y aun así los ingresos por anuncios siguen entrando. Meltdown fue un escándalo grande, pero Intel siguió sacando chips
Facebook ha perdido tanta confianza que ya ni se puede contar, pero igual sigue siendo una Megacorp, ¿no?
Sam Altman es un CEO fundador extremadamente carismático; algunas personas lo ven como manipulador, pero muchos empleados lo quieren. La junta lo echó y luego, cuando se dio cuenta de que se había equivocado, lo trajo de vuelta
No encaja exactamente con la narrativa fundacional de gigantes exitosos como Facebook, Amazon, Microsoft o Google, pero sigo pensando que una persona así todavía puede construir una empresa enorme. Claro, más importante que crear una empresa enorme es hacer un producto absurdamente bueno
Al final, todavía no sabemos exactamente qué pasó, y probablemente nunca lo sabremos. Pero sí parece claro que hubo una fractura entre el Team Sam, partidario de la comercialización rápida, y el Team Helen/Ilya, partidario de mantener los principios iniciales
Incluso en artículos anteriores a GPT-3 ya se decía que los ideales fundacionales de transparencia, apertura y colaboración estaban siendo erosionados por la competencia feroz y la presión por conseguir más dinero. Team Helen actuó en pánico, pero probablemente pensó que iba a ganar porque creía que estaba defendiendo los principios fundacionales de la organización. Pero nunca tuvo posibilidades reales. Entre el público, son pocos los que de verdad se preocupan por AI Safety; al resto le gusta que ChatGPT les ayude con la tarea. La junta merece burlas por haber actuado de forma absurdamente tonta, pero también vale la pena considerar la otra cara: si de verdad creían que una IA sobrehumana estaba cerca y que podía actuar de forma maliciosa, ¿no habrían intentado frenar el ritmo?
Sinceramente, me cuesta tomar esa amenaza en serio, pero ahora quiero entenderla mejor que antes. Tal vez no sea tan infundada como pensaba. Ojalá nunca llegue el día en que Team Helen pueda decir: “Justo esto era lo que intentábamos evitar” https://www.technologyreview.com/2020/02/17/844721/ai-openai...
Lo que piense el público general aquí no importa. El factor decisivo fue la rebelión de los empleados, y sin empleados una organización es solo un cascarón vacío
Los empleados se alinearon con la idea de tener impacto rápido en el mundo real, y eso también afecta directamente sus carreras y sus stock options. También es ingenuo verlo como una pelea de principios. La consigna de comercialización rápida contra principios fue algo que cada bando agitó para juntar a los suyos; en realidad, es muy posible que haya sido una toma de poder descarada aprovechando una estructura organizacional débil y caótica. La forma “correcta” de sacar a Altman habría sido recortarle gradualmente el poder desde la junta y empujarlo hacia un rol cada vez más ceremonial hasta que renunciara por su cuenta
Si OpenAI se está acercando a la singularidad, entonces Google, Meta, Baidu y otros también. En ese caso, lo correcto sería involucrar a la NSA o a la Casa Blanca e iniciar medidas de mitigación incluyendo también a Google, Meta y Microsoft
Frenar solo a OpenAI perjudica a la empresa si la premisa es falsa, y no ayuda aunque sea cierta. Esto parece menos una pelea de principios y rumbo, y más una pelea de ego y poder
Esta narrativa suena plausible, pero no explica el lenguaje raro y agresivo del primer comunicado de prensa
Si hubieran señalado los principios fundacionales o la carta y dicho que la junta tenía diferencias irreconciliables con Sam sobre su interpretación, al mismo tiempo que le agradecían profundamente sus contribuciones hasta ahora, la situación podría haber sido distinta. Claro, era mucho más importante contar con un CEO sucesor adecuado y con la garantía de que la PPU de los empleados se volvería líquida. Al principio el comunicado era tan malo que pensé que Sam había cometido un delito
La ironía de que una organización que hablaba de progreso responsable ni siquiera pudiera alinear la estructura de incentivos dentro de su propia organización merece burla. Es un golpe fuerte a su credibilidad, y hasta hace que uno dude de las preocupaciones éticas que dicen defender
Si creen que la amenaza es real, ¿no estamos ya perdidos? OpenAI es solo uno de varios equipos que investigan este problema, y todos cuentan con el respaldo de enormes cantidades de dinero y talento de grandes empresas que cotizan en bolsa
Es cierto que OpenAI ha hecho contribuciones únicas, pero no está tan por delante de forma aplastante. Si OpenAI se tambalea, es muy probable que otro tome la delantera, y no sabemos de dónde saldrá el próximo gran avance. Si la amenaza se toma en serio, no entiendo por qué se asume que OpenAI es el líder absoluto. Si haces más lenta a la empresa, el resultado más probable es cederle el liderazgo a otro
La forma de verlo es esta. En una disputa entre un desarrollador, Ilya, y un hombre de negocios, Sam, gana Sam. Cuando cientos de desarrolladores amenazan con renunciar y la junta se mantiene firme, ganan los desarrolladores
Visto desde fuera, parece que los desarrolladores tuvieron el poder desde el principio, y así debería ser
No tiene precedentes que el 95% de una empresa adopte la misma postura, pero hay varias razones
No estaban arriesgando el trabajo, porque podían obtener puestos y compensación similares en la nueva startup de Microsoft con Sam; Sam aprobó cada contratación desde el principio; y OpenAI venía contratando gente que quería trabajar en una organización sin fines de lucro con una misión, en vez de en otras empresas que podían pagar más. En cualquier caso, unirse para amenazar con renunciar juntos fue una buena estrategia y funcionó. “OpenAI is nothing without its people” fue un contrapeso de poder frente a una mala junta
Hay tres dragones: empleados, clientes y gobierno. Si tienen motivación y están alineados, cualquiera de los tres puede acabar con una empresa si quiere
No hay que despertar al dragón
Se parece más a que ganó el dinero. Claramente, a la mayoría de los empleados no les importaba mucho la misión de OpenAI. No los culpo, porque fueron contratados por la empresa con fines de lucro OpenAI y compensados con acciones alineadas con ese objetivo
En mi opinión, la junta hizo bien en intentar proteger la misión original de OpenAI. Aunque ahora esa misión ya no significa nada. El argumento de que Google, Meta y Microsoft la desarrollarían de todos modos es una lógica conveniente. También se usó en la carrera de armas nucleares con el “si no lo hacemos nosotros, otros lo harán”, y el resultado es la situación actual
¿Podemos estar seguros de que Ilya fue el origen de todo esto? Al principio lo apoyó, pero después también se sumó a la firma de que renunciaría si no daban marcha atrás
Me pregunto cuál es la evidencia de que Ilya, y no D'Angelo, estaba detrás de esto
La unión de los desarrolladores parece más fuerte que la propia empresa. Por eso a los ejecutivos de las big tech les disgustan tanto los sindicatos
Había esperanzas en un enfoque de seguridad de IA liderado por la industria privada, pero ahora parece difícil, y como la inversión estatal en I+D de IA pública va lenta, todos los enfoques de seguridad de IA parecen inciertos
La investigación de seguridad en modelos de juguete seguirá avanzando, pero la expectativa en la industria parece ser que, por las propiedades emergentes, el límite de lo que se puede aprender sobre seguridad sin investigar modelos de frontera es bajo. Altman promocionó la estructura de gobernanza de OpenAI como un mecanismo para priorizar la seguridad, pero preocupa que haya reportes de que reasignó personal de seguridad para atender la carga de ChatGPT. Ahora la junta mostró que, aunque técnicamente era posible, no era lo bastante fuerte como para controlar estos conflictos de interés, y queda poco claro cómo organizaciones orientadas a la seguridad, incluyendo Anthropic, podrán librarse de la influencia aceleracionista de quienes las financian
No existe tal cosa como propiedades emergentes; solo aumenta linealmente el conocimiento que se puede recuperar mediante búsqueda
No puede planificar, no puede hacer aritmética y no puede razonar. Puede recuperar conocimiento de manera aproximada mediante consultas en lenguaje natural, y eso está bastante bien, además de poder codificar datos en lenguaje natural y otros formatos. Eso por sí mismo no me preocupa, pero sí me preocupa que la gente malinterprete gravemente lo que este modelo puede hacer e intente usarlo para cosas importantes
Si se dedica más esfuerzo a la comercialización temprana, como simplemente mantener ChatGPT funcionando de forma estable, tal vez se dedique menos esfuerzo al desarrollo de capacidades de frontera. Altman nunca fue una persona de seguridad en IA desde el principio, así que personalmente espero que Anthropic evite este problema con un mejor liderazgo
Basta con no ser incompetente ni abusar del poder para beneficio personal. La gente no es tan tonta como algunos creen, así que ve a través de ese tipo de tonterías y preferirá irse antes que seguir a un tirano estúpido
Quisiera saber qué es un modelo que no sea un “modelo de juguete”
De verdad no pensé que esto fuera a pasar. La siguiente pregunta, obviamente, es qué va a pasar con Ilya. Por este anuncio, parece que salió de la junta, pero ¿sigue siendo el científico jefe? Cuesta creer que él y Sam puedan recomponer su relación y trabajar tan de cerca
También es interesante que Adam siga en la junta, y eso parece refutar varias hipótesis que circulaban aquí de que él había sido el principal impulsor por un conflicto de interés
Desde la perspectiva de Ilya, no parece haber cambiado mucho. Hace un mes, Sam lo apartó por diferencias persistentes sobre qué tan rápido impulsar la comercialización
Si Ilya sigue marginado, probablemente renuncie, y la empresa que le dé más control será la que se lo lleve. Lo mismo si lo despiden. Si como parte del acuerdo lo vuelven a poner en el centro, probablemente seguirá como científico jefe. Espero que ahora la hostilidad de Sam baje un poco
Extrañamente, creo que Ilya sale bastante bien parado de todo esto. Tomó decisiones según sus valores y lo que creía que era mejor para la seguridad de la IA, vio el resultado, cambió de opinión y asumió la responsabilidad
Aunque debía saber que en internet se burlarían de él por retractarse, se movió en la dirección que creyó mejor para los empleados que firmaron. Sus acciones pueden ser criticables, pero creo que mostró carácter moral. Los otros miembros de la junta parecen haber decidido por motivos más personales, y eso también parece encajar con el conflicto de interés de Adam. Honestamente, de los cuatro, el único que me gustaría mantener en la junta es Ilya. En un puesto de liderazgo se necesita a alguien capaz de cambiar de rumbo según nueva información
Se puede ver de forma más optimista. Ambos se conocen bastante bien y saben cómo lograr cosas grandes juntos. A veces las cosas estallan o alguien puede equivocarse, y una disculpa simple y sincera puede llegar bastante lejos
Sam no tendrá problema en recomponer la relación porque entiende cómo funcionan las relaciones de negocios. Además, como mostró Ilya en su tuit, ya besó el anillo
La nueva junta parece tener a Adam D'Angelo como pro-junta, a Brett Taylor como pro-Sam y a Larry Summers más cerca de una posición neutral. Brett ha estado empujando el regreso de Sam desde el domingo, así que se asume que Sam y el liderazgo de OpenAI lo ven con buenos ojos. Larry no ha trabajado en IA, pero en general es un nombre respetado, y antes de que ambas partes llegaran a un compromiso seguramente hicieron entrevistas amplias y verificaciones de reputación
Será interesante ver cómo cambia la junta en adelante. Había más o menos dos facciones. La facción que pensaba que Sam iba demasiado rápido lo despidió, y en la facción que veía bien la trayectoria de Sam estaban Sam y Greg. Ahora hay equilibrio en la junta, y los nombramientos posteriores podrían inclinarla hacia cualquiera de los dos lados. Por desgracia, una junta dividida rara vez dura mucho, y probablemente al final un lado gane. Yo creo que el lado de Sam terminará ganando, pero habrá que verlo
Uno de los resultados más tristes de todo este drama es que Greg haya sido desplazado de OpenAI. Greg no solo es una persona brillante, sino que dedicó de forma constante 80 a 90 horas por semana a OpenAI, y se podría decir que entregó una parte importante de su vida a construir esta organización. Si alguien así tuvo que ser apartado por una junta que ni remotamente contribuyó a construir OpenAI con jornadas de 90 horas, es un insulto. Ilya es la excepción, y también vale la pena notar que dio marcha atrás cuando vio que sus acciones estaban matando a OpenAI
La elección aterradora aquí es Larry Summers. Su visión de desregular la banca condujo a la crisis financiera global, y además ha estado envuelto en varias controversias por posturas racistas y sexistas. Encima, fue amigo de larga data de Epstein y visitó su isla varias veces
Greg solo tuvo que salir de su puesto en la junta, no de su trabajo
1 comentarios
Comentarios de Hacker News
Este hilo tiene más de 1800 comentarios. Si quieres leerlos todos, haz clic en More al final de cada página o abre directamente las páginas como abajo
https://news.ycombinator.com/item?id=38375239&p=2
https://news.ycombinator.com/item?id=38375239&p=3
https://news.ycombinator.com/item?id=38375239&p=4
Si OpenAI sigue siendo una organización benéfica 501(c)(3), cualquier empleado de Microsoft que entre al directorio tendría un deber fiduciario de priorizar la misión de la organización benéfica por encima de las necesidades comerciales de Microsoft. El conflicto de interés es tan evidente que no parece probable que al IRS le guste esta estructura
En la práctica, esto funciona con reglas del directorio y sentido común: apartarse cuando hace falta y no hacer tonterías
Convertir OpenAI en una organización benéfica de interés público fue un gran error, y no dan ganas de meterse en ese caos. Si más adelante esto se inclina hacia el estatus de fundación privada, se va a poner más interesante
Según https://openai.com/our-structure, la subsidiaria con fines de lucro está totalmente controlada por OpenAI Nonprofit, y los miembros del directorio deben cumplir su deber fiduciario hacia la misión de una “AGI segura y ampliamente beneficiosa”. La participación en ganancias para inversionistas, empleados y Microsoft tiene un tope, y el valor residual por encima de ese límite vuelve a la organización sin fines de lucro para beneficiar a la humanidad. Además, el directorio decide si ya se alcanzó la AGI, y la AGI queda excluida de la licencia de propiedad intelectual y de los términos comerciales de Microsoft
No parece que al IRS le vaya a importar demasiado esto. Si la acusación es que OpenAI favorece a Microsoft, una empresa con fines de lucro que sí paga impuestos, incluso asumiendo la peor interferencia de mala fe, esto parece más un asunto de la SEC que del IRS
Con el regreso de Sam como CEO, da la impresión de que el directorio de OpenAI demostró haber perdido su función. Sin importar quiénes lo integren, ya no pueden ejercer ni siquiera su poder más básico, que es despedir al CEO, y Sam mostró que en la práctica es imposible de despedir
Eso no significa que Sam haya mentido ni que vaya a hacerlo en el futuro
Si hubieran seguido el debido proceso, informado a empleados e inversionistas y anunciado las razones para despedir al CEO, no habrían terminado resolviendo esto por una Google Meet de 15 minutos seguida de silencio total, ni habría habido tanta indignación
Si crees que no habría habido una rebelión de accionistas contra el directorio solo porque ejerció su facultad básica de despedir al CEO, entonces te estás perdiendo parte de la situación
De ahora en adelante todos van a desconfiar de Sam. Va a tener mucho menos margen de maniobra del que tenía con el directorio anterior. Al final probablemente logre imponerse convenciendo a los otros directores independientes con carisma y habilidades sociales, pero va a tener que controlar mucho más su comportamiento si quiere mantenerlos de su lado y no del de D'Angelo
Incluso si Sam se queda, en una organización tan compleja como OpenAI hay miles de reglas implícitas, relaciones y procesos ocultos que deben funcionar bien sin que el CEO intervenga directamente. La recontratación de Sam parece significar que el OpenAI del futuro se acerca más a una sombra tenue de lo que era antes. Si de verdad vuelve a asentarse en el cargo, se sentirá extraño, y más aún si piensas en otras salidas. Eso no significa que OpenAI vaya a morir, pero sí dejó en evidencia una debilidad
Al final, todos saben que esta estructura sin fines de lucro es de adorno y no va a funcionar bien
No sé por qué, pero esto me recuerda al fiasco de Coke/New Coke. Al final, fue un caso que hizo a Coke Classic todavía más famoso que antes
Los consumidores se enfurecieron y exigieron que regresara el sabor que conocían y con el que crecieron, y la presión para revivir el producto original fue tan grande que los periodistas llegaron a preguntarse si todo el proyecto había sido montado. A eso respondió el presidente de Coca-Cola, Don Keough, el 10 de julio de 1985: “No somos ni tan tontos ni tan inteligentes.”
https://en.wikipedia.org/wiki/New_Coke
Cuando relanzaron New Coke por Stranger Things, la probé y me pareció mucho mejor que Coca Cola Classic. Lástima que haya fracasado
Ilya salió de la junta, pero Adam sigue ahí. Es de esas cosas que hacen levantar la ceja, pero así están las cosas
Que Sam haya vuelto no significa que esto simplemente vaya a desaparecer. Ahora que Sam parece alguien irremplazable, OAI va a pasar por grandes cambios. A largo plazo, dudo que OAI llegue a convertirse en una de esas megacorporaciones como Facebook o Uber; ha perdido la confianza
Grandes empresas de publicidad como Google, Amazon y Facebook tienen escándalos casi cada mes y aun así los ingresos por anuncios siguen entrando. Meltdown fue un escándalo grande, pero Intel siguió sacando chips
No encaja exactamente con la narrativa fundacional de gigantes exitosos como Facebook, Amazon, Microsoft o Google, pero sigo pensando que una persona así todavía puede construir una empresa enorme. Claro, más importante que crear una empresa enorme es hacer un producto absurdamente bueno
Al final, todavía no sabemos exactamente qué pasó, y probablemente nunca lo sabremos. Pero sí parece claro que hubo una fractura entre el Team Sam, partidario de la comercialización rápida, y el Team Helen/Ilya, partidario de mantener los principios iniciales
Incluso en artículos anteriores a GPT-3 ya se decía que los ideales fundacionales de transparencia, apertura y colaboración estaban siendo erosionados por la competencia feroz y la presión por conseguir más dinero. Team Helen actuó en pánico, pero probablemente pensó que iba a ganar porque creía que estaba defendiendo los principios fundacionales de la organización. Pero nunca tuvo posibilidades reales. Entre el público, son pocos los que de verdad se preocupan por AI Safety; al resto le gusta que ChatGPT les ayude con la tarea. La junta merece burlas por haber actuado de forma absurdamente tonta, pero también vale la pena considerar la otra cara: si de verdad creían que una IA sobrehumana estaba cerca y que podía actuar de forma maliciosa, ¿no habrían intentado frenar el ritmo?
Sinceramente, me cuesta tomar esa amenaza en serio, pero ahora quiero entenderla mejor que antes. Tal vez no sea tan infundada como pensaba. Ojalá nunca llegue el día en que Team Helen pueda decir: “Justo esto era lo que intentábamos evitar”
https://www.technologyreview.com/2020/02/17/844721/ai-openai...
Los empleados se alinearon con la idea de tener impacto rápido en el mundo real, y eso también afecta directamente sus carreras y sus stock options. También es ingenuo verlo como una pelea de principios. La consigna de comercialización rápida contra principios fue algo que cada bando agitó para juntar a los suyos; en realidad, es muy posible que haya sido una toma de poder descarada aprovechando una estructura organizacional débil y caótica. La forma “correcta” de sacar a Altman habría sido recortarle gradualmente el poder desde la junta y empujarlo hacia un rol cada vez más ceremonial hasta que renunciara por su cuenta
Frenar solo a OpenAI perjudica a la empresa si la premisa es falsa, y no ayuda aunque sea cierta. Esto parece menos una pelea de principios y rumbo, y más una pelea de ego y poder
Si hubieran señalado los principios fundacionales o la carta y dicho que la junta tenía diferencias irreconciliables con Sam sobre su interpretación, al mismo tiempo que le agradecían profundamente sus contribuciones hasta ahora, la situación podría haber sido distinta. Claro, era mucho más importante contar con un CEO sucesor adecuado y con la garantía de que la PPU de los empleados se volvería líquida. Al principio el comunicado era tan malo que pensé que Sam había cometido un delito
Es cierto que OpenAI ha hecho contribuciones únicas, pero no está tan por delante de forma aplastante. Si OpenAI se tambalea, es muy probable que otro tome la delantera, y no sabemos de dónde saldrá el próximo gran avance. Si la amenaza se toma en serio, no entiendo por qué se asume que OpenAI es el líder absoluto. Si haces más lenta a la empresa, el resultado más probable es cederle el liderazgo a otro
La forma de verlo es esta. En una disputa entre un desarrollador, Ilya, y un hombre de negocios, Sam, gana Sam. Cuando cientos de desarrolladores amenazan con renunciar y la junta se mantiene firme, ganan los desarrolladores
Visto desde fuera, parece que los desarrolladores tuvieron el poder desde el principio, y así debería ser
No estaban arriesgando el trabajo, porque podían obtener puestos y compensación similares en la nueva startup de Microsoft con Sam; Sam aprobó cada contratación desde el principio; y OpenAI venía contratando gente que quería trabajar en una organización sin fines de lucro con una misión, en vez de en otras empresas que podían pagar más. En cualquier caso, unirse para amenazar con renunciar juntos fue una buena estrategia y funcionó. “OpenAI is nothing without its people” fue un contrapeso de poder frente a una mala junta
No hay que despertar al dragón
Se parece más a que ganó el dinero. Claramente, a la mayoría de los empleados no les importaba mucho la misión de OpenAI. No los culpo, porque fueron contratados por la empresa con fines de lucro OpenAI y compensados con acciones alineadas con ese objetivo
En mi opinión, la junta hizo bien en intentar proteger la misión original de OpenAI. Aunque ahora esa misión ya no significa nada. El argumento de que Google, Meta y Microsoft la desarrollarían de todos modos es una lógica conveniente. También se usó en la carrera de armas nucleares con el “si no lo hacemos nosotros, otros lo harán”, y el resultado es la situación actual
Me pregunto cuál es la evidencia de que Ilya, y no D'Angelo, estaba detrás de esto
Había esperanzas en un enfoque de seguridad de IA liderado por la industria privada, pero ahora parece difícil, y como la inversión estatal en I+D de IA pública va lenta, todos los enfoques de seguridad de IA parecen inciertos
La investigación de seguridad en modelos de juguete seguirá avanzando, pero la expectativa en la industria parece ser que, por las propiedades emergentes, el límite de lo que se puede aprender sobre seguridad sin investigar modelos de frontera es bajo. Altman promocionó la estructura de gobernanza de OpenAI como un mecanismo para priorizar la seguridad, pero preocupa que haya reportes de que reasignó personal de seguridad para atender la carga de ChatGPT. Ahora la junta mostró que, aunque técnicamente era posible, no era lo bastante fuerte como para controlar estos conflictos de interés, y queda poco claro cómo organizaciones orientadas a la seguridad, incluyendo Anthropic, podrán librarse de la influencia aceleracionista de quienes las financian
No puede planificar, no puede hacer aritmética y no puede razonar. Puede recuperar conocimiento de manera aproximada mediante consultas en lenguaje natural, y eso está bastante bien, además de poder codificar datos en lenguaje natural y otros formatos. Eso por sí mismo no me preocupa, pero sí me preocupa que la gente malinterprete gravemente lo que este modelo puede hacer e intente usarlo para cosas importantes
De verdad no pensé que esto fuera a pasar. La siguiente pregunta, obviamente, es qué va a pasar con Ilya. Por este anuncio, parece que salió de la junta, pero ¿sigue siendo el científico jefe? Cuesta creer que él y Sam puedan recomponer su relación y trabajar tan de cerca
También es interesante que Adam siga en la junta, y eso parece refutar varias hipótesis que circulaban aquí de que él había sido el principal impulsor por un conflicto de interés
Si Ilya sigue marginado, probablemente renuncie, y la empresa que le dé más control será la que se lo lleve. Lo mismo si lo despiden. Si como parte del acuerdo lo vuelven a poner en el centro, probablemente seguirá como científico jefe. Espero que ahora la hostilidad de Sam baje un poco
Aunque debía saber que en internet se burlarían de él por retractarse, se movió en la dirección que creyó mejor para los empleados que firmaron. Sus acciones pueden ser criticables, pero creo que mostró carácter moral. Los otros miembros de la junta parecen haber decidido por motivos más personales, y eso también parece encajar con el conflicto de interés de Adam. Honestamente, de los cuatro, el único que me gustaría mantener en la junta es Ilya. En un puesto de liderazgo se necesita a alguien capaz de cambiar de rumbo según nueva información
La nueva junta parece tener a Adam D'Angelo como pro-junta, a Brett Taylor como pro-Sam y a Larry Summers más cerca de una posición neutral. Brett ha estado empujando el regreso de Sam desde el domingo, así que se asume que Sam y el liderazgo de OpenAI lo ven con buenos ojos. Larry no ha trabajado en IA, pero en general es un nombre respetado, y antes de que ambas partes llegaran a un compromiso seguramente hicieron entrevistas amplias y verificaciones de reputación
Será interesante ver cómo cambia la junta en adelante. Había más o menos dos facciones. La facción que pensaba que Sam iba demasiado rápido lo despidió, y en la facción que veía bien la trayectoria de Sam estaban Sam y Greg. Ahora hay equilibrio en la junta, y los nombramientos posteriores podrían inclinarla hacia cualquiera de los dos lados. Por desgracia, una junta dividida rara vez dura mucho, y probablemente al final un lado gane. Yo creo que el lado de Sam terminará ganando, pero habrá que verlo
Uno de los resultados más tristes de todo este drama es que Greg haya sido desplazado de OpenAI. Greg no solo es una persona brillante, sino que dedicó de forma constante 80 a 90 horas por semana a OpenAI, y se podría decir que entregó una parte importante de su vida a construir esta organización. Si alguien así tuvo que ser apartado por una junta que ni remotamente contribuyó a construir OpenAI con jornadas de 90 horas, es un insulto. Ilya es la excepción, y también vale la pena notar que dio marcha atrás cuando vio que sus acciones estaban matando a OpenAI