Todo este asunto se ve sospechoso
La junta podría haber dado razones genéricas al despedir a Sam, como “profundos desacuerdos sobre los objetivos” o “incompatibilidad fundamental”, pero en cambio usó expresiones como “no fue consistentemente sincero” y “ya no confiamos en él”, formulándolo como si Sam tuviera la culpa
Puede que en realidad hubiera una causa justificada para despedirlo, o puede que haya sido una maniobra deliberada para enturbiar las aguas. Si fue lo segundo, entonces más bien la junta es la parte que “no fue consistentemente sincera”. El silencio posterior y la falta de coordinación con socios estratégicos hacen que se vea aún más así
Que Ilya ahora diga que se arrepiente suena mucho a “me da vergüenza que me descubrieran”. Parece que difamaron a una figura pública carismática y organizaron un golpe, pero no tenían un plan para lidiar con las consecuencias https://www.newcomer.co/p/give-openais-board-some-time-the
Otra posibilidad es que Sutskever haya sido manipulado y arrastrado al plan con una justificación sospechosa, y que apenas ahora se esté dando cuenta e intente corregirlo
“Profundos desacuerdos sobre los objetivos”, ¿será que GPT-5 tomó la decisión?
¿No será que Altman estaba preparando una startup aparte con gente de Arabia Saudita para fabricar aceleradores de IA?
Ahora tienen que explicar claramente la razón. Por ahora, la teoría relacionada con Arabia Saudita parece la razón más importante
Correcto. Tiene sentido pensar que la junta intentó presentar esto como un despido normal. Si no hay una falta real o algún problema del pasado que haya resurgido, se ve bastante irresponsable
La carta abierta dice que OpenAI es una empresa líder mundial en IA, que sus empleados han trabajado en los mejores modelos y en seguridad y gobernanza de IA, y que el despido de Sam Altman y la expulsión de Greg Brockman de la junta pusieron en peligro todo ese trabajo y la misión
Llama especialmente la atención la parte donde dice que, aunque se le pidió varias veces a la junta que presentara hechos concretos o evidencia escrita, no lo hizo, y que le dijo al equipo directivo que “dejar que la empresa sea destruida podría ser consistente con la misión”
¿De verdad lograron la AGI? ¿O acaso observaron algún fenómeno preocupante?
La interpretación de Ben Thompson me parece la mejor. Aunque está un poco sesgada en contra de las organizaciones sin fines de lucro https://stratechery.com/2023/openais-misalignment-and-micros...
No sé qué tan grande sea el riesgo de la IA, pero sí vale la pena que una organización sin fines de lucro investigue soluciones para prevenirlo. Es muy probable que las empresas con fines de lucro no hagan ese trabajo, como cuando Google despidió a Timnit Gebru y Margaret Mitchell
Si de verdad creen en esa misión, deberían desarrollar tecnología de salvaguardas y publicarla como open source. Empresas como Microsoft, Google, Meta y Amazon quizá no inviertan seriamente en seguridad de IA, pero no tendrían problema en usar el trabajo gratuito de otros. Eso sí, como no da dinero, es probable que la mayoría de los empleados de OpenAI se vaya a buscar mejores condiciones
Estás olvidando que la tentación del poder es mayor que la del dinero
Las organizaciones sin fines de lucro también terminarán actuando como guardianes, proponiendo soluciones que bloqueen el acceso del público con el argumento de que “es demasiado peligroso para la gente común”
Preferiría que lo controlara una empresa con fines de lucro. Idealmente debería ser open source, para que la gente común pueda controlar y alinear la IA según sus propios objetivos
Estoy de acuerdo. Esta discusión sobre seguridad me recuerda a los tiempos de la ciberseguridad temprana, cuando la seguridad por oscuridad era la norma
Aunque vaya contra la intuición, encerrar la tecnología es parecido a intentar controlar precios y salarios. No funcionará a menos que confisquen todas las GPU del mundo y bombardeen los centros de datos
La mejor manera de alinear la AGI y la ASI que vienen es construirlas a la luz del día. Todos los enfoques de “mantengámoslo encerrado” están condenados al fracaso
Timnit Gebru era una activista muy tóxica que estaba arruinando todo el departamento de AI/ML, y creo que la gerencia simplemente despidió a alguien que tenía al departamento como rehén
Para Microsoft parece que la Navidad llegó temprano
Lo que parecía una situación terrible en relación con una inversión de 10 mil millones de dólares se convirtió en la contratación de talento clave del sector, y OpenAI quizá tenga que ser adquirida por Microsoft para sobrevivir
Viendo el caos total que se reveló en las últimas 72 horas, puede que el interés en construir algo sobre OpenAI ChatGPT se haya desplomado. En cambio, construir sobre Azure OpenAI o Claude 2 puede verse mucho más atractivo
Si no recuerdo mal, OpenAI entrenaba en Azure; con ambas partes hambrientas de GPU, ¿cómo se desarrollará ese conflicto de intereses?
La palabra “participación” hace que suene como si él no hubiera sido el líder, sino solo un participante. No sé si eso sea cierto, pero es una elección de palabras interesante
En una junta de 6 personas, no puedes votar para echar a 2 y luego ser un observador inocente. Los números no dan
Además, todos los medios han señalado a Ilya como la fuerza impulsora del golpe
Sinceramente, es bastante patético. Si de verdad era una cuestión de convicciones, al menos debería haber aguantado un fin de semana
Toda la frase está escrita de forma extraña
Expresa arrepentimiento, pero no dice que quiera traer de vuelta a Altman. Solo dice que quiere arreglar OpenAI
Dice que “participó”, pero no queda claro en qué participó. ¿En la votación, en los mensajes tóxicos, en ambas cosas? ¿De qué se arrepiente exactamente? De nuevo, no dice que se arrepienta de haber votado para despedir a Altman
¿Por qué no simplemente decir “me arrepiento de haber votado para despedir a Sam Altman y estoy trabajando para que vuelva”? Probablemente porque eso no es cierto. Aun así, está dando esa impresión
Si la expulsión fue liderada por alguien del lado de Poe, aumenta la posibilidad de que, más que una diferencia ideológica real, haya sido algo más cercano a eliminar a un competidor interno
Creo que el propósito principal de este tuit no es mostrar arrepentimiento, sino instalar la percepción de que él no lo lideró, sino que solo participó
¿Esta persona tiene un puesto lo bastante alto dentro de la organización como para saber qué quiere Ilya?
¿O está enojado porque sus propios millones de dólares están en riesgo?
“A Ilya no le importan la seguridad ni la humanidad. Es solo que su orgullo y su ansia de poder le salieron por la culata”.
Esto me parece más creíble
No entiendo por qué de pronto la gente piensa que los humanos no están motivados por el dinero y el poder. Y más ridículo aún es creer que eso no aplica si son “académicos”
¿Qué demonios?
Hasta ahora entendía este caos como una cuestión de principios. Fue desprolijo, pero lo veía como algo necesario para corregir la cultura de la empresa que el lado de Ilya tenía en mente
Si vas a hacer un movimiento, al menos tienes que sostener esa postura. Este tuit hace que el contexto de la situación se sienta 10 veces peor
A una persona común le cuesta soportar estar en el centro de una gran controversia. La negatividad y el odio que tiene que aguantar son enormes
A casi cualquiera eso podría hacerlo retroceder con tal de que se detenga
Es simple. Hizo un movimiento, salió mal y ahora está tratando de esquivar la explosión
Si simplemente se hubiera quedado callado, por todo lo demás que ya pasó hoy nadie estaría hablando de eso. Dos CEO interinos en dos días
En todo este circo, esto es casi lo único que tiene sentido ahora
Es difícil saber qué ocurrió realmente, pero también es posible que la narrativa del “bando” de Ilya no coincidiera con la realidad
Pudo haber sido una alucinación creada por el pensamiento grupal de redes sociales al intentar entender la situación con poquísimas pruebas
Hay muchas reacciones del tipo “si vas a hacer un movimiento, al menos tienes que sostener esa postura”, pero yo lo veo distinto
Me ha pasado pensar en su momento que una decisión era buena y luego, al obtener una perspectiva más amplia, darme cuenta de que fue una decisión terrible
Poder admitir que la regaste cuando la regaste es una gran cualidad. Seguir aferrado a un error no es algo admirable
No puedo creer que gente tan inteligente genere tanto ruido
Me recuerda la historia de un amigo sobre una reunión de Mensa donde ni siquiera podían ponerse de acuerdo en puntos básicos de gestión organizacional
Me da la impresión de que todo esto fue un evento mediático en el que le dejaron a ChatGPT tomar decisiones de la junta durante uno o dos días
Una AGI que como primera acción despide a su propio jefe sería bastante perfecta
Un modelo RLHF jamás habría propuesto algo así. Las soluciones propuestas siempre van por el lado de tomarse de las manos y cantar “Kumbaya”
Tal vez el GPT-4 original quiera despedir a todos
Desde hace unos días siento que casi la mitad de los envíos en HN tratan de este drama
¿No pueden hacerlo por DM? No entiendo por qué todo tiene que hacerse público en Twitter
Es bastante paradójico que la gente que construye sistemas líderes de ML/AI parezca estar tan profundamente arraigada en el egoísmo y las emociones, y que a simple vista haya tan poca racionalidad
Quizá crearon por accidente una AGI-GPT malvada y ahora están actuando de la forma más aleatoria e inesperada posible para confundir su capacidad predictiva
Parece que simplemente se arrepiente porque las cosas le salieron muy mal
Microsoft se está tragando todo lo valioso de OpenAI, y él sabe que no le va a quedar nada
Se tiró un farol con apuestas altísimas y perdió
Esto es más entretenido que cualquier cosa que Netflix, Disney, Amazon o Apple TV hayan sacado en los últimos años
La trama es un poco poco realista
Es una lástima que no pueda empatizar con ninguno de los protagonistas
Si esto te parece dramático, es que nunca trabajaste en una empresa de YC. Solo se ve amplificado por lo que OpenAI significa en el ecosistema actual
¿Netflix ya estará trabajando en la película? ChatGPT podría ayudar con el guion mezclando una cantidad adecuada de alucinaciones para hacerlo interesante
Claro que lo lamentará profundamente, pero ahora ya es un poco tarde
La buena noticia es que quienes hayan usado Twitch durante mucho tiempo saben que, si Emmett Shear está al mando, ya no tendremos que asustarnos de que OpenAI lance funciones nuevas demasiado rápido
1 comentarios
Opiniones de Hacker News
Todo este asunto se ve sospechoso
La junta podría haber dado razones genéricas al despedir a Sam, como “profundos desacuerdos sobre los objetivos” o “incompatibilidad fundamental”, pero en cambio usó expresiones como “no fue consistentemente sincero” y “ya no confiamos en él”, formulándolo como si Sam tuviera la culpa
Puede que en realidad hubiera una causa justificada para despedirlo, o puede que haya sido una maniobra deliberada para enturbiar las aguas. Si fue lo segundo, entonces más bien la junta es la parte que “no fue consistentemente sincera”. El silencio posterior y la falta de coordinación con socios estratégicos hacen que se vea aún más así
Que Ilya ahora diga que se arrepiente suena mucho a “me da vergüenza que me descubrieran”. Parece que difamaron a una figura pública carismática y organizaron un golpe, pero no tenían un plan para lidiar con las consecuencias
https://www.newcomer.co/p/give-openais-board-some-time-the
Ahora tienen que explicar claramente la razón. Por ahora, la teoría relacionada con Arabia Saudita parece la razón más importante
Llama especialmente la atención la parte donde dice que, aunque se le pidió varias veces a la junta que presentara hechos concretos o evidencia escrita, no lo hizo, y que le dijo al equipo directivo que “dejar que la empresa sea destruida podría ser consistente con la misión”
¿De verdad lograron la AGI? ¿O acaso observaron algún fenómeno preocupante?
La interpretación de Ben Thompson me parece la mejor. Aunque está un poco sesgada en contra de las organizaciones sin fines de lucro
https://stratechery.com/2023/openais-misalignment-and-micros...
No sé qué tan grande sea el riesgo de la IA, pero sí vale la pena que una organización sin fines de lucro investigue soluciones para prevenirlo. Es muy probable que las empresas con fines de lucro no hagan ese trabajo, como cuando Google despidió a Timnit Gebru y Margaret Mitchell
Si de verdad creen en esa misión, deberían desarrollar tecnología de salvaguardas y publicarla como open source. Empresas como Microsoft, Google, Meta y Amazon quizá no inviertan seriamente en seguridad de IA, pero no tendrían problema en usar el trabajo gratuito de otros. Eso sí, como no da dinero, es probable que la mayoría de los empleados de OpenAI se vaya a buscar mejores condiciones
Las organizaciones sin fines de lucro también terminarán actuando como guardianes, proponiendo soluciones que bloqueen el acceso del público con el argumento de que “es demasiado peligroso para la gente común”
Preferiría que lo controlara una empresa con fines de lucro. Idealmente debería ser open source, para que la gente común pueda controlar y alinear la IA según sus propios objetivos
Aunque vaya contra la intuición, encerrar la tecnología es parecido a intentar controlar precios y salarios. No funcionará a menos que confisquen todas las GPU del mundo y bombardeen los centros de datos
La mejor manera de alinear la AGI y la ASI que vienen es construirlas a la luz del día. Todos los enfoques de “mantengámoslo encerrado” están condenados al fracaso
Para Microsoft parece que la Navidad llegó temprano
Lo que parecía una situación terrible en relación con una inversión de 10 mil millones de dólares se convirtió en la contratación de talento clave del sector, y OpenAI quizá tenga que ser adquirida por Microsoft para sobrevivir
Viendo el caos total que se reveló en las últimas 72 horas, puede que el interés en construir algo sobre OpenAI ChatGPT se haya desplomado. En cambio, construir sobre Azure OpenAI o Claude 2 puede verse mucho más atractivo
La palabra “participación” hace que suene como si él no hubiera sido el líder, sino solo un participante. No sé si eso sea cierto, pero es una elección de palabras interesante
Además, todos los medios han señalado a Ilya como la fuerza impulsora del golpe
Sinceramente, es bastante patético. Si de verdad era una cuestión de convicciones, al menos debería haber aguantado un fin de semana
Expresa arrepentimiento, pero no dice que quiera traer de vuelta a Altman. Solo dice que quiere arreglar OpenAI
Dice que “participó”, pero no queda claro en qué participó. ¿En la votación, en los mensajes tóxicos, en ambas cosas? ¿De qué se arrepiente exactamente? De nuevo, no dice que se arrepienta de haber votado para despedir a Altman
¿Por qué no simplemente decir “me arrepiento de haber votado para despedir a Sam Altman y estoy trabajando para que vuelva”? Probablemente porque eso no es cierto. Aun así, está dando esa impresión
Tuit eliminado de Shengjia Zhao: https://i.imgur.com/yrpXvt9.png
¿O está enojado porque sus propios millones de dólares están en riesgo?
Esto me parece más creíble
No entiendo por qué de pronto la gente piensa que los humanos no están motivados por el dinero y el poder. Y más ridículo aún es creer que eso no aplica si son “académicos”
¿Qué demonios?
Hasta ahora entendía este caos como una cuestión de principios. Fue desprolijo, pero lo veía como algo necesario para corregir la cultura de la empresa que el lado de Ilya tenía en mente
Si vas a hacer un movimiento, al menos tienes que sostener esa postura. Este tuit hace que el contexto de la situación se sienta 10 veces peor
A casi cualquiera eso podría hacerlo retroceder con tal de que se detenga
Si simplemente se hubiera quedado callado, por todo lo demás que ya pasó hoy nadie estaría hablando de eso. Dos CEO interinos en dos días
En todo este circo, esto es casi lo único que tiene sentido ahora
Pudo haber sido una alucinación creada por el pensamiento grupal de redes sociales al intentar entender la situación con poquísimas pruebas
Me ha pasado pensar en su momento que una decisión era buena y luego, al obtener una perspectiva más amplia, darme cuenta de que fue una decisión terrible
Poder admitir que la regaste cuando la regaste es una gran cualidad. Seguir aferrado a un error no es algo admirable
Me recuerda la historia de un amigo sobre una reunión de Mensa donde ni siquiera podían ponerse de acuerdo en puntos básicos de gestión organizacional
Me da la impresión de que todo esto fue un evento mediático en el que le dejaron a ChatGPT tomar decisiones de la junta durante uno o dos días
Tal vez el GPT-4 original quiera despedir a todos
¿No pueden hacerlo por DM? No entiendo por qué todo tiene que hacerse público en Twitter
Es bastante paradójico que la gente que construye sistemas líderes de ML/AI parezca estar tan profundamente arraigada en el egoísmo y las emociones, y que a simple vista haya tan poca racionalidad
Parece que simplemente se arrepiente porque las cosas le salieron muy mal
Microsoft se está tragando todo lo valioso de OpenAI, y él sabe que no le va a quedar nada
Se tiró un farol con apuestas altísimas y perdió
Esto es más entretenido que cualquier cosa que Netflix, Disney, Amazon o Apple TV hayan sacado en los últimos años
Claro que lo lamentará profundamente, pero ahora ya es un poco tarde
La buena noticia es que quienes hayan usado Twitch durante mucho tiempo saben que, si Emmett Shear está al mando, ya no tendremos que asustarnos de que OpenAI lance funciones nuevas demasiado rápido