OpenAI pospone la publicación completa de su nuevo modelo de lenguaje GPT-2 por motivos de riesgo (2019)
(slate.com)- GPT-2 es una gran IA de generación de texto entrenada con 8 millones de páginas web, y demostró la capacidad de continuar de forma natural una oración dada
- OpenAI afirmó que existía el riesgo de uso indebido para noticias falsas o suplantación de identidad en línea, por lo que solo publicó una versión reducida en lugar del modelo completo
- Investigadores señalaron que esta medida de no divulgación solo era una respuesta temporal y que modelos similares pronto podrían reproducirse
- Algunos criticaron a OpenAI por exagerar los riesgos para atraer atención, mientras que otros expertos lo valoraron como un detonante para el debate sobre la ética de la IA
- Este caso representa un punto de inflexión importante sobre cómo equilibrar la responsabilidad al publicar IA y la inevitabilidad de la difusión tecnológica
La postergación de la publicación de GPT-2 por parte de OpenAI y la controversia sobre la ética de la IA
- OpenAI desarrolló GPT-2, un nuevo modelo de generación de texto capaz de producir oraciones coherentes según un tema dado, pero pospuso la publicación del modelo completo por motivos de seguridad y protección
- En su lugar, solo publicó una versión reducida, y mantuvo en privado el dataset y el código de entrenamiento utilizados
- Los medios lo describieron con reacciones exageradas como “una inteligencia artificial que debe mantenerse sellada por el bien de la humanidad”, y expertos plantearon que hubo una exageración del riesgo
- Esta decisión desató un debate sobre hasta dónde debe permitirse la divulgación de algoritmos de IA potencialmente peligrosos
Características técnicas y desempeño de GPT-2
- GPT-2 es un modelo de lenguaje entrenado con texto de 8 millones de páginas web, mediante un método que aprende a predecir la siguiente palabra en una oración
- Puede generar frases que continúan de manera natural según el estilo y el tema del texto de entrada
- Como ejemplo, al introducir la frase “descubrimos una manada de unicornios que habla inglés en la cordillera de los Andes”, GPT-2 completó el texto con la forma de un artículo científico ficticio
- También puede generar texto en distintos estilos, como novela, columna o discurso
- Aunque las oraciones generadas a veces incluyen expresiones repetidas, cambios de tema poco naturales o contenido ilógico, se evaluó que mostró una gran mejora frente a modelos anteriores en comprensión del contexto y coherencia textual
- GPT-2 puede distinguir significados múltiples de palabras y reconocer usos poco frecuentes, con potencial de aplicación en traducción, chatbots y herramientas de asistencia para la escritura
La decisión de no publicar el modelo completo y la controversia al respecto
- OpenAI expresó preocupación porque GPT-2 podría usarse indebidamente para generar noticias falsas, suplantar personas en línea y difundir spam
- Por ello, solo publicó una versión reducida en lugar del modelo completo, y mantuvo en privado los datos de entrenamiento y el código
- Sin embargo, muchos investigadores en IA señalaron que esta medida de no divulgación solo era una respuesta temporal
- Robert Frederking, de Carnegie Mellon, comentó: “La tecnología utilizada por OpenAI no es nueva, y otros investigadores también podrán crear pronto modelos similares”
- También se planteó que una organización con suficiente capital y conocimiento podría construir un modelo parecido usando solo servicios en la nube como AWS
- Algunos investigadores criticaron a OpenAI por exagerar los riesgos para llamar la atención y por limitar oportunidades de investigación en el ámbito académico
- En cambio, David Bau, del MIT, valoró esta decisión como un gesto para detonar el debate sobre la ética de la IA, y afirmó que “es positivo que OpenAI haya logrado atraer atención hacia este problema”
La publicación de la inteligencia artificial y el problema del juicio ético
- John Bowers, del Berkman Klein Center de Harvard, explicó que la decisión de publicar o no una tecnología de IA es una cuestión de análisis costo-beneficio
- Señaló que apoya la publicación de algoritmos de generación de texto que contribuyen al avance del procesamiento de lenguaje natural, pero que se debe ser cauteloso con tecnologías de reconocimiento de imágenes que pueden usarse indebidamente para vigilancia o manipulación
- En particular, indicó que la tecnología deepfake “produce mucho más daño que beneficio”
- Bowers evaluó que este tipo de juicios revela la inmadurez del campo de la IA
- Actualmente, en el ámbito del aprendizaje automático faltan criterios sistemáticos para evaluar el impacto social de una tecnología y sus consideraciones éticas
Los límites del control de la difusión tecnológica y casos históricos similares
- Como muestra la historia reciente, es muy probable que fracasen los intentos de frenar o controlar la difusión de herramientas de IA
- Frederking presentó como precedente similar el fracaso de la regulación de tecnologías de cifrado en la década de 1990
- En ese entonces, el gobierno impulsó un proyecto de ley para instalar puertas traseras con fines de intervención de comunicaciones, pero Phil Zimmerman lo neutralizó al desarrollar la herramienta de cifrado PGP
- Después, las tecnologías de cifrado fuerte pasaron a estar fácilmente disponibles también en el extranjero, y la regulación se volvió prácticamente imposible
- Frederking enfatizó: “Cuando llega el momento del avance científico, no se puede detener. Lo que sí podemos decidir es cómo responder”
Conclusión
- La postergación de la publicación de GPT-2 se considera un caso importante en torno a los riesgos de la tecnología de IA y la responsabilidad de su divulgación
- La decisión de OpenAI expone el problema de cómo equilibrar la ética de la IA, la transparencia y la inevitabilidad de la difusión tecnológica
- A largo plazo, será necesario establecer criterios que armonicen la apertura de la investigación en IA con la seguridad social
7 comentarios
Más exactamente, parece que se publicó porque la razón por la que OpenAI de la época en que estaba Amodei mantuvo GPT-2 en privado es similar a la razón por la que mantienen privado el modelo de Mysos. El Amodei de entonces y el Amodei de ahora no han cambiado en nada..
Visto ahora, da risa jajajaja, pero también da miedo que en menos de 10 años la situación se haya vuelto ridícula hasta ese punto.
Como referencia, si ven el contenido del post que menciona a GPT-2 o el año original de publicación, 2019, se darán cuenta de que hay un contexto: así como hace poco Anthropic dijo que no publicaría el modelo Misos por ser demasiado peligroso, antes también hubo quienes decían que OpenAI estaba siendo exagerado con GPT-2.
En el caso de HN, parece que cuando es una publicación antigua tienen la costumbre de ponerle el año al título (no sé si se agrega automáticamente), y creo que estaría bueno que en GeekNews también se mostrara.
En la mayoría de los casos se trae, pero esta vez se omitió de manera extraña y así fue procesado. Lo corregiré para que no se toque esto.
¿Será que Sam Altman se está identificando emocionalmente con Oppenheimer? Si es riesgoso, creo que tendría más sentido publicarlo después de reforzar su seguridad, así que recomendar que lo usen no me parece coherente. Creo que el caso de Anthropic Mythos también es igual.
Lo que dijo Anthropic me inspiró confianza, pero ¿por qué lo que dijo OpenAI me inspira tan poca confianza?
¿Será porque Anthropic lo demostró con hechos al crear parches para zero-days?
¿O será porque OpenAI ya ha usado este mismo repertorio varias veces?
Comentarios en Hacker News
Alguien debería recopilar estos momentos legendarios de OpenAI
Como “GPT-2 es demasiado peligroso”, “DALL-E 64x64 da demasiado miedo”, “logramos AGI”, o “Q*/strawberry resolvió problemas de matemáticas y los investigadores entraron en pánico”
A mí también me gusta Codex, pero este tipo de promoción exagerada da risa y también cansa
Hoy pasé todo el día intentando arreglar un bug simple de UI con Codex GPT-5.4, Claude Opus 4.6-1M, Gemini 3.1 Pro y otros, pero no pude, así que al final abrí el código y lo arreglé yo mismo
Lo resolví en 20 minutos, y lo gracioso es que no conocía en absoluto ese lenguaje ni ese framework
Igual, lo arregló en 20 minutos, así que cuidado: puede que haya aprendido algo
Me parece la mejor forma de mantener claro el modelo mental
Los modelos de verdad son malísimos para bugs de UI o CSS. Las pruebas unitarias son obligatorias
Esta polémica parece ser una reacción a Mythos, pero creo que en su momento la decisión de OpenAI fue correcta
Cuando salió GPT-2, la industria cambió por completo, y eso no fue solo investigación sino la señal de una nueva era
Mythos también muestra algo sin precedentes
Leí el libro blanco de 250 páginas, y su capacidad de hacking era asombrosa; además, sentí que en el último mes hubo grandes mejoras de seguridad
Tomarse más tiempo considerando el impacto social es algo positivo
Aunque fue un acierto involuntario, hoy la explosión de contenido de baja calidad sí parece un problema real
Dijeron que “las imágenes, audios y videos sintéticos reducirían el costo de producir contenido falso, y el público tendría que volverse más escéptico con el texto en línea”, y eso es exactamente lo que pasa ahora
Artículo relacionado
Al principio no vi el año y me asusté
Como OpenAI está teniendo problemas para conseguir inversión y el perfil de Altman en The New Yorker tampoco salió bien, se entiende que hayan vuelto a una estrategia de PR tipo “ayúdanos a evitar que le disparen a la abuela”
Hay quienes dicen que “si de verdad fuera una tecnología peligrosa, no la ofrecerían por 20 dólares al mes”
Lo verdaderamente peligroso nunca se libera al público
Aun así, sorprende que los expertos ignoren una lógica tan básica
Hoy en día, cuando se dice “demasiado peligroso para publicarlo”, en realidad se está hablando de Mythos de Anthropic
Dicen que es tan potente que solo empresas aprobadas pueden acceder
“Demasiado peligroso para publicarlo” en realidad significaba “no vamos a liberar en código abierto los pesos del modelo”
Al final sí liberaron los pesos, y el contexto es distinto al de Mythos de Anthropic
En esa época yo estaba fuera de OpenAI entrenando Transformer-XL junto con Ben Mann
Originalmente queríamos publicar los pesos, como una especie de GPT-2.5, pero amigos de OpenAI nos recomendaron no hacerlo
Texto relacionado
Después documentó su experiencia en detalle
Dijo que OpenAI fue educado y habló con sinceridad, e incluso le transmitió la perspectiva del gobierno y de las agencias de inteligencia sobre los riesgos
Al final decidió no publicar el modelo pensando que “más vale prevenir que curar”
Dijo que quería dejar un precedente para cuando algún día apareciera un modelo todavía más peligroso
Los buenos posts siempre aparecen después de que los estadounidenses se duermen
Todavía me acuerdo del ejemplo del artículo del unicornio generado por GPT-2 que leí en 2019
En ese momento de verdad me impactó. Me sorprendió incluso más que GPT-3.5 o 4