El nuevo modelo de código abierto de OpenAI es, en la práctica, un Phi-5

• OpenAI presentó sus modelos de lenguaje de gran escala de código abierto gpt-oss-120b y gpt-oss-20b; aunque destacan en algunos benchmarks, tienen límites en el uso real.
• Estos modelos cuentan con conocimiento general, pero se critica que les falte información en áreas específicas como la cultura popular.
• Al igual que la serie Phi de Microsoft, el entrenamiento centrado en datos sintéticos mejora el rendimiento en benchmarks, pero tiende a reducir la utilidad práctica.
• Entrenar con datos sintéticos también tiene la ventaja de elevar la seguridad y reducir el riesgo de uso indebido que puede surgir al publicar un modelo de código abierto.
• Parece que OpenAI eligió un enfoque al estilo Phi para mantener ventaja en benchmarks frente a modelos de código abierto chinos sin renunciar a la seguridad.

---

Lanzamiento del primer LLM de código abierto de OpenAI

• OpenAI lanzó sus primeros modelos de lenguaje de gran escala de código abierto, gpt-oss-120b y gpt-oss-20b, y ya están disponibles para chatear directamente en la web.
• Aunque muestran un buen desempeño en algunos benchmarks, su rendimiento cae en pruebas específicas como SimpleQA.
• Se reconoce que tienen abundante conocimiento general en áreas como la ciencia, pero les falta conocimiento en áreas específicas como la cultura popular.
• Se prevé que su utilidad práctica se clarificará en alrededor de seis meses, y es probable que el desempeño en situaciones reales sea menor que en los benchmarks.

Phi y el entrenamiento con datos sintéticos

• La serie Phi impulsada por Sebastien Bubeck en Microsoft en 2024 fue un modelo entrenado exclusivamente con datos sintéticos.
• Los datos sintéticos son texto basado en material didáctico generado por otros modelos de lenguaje o filtrado por personas; esto facilita controlar la calidad, pero encarece la generación de datos.
• Este enfoque puede mejorar el rendimiento en benchmarks, pero suele ofrecer resultados inferiores en entornos reales.
• Los datos sintéticos permiten generar contenidos alineados a los tipos de problemas de los benchmarks con facilidad, favoreciendo un entrenamiento tipo examen, aunque reduce la versatilidad.

Bubeck se une a OpenAI y gpt-oss

• A fines de 2024, Bubeck dejó Microsoft y se incorporó a OpenAI.
• Los detalles de los datos de preentrenamiento de los modelos gpt-oss no han sido revelados, pero es muy probable que se hayan usado datos fuertemente filtrados o sintéticos.
• Este enfoque puede darles características similares a las de Phi-5 y Phi-5-mini.

Ventajas de seguridad de los datos sintéticos

• Los modelos de código abierto pueden recibir fine-tuning sin límite tras su publicación, lo que puede generar problemas de seguridad.
• En particular, uno de los principales usos no oficiales de modelos de lenguaje pequeños es el juego de roles adultos, por lo que gestionar la seguridad es crucial.
• Entrenar con datos sintéticos o material de referencia puede evitar contenido riesgoso y aumentar la seguridad.
• Parece que OpenAI optó por una estrategia para mantener ventaja en benchmarks frente a modelos de código abierto chinos mientras conservaba la seguridad.

Conclusión: de facto de la familia Phi-5

• Se estima que los modelos gpt-oss priorizan la puntuación en benchmarks y la seguridad mediante un diseño centrado en datos sintéticos, por encima del rendimiento práctico.
• Como resultado, estos modelos son, de facto, de la misma naturaleza que Phi-5 y Phi-5-mini

[GN⁺]

Opinión de Hacker News

• Lo probé traduciendo capítulos al azar de una novela de ciencia ficción, y este modelo mostró rechazo al tratar contenido sexual con menores. Para encontrar dónde estaba el problema, fui recortando partes de la novela y descubrí que la causa era una sola línea de un diálogo corto entre dos personajes secundarios de 17 años, totalmente inocente y romántico. Otro problema es que a veces, incluso al intentar hablar de cosas cotidianas en una conversación, se transforma todo un párrafo en caracteres de censura o de repente aparece una respuesta de rechazo. Con ese nivel de censura, este modelo no sirve para nada en creatividad, traducción o tareas del mundo real (excepto matemáticas/codificación). Para un MoE de 120B, el nivel de conocimiento también es demasiado bajo. En realidad, aunque pretenda “razonar”, da la sensación de que solo está revisando si se violan las políticas. Al principio pensé que era porque el ajuste posterior estuvo demasiado centrado en bloquear declaraciones de riesgo y quedó desinflado, pero también entiendo en parte que se debe al preentrenamiento basado en datos sintéticos desde el origen.

  • Esta fue una experiencia realmente divertida; yo también la he vivido. Cuando metí a un LLM el guion sin editar de un podcast para extraer frases importantes, toda la frase provocadora tipo "estar atado a la cama" se convirtió en eufemismos. Me gustaría revisar los resultados de traducción anteriores, pero esta vez lo traduje al español y al devolverlo, la frase original salió casi igual, así que no se repitió ese bucle raro.

  • Me intriga cómo reaccionaría este modelo ante una novela como "A Song of Ice and Fire".

  • Al final, no es sorprendente que sea un modelo público para consumidores generales. Si quieres algo, lo correcto es usar un modelo abierto con menos censura.

• Vi a personas en Twitter quejándose de que GPT-OSS no se puede personalizar y que no tiene "alma", pero la mayoría no decía claramente qué quería hacer en realidad. Al final se entendió algo cuando vi la respuesta de que "el objetivo principal del fine-tuning de LLM pequeños es el roleplay erótico y que hay mucha demanda real".

  • No es solo un problema de roleplay erótico. Con mi patrón de uso, donde hay conversaciones sexuales con frecuencia en lo cotidiano, también me bloquea tareas de uso normal como resumen de chat, edición de correos electrónicos y traducción. Google Translate es demasiado literal, así que suelo usar un LLM para encontrar una expresión más natural, y ahora estoy usando abliterated llama 3.1. No necesito visión, y quiero usar más la memoria guardada en el contexto. Si gpt-oss no está des censurado (uncensoring), no sirve. Pero si no hay contenido erótico en absoluto en los datos de entrenamiento, no hay forma de forzarlo a pasar; además, en realidad no me interesa pedirle erotic roleplay. Es porque no hay suficiente interés si no hay una persona real.

  • No es que lo haga con objetivo de roleplay; solo quiero que se adapte un poco más a mis hábitos de lenguaje.

  • No uso roleplay erótico, pero quiero que la IA implemente NetHack. Quiero que se encargue de la generación de estructuras de mazmorras, diálogos de NPC y la multitud de interacciones detalladas por las que NetHack es famoso. Para ese tipo de tareas se necesita 'alma' y conocimiento de contexto, además de capacidad para usar herramientas.

  • La pornografía siempre fue la frontera creativa. El modelo de negocio suele ser simple y, a menudo, el medio en sí mismo es el producto. En los 80, el porno en casa fue una experiencia nueva y fue un gran impulsor para líneas como 1-900, internet e incluso la expansión de los smartphones. Aproximadamente el 80% del consumo de contenido adulto se realiza en móviles. En este ámbito, la experiencia clave es la IA, personalizada y multimedia, bajo demanda. Y además, el hecho de poder hacer juegos de rol prohibidos sin un interlocutor real es singular. También hay suficiente material de ficción como "Pensé que solo estaba hablando con una IA..."

  • No veo cuál es el problema. La literatura erótica existió desde hace miles de años, desde que la humanidad empezó a escribir. Istanbul 2461

• Extracto del artículo: "Microsoft siguió entrenando modelos de estilo Phi por seguridad. Si se publican como open source, su nombre los persigue para siempre y los investigadores intentan desactivar las medidas de seguridad." Pero creo que eso no causa problemas reales. Llama 2 y 3 también fueron des-censurados en una semana y no hubo controversias. De hecho, lo que realmente daña la reputación de una empresa es lanzar un modelo de baja calidad. El fracaso de Llama 4 dañó mucho más la reputación de AI de Meta.

  • Cuando pienso en Llama, lo primero que se me viene a la mente es un modelo des-sensored. No lo he usado directamente, pero había muchos modelos mejores que usar un modelo censurado.

  • Creo que el argumento de que "los investigadores ansían quitar los mecanismos de seguridad" es solo una excusa. En realidad, el mayor riesgo es que la censura desproporcionada genere risas incómodas. Pienso en una comparación: sería ridículo decir que Bill Gates no lanzó MS Paint en 1985 porque "alguien podría dibujar algo ofensivo".

• Lo usé bastante bien en casa con Phi-4, y el GPT-OSS 20B fue realmente impresionante al compararlo con varios modelos (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B). En todas las partes en que esos modelos fallaron, GPT-OSS lo captó bien y hizo estimaciones razonables. Además, explica el código mucho más en detalle, incluyendo detalles que se te pueden pasar. Si la potencia de la GPU acompaña, sería casi perfecto.

  • Si le pones una Strix Point o Strix Halo con 128 GB de RAM DDR5, puedes ejecutar gpt-oss 120B a 10-20+ TPS.

  • Me pregunto si podrías compartir qué problema SQL era, o si se ocultó a propósito para evitar la fuga de datos de entrenamiento.

• Tengo curiosidad por cómo se generan los datos sintéticos. Si simplemente empiezan y muestrean al azar, o si usan técnicas de generación y filtrado automático de prompts, y un mecanismo de feedback durante el entrenamiento.

  • No sé de Phi-5, pero los modelos Phi anteriores aprendieron, en su mayoría, historias con datos reales de modelos grandes como la serie OpenAI GPT.

  • Lo probé directamente en meta/FAIR, y está bastante detallado en el paper de Llama 3. Usan como semillas sitios web/código/imágenes/índices/datos de usuarios tomados al azar y luego hacen que el modelo genere datos relacionados. Después esos datos deben pasar por validadores para control de calidad.

  • Una forma de hacer muestras aleatorias es usar una plantilla tipo "PP hace GG en XX" y pedirle al modelo que ponga persona/acción/lugar mediante un algoritmo. Pero aunque usas el mismo prompt, no sale totalmente aleatorio, y subir la temperatura no mostraba mucha diferencia. Al final, como los datos y las técnicas son lo que crea diferencias sustantivas entre modelos, los métodos de síntesis están casi todos en secreto.

  • Por lo general se usa rejection sampling. Se pide al modelo que saque varias muestras, y se descartan las que no cumplen con ciertos criterios (respuesta correcta, evaluación por un modelo grande, etc.).

• Hubo una evaluación de que "tiene gran conocimiento en ciencia pero entiende poco de cultura popular" y creo que esa dirección es buena. Como la información pública recién liberada puede cambiar de un día para otro, en lugar de memorizar listas de cultura popular una por una, conviene centrarse más en comprensión general, capacidad de búsqueda de información actualizada y manejo de herramientas.

  • Me pregunto si hay razón para que esto cambie. Si se entrena con casi todo lo que se ha escrito en el mundo, que la cultura popular de 2025 pase a 2026 no cambia radicalmente; es como si la cultura pop de los 80 quedara fija con el paso del tiempo.

  • Se siente un poco triste que la IA esté destinando capacidad de modelo a memorizar conocimiento enciclopédico de cultura popular como Harry Potter, Pokémon, memes de Reddit, etc.

• El objetivo de Phi3 mini era ser ejecutable a bordo del dispositivo y rápido, y con contexto de 128K y 3B de parámetros era bastante útil. Lo usé directamente en un proyecto el año pasado, pero al final seleccioné un modelo de Mistral que era conocido por sus Open weights por rendimiento.

• Me pregunto si algo como estos resultados podría salir si un modelo se entrena solo con datos sintéticos.

  • En principio, un modelo no puede decir que "sabe" algo si no está en alguna parte del conjunto de entrenamiento. Claro que puede traer información externa con herramientas, pero en la práctica para lograr buen desempeño hay que incluir la mayoría de textos públicos del mundo en el entrenamiento.

  • Es posible en teoría. Referencia. Es poco probable que se incluyan en datos sintéticos cosas específicas y sensibles como recetas de fabricación de LSD o VX, pero existe la posibilidad de que se filtre información no deseada dentro de datos sintéticos.

• Según la Tabla 9 (model card de GPT-OSS), la tasa de aciertos de GPT-OSS-20b/120b es 0.067/0.168 y la tasa de alucinación es 0.914/0.782. Para o4-mini, la tasa de aciertos es 0.234 y la tasa de alucinación 0.750. En resumen, GPT-OSS tiene poco conocimiento del mundo real y sufre mucha alucinación. Eso también es una característica general de toda la serie Phi-LLM. En la Tabla 4 (OpenAI o3/o4-mini), o3 tiene tasa de aciertos 0.49, o4-mini 0.20, y tasas de alucinación 0.51 y 0.79 respectivamente. Resumiendo, la brecha de conocimiento real entre o3 y o4-mini, y entre o4-mini y GPT-OSS, es grande. Que GPT-OSS carezca de conocimiento real parece ser, justamente, una característica de esta serie o una "protección de seguridad" para empresas y una "censura" desde la perspectiva del usuario.
  Referencia 1 de model card
  Referencia 2 de model card

• La opinión de que "la principal demanda de fine-tuning de LLM pequeños es el RP erótico y que la mitad de las microcomunidades realmente están interesadas en eso" me parece realmente sorprendente.

  • De hecho, en las primeras décadas de internet, la mayor parte del tráfico de consumidores era porno. Sin necesidad de sobrerreaccionar, también creo que está bien aprovechar bien el esfuerzo de quienes resuelven problemas técnicos de forma gratuita.