OpenAI amenaza con revocar el acceso a o1 si le preguntas por Chain of Thought

• Si le preguntas varias veces a ChatGPT o1 sobre "Chain of Thought", el equipo de soporte de OpenAI te envía un correo diciendo que cancelará tu acceso a o1

"Tras considerar varios factores, como la experiencia del usuario, la ventaja competitiva y las opciones de monitoreo de Chain of Thought, decidimos no mostrar a los usuarios el Raw Chain of Thought. Reconocemos que esta decisión tiene desventajas. Estamos intentando compensarlo parcialmente entrenando al modelo para que reproduzca ideas útiles del Chain of Thought de la respuesta. En el caso de la serie de modelos o1, mostramos un resumen del Chain of Thought generado por el modelo.

Les pedimos que detengan esta actividad y se aseguren de usar ChatGPT de acuerdo con los Términos de uso y las políticas de uso. Si vuelven a infringir esta política, podrían perder el acceso a OpenAI o1. "

[GN⁺]

Opiniones en Hacker News

• La justificación de OpenAI para ocultar la cadena de pensamiento parece sospechosa

  • Da la impresión de ser anticompetitiva
  • Se siente una intención fuerte de no revelar el razonamiento del modelo
  • Podría estar relacionado con preocupaciones sobre la superinteligencia

• Los grandes anuncios de OpenAI siempre vienen acompañados de controversias relacionadas con el secretismo

  • La razón para no publicar los pesos de GPT-2 era que “era demasiado peligroso”
  • Tampoco publicaron los pesos de GPT-3
  • Este patrón podría ser intencional para atraer la atención de la prensa

• No se puede preguntar sobre los tokens de CoT, pero igual siguen cobrando por token

• La expresión “proceso de pensamiento interno” hace que la pregunta quede marcada

  • Si al lado de un problema de matemáticas pides una explicación sobre “emociones internas”, devuelve fragmentos interesantes
  • Ejemplo: “mapea las raíces reales de 6x^2 + 5x + 1 y el proceso para factorizarlo en factores irreducibles”

• La ventaja competitiva de una empresa que vende modelos de ML por API es que no puedes ver los pesos del modelo

  • OpenAI lleva eso un paso más allá e intenta ocultar el meta nivel del modelo
  • Es como si otras APIs propietarias dieran una salida de depuración

• El nombre de la empresa, “OpenAI”, se siente cada vez más inapropiado

  • Gran parte del enojo viene de ahí

• Podría ser un intento de ocultar un loop con intervención humana

• La imposibilidad de verificar la fuente original podría haber agravado seriamente las alucinaciones de la IA

• El nombre “OpenAI” no encaja con la idea de que esté “abierta”

  • Tal vez solo aplique en el sentido de “abierta para hacer negocios”

• OpenAI creó una máquina para imprimir dinero basada en tokens ocultos y quiere impedir que se audite