OpenAI o1-pro, ahora accesible vía API

• $150 por tokens de entrada, $600 por tokens de salida (por cada 1 millón)
  • 150 veces más caro que o1-mini
• Los modelos de la serie o1 fueron entrenados mediante aprendizaje por refuerzo (Reinforcement Learning) para pensar antes de responder y realizar razonamiento complejo
  • El modelo o1-pro usa más recursos de cómputo para pensar con mayor profundidad y ofrecer respuestas consistentes y de alta calidad
• Solo se puede usar en la Responses API y admite las siguientes funciones
  • Soporte para múltiples llamadas a herramientas
  • Soporte para interacciones del modelo a lo largo de varios turnos antes de responder a una solicitud de API
• Ventana de contexto de 200,000, cantidad máxima de tokens de salida de 100,000
• La fecha de corte es el 1 de octubre de 2023

[GN⁺]

Comentarios en Hacker News

• Este modelo solo se puede usar a través de la nueva Responses API. Si tienes código que usa Chat Completions, tendrás que migrarlo a Responses para poder soportarlo
  • Puede tomarme tiempo agregar soporte en mi herramienta de LLM
• Precio: $150 por 1 millón de tokens de entrada y $600 por 1 millón de tokens de salida
  • Es muy caro, pero tras usarlo junto con la suscripción ChatGPT Pro, es sorprendentemente capaz
  • Si le das una base de código de 100,000 tokens, encuentra bugs sutiles que pasé por alto por completo
  • Al comparar el precio de la API con el precio de la suscripción que pago, me siento un poco culpable
• Renderizar un SVG de un pelícano montando en bicicleta costó 94 centavos
• Si asumes que un oficinista motivado con salario de $160k escucha o habla durante 6 horas al día, el costo por 1 millón de tokens es de alrededor de $10k
  • OpenAI ahora ha llegado, con el precio de sus modelos de frontera, a un nivel similar al de humanos altamente capacitados
  • o3 pro podría cambiar esta situación, pero si o3 hubiera estado a punto de salir, no creo que hubieran lanzado este modelo
• Tiene un knowledge cutoff de 2023 y una ventana de contexto de 200k
  • Un poco decepcionante
• o1-pro sigue destacando incluso en comparación con todos los demás lanzamientos, incluidos Grok 3 think y Claude 3.7 think
  • Estaba por cancelar la suscripción Pro, pero 4.5 es demasiado bueno para tareas que no son de código/matemáticas
  • No puedo esperar a o3 pro
• Hay gente que lo probó y le gustó
  • Tengo mucha confianza en Sonnet 3.7
  • Ojalá fuera más rápido
  • La mayoría de los problemas son de ejecución, y quiero que la IA los resuelva más rápido de lo que yo mismo tardaría programando
• Parece que o1-pro se usará para herramientas clave o para verificar dos veces una base de código
  • Incluso con un precio más bajo, asumo que se necesitaría mucho trabajo y conocimiento del dominio para obtener 10 veces la velocidad de Sonnet
• o1-pro no soporta streaming
  • Se supone que usa una técnica tipo best-of-n para buscar varias respuestas
  • Creo que usando llm-consortium se podrían obtener resultados similares a un precio mucho menor
  • Puedes hacer prompt a varios modelos y luego elegir o sintetizar la mejor respuesta entre ellos
  • Se puede iterar hasta llegar a un umbral de confianza
• Al principio pensé que podría agregarlo a la plataforma, pero al ver el precio me da duda habilitar este modelo para la mayoría de los usuarios
  • Salvo las empresas ricas, la mayoría de los usuarios terminarían perjudicándose solos
• Siempre he sospechado que o1-Pro podría ser un workflow del modelo o1
  • Podría ser un método que distribuye en 8 instancias de o1 y luego agrega los resultados