- OpenAI amplió en DevDay el modelo central de su plataforma API a GPT‑4 Turbo y también presentó Assistants API, capacidades multimodales y rebajas de precio, ampliando de forma importante su oferta para desarrolladores
- GPT‑4 Turbo, con contexto de 128K y conocimiento hasta abril de 2023, se ofrece a un precio 3 veces más barato en tokens de entrada y 2 veces más barato en tokens de salida que GPT‑4
- La nueva Assistants API permite crear asistentes de IA orientados a objetivos dentro de una app al combinar Code Interpreter, Retrieval, llamadas a funciones y
threadspersistentes sin límite de longitud - La API ahora suma entrada de visión, DALL·E 3 y texto a voz (TTS), mientras que GPT‑3.5 Turbo ofrece por defecto contexto de 16K, JSON mode y llamadas paralelas a funciones
- El límite de tokens por minuto para clientes de pago de GPT‑4 se duplica, y Copyright Shield ofrece defensa y cobertura de costos ante reclamaciones por infracción de derechos de autor para ChatGPT Enterprise y funciones de disponibilidad general de la plataforma para desarrolladores
Actualizaciones de GPT‑4 Turbo y GPT‑3.5 Turbo
- GPT‑4 Turbo se lanza como preview del modelo de próxima generación de GPT‑4
- Todos los desarrolladores de pago pueden usarlo en la API enviando
gpt-4-1106-preview - Está previsto que un modelo estable listo para producción se lance en unas semanas
- Con una ventana de contexto de 128K, puede recibir en un solo prompt el equivalente a más de 300 páginas de texto
- Su conocimiento del mundo llega hasta abril de 2023
- Todos los desarrolladores de pago pueden usarlo en la API enviando
- El precio baja frente a GPT‑4
- Tokens de entrada de GPT‑4 Turbo: $0.01/1,000 tokens
- Tokens de salida de GPT‑4 Turbo: $0.03/1,000 tokens
- La entrada es 3 veces más barata y la salida 2 veces más barata que en GPT‑4
- Function calling ahora permite llamar varias funciones en un mismo mensaje
- Por ejemplo, una solicitud como “abre la ventana del auto y apaga el aire acondicionado” puede procesarse en un solo mensaje sin varias idas y vueltas como antes
- GPT‑4 Turbo ahora tiene más probabilidades de devolver parámetros correctos para las funciones
- JSON mode restringe las respuestas del modelo a JSON válido
- El nuevo parámetro de API
response_formatpermite forzar la generación de objetos JSON sintácticamente correctos - Es útil para desarrolladores que generan JSON con la Chat Completions API fuera del esquema de function calling
- GPT‑4 Turbo también mejora frente a modelos anteriores en tareas donde debe seguir instrucciones de formato específicas como “responde siempre en XML”
- El nuevo parámetro de API
- También se agregan salidas reproducibles y log probabilities
- El parámetro
seedpermite obtener completions consistentes en la mayoría de los casos y así ofrecer salidas reproducibles - Puede usarse para depurar reproduciendo solicitudes, hacer pruebas unitarias más completas y controlar el comportamiento del modelo
- La función para devolver log probabilities de los tokens de salida más probables en GPT‑4 Turbo y GPT‑3.5 Turbo llegará en unas semanas
- Será útil para crear funciones como autocompletado en experiencias de búsqueda
- El parámetro
- El nuevo GPT‑3.5 Turbo admite una ventana de contexto de 16K por defecto
- En la API se accede como
gpt-3.5-turbo-1106 - Ofrece mejor seguimiento de instrucciones, JSON mode y llamadas paralelas a funciones
- En evaluaciones internas, las tareas de cumplimiento de formato como generar JSON, XML y YAML mejoraron un 38%
- El modelo existente
gpt-3.5-turbo-0613seguirá disponible hasta el 13 de junio de 2024 - Ya no se realizarán más actualizaciones automáticas para aplicaciones que usen el nombre
gpt-3.5-turbo
- En la API se accede como
Assistants API, Retrieval y Code Interpreter
- Assistants API se lanza como primer paso para que los desarrolladores creen experiencias tipo agente dentro de aplicaciones
- Un assistant es una IA orientada a objetivos que tiene instrucciones específicas, usa conocimiento adicional y llama modelos y herramientas para realizar tareas
- Está orientado a casos de uso como apps de análisis de datos en lenguaje natural, asistentes de programación, planificadores de viaje con IA, DJs controlados por voz y lienzos visuales inteligentes
- Está construido sobre capacidades como custom instructions, Code Interpreter, Retrieval y function calling, que también hacen posible el nuevo producto GPTs de OpenAI
- El cambio clave es contar con threads persistentes y sin límite de longitud
- Los desarrolladores pueden delegar en OpenAI la gestión del estado de los threads
- Funciona agregando nuevos mensajes al
threadexistente para evitar las limitaciones de la ventana de contexto
- Assistants API puede llamar varias herramientas
- Code Interpreter: escribe y ejecuta código Python en un entorno sandbox, genera gráficas y diagramas, y procesa archivos con distintos datos y formatos
- Retrieval: refuerza al assistant con conocimiento externo al modelo, como datos de dominio propietarios, información de productos y documentos proporcionados por usuarios
- Al usar Retrieval, los desarrolladores no necesitan implementar por su cuenta almacenamiento de embeddings, chunking ni algoritmos de búsqueda de documentos
- Function calling: permite que el assistant invoque funciones definidas por el desarrollador e incorpore sus respuestas en los mensajes
- Los datos y archivos enviados por API no se usan para entrenar modelos de OpenAI, y los desarrolladores pueden eliminarlos cuando lo consideren apropiado
- Assistants API está disponible en beta para todos los desarrolladores y puede probarse sin código en el Assistants playground
- Los precios de Assistants API y sus herramientas están disponibles en la página de precios de OpenAI
Capacidades de visión, imagen y voz añadidas a la API
- GPT‑4 Turbo with vision puede recibir imágenes como entrada en la Chat Completions API
- Soporta casos de uso como generar captions, analizar imágenes reales en detalle y leer documentos con ilustraciones
- BeMyEyes usa esta tecnología para ayudar a personas ciegas o con baja visión en tareas diarias como identificar productos o desplazarse por tiendas
- Los desarrolladores pueden acceder con
gpt-4-vision-preview - El soporte de visión se incorporará al modelo principal de GPT‑4 Turbo como parte de la versión estable
- El precio varía según el tamaño de la imagen de entrada, y enviar una imagen de 1080×1080 a GPT‑4 Turbo cuesta $0.00765
- DALL·E 3 puede integrarse en apps y productos a través de Images API indicando el modelo
dall-e-3- Snap, Coca-Cola y Shutterstock usan DALL·E 3 para generar de forma programática imágenes y diseños para clientes y campañas
- Como en versiones anteriores de DALL·E, la API incluye moderación integrada para ayudar a prevenir abusos
- Ofrece opciones de formato y calidad, y el precio empieza en $0.04 por imagen generada
- La API de texto a voz (TTS) genera voz de nivel humano a partir de texto
- El nuevo modelo TTS ofrece 6 voces predefinidas
- Hay dos variantes del modelo:
tts-1ytts-1-hd tts-1está optimizado para casos de uso en tiempo real ytts-1-hdpara calidad- El precio empieza en $0.015 por cada 1,000 caracteres de entrada
Personalización de modelos
- OpenAI está creando un programa de acceso experimental para fine-tuning de GPT‑4
- Los resultados preliminares indican que, a diferencia de las grandes mejoras observadas con el fine-tuning de GPT‑3.5, el fine-tuning de GPT‑4 requiere más trabajo para lograr mejoras significativas frente al modelo base
- Cuando mejoren la calidad y seguridad del fine-tuning de GPT‑4, los desarrolladores que usan activamente el fine-tuning de GPT‑3.5 recibirán en la consola de fine-tuning una opción para postular al programa de GPT‑4
- El programa Custom Models está dirigido a organizaciones que necesitan una personalización mayor que la que ofrece el fine-tuning
- Se aplica especialmente a dominios con datasets propietarios muy grandes, de al menos miles de millones de tokens
- Las organizaciones seleccionadas podrán entrenar un GPT‑4 personalizado para su dominio junto con un grupo dedicado de investigadores de OpenAI
- Podrán modificar todas las etapas del proceso de entrenamiento del modelo, desde pre-training adicional especializado por dominio hasta custom RL post-training ajustado a ese dominio específico
- Las organizaciones tendrán acceso exclusivo a su custom model
- El custom model no se ofrecerá ni compartirá con otros clientes, ni se usará para entrenar otros modelos
- Los datos propietarios proporcionados para entrenar el custom model no se reutilizarán en otros contextos
- Al inicio será un programa muy limitado y de alto costo
Rebajas de precio y ampliación de rate limits
- OpenAI baja precios en varias áreas de la plataforma
- Todos los precios son por 1,000 tokens
- Precios de GPT‑4 Turbo
- GPT‑4 8K: entrada $0.03, salida $0.06
- GPT‑4 32K: entrada $0.06, salida $0.12
- GPT‑4 Turbo 128K: entrada $0.01, salida $0.03
- Precios de GPT‑3.5 Turbo
- GPT‑3.5 Turbo 4K anterior: entrada $0.0015, salida $0.002
- GPT‑3.5 Turbo 16K anterior: entrada $0.003, salida $0.004
- Nuevo GPT‑3.5 Turbo 16K: entrada $0.001, salida $0.002
- El nuevo precio aplica solo al nuevo GPT‑3.5 Turbo presentado ese día
- Para usuarios del GPT‑3.5 Turbo 4K anterior, el precio de los tokens de entrada baja 33%
- Precios de fine-tuning de GPT‑3.5 Turbo
- Fine-tuning anterior de GPT‑3.5 Turbo 4K: entrenamiento $0.008, entrada $0.012, salida $0.016
- Nuevo fine-tuning de GPT‑3.5 Turbo 4K·16K: entrenamiento $0.008, entrada $0.003, salida $0.006
- Los tokens de entrada pasan a ser 4 veces más baratos y los de salida 2.7 veces más baratos
- En el nuevo modelo GPT‑3.5 Turbo se admite fine-tuning con contexto de 16K al mismo precio que 4K
- El nuevo precio también aplica a modelos fine-tuned
gpt-3.5-turbo-0613
- También se amplían los rate limits
- El límite de tokens por minuto para todos los clientes de pago de GPT‑4 se duplica
- Los nuevos rate limits pueden consultarse en la página de rate limits
- Se publican usage tiers que determinan aumentos automáticos de rate limit
- Es posible solicitar aumento de límite de uso en la configuración de la cuenta
Copyright Shield y lanzamientos open source
- Copyright Shield es un programa en el que OpenAI defenderá a sus clientes y cubrirá los costos si reciben reclamos legales relacionados con infracción de derechos de autor
- Aplica a ChatGPT Enterprise y a las funciones de disponibilidad general de la plataforma para desarrolladores
- OpenAI mantiene su postura de proteger a los clientes con salvaguardas de copyright integradas en el sistema
- Se publica Whisper large-v3
- Es la siguiente versión del modelo open source de reconocimiento automático de voz ASR de OpenAI
- Mejora el rendimiento en varios idiomas
- OpenAI planea admitir Whisper v3 en la API en un futuro cercano
- También se libera como open source Consistency Decoder
- Es un reemplazo drop-in para el decoder VAE de Stable Diffusion
- Mejora todas las imágenes compatibles con los VAE de Stable Diffusion 1.0+
- Ofrece grandes mejoras en texto, rostros y líneas rectas
1 comentarios
Opiniones en Hacker News
La mayoría de los productos anunciados y la reducción de precios parecen apuntar más bien a aumentar la dependencia de la plataforma de API de OpenAI, lo cual no sorprende dado que la competencia se intensificó.
En particular, las demos de GPTs/GPT Agents y Assistants parecían una caja negra dentro de otra caja negra que no se puede trasladar a otro lado.
La evaluación del anuncio es mixta, y parece que habrá que ver más detalles en la documentación de la API recién actualizada: https://platform.openai.com/docs/api-reference
La página de precios también se actualizó: https://openai.com/pricing
En especial, la API de DALL-E 3 cuesta $0.04 por imagen, alrededor de un orden de magnitud más cara que otros servicios de este rubro.
Un punto interesante de la nueva estructura de precios que no se mencionó en la keynote es que ChatGPT 3.5 con fine-tuning ahora bajó a 3 veces el costo del ChatGPT 3.5 básico. Como antes era 8 veces, el fine-tuning se vuelve una opción más convincente.
Investigando por mi cuenta, la configuración de punta a punta más realista para poseer por completo mi propio LLM sería algo como meter varias 3090 en una motherboard de consumo y tenerlas funcionando 24/7, pero el costo operativo es considerable, el rendimiento no alcanza y además es bastante caro.
Si gastas un poco más, puedes comprar una configuración Apple Silicon de 128 GB/192 GB para mejorar la calidad y el costo operativo, pero sigue siendo muchísimo, muchísimo más lenta que el servicio “Turbo” de OpenAI.
La mayor razón que me alejaba de OpenAI era la sensación de que la experiencia de chat estaba subsidiada mucho más que la API, pero este anuncio parece haber cerrado bastante esa brecha.
En pocas palabras, OpenAI está ofreciendo condiciones demasiado atractivas como para ignorarlas, y esto es un servicio fuertemente subsidiado. No parece que los costos de cambio futuros vayan a superar los beneficios que se obtienen ahora.
Sin nuevas regulaciones, no veo qué impediría pasar de OpenAI a algo como Anthropic, aparte del costo de aprender a usar Anthropic de forma efectiva para un caso de uso específico.
Tampoco es que OpenAI tenga algún feed de exportación aparte para sacar datos de una base de datos.
La nueva interfaz de Threads en el panel de administración de OpenAI muestra exactamente cómo interpreta las entradas y salidas para reducir el efecto de caja negra.
Fuente: si miras https://platform.openai.com/docs/api-reference/runs/listRunS..., puedes ver exactamente qué pasos sigue la cadena. Ahora hay más visibilidad que antes.
Claude da una clase de ética en una de cada dos respuestas, lo que cuesta cada vez y hace difícil querer integrarlo en un producto.
El 29 de noviembre de 2022, si alguien no hubiera tenido contacto con la sociedad desde el día anterior al lanzamiento de ChatGPT según Wikipedia y hoy volviera para ver la keynote de OpenAI, se habría vuelto loco.
La velocidad de avance y la utilidad de estos productos son realmente sorprendentes.
Justo acababa de leer The Singularity is Near por segunda vez.
El intérprete de código y las llamadas a funciones ya eran posibles con un LLM avanzado que siguiera instrucciones lo suficientemente bien como para emitir tokens en un formato estrictamente parseable. Bastaba con meter esa salida en un parser y volver a pasar el resultado al LLM. Hacerlo con una API en línea como ChatGPT era tosco, pero perfectamente posible.
Los chatbots personalizados también eran fáciles de crear desde antes, y ya existían servicios de creación como Poe.com.
La salida JSON también solo requiere una IA que pueda producir probabilidades de tokens y seguir bien las instrucciones, más un validador de esquema que elija tokens para que el resultado sea JSON conforme al esquema.
GPT-4 128k parece revolucionario, pero Claude 100k ya existía, y como la evaluación de LLMs crece cuadráticamente con el tamaño del contexto, probablemente estén usando algún truco para extender el contexto. No creo que sean tokens “completos”. Si me equivoco, lo admitiré con gusto.
Un contexto grande es útil, pero en programación, si se proporciona el contexto correcto —por ejemplo, llenando el contexto con resultados de 2 o 3 niveles recursivos de “ir a definición” para un símbolo específico—, incluso con 8k de contexto se puede llegar bastante lejos.
DALL-E 3 parece lo más innovador, pero al probarlo, aunque su capacidad de composición mejoró mucho frente a SD, todavía se desmorona en algunos casos.
En general, el anuncio de hoy se siente más como pulido y refinamiento sobre el avance explosivo del año pasado.
Pensé: “Ah, otra moda de chatbot que usarán 5 minutos y ya”, pero estaba completamente equivocado.
Salió Whisper V3: https://github.com/openai/whisper/commit/c5d42560760a05584c1...
Parece ser un nuevo checkpoint del modelo large. Sería bueno que también actualizaran los modelos chicos, pero parece que será fácil integrarlo en las cosas que usan Whisper V2
También pienso agregarlo a mi IA de voz local, así que me entusiasma: https://www.microsoft.com/store/apps/9NC624PBFGB7
Supongo que la voz de ChatGPT ya estaba usando Whisper V3, pero todavía se veía la típica alucinación de Whisper: “Thank you for watching!”. Parece más una mejora gradual que un cambio revolucionario
Muchos de los datos de entrenamiento eran videos con subtítulos, pero algunos videos/audios estaban cortados y en los subtítulos quedaba intacta la frase final, así que me pregunto si ahora no estará reconociendo el silencio como la despedida final de un programa de TV
Personalmente, el cuello de botella actual de la voz es la infraestructura alrededor. Cosas como cómo detectar el inicio y el fin de una intervención, o cómo mantener al usuario listo para hablar mientras se reproduce sonido o voz
Son elementos imprescindibles, pero en general no funcionan bien, y de verdad hace falta integración de hardware/software
En general hubo bastantes anuncios: contexto de 128,000 tokens, Assistants API, modo JSON, corte de conocimiento en abril de 2023, GPT-4 Turbo, precios más bajos y GPTs personalizados
https://openai.com/pricing
Ahora se puede pagar entre 2 y 3 millones de dólares por el preentrenamiento de un modelo gpt-n personalizado [1]. No recibió mucha atención, pero se ve bastante genial
Si una startup puede gastar esa cantidad de dinero, definitivamente parece que le daría una ventaja competitiva
[1] https://openai.com/form/custom-models
Se me olvidó el enlace, lo agrego
Incluso unos 3 millones de dólares suenan como una opción atractiva
Pero si eres un intermediario de OpenAI que preentrena modelos gpt-n para otros clientes, no sé por qué pensarías que OpenAI no terminará saltándose tu rol
Si buscas startups construidas sobre APIs y plataformas, por cada caso de éxito encontrarás un cementerio lleno de empresas que murieron por cambios en las reglas de esas APIs y plataformas
Para los escépticos de los comentarios: el elefante en la habitación que nadie quiere reconocer es que GPT-4 sigue siendo muchísimo mejor que todo lo demás
Puede que sea mejor en promedio, pero no creo que sea mejor en todas las tareas
Los otros modelos también seguirán mejorando
¿El entrenamiento por crowdsourcing sigue siendo inviable?
Recuerdo lo rápido que se movió el mundo de los modelos de difusión en su primer año, pero después de Midjourney, comparado con DALL-E 3, parece algo estancado. ¿Está pasando lo mismo con los modelos de texto?
El playbook que sigue OpenAI se parece al de AWS. Empieza con capacidades básicas como generación de texto e imágenes, construye la base como EC2, S3 y RDS, y encima apila servicios de valor agregado como Assistants API
En este aspecto está muy por delante de AWS y de otros competidores
AWS prácticamente no tuvo competencia durante 7 años, y todas las demás grandes nubes de hoy estaban ignorando la realidad
OpenAI ya tiene muchos competidores. Aunque ahora estén peor en los rankings, no es una situación en la que hayan ignorado este campo durante años y recién después intenten ponerse al día
Según mi experiencia usando este tipo de herramientas, ¿también han ayudado en el mantenimiento de bases de código? Me da curiosidad, ya sea de forma directa o indirectamente, mediante código más legible y mejor organizado
Estas herramientas parecen excelentes para escribir código nuevo. En mi experiencia, hay un límite a la cantidad de código que un desarrollador puede mantener. Al final ya no puedes tenerlo todo en la cabeza, y tienes que detenerte para entender algo, lo que vuelve el mantenimiento más difícil
Si estas herramientas ayudan a escribir más código pero no ayudan con el mantenimiento, me pregunto si llegará una situación en la que se escriba una gran cantidad de código nuevo muy rápido y luego todo se detenga porque nadie entiende a fondo lo que hay ahí
https://github.com/paul-gauthier/aider
Analiza el árbol de sintaxis abstracta del código de todo el repositorio para crear un “mapa del repositorio”, y con eso ayuda a GPT a entender bases de código más grandes
Todo esto está construido con tree-sitter, la misma herramienta que impulsa la búsqueda y navegación de código en GitHub y muchos IDE populares
https://aider.chat/docs/repomap.html
Los consumidores probablemente lo noten de inmediato, y en B2B quizá se dejen engañar durante algunos años, hasta que finalmente se vayan y migren a competidores tradicionales de mayor calidad que contraten talento senior
Dicho eso, podrían aparecer modelos capaces de hacer crecer y mantener una base de código coherente. Viendo dónde estamos ahora, no parece una tarea imposible. Pero, como señalas, todavía falta bastante
Primero, podría terminar la era del ingeniero de software tradicional y llegar la era del depurador. Depuradores humanos que se pasan todo el día poniendo breakpoints y encontrando bugs en un mar de código creado por LLM
Segundo, la contratación pasará de problemas de Leetcode a “saque el depurador y encuentre qué está mal en este código”
Un contexto más grande significa que potencialmente podrías incluir toda la base de código. A la mayoría le cuesta mantener en la cabeza incluso los detalles de una base de código pequeña
El siguiente paso es integrarlo más profundamente con las herramientas, para garantizar que, sin importar qué se cambie, las pruebas pasen y el código compile. Escribir pruebas también es una de las cosas que esta herramienta puede hacer
Así que podría volverse posible rescatar con asistencia de IA bases de código legacy que de otro modo serían difíciles de abordar económicamente
Espero que en los próximos años la productividad de los desarrolladores asistidos por IA aumente mucho. Personalmente, creo que funcionará mejor en lenguajes con tipos estáticos, porque para la herramienta es mucho más fácil razonar sobre ellos
https://ai.stepci.com
“En las próximas semanas también lanzaremos una función para devolver las probabilidades logarítmicas de los tokens de salida más probables generados por GPT-4 Turbo y GPT-3.5 Turbo, lo que será útil para crear funciones como autocompletado en experiencias de búsqueda”.
Esto es bastante sorprendente. ¿No les preocupa que la gente no solo entrene con salidas de GPT-4 para robar capacidades del modelo, sino que haga destilación de conocimiento de logits en serio?
Todos pensaban que esa era precisamente la razón por la que habían bloqueado el acceso a los logits
“Los más probables” podría significar literalmente solo unos pocos tokens, y quizá cubra apenas una fracción muy pequeña de la distribución completa
Quizá tengan razón en ese cálculo