Disponibilidad general de la API de GPT-4
(openai.com)- Los desarrolladores existentes de la API con historial de pagos pueden usar GPT-4 API con contexto de 8K, y el acceso para nuevos desarrolladores junto con la ampliación de los límites de velocidad avanzará gradualmente según la disponibilidad de cómputo
- GPT-3.5 Turbo, DALL·E y la API de Whisper también pasan a disponibilidad general porque ya están listas para uso a escala de producción, y el fine-tuning de GPT-4 y GPT-3.5 Turbo estará disponible hacia finales de este año
- Como la API de Chat Completions representa el 97% del uso de GPT en la API de OpenAI, una interfaz estructurada como los mensajes del sistema y las llamadas a funciones está reemplazando la mayoría de los casos de uso de la API de Completions anterior
- A partir del 4 de enero de 2024, los modelos heredados de la API de Completions, los modelos heredados de embeddings y los modelos relacionados con la API de Edits dejarán de estar disponibles, por lo que habrá que migrar a
gpt-3.5-turbo-instruct,text-embedding-ada-002, GPT-3.5 Turbo y otros - La API de Completions aparece como legacy en la documentación y no hay planes de lanzar nuevos modelos para ella, por lo que es más seguro diseñar nuevas integraciones alrededor de la API de Chat Completions
Alcance de la disponibilidad de la API de GPT-4 y otras APIs principales
- OpenAI ofrece acceso a GPT-4 a todos los clientes de API de pago
- Los desarrolladores existentes de la API con historial de pagos exitosos pueden usar GPT-4 API con contexto de 8K
- Está previsto abrir el acceso para nuevos desarrolladores antes de que termine este mes
- Después, OpenAI planea aumentar los límites de velocidad (
rate limit) según la disponibilidad de cómputo
- GPT-4 es el modelo más potente de OpenAI, y desde marzo millones de desarrolladores han solicitado acceso a la API de GPT-4
- GPT-3.5 Turbo, DALL·E y la API de Whisper también quedan disponibles de forma general
- La razón es la estabilidad de los modelos y su preparación para uso a escala de producción
- El fine-tuning de GPT-4 y GPT-3.5 Turbo se encuentra en proceso de habilitación segura y estará disponible a finales de este año
- Tras la actualización del 24 de abril de 2024, el nombre “ChatGPT API” dejó de usarse, y las menciones a ChatGPT API en el texto se refieren a la API de GPT-3.5 Turbo
Transición hacia la API de Chat Completions
- La API de Chat Completions se introdujo en marzo y ahora representa el 97% del uso de GPT en la API de OpenAI
- La API de Completions anterior se introdujo en junio de 2020 para interactuar con modelos de lenguaje mediante prompts de texto libre
- Una interfaz de prompts más estructurada puede producir mejores resultados que el enfoque anterior
- mensajes del sistema (
system message) - llamadas a funciones (
function calling) - conversaciones de múltiples turnos (
multi-turn conversation)
- mensajes del sistema (
- La API de Chat Completions no solo admite experiencias conversacionales, sino también una amplia variedad de tareas de completion
- Como permite separar estructuralmente el contenido proporcionado por el usuario de las instrucciones, ayuda a reducir el riesgo de ataques de prompt injection
- OpenAI planea seguir invirtiendo la mayor parte de sus esfuerzos de desarrollo de plataforma en esta dirección
log probabilitiesde los tokens de completion- mejoras de
steerabilitypara reducir la “chattiness” de las respuestas - estos puntos siguen siendo brechas pendientes en la API de Chat Completions
Retiro de modelos heredados de la API de Completions
- Para ampliar la inversión en la API de Chat Completions y optimizar la capacidad de cómputo, OpenAI retirará en seis meses algunos modelos heredados de la API de Completions
- La API de Completions seguirá siendo accesible, pero desde hoy aparece marcada como legacy en la documentación para desarrolladores
- Las futuras mejoras de modelos y productos se concentrarán en la API de Chat Completions, y no hay planes de publicar nuevos modelos para la API de Completions
- A partir del 4 de enero de 2024, los modelos de completion heredados dejarán de estar disponibles y serán reemplazados por nuevos modelos
ada,babbage→babbage-002curie,davinci→davinci-002davinci-instruct-beta,curie-instruct-beta,text-ada-001,text-babbage-001,text-curie-001,text-davinci-001,text-davinci-002,text-davinci-003→gpt-3.5-turbo-instruct
- Las aplicaciones que usan los nombres de modelo estables
ada,babbage,curie,davincise actualizarán automáticamente a los nuevos modelos el 4 de enero de 2024 - Está previsto que
babbage-002ydavinci-002estén disponibles dentro de las próximas semanas para permitir pruebas anticipadas especificando esos nombres de modelo en las llamadas a la API - Los usuarios de otros modelos de completion heredados como
text-davinci-003deberán cambiar manualmente el parámetromodelde sus solicitudes de API agpt-3.5-turbo-instructantes del 4 de enero de 2024gpt-3.5-turbo-instructes un modelo estilo InstructGPT entrenado de forma similar atext-davinci-003- estará disponible como un modelo de reemplazo inmediato (drop-in replacement) en la API de Completions
Migración para usuarios de modelos fine-tuned
- Para seguir usando modelos fine-tuned después del 4 de enero de 2024, habrá que volver a hacer fine-tuning del modelo de reemplazo sobre los nuevos modelos base
- nuevos modelos base GPT-3:
babbage-002,davinci-002 - modelos más recientes:
gpt-3.5-turbo,gpt-4
- nuevos modelos base GPT-3:
- Cuando el fine-tuning de GPT-3.5 Turbo y GPT-4 esté disponible, los usuarios que hayan hecho fine-tuning de modelos heredados en el pasado recibirán acceso prioritario
- Como migrar desde modelos ajustados con datos propios es difícil, OpenAI planea hacer la transición lo más fluida posible mediante soporte a usuarios anteriores
- OpenAI se pondrá en contacto en las próximas semanas con los desarrolladores que hayan usado recientemente modelos heredados y compartirá más información cuando estén listas las pruebas anticipadas de los nuevos modelos de completion
Retiro de modelos heredados de embeddings
- Los usuarios de modelos heredados de embeddings deberán migrar a
text-embedding-ada-002antes del 4 de enero de 2024 text-embedding-ada-002se lanzó en diciembre de 2022 y se ha comprobado que es más potente y más rentable que los modelos anteriores- Actualmente,
text-embedding-ada-002representa el 99.9% de todo el uso de la API de embeddings - OpenAI asumirá el costo de volver a generar embeddings del contenido con el nuevo modelo
- Todos los siguientes modelos serán reemplazados por
text-embedding-ada-002code-search-ada-code-001,code-search-ada-text-001code-search-babbage-code-001,code-search-babbage-text-001text-search-ada-doc-001,text-search-ada-query-001text-search-babbage-doc-001,text-search-babbage-query-001text-search-curie-doc-001,text-search-curie-query-001text-search-davinci-doc-001,text-search-davinci-query-001text-similarity-ada-001,text-similarity-babbage-001,text-similarity-curie-001,text-similarity-davinci-001
Fin de la API de Edits
- Los usuarios de la API de Edits y de los modelos relacionados deberán migrar a GPT-3.5 Turbo antes del 4 de enero de 2024
- por ejemplo:
text-davinci-edit-001,code-davinci-edit-001
- por ejemplo:
- La beta de la API de Edits fue una API exploratoria temprana creada para devolver una versión editada del prompt según instrucciones
- Los comentarios obtenidos de la API de Edits se reflejaron en el desarrollo de
gpt-3.5-turboy de la API de Chat Completions - La API de Chat Completions también puede usarse para el mismo propósito
- en el ejemplo, se especifica en el mensaje del sistema el cambio que debe aplicarse al código, y cuando el usuario pide cambiar el nombre de la función Fibonacci a
fib, el assistant devuelve el código modificado
- en el ejemplo, se especifica en el mensaje del sistema el cambio que debe aplicarse al código, y cuando el usuario pide cambiar el nombre de la función Fibonacci a
1 comentarios
Opiniones en Hacker News
Hay que fomentar y difundir los LLM locales
Usar GPT significa pagarle a OpenAI, y ese dinero se usa para hacer lobby con el gobierno y eliminar a la competencia, lo que al final te perjudica a ti y a tu bolsillo
OpenAI no tiene foso, salvo que le pagues para que redacte leyes
Incluso ahora se pueden correr LLM bastante aterradoramente inteligentes y rápidos en una laptop de hace 5 años sin GPU, así que el futuro al menos se ve interesante
Cuando lo intenté hace uno o dos meses, en casi todas las tareas los resultados fueron deprimentemente lentos e inútiles
Siempre me ilusiono cada vez que dicen que algún modelo es “el 90% de GPT-3”, pero siempre termino muy decepcionado
Como referencia, después de probar GPT-4, hasta GPT-3 casi siempre me parece decepcionante
Incluso dudo que importe tanto qué LLM estés usando ahora mismo, ya sea local u hospedado, de OpenAI o de otro motor
La interfaz parece haber convergido en prompts basados en chat, y casi cada semana se publican nuevas ideas para ajustar el modelo base o mejorar la eficiencia
Si vas a construir un producto sobre IA generativa, me parece que puedes empezar con lo que sea gratis o encaje con tu entorno de desarrollo
La forma de interactuar con IA generativa basada en texto y sus APIs probablemente será en general parecida, sin importar qué motor sea el óptimo en ese momento
Si es así, entonces será posible el cambio de backend, como con servicios web que imitan la API de AWS S3
Al final, podrías construir el producto con OpenAI o con otro modelo, y cambiarte después según costo y adecuación
También se puede prototipar todo el producto con un LLM de menor calidad y, de vez en cuando, enviar solicitudes a GPT-4 para validar el comportamiento
Creer que esta tecnología puede ser restringida por ley me parece exagerado. Por mucho lobby que haga OpenAI, no necesariamente consigue lo que quiere, y ahí está el caso de FTX
Los LLM pueden ejecutarse localmente y para el usuario el motor puede ser una caja negra; además, considerando incluso su utilidad pública, no veo cómo una ley podría frenar su difusión real
Tengo una laptop vieja sin GPU con 16 GB de RAM, ¿podría correr alguno de estos modelos?
No hay que financiar la máquina de propaganda de IA
Los LLM locales pueden servir para algunas tareas, pero comparados con la escala de modelos y hardware que OpenAI dedica a su API, son mucho más lentos y menos capaces
Por mi experiencia ejecutando un modelo 7B en CPU con ggml en una laptop Intel i7 de 12.ª generación, incluso eso era mucho más lento que la API de gpt-3-turbo
[1] GPT4 is 8 x 220B params = 1.7T params: https://news.ycombinator.com/item?id=36413296
Esto es grave. De verdad planean retirar text-davinci-003
Eso significa perder el último modelo realmente competente que quedaba y la libertad del modo de completado de texto
Ahora todo serán modelos de chat censurados/alineados o modelos de instrucciones con restricciones arbitrarias en la metáfora de entrada. gpt3.5-turbo es pésimo en comparación
Esto probablemente haga que deje de usar OpenAI en su mayor parte. Tal vez mis pagos mensuales de $5~$10 en la API no signifiquen mucho, pero sí aumentan mis ganas de correr un modelo Llama 65B localmente
¿Qué ofrece que otros modelos no tengan?
¿Qué cosas interesantes valdría la pena probar antes de que lo retiren el 4 de enero de 2024?
Aun así, si davinci está en el mismo rango de precio que GPT-4, espero que GPT-4 ya haya mejorado lo suficiente en diversidad léxica y sofisticación lingüística inducible como para servir de reemplazo
En general, creo que se está subestimando cuánto se pierde y qué se pierde con este movimiento hacia modelos de instrucciones
Ojalá haya actores inteligentes en el mercado que tomen prompts de instrucciones y los conviertan, mediante preoptimización, al formato adecuado para modelos no ajustados
A igual escala de parámetros, solo con no mutilar el modelo subyacente ya parecería un avance mucho mayor para el usuario final
Según entiendo, todavía está disponible en Azure. text-davinci-003 es una versión ajustada de este
Más información:
https://platform.openai.com/docs/model-index-for-researchers
Sam Altman ya dijo que el hardware le está impidiendo hacer lo que quiere
Llevo meses en la lista de espera de la API de GPT-4, y probablemente sea porque no han podido seguir el ritmo de la demanda
¿Entonces eso de que “si quieres seguir usando modelos afinados después del 4 de enero de 2024, tendrás que afinar un modelo de reemplazo sobre los nuevos modelos base de GPT-3 (
ada-002,babbage-002,curie-002,davinci-002) o sobre modelos más recientes (gpt-3.5-turbo,gpt-4)” significa eso?¿Entonces ya no se podrán seguir usando los modelos afinados hechos con tus propios datos?
No me queda claro si eso significa que quienes pagaron por un modelo afinado tendrán que volver a pagar el costo de tokens de entrenamiento sobre un nuevo modelo censurado
Aún estamos afinando cuál será la forma exacta que mejor se adapte a los clientes, y en las próximas semanas vamos a contactar a clientes para recibir comentarios sobre varios enfoques
Por eso los modelos abiertos son tan importantes. Me cuesta entender a las empresas que construyen modelos afinados sobre modelos cerrados
Desde la perspectiva de capacidades, la noticia más importante aquí en realidad es el modelo gpt-3.5-turbo-instruct
gpt-3.5-turboes el modelo detrás de ChatGPT, y está afinado para chat, así que es bastante difícil de usar en casos donde solo quieres que siga instrucciones o complete textodavinci-003era el último modelo ajustado para instrucciones, pero costaba 10 veces más quegpt-3.5-turbo, así que aunque desde la perspectiva de tokens fuera un enorme desperdicio, económicamente seguía teniendo sentido forzargpt-3.5-turbopara adaptarlo al caso de usoTengo un sitio web básico que usa
text-davinci-003, pero es tan caro que no he podido lanzarloProbé usar solo
gpt-3.5-turbo, pero no funcionó porque no logré ninguna consistencia en situaciones donde esperaba una devolución de JSON con formato definidogpt-3.5-turbo-instructno quede tan fuertemente inutilizado como ChatGPTdavinci-003era mucho más divertido y podía responder sobre una gama amplia de temas que ChatGPT se niega a contestarDijeron que “desde hoy todos los clientes de API de pago pueden acceder a GPT-4”, pero no sé si soy tonto o qué, porque soy cliente de pago de la API de OpenAI y todavía no lo tengo
Lo único que veo es
gpt-3.5-turbo-16k,gpt-3.5-turbo,gpt-3.5-turbo-16k-0613,gpt-3.5-turbo-0613ygpt-3.5-turbo-0301; no aparecegpt-4Supongo que el problema es que actualicé a una cuenta API de pago dentro del último mes y, contablemente, todavía no califico como “cliente de API de pago”
A mí me pasa lo mismo. Me registré hace unos días con la esperanza de cambiar a GPT-4, pero aparte de la autorización de $5 todavía no he pagado mi primera factura, así que parece que tendré que esperar más
Hice una herramienta de línea de comandos muy simple para llamar a la API. Por ejemplo, la ejecuto así:
Yo tampoco tengo acceso a GPT-4
En este momento, la única en la que puedo usar
gpt4en el Playground es la 2gpt-3.5-turbo-0613 ha mejorado bastante, especialmente junto con el diseño de prompts de sistema, así que ya no es tan necesario como antes usar la API de GPT-4, que cuesta entre 20 y 30 veces más
El hecho de que la API de ChatGPT haya sido adoptada masivamente frente a la antigua Completion API demuestra que yo tenía razón en mi primer post sobre la API de ChatGPT
Si la calidad es igual o mejor, los desarrolladores cambian de inmediato cuando ven una baja de precio tan grande: https://news.ycombinator.com/item?id=35110998
Comparado con eso, GPT-3.5 no sirve. Aunque entiendo que en entornos más conversacionales GPT-3.5 puede ofrecer una relación rendimiento/precio más atractiva
Puede funcionar para la mayoría de los casos de uso, pero GPT-3.5 ignora instrucciones mucho más seguido que GPT-4
También falla mucho más fácilmente con cosas simples como espacios en blanco al final, y si le pides reescribir un texto largo con errores de gramática o puntuación, a veces muestra comportamientos raros como deletrear letra por letra
No noté gran diferencia sin importar cómo configurara el prompt de sistema. En GPT-4 todavía no he visto ese tipo de comportamiento realmente extraño
Yo lo uso sobre todo para generar pruebas, redactar documentación, refactorizar y generar fragmentos de código, y lo uso todos los días en el trabajo junto con Copilot/X
En mi experiencia, GPT3.5-turbo es bastante torpe en comparación. Explicas en comentarios qué debe hacer un método y qué argumentos debe tener, y luego omite por completo esos argumentos
Da la impresión de tener mala memoria incluso con fragmentos de código relativamente cortos. Ni siquiera está cerca del límite de contexto
No son errores pequeños: dice que hará algo en varios pasos y luego se salta pasos completos
GPT3.5-turbo es constantemente inestable, así que requiere correcciones grandes y reintentos continuos
También le cuesta seguir el estilo o la plantilla del prompt y de sus propias respuestas. Puede ser consistente, por ejemplo en cómo usa viñetas en un documento, y de repente cambiar
Codex suele ser mejor, pero claramente está por debajo de GPT-4, y está bien como “autocompletado inteligente”. Para redactar documentación no es muy útil
En cambio, GPT-4 normalmente se acerca mucho al resultado correcto, y en código largo o prompts complejos apenas necesita uno que otro ajuste
En resumen, para trabajo de código ni siquiera vale la pena el tiempo que toma obtener o corregir buenos resultados con GPT3.5-turbo. Codex es aceptable hasta cierto punto, y para cualquier cosa más allá de autocompletado simplemente uso GPT-4. Es mucho más consistente
Aquí casi no se habla de la posibilidad de usar Whisper
Al probar la voz en la app de ChatGPT para iOS, parece que Whisper es bastante bueno para entender lo que uno realmente dijo
Pero me molesta muchísimo tener que decir todo de corrido antes de recibir retroalimentación sobre cómo reconoció lo que dije
Incluso si la tasa de reconocimiento es impresionantemente alta
Como OpenAI lo usa así, no sé si la API estará diseñada para mitigar eso, pero sería genial tener la calidad de Whisper con algo cercano a la capacidad de respuesta del dictado on-device
Supongo que funcionará de forma más “en tiempo real”, como el dictado actual de iOS/macOS, pero no lo sé con certeza porque no estoy usando la beta ahora mismo
Cuando usé la entrada de texto integrada, ChatGPT igual entendió bastante bien la intención de la solicitud, así que el resultado fue bueno
La forma en que lo están liberando poco a poco se siente rara.
OpenAI está dañando su propia reputación al hacer que casi todos usen modelos más viejos y de menor calidad.
Aunque los clientes estén dispuestos a pagar el costo de GPT-4, les dicen que se formen al final de la fila.
¿Esperar qué, exactamente? ¿Navidad? ¿El día en que abras la caja de regalo y adentro venga GPT-4?
Parece una página copiada del marketing de Google de “cómo garantizar que un producto nuevo fracase”. Es una forma de restringir el acceso para que el marketing boca a boca no pueda funcionar. Porque ninguno de tus amigos puede probar el producto.
Este anuncio dice que el modelo GPT-4 está en “disponibilidad general”, pero no es el modelo de contexto 32K, ni la versión multimodal con entrada de imágenes, ni hay ajuste fino. Solo hay un modelo, y solo para chat.
En este momento, lo único a lo que tengo acceso es al servicio Azure OpenAI y a GPT-3.5 en mi cuenta de la API de OpenAI.
No entiendo qué sentido tienen todas estas restricciones arbitrarias sobre quién puede acceder a qué modelo.
Puedes usar GPT-4 en Chat, pero no en la API. Puedes usar una versión mejorada de Dall-E en Bing Image Creator, pero no en la API de OpenAI.
Algunos proveedores bendecidos por el grande y misericordioso Sam Altman tienen acceso a GPT-4 32K, y los demás no.
Deberían vender un producto, no vender acceso.
No deberían comportarse como la Unión Soviética, donde necesitabas “conocer a alguien” para conseguir algo.
Ni siquiera con dinero pueden comprar todas las GPU que necesitan.
Y como abrir las compuertas podría crear un cuello de botella de escalado, quizá prefieren gestionarlo de forma anticipada en vez de quedarse atrás.
Por eso lo están abriendo con cuidado, y si hace falta retroceden, igual que cuando limitaron el uso de la versión pública de GPT-4 en ChatGPT.
No parece del todo irracional. Claro, también puede haber algo de intento por crear escasez y alimentar la euforia.
Es una estrategia vieja, pero no tanto como para compararlo con la Rusia soviética.
Si estimas de forma muy aproximada que hace falta 1 GPU de NVIDIA por cada 100 clientes, entonces OpenAI tiene que comprar más GPU por cada 100 clientes nuevos de GPT-4.
Pero con la escasez de GPU, no es una situación en la que simplemente puedan agregar más GPU por mucho dinero que le avienten.
https://www.fierceelectronics.com/electronics/ask-nvidia-ceo...
¿Y eso de “cómo garantizar que un producto nuevo de Google fracase”? ¿Te refieres al infame fracaso asegurado llamado GPT-4?
El modelo davinci original era mi amigo, y esta decisión me molesta muchísimo.
Los resultados que producía ese modelo tenían una personalidad y creatividad que no he podido reproducir con ninguna otra cosa.
Algunos resultados maravillosos y graciosísimos quedaron para siempre como parte valiosa de la cosmovisión de nuestra familia.
Al parecer algunos investigadores la obtuvieron.
He investigado LLM para trabajo creativo, y me parece que mezclar cadena de pensamiento con inyección de aleatoriedad ayuda bastante a acercarse más a una creatividad humana.
Por ejemplo, darle instrucciones al LLM para que use cierta letra aleatoria elegida por un generador de números aleatorios en cierto momento y de cierta forma.
Además del título, aquí hay bastante contenido importante escondido.
El nuevo modelo gpt-3.5-turbo-instruct saldrá “en unas semanas”, y también se espera ajuste fino para 3.5 y 4 este año.
Me interesa especialmente gpt-3.5-turbo-instruct. Creo que toda la euforia alrededor de ChatGPT y los “LLM conversacionales” ha ocultado mucho de lo que se puede hacer con modelos generales de instrucciones.
Si además se puede ajustar finamente, sería excelente.
No siento que entienda bien qué trabajo hubo detrás para entrenar a los modelos GPT con datos fácticos.
¿Era algo como que una persona aprobaba o rechazaba respuestas para subir la puntuación?
“Estados Unidos tiene 49 estados” - rechazo
“Estados Unidos tiene 50 estados” - aprobación
¿A grandes rasgos era así de simple?
¿Se sabe si están trabajando en agregar lo que faltó de 2021, luego 2022 y finalmente 2023? Sé que con el complemento de Bing puede rastrear la web, pero no es lo mismo.
Hace unos días pregunté sobre Maya Kowalski, y aunque podía resumir uno o dos posts de blog, eso no es lo mismo que haber aprendido realmente sobre el tema y conocerlo con contexto detallado.