Ajuste fino de GPT-3.5 Turbo y actualizaciones de la API

• OpenAI anunció el ajuste fino y actualizaciones de la API para GPT-3.5 Turbo, lo que permite a los desarrolladores personalizar el modelo para casos de uso específicos.
• Se espera que el ajuste fino para GPT-4 esté disponible en otoño.
• Las pruebas iniciales mostraron que GPT-3.5 Turbo ajustado finamente puede superar o igualar el rendimiento base de GPT-4 en tareas específicas.
• Los datos enviados a través de la API de ajuste fino pertenecen al cliente y OpenAI ni otras organizaciones los utilizan para entrenar otros modelos.
• El ajuste fino se ha usado para mejorar el rendimiento del modelo en casos de uso comunes, como una mejor capacidad de control, formatos de salida confiables y un tono personalizado.
• El ajuste fino permite a las empresas acortar los prompts mientras mantienen un rendimiento similar, y manejar 4k tokens, el doble que los modelos ajustados finamente anteriores.
• El ajuste fino es más efectivo cuando se combina con técnicas como prompt engineering, recuperación de información y function calling.
• El costo del ajuste fino se divide en dos partes: costo de entrenamiento inicial y costo de uso.
• OpenAI también ofrece babbage-002 y davinci-002 como reemplazos de los modelos base originales de GPT-3, y estos pueden ajustarse finamente mediante nuevos endpoints de API.
• El endpoint existente /v1/fine-tunes dejará de estar disponible el 4 de enero de 2024.
• OpenAI también trabaja para garantizar la seguridad de los despliegues de ajuste fino, y los datos de entrenamiento para ajuste fino se analizan mediante su Moderation API y un sistema de filtrado basado en GPT-4 para detectar datos inseguros.
• En un futuro cercano se lanzará una UI de ajuste fino, que permitirá a los desarrolladores acceder más fácilmente a información sobre trabajos de ajuste fino en curso y snapshots de modelos completados.

[GN⁺]

Opiniones de Hacker News

• OpenAI lanzó el ajuste fino de GPT-3.5, como había prometido, después de abrir hace unos meses el acceso a la API de GPT-4.
• A pesar de las críticas de que no es lo suficientemente abierto, OpenAI es reconocida por innovar rápidamente y mantenerse por delante de otras IA de código abierto como Llama y Bard.
• El costo de generar con GPT-3.5 Turbo ajustado finamente es 8 veces mayor que con el modelo base, por lo que solo resulta rentable para quienes pueden reducir considerablemente el tamaño del prompt.
• Se pide una comparación entre GPT-3.5 Turbo ajustado finamente y los modelos Llama2, ya que estos últimos requieren infraestructura alquilada.
• Algunos usuarios sienten que GPT-3.5 Turbo es repetitivo e inexacto, por lo que no sirve para escritura ni programación, mientras que otros consideran que GPT-4 es mucho mejor y útil como apoyo educativo o para resolver problemas.
• Una función deseada entre los usuarios es la división de prompts integrada para eliminar la necesidad de herramientas de terceros.
• Llamó la atención la decisión de OpenAI de no ofrecer modelos "inseguros", y tanto davinci-002 como babbage-002 entran en un bucle infinito ante completions "inseguras".
• Los datos de entrenamiento para ajuste fino pasan por la Moderation API de OpenAI y por un sistema de censura basado en GPT-4, que se supone solo se usa cuando la "seguridad" es ambigua debido a su alto costo.
• Surgieron preguntas sobre cómo calcular la cantidad de tokens necesaria para trabajos de ajuste fino y cuántos datos de ajuste fino suelen hacer falta para influir de forma efectiva en el comportamiento del modelo base.
• La posibilidad de ajustar finamente modelos de "chat" parece interesante, y se planteó la posibilidad de usar modelos ajustados finamente para evadir los detectores de IA actuales.
• Se expresaron preocupaciones sobre la privacidad, junto con preguntas sobre cuánto tiempo OpenAI o Microsoft almacenan el texto de las llamadas a la API.
• En general, el lanzamiento del ajuste fino de GPT-3.5 Turbo se considera un avance positivo, y hay expectativas por el ajuste fino de 16k.