Ajusta finamente tu propio Llama 2 para reemplazar a GPT-3.5/4

• En HN ha aumentado mucho el interés por el ajuste fino de LLM de código abierto (por ejemplo, la publicación de Anyscale)
• Se comparten años de experiencia y aprendizajes sobre ajuste fino de modelos, junto con código práctico
• Se ofrece un conjunto de notebooks que cubren etiquetado de datos, ajuste fino, ejecución eficiente de inferencia y evaluación de costo/rendimiento
• Se entrenó un modelo 7B que coincide en un 95% con las etiquetas de GPT-4 en el conjunto de prueba
• ¿Qué es el ajuste fino? Una forma de prompting más poderosa que escribir instrucciones en texto
• Se entrena un modelo existente con pares de entrada/salida de ejemplo para el entrenamiento de modelos ajustados finamente
• Ventajas y desventajas del prompting y del ajuste fino
• Gran ventaja del ajuste fino: es mucho más efectivo para indicar el comportamiento del modelo, por lo que incluso un modelo mucho más pequeño puede ser suficiente
• Un modelo Llama 7B ajustado finamente es 50 veces más barato por token que GPT-3.5 y ofrece resultados iguales o mejores en muchos casos de uso
• Ejemplo: clasificar 2M de recetas con GPT-4 costaría $23k, pero nuestro modelo ajustado finamente muestra un rendimiento similar al de GPT-4 y cuesta solo $19 ejecutar todo el dataset
• Están desarrollando un producto de código abierto llamado OpenPipe
• OpenPipe ayuda a que los ingenieros adopten el ajuste fino de la forma más simple posible
• Esta publicación actual busca compartir lo aprendido sobre ajuste fino

[GN⁺]

Opiniones de Hacker News

• Artículo sobre el uso del ajuste fino de modelos de Llama 2 como alternativa a GPT-3.5/4
• Algunos usuarios descubrieron que para tareas de traducción GPT-3.5 es 100 veces más barato que Llama 2, y que Llama 7B ofrece traducciones deficientes
• Se especula sobre la estrategia agresiva de precios de OpenAI para GPT-3.5, como una forma de incentivar la dependencia de sus modelos frente a otros proveedores
• Se discute la posibilidad de usar la salida de GPT y otros LLM para entrenar modelos sustitutos internos, lo que podría ser una solución rentable para quienes usan APIs regulares a escala de producción
• Se cuestiona la afirmación de que un modelo Llama 7B ajustado finamente sea 50 veces más barato que GPT-3.5; algunos usuarios sugieren que eso solo puede lograrse con autoalojamiento
• Se plantean dudas sobre la efectividad del ajuste fino frente a la adaptación de bajo rango
• Algunos usuarios sostienen que la comparación entre Llama ajustado finamente y GPT-3.5 es engañosa, citando problemas para lograr una latencia de inferencia adecuada y escalabilidad
• La calidad de los modelos Llama 2 ajustados finamente no necesariamente supera a ChatGPT; el ajuste fino requiere datasets de alta calidad que no son fáciles de construir
• Se cuestionan la consistencia y la tasa de errores de la llamada de funciones de GPT
• Los usuarios tienen curiosidad por saber cuál es el mejor LLM de código abierto para ajustar sus propios modelos
• Se pide claridad sobre si el dataset de ajuste fino debe consistir en pares de entrada/salida o si puede ser autorregresivo
• Los usuarios muestran interés en recursos para aprender a ajustar finamente estos modelos, especialmente para principiantes
• Este artículo es considerado un recurso valioso para quienes están comenzando en el campo de ML/LLM.