Personas que están haciendo fine-tuning de llama2
(news.ycombinator.com)Este es un caso de fine-tuning de llama2 visto en Hacker News.
El fine-tuning consiste en ajustar adicionalmente un modelo de IA con mis conjuntos de preguntas + respuestas.
Se dice que para hacer fine-tuning se puede empezar con un mínimo de 50 ejemplos, pero si es posible es mejor tener más de 1000 ejemplos.
El autor dice que su modelo Llama 7B ajustado con fine-tuning es más de 50 veces más barato que GPT-3.5.
Por supuesto, comparar Llama 7B con GPT-3.5 (165B) en realidad no tiene mucho sentido, pero como en el caso de los modelos GPT con fine-tuning no resulta barato, creo que podrían aumentar los casos de uso de Llama con fine-tuning.
2 comentarios
"You can run 70B LLAMA on dual 4090s/3090s with quantization. Going with dual 3090s you can get a system that can run LLAMA 2 70B with 12K context for < $2K.
I built two such systems after burning that much in a week on ChatGPT."
https://news.ycombinator.com/item?id=37489601
Los comentarios son impresionantes. Si ves el comentario que dejó después, dice que distintos equipos administraban los datos en formatos diferentes, pero que con ChatGPT los normalizaron y lograron alinear los formatos de datos en solo una semana. ¡Si se combina así de bien?!
Oh, qué buena idea. Me impresionó que hasta el CEO de Replicate apareciera para comentar.
Se me quedó grabada la opinión de que el costo de GPT-3.5 (supongo que
turbo) y el de llama 70b serían similares.Yo pienso usar GPT en trabajo real, pero ya se empieza a ver a startups sacando ventaja con llama + fine-tuning, así que lo traje.