Meta AI publica el modelo Code Llama 70B

• Un LLM de alto rendimiento para generación de código, entrenado a partir de LLama 2 con más muestreo de datos de conjuntos especializados en código y con un entrenamiento más prolongado
• Logra 67.8 en HumanEval, mostrando el mejor rendimiento entre los modelos abiertos
• Al igual que la licencia anterior, puede usarse tanto con fines de investigación como comerciales
• 3 modelos
  • CodeLlama-70B
  • CodeLlama-70B-Python
  • CodeLlama-70B-Instruct
• Ahora está disponible en 4 tamaños: 7B/13B/34B/70B

[ragingwind]

Si se puede ejecutar localmente en una M2 Max o superior, creo que sería el mejor juguete.

[xguru]

Cuando lo cuantifiquen, probablemente funcione bien. Si esperamos un poco, ¿no creen que saldrá?

[xguru]

El enlace de arriba es para solicitar acceso a Meta, pero en Hugging Face ya está todo publicado. https://huggingface.co/codellama

[GN⁺]

Opiniones en Hacker News

• Desarrolló CodeGPT, un plugin de Jetbrains, y puede ejecutarlo localmente. El plugin puede verse aquí.
• El modelo puede consultarse en Hugging Face: CodeLlama-70b-hf.
• Un usuario que usa ChatGPT y GitHub Copilot se pregunta cómo podría aprovechar estos modelos en VS Code. Hay muchas extensiones de GPT para VS Code, pero como la mayoría no se actualizan o terminan llevándote a un plan de pago, piensa que es mejor seguir usando GitHub Copilot.
• Hay que reconocer que Meta ha mostrado un gran compromiso con el machine learning de código abierto.
• Viendo lo buenos que son los modelos pequeños de código, da curiosidad qué capacidades mostrará este modelo de 70B.
• Mucha gente menciona usar una 4090 y modelos pequeños, pero rara vez se ve un análisis del consumo de energía. Cree que Microsoft está subsidiando fuertemente Copilot, y se pregunta cuántos kWh consumiría al mes un modelo de 7B o 13B en una 4090 si se usara Copilot durante el 30% del tiempo del día, y cuánto costaría esa energía.
• Se pregunta cuál es actualmente el mejor modelo local tipo Copilot y si existe alguna extensión para vscode que ofrezca una experiencia similar. Como tiene una 4090, espera poder ejecutar una cantidad considerable de modelos.
• Baptiste Roziere dio recientemente una excelente charla sobre Code Llama, y puede verse aquí.
• Sería interesante si pudiera ejecutarse localmente en equipos como un M2 Max y ofrecer funciones tipo Copilot mediante un plugin para IDE. Podría ahorrar tiempo al resolver problemas tediosos del proyecto o al escribir código "boilerplate", para poder concentrarse en tareas más difíciles de ingeniería de software.
• Es posible que el programador promedio no tenga el hardware necesario para ejecutarlo a la velocidad que necesita, así que no está claro a quién va dirigido este plugin. Aun así, es una función genial.