- Meta presentó Code Llama, un modelo especializado en programación construido sobre la base de Llama 2.
- Puede generar código a partir de prompts de código y lenguaje natural, y según sus propios benchmarks obtuvo un rendimiento superior al de ChatGPT.
- Lanzó modelos de 7B, 13B y 34B, entrenados respectivamente con 500 mil millones de tokens de código y datos relacionados.
- Soporta hasta 100 mil tokens de contexto, lo que facilita escribir programas más largos o ingresar condiciones detalladas y código real en el prompt.
- Además del modelo base, Code Llama se lanzó en otras 2 variantes adicionales.
- Code Llama - Python: modelo ajustado finamente con 100 mil millones de tokens adicionales de código Python.
- Code Llama - Instruct: modelo ajustado finamente con 5 mil millones de tokens de instrucciones, optimizado para entrada en lenguaje natural y salida de código.
- Como los otros modelos no están optimizados para lenguaje natural, se debe usar este modelo cuando se quiera generar código mediante lenguaje natural.
- Los resultados de medición del rendimiento del modelo con HumanEval y MBPP mostraron que iguala o supera a ChatGPT (GPT 3.5).
- Mientras GPT 3.5 registró 48.1% en HumanEval, Code Llama - Python registró 53.7%.
- GPT 4 sigue por delante con 67%.
- Se agregaron diversas medidas de seguridad para minimizar el riesgo de que Code Llama pueda generar código malicioso.
- En pruebas reales, se observó que genera menos código malicioso que ChatGPT.
2 comentarios
La licencia parece ser la misma que la de Llama. Si superas los 700 millones de MAU, tienes que solicitar una licencia.
Bueno, para las empresas coreanas no parece que vaya a ser un gran problema jaja
Se lanzó con la misma licencia que Llama 2.
Entendía que a StarCoder también le faltaba un poco, ¿será que ahora sí apareció una verdadera alternativa a Copilot?
De todos modos, cuando uno piensa en estas cosas, parece que el rendimiento de GPT 4 sí es realmente impresionante.
También maneja bien el coreano, y en los benchmarks sale que GPT 4 tiene un rendimiento mucho más alto...
GPT 3.5 también es muy superior en coreano en comparación con otros modelos abiertos.
Ojalá aparezca un modelo open source de generación de código que también funcione en coreano.