- Code Llama es un modelo de lenguaje grande (LLM) de vanguardia diseñado para programar, capaz de generar tanto código como lenguaje natural sobre el código a partir de prompts de código y de lenguaje natural.
- Está construido sobre Llama 2 y se ofrece en tres modelos: Code Llama (modelo base para código), Code Llama - Python (especializado en Python) y Code Llama - Instruct (ajustado para comprender instrucciones en lenguaje natural).
- Code Llama es gratis para uso de investigación y comercial, y fue lanzado bajo la misma licencia comunitaria que Llama 2.
- El modelo puede usarse para autocompletado de código y depuración, y soporta muchos lenguajes populares como Python, C++, Java, PHP, Typescript (Javascript), C#, Bash y más.
- Code Llama está disponible en tres tamaños con 7B, 13B y 34B parámetros, y cada uno fue entrenado con 500B tokens de código y datos relacionados con código.
- Estos modelos se ofrecen para ajustarse a distintos servicios y requisitos de latencia; el modelo de 34B ofrece los mejores resultados, mientras que los modelos más pequeños de 7B y 13B son más adecuados para tareas que requieren rapidez y baja latencia.
- Los modelos Code Llama pueden manejar hasta 100,000 tokens de contexto, lo que resulta útil para generar programas más largos y depurar bases de código más grandes.
- También se ajustaron dos variantes adicionales: Code Llama - Python (especializada con 100B tokens de código Python) y Code Llama - Instruct (ajustada para generar respuestas útiles y seguras en lenguaje natural).
- En pruebas de benchmark, Code Llama superó a otros LLM disponibles públicamente en tareas de programación, registrando 53.7% en HumanEval y 56.2% en Mostly Basic Python Programming (MBPP).
- Se tomaron medidas de seguridad para mitigar los riesgos asociados con Code Llama, incluida una evaluación cuantitativa del riesgo de generar código malicioso.
- La receta de entrenamiento y los pesos del modelo de Code Llama pueden consultarse en el repositorio de GitHub de Code Llama.
- El paper de investigación de Code Llama ofrece detalles sobre el desarrollo del modelo, sus limitaciones y los desafíos futuros.
- Los desarrolladores también actualizaron la Responsible Use Guide para incluir lineamientos sobre cómo desarrollar submodelos de manera responsable.
- Code Llama fue diseñado para apoyar a ingenieros de software de todas las áreas e inspirar a otros a aprovechar Llama 2 para crear nuevas herramientas innovadoras para investigación y productos comerciales.
1 comentarios
Comentarios en Hacker News