- Un modelo de IA entrenado en más de 80 lenguajes de programación
- Además de lenguajes populares como Python, Java, C, C++, JavaScript y Bash, también soporta lenguajes específicos como Swift y Fortran, por lo que puede ayudar a desarrolladores en distintos entornos y proyectos de desarrollo
Estableciendo un nuevo estándar en rendimiento de generación de código
- Logra mejor rendimiento y menor latencia que modelos anteriores
- Python
- Codestral 22B 32k : HumanEval 81.1%, MBPP 78.2%, CruxEval-O 51.3%, RepoBench 34.0%
- CodeLlama 70B 4k : HumanEval 67.1%, MBPP 70.8%, CruxEval-O 47.3%, RepoBench 11.4%
- SQL (Spider)
- Codestral 63.5%, CodeLlama 37%
- Promedio en varios lenguajes
- Promedio de HumanEval : Codestral 61.5%, CodeLlama 51.9%
Cómo empezar con Codestral
- Codestral puede usarse con fines de investigación y pruebas bajo la Mistral AI Non-Production License, y descargarse desde HuggingFace
- Se usa a través del nuevo endpoint
codestral.mistral.ai. Se administra con una API key personal y está disponible durante un periodo beta gratuito de 8 semanas
- También puede usarse a través del endpoint
api.mistral.ai, con cobro por token.
- Es posible interactuar con Codestral de forma natural a través de Le Chat.
Soporte para usar Codestral en tu entorno de programación preferido
- Frameworks de aplicación: está integrado con LlamaIndex y LangChain.
- Integración con VSCode/JetBrains: Codestral puede usarse en entornos VSCode y JetBrains mediante Continue.dev y Tabnine.
Retroalimentación de la comunidad de desarrolladores
- Nate Sesti (CTO de Continue.dev): es la primera vez que aparece un modelo abierto de autocompletado que combina velocidad y calidad, y traerá un gran cambio para los desarrolladores.
- Vladislav Tankov (responsable de AI en JetBrains): hay gran expectativa por las capacidades de Mistral, fuertemente enfocadas en código y asistencia para desarrollo.
- Mikhail Evtikhiev (investigador en JetBrains): mostró un rendimiento superior a GPT-4-Turbo y GPT-3.5-Turbo en el benchmark Kotlin-HumanEval.
- Meital Zilberstein (líder de I+D en Tabnine): muestra un rendimiento sobresaliente en generación de código, generación de pruebas y documentación, mejorando mucho la eficiencia del producto.
- Quinn Slack (CEO de Sourcegraph): ofrece valor real a los desarrolladores al reducir la latencia en autocompletado de código y mantener la calidad.
- Jerry Liu (CEO de LlamaIndex): genera código preciso y funcional incluso en tareas complejas.
- Harrison Chase (CEO de LangChain): ofrece velocidad y una ventana de contexto ventajosa, además de soporte para uso de herramientas.
Opinión de GN⁺
- Avance en generación de código con IA: Codestral soporta varios lenguajes y ofrece alto rendimiento, por lo que puede ser de gran ayuda para desarrolladores.
- Facilidad de uso: ofrece varias opciones de integración y un endpoint dedicado, lo que facilita su uso.
- Evaluación de rendimiento: muestra alto rendimiento en varios benchmarks, lo que lo hace confiable.
- Modelos competidores: también muestra un rendimiento sobresaliente frente a GPT-4-Turbo, GPT-3.5-Turbo y otros.
- Consideraciones para adopción: la decisión de adoptarlo debe tomarse considerando el rendimiento y la usabilidad del modelo.
1 comentarios
Opinión de Hacker News
Resumen de comentarios de Hacker News
Restricciones de licencia: Se prohíbe usar el modelo y sus resultados para actividades comerciales o en condiciones "live". Se excluye el uso de salidas de código como parte del desarrollo, pero también se prohíbe el uso interno dentro del contexto de las actividades comerciales de una empresa. Esto hace que la comparación con otros modelos de pesos abiertos sea injusta.
Prueba de modelos de programación: Se le pidió a un modelo de programación que escribiera cierto middleware ASGI de Python, pero ningún modelo logró hacerlo correctamente.
Diferencia de filosofía de los LLM: Existe una diferencia de filosofía entre los LLM estilo Llama y los LLM estilo OpenAI/GPT. GPT ha evolucionado con un enfoque en código, mientras que los modelos Llama/Mistral primero lanzan un modelo de lenguaje general y luego ofrecen CodeLlama/Codestral mediante entrenamiento adicional en código.
Integración con VSCode: Se preguntan si hay alguna forma de usarlo en VSCode de manera similar a Copilot, donde aparece "código fantasma". La calidad de estas herramientas depende de la capacidad de diseñar prompts adecuados del lado del cliente.
Limitaciones de uso: Los modelos de Mistral y sus derivados solo pueden usarse para pruebas, investigación, fines personales o evaluación, y no en actividades comerciales.
Problema de utilidad práctica: Consideran que no tiene sentido si no puede usarse en casos prácticos de autocompletado de código. GH Copilot ya es el mejor modelo.
Enlace de Huggingface: Enlace a la página de Huggingface
Democratización del código: Mencionan los problemas que surgieron al democratizar el arte y expresan preocupación por que aumenten las bibliotecas poco confiables generadas por IA.
Requisitos de RAM: Preguntan por los requisitos de RAM para usar localmente el modelo de 44GB descargable desde Huggingface. También quieren saber si los requisitos de RAM son los mismos para GPU y para la RAM "unificada" de Apple Silicon.
Extensión de VSCode: Preguntan si existe una extensión de VSCode que permita usar varios modelos como plugins. Tener que configurarlo cada vez resulta molesto.