StarCoder, el LLM para código publicado por el proyecto BigCode

• Modelo de 15.5B entrenado con 1 billón de tokens en más de 80 lenguajes de programación
• Usa MQA para una generación eficiente y cuenta con una ventana de contexto de 8192 tokens
  • StarCoderBase: entrenado con el dataset The-Stack v1.2 (6 TB), con datos de más de 80 lenguajes
  • StarCoder: modelo entrenado adicionalmente para Python
• Ofrece demo de chat y extensión para VSCode

[ninebow]

Este es el enlace al artículo en el anuncio de Twitter. :)

https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

[ninebow]

Parece que también lo publicaron para poder usarlo directamente en HuggingFace Chat. :)
https://huggingface.co/chat/?model=bigcode/starcoder

[xguru]

SantaCoder - modelo de generación de código entrenado con 1.1 mil millones (1.1B) de parámetros