SantaCoder - modelo de generación de código entrenado con 1.1 mil millones (1.1B) de parámetros

• Modelo de lenguaje multilenguaje entrenado con código en Python, Java y Javascript
• Se dice que supera a InCoder (6.7B) de Facebook y a CodeGen-Multi (2.7B) de Salesforce en generación LTR e infilling
• Usa parte del dataset The-Stack v1.1 (6TB) que BigCode había publicado

[siabard]

En este momento los proyectos de IA están empujando con todo gracias al rendimiento que consiguen a punta de parámetros, pero me da curiosidad saber a qué nivel tendrían que fijar el precio para garantizar la rentabilidad. ¿De verdad podrán cubrir los costos con $10 al mes, como CoPilot...? (Aunque sé que preocuparse por una gran empresa no tiene mucho sentido...)

[xguru]

Se dice que GitHub Copilot tiene 12B, así que al parecer sí hay cierta diferencia en la calidad del código generado frente a ese.