BigCode - proyecto para crear una IA de generación de código como software de código abierto

• Proyecto abierto para crear un LLM (Large Language Model) para código fuente que ofrezca funciones como Codex de OpenAI, usado en GitHub Copilot
• Será desarrollado en colaboración entre Hugging Face y ServiceNow R&D
• El objetivo es ofrecer un conjunto de datos a escala para entrenar sistemas de generación de código
• Un conjunto de 15 mil millones de parámetros, incluso más grande que Codex

[xguru]

Como CoPilot de todos modos cuesta dinero y tiene varias limitaciones, ojalá provoque un cambio grande como Stable Diffusion.

[ffdd270]

Ojalá pudiera funcionar también de forma local, como Stable Diffusion. Al final, Copliot requiere comunicación externa (por más que cuide bien la privacidad del código y diga que también lo cifra). Y como en esa comunicación va incluido el código fuente, me da algo de desconfianza.

[laeyoung]

Así es.

Siendo realistas, como es un LLM (Large Language Model), parece que no sería posible ejecutarlo directamente en local, pero creo que ya sería bastante útil si al menos tuviera un tamaño que pudiera implementarse on-prem. Si tiene 15 mil millones de parámetros, está en un punto intermedio entre GPT-2 (1.5 mil millones) y GPT-3 (175 mil millones) en cantidad de parámetros; me pregunto si funcionará... T_T

[ffdd270]

Según entiendo, GPT-2 se podía... ejecutar en local. Tabnine se basa en ese modelo y, de hecho, ofrece un modelo local.