Unix vs. Linux
Oracle vs. MySQL
El código abierto ha logrado innovación mediante la colaboración. La fuerza del open source es la transparencia y la colaboración. Linux y MySQL son resultados exitosos de ello.
GPT-n vs. Llama ?
Llama tiene límites para la innovación abierta.
Para innovar el modelo Llama, debería ser posible hacer preentrenamiento, pero actualmente solo es posible el posentrenamiento. La razón es que no se han publicado los datos de entrenamiento de Llama. En IA y deep learning, el código fuente es el conjunto de datos de entrenamiento. Sin embargo, Llama solo publicó los pesos del modelo, y no hizo públicos los datos de entrenamiento, el código de entrenamiento del modelo, los hiperparámetros, etc. Con los pesos de Llama que existen hoy, son posibles innovaciones de ajuste como fine-tuning o aligeramiento, pero no es posible innovar los pesos del modelo de una forma que solo puede lograrse mediante preentrenamiento. Esto se debe a que, en IA y deep learning, desarrollar el conjunto de datos de entrenamiento es programar y depurar. Como los datos de entrenamiento de Llama son privados, no hay forma de que el público colabore para mejorarlos. En ese sentido, es difícil considerar a Llama como open source.
Además, está la falta de recursos de GPU en la comunidad.
Se dice que para entrenar Llama se usaron 16k GPU H100. Solo las GPU superan los 600 mil millones de wones. Si además se consideran costos adicionales como la infraestructura para operarlas y la electricidad, fácilmente superaría 1 billón de wones. No es algo que cualquiera pueda intentar. Para que la innovación sea posible en la comunidad open source, tendría que existir un clúster público de GPU.
En resumen
Para que la innovación abierta sea posible en el campo de la IA y el deep learning, al menos deben cumplirse estas dos condiciones.
Publicación de los datos de entrenamiento
Provisión de un clúster público de GPU a gran escala
Sin embargo, el punto 1 tiene pocas probabilidades debido a problemas de derechos de autor. Y el punto 2 requiere 1 billón de wones.
La conclusión es que, en la situación actual, la posibilidad de innovación abierta en el campo de la IA y el deep learning es muy baja. Pero si ocurre una innovación de hardware, como en GPU o chips neuromórficos, la historia podría cambiar.
1 comentarios
Unix vs. Linux
Oracle vs. MySQL
El código abierto ha logrado innovación mediante la colaboración. La fuerza del open source es la transparencia y la colaboración. Linux y MySQL son resultados exitosos de ello.
GPT-n vs. Llama ?
Llama tiene límites para la innovación abierta.
Para innovar el modelo Llama, debería ser posible hacer preentrenamiento, pero actualmente solo es posible el posentrenamiento. La razón es que no se han publicado los datos de entrenamiento de Llama. En IA y deep learning, el código fuente es el conjunto de datos de entrenamiento. Sin embargo, Llama solo publicó los pesos del modelo, y no hizo públicos los datos de entrenamiento, el código de entrenamiento del modelo, los hiperparámetros, etc. Con los pesos de Llama que existen hoy, son posibles innovaciones de ajuste como fine-tuning o aligeramiento, pero no es posible innovar los pesos del modelo de una forma que solo puede lograrse mediante preentrenamiento. Esto se debe a que, en IA y deep learning, desarrollar el conjunto de datos de entrenamiento es programar y depurar. Como los datos de entrenamiento de Llama son privados, no hay forma de que el público colabore para mejorarlos. En ese sentido, es difícil considerar a Llama como open source.
Además, está la falta de recursos de GPU en la comunidad.
Se dice que para entrenar Llama se usaron 16k GPU H100. Solo las GPU superan los 600 mil millones de wones. Si además se consideran costos adicionales como la infraestructura para operarlas y la electricidad, fácilmente superaría 1 billón de wones. No es algo que cualquiera pueda intentar. Para que la innovación sea posible en la comunidad open source, tendría que existir un clúster público de GPU.
En resumen
Para que la innovación abierta sea posible en el campo de la IA y el deep learning, al menos deben cumplirse estas dos condiciones.
Sin embargo, el punto 1 tiene pocas probabilidades debido a problemas de derechos de autor. Y el punto 2 requiere 1 billón de wones.
La conclusión es que, en la situación actual, la posibilidad de innovación abierta en el campo de la IA y el deep learning es muy baja. Pero si ocurre una innovación de hardware, como en GPU o chips neuromórficos, la historia podría cambiar.