- Investigadores de Google DeepMind publicaron un artículo sobre JEST, un nuevo método para acelerar el entrenamiento de IA. Este reduce de forma importante los recursos de cómputo y el tiempo necesarios para la tarea
- El enfoque Multimodal Contrastive Learning with Joint Example Selection (JEST) es hasta 13 veces más rápido y 10 veces más eficiente. Esto significa que también puede reducir los requerimientos de energía
- Según un artículo de investigación reciente, este nuevo enfoque para un proceso que normalmente consume mucha energía puede hacer que el desarrollo de IA sea más rápido y barato. Es una buena noticia para el medio ambiente
El alto consumo energético de la industria de la IA
- Los grandes sistemas de IA requieren una capacidad de procesamiento importante, lo que demanda mucha energía y agua para refrigeración
- Se informa que el consumo de agua de Microsoft se disparó un 34% entre 2021 y 2022 debido al aumento de la demanda de cómputo para IA
- La IEA prevé que el consumo eléctrico de los centros de datos se duplicará entre 2022 y 2026. Esto ha provocado comparaciones entre la demanda energética de la IA y el perfil de consumo del criticado sector de la minería de criptomonedas
- Sin embargo, enfoques como JEST podrían ofrecer una solución. Al optimizar la selección de datos para el entrenamiento de IA, es posible reducir de forma significativa la cantidad de iteraciones y la capacidad de cómputo necesarias, lo que a su vez puede disminuir el consumo total de energía
Cómo funciona JEST
- JEST selecciona lotes de datos complementarios para maximizar la capacidad de aprendizaje del modelo de IA. A diferencia de los métodos tradicionales que eligen ejemplos individuales, este algoritmo considera la composición del conjunto completo
- Los investigadores de Google utilizaron "multimodal contrastive learning", donde el proceso JEST identifica dependencias entre puntos de datos. Este método mejora la velocidad y la eficiencia del entrenamiento de IA, al tiempo que requiere mucho menos poder de cómputo
- Usar un modelo de referencia preentrenado para guiar el proceso de selección de datos fue clave en este enfoque. Esta técnica permitió que el modelo se concentrara en conjuntos de datos bien curados y de alta calidad, optimizando aún más la eficiencia del entrenamiento
- El entrenamiento sobre el conjunto de datos WebLI con JEST mostró mejoras notables tanto en velocidad de aprendizaje como en eficiencia de recursos
- El algoritmo acelera el proceso de entrenamiento al enfocarse en fragmentos específicos de datos que "coinciden", mediante una técnica llamada "data quality bootstrapping". Esta técnica prioriza la calidad sobre la cantidad y ha demostrado ser mejor para el entrenamiento de IA
Aún no hay comentarios.