Avances de las técnicas de aprendizaje automático para el aprendizaje automático

Optimización de compiladores de ML

• Los compiladores de ML son rutinas de software que convierten los programas escritos por los usuarios en instrucciones que pueden ejecutarse en hardware real.
• Los programas de ML pueden representarse como grafos computacionales, donde los nodos representan operaciones sobre tensores y las aristas representan el flujo de tensores.
• Los compiladores de ML deben resolver diversos problemas complejos de optimización, incluidas optimizaciones a nivel de grafo y a nivel de kernel.

Conjunto de datos TpuGraphs

• El objetivo es mejorar los compiladores de ML para aumentar la eficiencia de los modelos de ML.
• Se incorpora al compilador un modelo de costo entrenado que recibe como entrada el programa y la configuración del compilador, y produce como salida el tiempo de ejecución estimado del programa.
• El conjunto de datos TpuGraphs fue publicado para modelos de costo entrenados sobre programas que se ejecutan en las Tensor Processing Units (TPUs) personalizadas de Google.

Competencia de Kaggle

• Finalizó la competencia "Fast or Slow? Predict AI Model Runtime", que utilizó el conjunto de datos TpuGraph, con la participación de 792 personas y 616 equipos.
• Los participantes utilizaron diversas técnicas novedosas, como poda/compresión de grafos, valores de padding de características, características de nodos y atención cruzada entre configuraciones.

Expo de NeurIPS

• Si te interesa la investigación sobre datos estructurados e inteligencia artificial, vale la pena poner atención al panel de la NeurIPS Expo celebrado el 9 de diciembre, "Graph Learning Meets Artificial Intelligence".

Opinión de GN⁺

• La optimización de compiladores de ML es un área importante que puede mejorar significativamente la velocidad de ejecución y la eficiencia de los modelos de ML.
• Recursos como el conjunto de datos TpuGraphs ayudan a impulsar la investigación en optimización de programas basada en ML y contribuyen a mejorar el rendimiento de los sistemas de ML.
• La competencia de Kaggle funciona como una plataforma que fomenta la colaboración y la innovación en la comunidad de ML, y ayuda a que los participantes compartan y desarrollen nuevos enfoques y técnicas.

[GN⁺]

Opiniones de Hacker News

• La sobrevaloración de los compiladores de ML

  Los compiladores de ML están sobrevalorados. Al igual que los compiladores tradicionales, existen trade-offs y, aunque ofrecen mayor rendimiento de procesamiento que contratar a un programador especialista en rendimiento, este último a menudo puede lograr un desempeño mucho más alto. Los compiladores de ML son inferiores en varios niveles: a nivel algorítmico no ofrecen retroalimentación sobre cómo modificar la red, se pierde la intención y generan kernels ineficientes. En comparación con un programador especialista en ensamblador, el rendimiento del compilador cae en más de 30%.

• El estado actual y la promesa de los compiladores de ML

  Una pregunta sobre el estado actual de los compiladores de ML y sus promesas a corto plazo.

• Mejoras en la predicción del rendimiento en tiempo de ejecución de grafos computacionales

  Un resumen sobre mejoras en la forma de predecir el rendimiento en tiempo de ejecución de grafos computacionales usando GNN. Se utiliza un diccionario de embeddings para el código de operación de cada nodo y otras características de los nodos, y se publica un dataset con distintas configuraciones de compilación de XLA en TPU y sus correspondientes datos de rendimiento. Para mejorar las predicciones en grafos más grandes, se usan partición de grafos (partición de grafos METIS) y otros métodos de entrenamiento. Esto solo está relacionado con la predicción de rendimiento y no con mejorar o proponer nuevos grafos equivalentes.

• Pregunta sobre el proyecto Gemini

  Una pregunta sobre el estado actual del proyecto Gemini.

• Solicitud de explicación sobre cómo funciona conv dentro de un grafo

  Una solicitud de explicación sobre cómo se realiza la operación de convolución para tensores de cierta forma.

• Si los transformers son óptimos

  Una pregunta sobre si hay indicios de que los transformers sean óptimos de alguna manera.

• Opinión sobre el primer párrafo

  Una opinión de que el primer párrafo está ocultando el punto principal, aunque fuera de eso el contenido es interesante.

• Asombro por la velocidad del avance del ML

  Una opinión de que el ML está avanzando a una velocidad asombrosa en este momento y que, aunque no cree en la singularidad, está transformando el software y la sociedad de maneras impredecibles.

• [Comentario marcado]

  Dos comentarios fueron marcados y no es posible ver su contenido.