Data2Vec - el primer algoritmo de aprendizaje autosupervisado de alto rendimiento que funciona para voz, visión y texto

• Código, modelos preentrenados y paper publicados como open source por Meta AI

• El aprendizaje autosupervisado actual ha respaldado avances importantes de la IA reciente, pero todavía difiere mucho de la forma en que las personas realmente integran y adquieren información diversa de manera compuesta

→ Un algoritmo de propósito único diseñado para imágenes es difícil de aplicar al texto

• data2vec es el primero que funciona con distintas modalidades como voz/visión/texto

→ Nuevo paradigma: aprendizaje autosupervisado holístico

→ En visión/voz muestra un rendimiento superior al de los algoritmos de propósito único y también es competitivo en NLP

[ktasha45]

Qué interesante

[xguru]

Data2vec: un framework para el aprendizaje de diversas modalidades https://smilegate.ai/2022/01/23/data2vec/