Meta publica como código abierto la IA generativa para audio "AudioCraft"

• IA generativa que crea audio y música de alta calidad a partir de entradas de texto del usuario
• Está compuesta por MusicGen + AudioGen + el decodificador EnCodec, que se encargan respectivamente de la música, la generación de audio y la compresión de audio
• Puede usarse con fines de investigación y para ayudar a las personas a comprender mejor la tecnología
• Permite que un músico profesional componga una nueva canción sin tocar ni una sola nota en un instrumento, o que un desarrollador de juegos indie implemente efectos de sonido realistas y ruido de fondo a bajo costo

[ticonweb]

No sé si será posible con el código publicado, pero si se pudiera montar en software de Digital Audio Workstation como pistas por instrumento, de verdad tendría muchísimo potencial de uso.

Gracias por la noticia

[GN⁺]

Opiniones de Hacker News

• Los modelos de IA generativa para audio, como AudioCraft, facilitan las pruebas A/B y reducen la necesidad de personal creativo.
• Meta se está diferenciando de OpenAI al enfatizar que usa datos con licencia y no datos por los que no ha pagado.
• La licencia CC-BY-NC que usa AudioCraft no se considera una licencia de código abierto según la definición de open source.
• Existe preocupación de que una avalancha de contenido generado por IA haga desaparecer el pasado y vuelva más difícil distinguir entre información real y falsa.
• Hay especulación sobre la capacidad de generar música a partir de bibliotecas musicales existentes.
• Algunas personas creen que permitir que los dueños de derechos de autor controlen los datos de entrada de los modelos de IA podría llevar a una sociedad de "delitos de pensamiento".
• No está claro por qué Meta decidió publicar estos modelos como código abierto.
• Algunos usuarios están teniendo dificultades para encontrar documentación sobre la instalación y el uso de los modelos.
• La diferencia de calidad de audio entre MBD y las variantes de EnCodec usadas en AudioCraft es notable.
• Un comentarista sugiere que Spotify podría usar modelos de IA generativa como AudioCraft para crear su propia música y reducir su dependencia de los sellos discográficos por rentabilidad.