MusicLM, una IA que genera música a partir de texto

• Artículo publicado por Google Research
• Genera música muy fiel a las descripciones de texto: "una melodía tranquila de violín con un riff de guitarra distorsionada de fondo"
• Genera música de varios minutos a 24 kHz al plantearlo como una tarea de modelado jerárquico entre secuencias
• Supera ampliamente a los sistemas existentes tanto en calidad de audio como en fidelidad a la descripción de texto
• También puede transformar estilos de melodía como silbidos o tarareos
• Es posible generar audio en modo historia proporcionando varios prompts de forma secuencial
• Publicaron el dataset MusicCaps, compuesto por 5.5k pares de música-texto

[jin225675]

¡Es impresionante que pueda generar una calidad así solo a partir de texto!

Aun así, todavía hay muchas cosas que se sienten muy extrañas, así que quizá se use más para que los creadores obtengan ideas.

[xguru]

Riffusion - Stable Diffusion ajustado finamente para generar música