Hola, hice un modelo, lo publiqué como open source y quería compartirlo.
¿Alguna vez han necesitado un sonido específico para hacer un video o un juego?
Aunque tengan muy claro en la cabeza qué sonido es exactamente, probablemente no hayan tenido una forma de expresarlo o de encontrarlo.
Por eso, si entras a reuniones sobre sonido en estudios de videojuegos, muchas veces se escuchan más sonidos como estos que conversaciones.
“Más que pyu pyu, estaría mejor piyu↘︎piyu↘︎”
¡Así que lo hice!
El modelo que hice funciona así: haces con la boca el sonido que quieres, lo metes como input al modelo junto con texto, y el modelo genera ese sound effect. (Me tomó bastante tiempo y muchos datos)
repo: https://github.com/thxxx/VTS
demo: https://spicy-pufferfish-699.notion.site/VTS-347cf95761f480f19dc0eb790…
(Si entran al link del demo y lo escuchan, van a entender mucho mejor a qué me refiero jaja)
12 comentarios
¡De verdad es un proyecto genial!
"¿Cómo explicarle fácilmente a un agente de IA lo que quiero?"
Creo que ese es un punto realmente importante en estos días y un área que requiere mucha reflexión.
Así como hemos visto desarrollarse el área de UI/UX de los servicios de TI, también la experiencia de usuario para la IA irá acumulándose, y tengo expectativas de que habrá mucha conversación sobre qué es válido e importante.
Parece ideal para usarlo en trabajos de SFX para películas.
Esto está de verdad muy divertido jajajaja
Gracias jaja
Está divertido jajaja, sí funciona. Me da curiosidad cómo entrenaron el modelo.
Pero en la demo, lo hecho con la boca está más genial como efecto de sonido.
De tanto probar, ya le agarré la mano.
Qué curioso. ¿Por casualidad también funcionaría con sonidos además de la voz, como algo tipo Pokémon o R2D2?
Sí, el entrenamiento en sí no se hizo con la voz, así que parece que podría funcionar cualquier conversión de Sound to Sound. Igual, todavía no lo he probado con sonidos de Pokémon jaja
Oh, entonces si el LLM genera algo como fórmulas y produce sonidos electrónicos modulando la intensidad, y luego lo mete como entrada junto con el texto para sacar efectos de sonido, parece que también podría generar efectos de sonido que encajen en cada momento. Está genial.
Esto está divertido jajajaja
Gracias jajaja