Música con IA + autocharting + sandbox de juego rítmico personalizado

Hola.

Estoy creando una herramienta basada en navegador para hacer juegos rítmicos.
El concepto es simple: la IA crea la música, Essentia.js analiza los beats y la lógica del juego se escribe directamente en JS.

Demo: https://rhythm-seodang-web.vercel.app/

La mayoría de los flujos de trabajo de los juegos rítmicos son pesados: editor dedicado, charting manual, patrones de gameplay fijos, solo para escritorio. Quería hacer algo que pudieras abrir en una pestaña del navegador y empezar a tocar de inmediato.

Cómo funciona
La generación de música usa servicios de IA (Suno/Udio). Por ahora los registro yo manualmente, pero planeo integrarlos. Con Essentia.js (WASM) se procesan del lado del cliente el seguimiento de beats, la detección de onsets, la curva de energía y hasta la segmentación por secciones. La salida es un chart enfocado solo en el timing, y eres libre de decidir qué hacer con ese timing.

Sandbox de minijuegos
El chart y el gameplay están completamente separados. Las reglas de aparición, el manejo de entrada y el renderizado se definen con funciones cortas en JS. Con el mismo chart puedes hacer un juego de tambores estilo Taiko, deslizamientos direccionales o algo experimental.

Stack técnico: Next.js, Essentia.js, PixiJS
Estado actual: todavía está en una etapa temprana de desarrollo. Lo estoy construyendo mientras valido la idea central. Ya se puede jugar con tracks de ejemplo, y la generación de charts junto con el taller de minijuegos funcionan de forma básica. Todavía hay mucho por pulir, y el siguiente objetivo es la generación de música con IA dentro de la plataforma (prompt → track → play).

Todavía le faltan muchas cosas, pero agradecería mucho cualquier feedback.

[zero0000]

Estaría bueno que al empezar hubiera una guía de teclas del teclado.

[rapina]

¡Sí!