Keyboard Connect: plataforma de clases remotas de piano basada en la Web MIDI API

• Es un servicio que busca reducir el problema de que en las clases remotas de piano sea difícil manejar al mismo tiempo la voz, el video y la entrada del teclado mediante videoconferencias web y uso compartido de MIDI
• Sus funciones principales son Video Calling y MIDI Sharing, y destaca la transmisión cifrada P2P como método de envío
• File Sharing estará disponible pronto, y Lesson Planning y Record Playback aparecen como funciones previstas para más adelante
• Compara su propuesta con configuraciones existentes como controlador MIDI + DAW + software de ruteo o piano digital + interfaz de audio, destacando que tienen alto costo y complejidad de configuración
• Keyboard Connect reduce la barrera de entrada con una configuración centrada en un controlador MIDI y una webcam, y los tutores pueden contactar al servicio por correo o reservando una llamada de 30 minutos

---

Funciones pensadas para clases remotas de piano

• Keyboard Connect es un servicio de videollamadas para tutores de piano orientado a crear un entorno de clase en el que el estudiante pueda participar con mayor concentración en las lecciones remotas

• Funciones principales disponibles actualmente

  • Video Calling

  • MIDI Sharing

    • Destaca la P2P Encrypted Transmission como método de envío

• Funciones futuras y herramientas de aprendizaje

  • File Sharing: disponible pronto
  • Lesson Planning: disponible más adelante
  • Practice Tools
  • Record Playback: disponible más adelante
  • Para los tutores, plantea ayudar a retener estudiantes mediante una mejor experiencia de clase, y para los estudiantes, aumentar la participación para mejorar los resultados de aprendizaje

Comparación de costos con configuraciones remotas tradicionales

• Señala que, para que un estudiante nuevo pueda transmitir a la vez la voz y el sonido del piano en una videollamada, antes se requería una configuración más cara y compleja
  • MIDI controller + DAW + piano VST + routing software: aprox. $200
  • Digital piano + audio interface + routing software: aprox. $600
  • Acoustic piano + high quality mic + room treatment: aprox. $3000
• Keyboard Connect compara esto con una configuración que solo conecta un MIDI controller, con un inicio desde $60
• También resalta la diferencia de equipo en una configuración que muestra tanto al intérprete como una vista cenital del piano
  • Configuración tradicional: two cameras + mounting equipment + OBS/USB switcher, aprox. $150
  • Configuración de Keyboard Connect: webcam, $0–$40
• Los tutores de piano pueden enviar los detalles de su trabajo al servicio por correo a [e-mail] o mediante una reserva de llamada de 30 minutos

[GN⁺]

Opiniones de Hacker News

• Durante la pandemia tuve que preparar clases remotas de piano, así que intenté combinar dos videos para mostrar al mismo tiempo las manos sobre el teclado y la cara, pero en ese momento la latencia era demasiado alta.
  Al final usé una sola cámara mirando desde arriba, y coloqué una placa de acrílico transparente en un ángulo de 45 grados frente a la laptop elevada, iluminando el rostro del pianista. Este efecto se llama Pepper's Ghost.
  Gracias a eso, el profesor podía ver con una sola cámara tanto las manos sobre el teclado como la cara del intérprete, y parecía que el intérprete miraba directo a la cámara, como en un teleprompter. Lo dejo por si a alguien más le sirve.

  • Suena bastante interesante. Me gustaría ver cómo funciona una configuración así en la práctica, o algún ejemplo.
  • Me da curiosidad si eso de que “combinar dos videos generaba demasiada latencia” se debía a una limitación de CPU.
    OBS no tiene tanta latencia al combinar varias fuentes al mismo tiempo, y como mínimo permite sincronizarlo con el audio.

• Es un concepto realmente genial, y felicitaciones por el lanzamiento.
  Durante los últimos años estuve creando mi propia app Web MIDI [0], y también estuve considerando funciones multijugador desde hace tiempo. Me da curiosidad cuánta latencia tiene.
  En la landing page estaría bueno tener un video de ejemplo que muestre la app, y me parece mejor dejar que los visitantes prueben primero el piano y pedirles iniciar sesión solo cuando quieran usar las funciones remotas. Los botones que se pueden hacer clic/seleccionar pero que no hacen nada al presionarlos resultaron un poco confusos.
  En la app, el teclado se conectó sin problemas y no pidió permisos, pero estaría bueno que hubiera una indicación de que el dispositivo MIDI está conectado. Al presionar teclas con el mouse no sonaba nada, y al presionarlas con un teclado MIDI Yamaha P120, las teclas quedaban seleccionadas y solo se podían tocar una vez. Parece que no se está registrando el evento noteOff, así que recomiendo tratar también los noteOn con velocity 0 como noteOff y, si entra un noteOn para una nota que ya está sonando, llamar manualmente a noteOff para evitar teclas atascadas.
  Preferiría que las teclas no se oculten automáticamente según el tamaño de la pantalla. Aunque se vea mejor, hay que pensar en la gente que quiera tocar desde una tablet o un teléfono donde no puede cambiar la escala. El concepto es muy bueno, y mucha suerte con el desarrollo. Si necesitan ayuda, pueden contactarme :-)
  [0] app.midiano.com

  • Me alegra encontrar otro usuario de HN en la misma sintonía :) Voy a probar la app y enviar feedback. Mientras tanto, quizás también haya ideas útiles para tomar de pianojacq.com.
  • Muchas gracias por el feedback; todas las sugerencias ayudan. Iré haciendo cambios con base en cada una.
    No medí directamente la latencia, pero la probé con mi hermana, que vive al otro lado de Estados Unidos, mientras teníamos una llamada telefónica abierta. Cuando ella hablaba o tocaba una nota, se escuchaba antes en la app que por teléfono, así que al menos es mejor que el teléfono.

• Se ve realmente impresionante y me gustaría probarlo.
  Desde el punto de vista del estudiante, no me interesa mucho una plataforma de dos lados. Eso parece ser lo que intentan construir, pero lo que quiero es contratar clases de piano verificadas desde el sitio y comprar el adaptador USB MIDI que recomienden.
  Como MVP de corto plazo, estaría bueno orientar a los usuarios hacia adaptadores que se haya comprobado que funcionan, en sitios que tengan programas de afiliados. A largo plazo podrían pensar en encontrar una empresa que lo venda como white label y ponerle el logo y el sitio web, pero eso es mucho menos importante que las otras cosas que están construyendo, así que puede esperar por ahora.
  Para las primeras clases y para practicar después, estaría bueno tener clases pregrabadas automatizadas que ayuden a aprender fundamentos o a entrenar la lectura rápida de partituras.

  • Sobre lo de “adaptador USB MIDI”, en realidad USB MIDI es el mínimo común denominador de los teclados MIDI. Si consigues un teclado MIDI usado de los últimos 10 años, es muy probable que tenga USB, y uno de 40 a 60 dólares en Craigslist alcanza.
    Para principiantes, la decisión más importante es la cantidad de teclas y el espacio disponible. Hay desde 25 hasta 88 teclas.
    A medida que sube el precio, según el modelo, empiezan a aparecer entrada/salida MIDI antigua de 5 pines, teclas sensibles a la velocidad, teclas semi/hammer action, aftertouch, entrada para controlador de pedal, pads/perillas/faders para control de DAW, secuenciador integrado, entrada/salida de sincronización externa, salidas CV y gate para conectarse con equipos modulares, etc.
  • Eso ya existe, y es un mercado bastante sólido con varios proveedores. Durante la pandemia usé por un tiempo https://pianomarvel.com/ y funcionó en cierta medida.
  • Las sugerencias son muy buenas y se sienten bien encaminadas. Voy a explorar esta dirección para hacer crecer la plataforma.

• Me gustaría dar feedback como profesor y como estudiante, pero en el sitio web no hay forma de ver qué hace realmente ni cómo funciona, más allá de unas pequeñas animaciones.
  Como mínimo ayudaría tener un video demo en YouTube y, idealmente, acceso directo a una interfaz demo real.
  Pensé que Getting Started podría ayudar, pero me llevó forzosamente a un flujo de registro en el que no quiero invertir antes de saber más sobre el resultado.

  • Cierto. Me preocupaba tener un inicio de sesión obligatorio entre la landing page y la app. Haré un video demo más completo y permitiré verlo antes de registrarse.

• Por lo que escuché, los controladores MIDI no son buenos para aprender piano. La idea es que, para adquirir buenos hábitos y desarrollar fuerza en los dedos, se necesitan teclas con acción de martillo y las 88 teclas completas
  Yo aprendí con clases presenciales en un piano real, así que no puedo hablar personalmente sobre aprender con un controlador MIDI, pero suena razonable

  • Que sea MIDI no significa automáticamente que no tenga teclas con acción de martillo
    Todos los pianos digitales tienen USB MIDI, y en Craigslist es fácil conseguir uno usado con teclas de acción de martillo por unos cientos de dólares
    Mi piano Yamaha U1 también venía con una caja que permite conectarlo por MIDI
  • Creo que pasa bastante tiempo antes de que importen factores distintos de que el alumno realmente se involucre con la interpretación y siga practicando de forma constante
    En ese sentido, un teclado MIDI barato de plástico, fácil de conseguir y de poner a mano, puede ser mejor que un Steinway. En esta etapa, que esté al alcance importa más que que sea perfectamente adecuado
    Lo digo como alguien que estudió música, aunque por supuesto no es una opinión universal
  • También se puede comprar un teclado MIDI de 88 teclas con acción de martillo
    Incluso entre los pianos eléctricos como Wurlitzer o Rhodes, muchos tienen menos de 88 teclas y solo acción semimartillo
  • Estoy de acuerdo en que las teclas con acción de martillo son mejores, pero la razón no es la “fuerza en los dedos”, sino desarrollar coordinación de los dedos
    Los dedos ya son lo bastante fuertes para presionar teclas con acción de martillo. Más aún si se aprende a usar la gravedad en la técnica
    Las teclas con acción de martillo son importantes para desarrollar coordinación, porque la resistencia de la tecla permite calibrar la conexión entre el toque y el sonido producido. Se necesita tanto retroalimentación cinestésica como auditiva
  • En realidad, cada piano se siente distinto. Una de las desventajas de este instrumento es que muchas veces tienes que tocar el piano que hay en el lugar del evento. La excepción son los pianos digitales portátiles mencionados antes
    Aunque lo único que tengas sea un teclado digital, espero que eso no te impida aprender

• Felicitaciones por el lanzamiento
  Recomiendo grabar el video desde la perspectiva del intérprete. Para el alumno, tener que invertir la imagen mentalmente agrega una capa más de abstracción
  A menos que también se quiera enseñar al alumno a leer a un pianista desde la perspectiva del público

• También existe https://plugandplink.com/. Incluye un componente de hardware que ayuda a quien aprende, y la “serpiente” se ilumina
  La app también trae videos y lecciones prefabricados que interactúan con el hardware. Cosas como escalas y arpegios
  Mi hijo lo usa con un tutor remoto y funciona muy bien. Además, durante el resto de la semana puede guiar su propia práctica con la app y la serpiente

  • Está genial, pero ¿no hay una versión para piano de tamaño completo? ¡¿Y 125 dólares?! Supongo que será porque es de primera generación

• Cuando empezó la pandemia, necesitaba una solución rápida para las clases de piano de mi hija. Armé una configuración con OBS, Synthesia y una vieja webcam Logitec que tenía por ahí. En ese momento era casi imposible conseguir una webcam nueva
  Enviaba video frontal del intérprete con la cámara de la laptop, y con la webcam enviaba una vista cenital de la zona central del teclado. El ángulo de la cámara no alcanzaba para cubrir todo el teclado. También enviaba el teclado virtual de Synthesia. En OBS tenía tres layouts con esos elementos y podía cambiarlos con la barra espaciadora
  Para el audio, mezclaba el micrófono de la laptop para la voz con el audio directo del piano electrónico. En esa época aguantó bastante bien
  También había una restricción que probablemente no exista en soluciones mejoradas actuales: los profesores no lograban ponerse de acuerdo en un solo software de videollamadas, así que mi configuración tenía que ser independiente. Por eso, el soporte de cámara virtual de OBS se volvió casi la opción obvia

• Desde el punto de vista de marketing, si cambiara algo, haría que en el video en bucle el tutor también tuviera un teclado bajo las manos
  Normalmente, cuando un tutor quiere mostrar un error, toca él mismo el pasaje corregido, explicando qué parte salió mal y enfatizando más la parte correcta
  El video en bucle actual se siente como algo muy de YouTube o como una llamada formal de negocios por Zoom. Lo realmente especial de esta plataforma interesante es la sensación de conexión entre tutor y alumno, y eso no se nota tanto
  Excelente plataforma

  • Buena sugerencia. Lo tendré muy en cuenta cuando hagamos un demo bien hecho

• Se ve bastante bueno. Me gustaría ver un demo corto en YouTube del producto funcionando de verdad. Me da curiosidad cuál es el mayor beneficio de la función MIDI en el uso real

  • Sin duda haré un video demo antes de exigir inicio de sesión. Mostrar MIDI en tiempo real durante una llamada evita la dificultad de tener que mostrar y grabar al mismo tiempo cómo toco y qué notas estoy tocando
    Además, como MIDI se representa digitalmente, también permite funciones como detección de acordes/escalas, grabación y reproducción, y mostrar la interpretación en tiempo real sobre una partitura