MouthPad, un touchpad bucal que ayuda a pacientes con parálisis a usar la computadora
(news.mit.edu)- Los asistentes de voz tradicionales no siempre son adecuados para personas con dificultades para usar las manos, y MouthPad de Augmental convierte los movimientos dentro de la boca en entradas para smartphones, computadoras y tablets
- Un touchpad sensible a la presión que se apoya en el paladar y dos sensores de movimiento conectan los gestos de lengua y cabeza con el movimiento del cursor, el desplazamiento y los clics por Bluetooth
- Personas con lesión medular ya usan MouthPad a diario, y un estudiante universitario con cuadriplejia lo aprovecha en situaciones donde la voz resulta difícil, como estudiar en la biblioteca y escribir fórmulas
- El producto se diseña a la medida a partir de un modelo 3D basado en un escaneo bucal del usuario, imprimiendo en 3D un retenedor con materiales dentales y luego añadiendo componentes electrónicos
- Augmental busca obtener la aprobación de la FDA dentro del próximo año para ampliar su uso al control de sillas de ruedas y brazos robóticos, además de habilitar reembolsos por seguro, y también desarrolla una próxima versión capaz de reconocer movimientos más sutiles del aparato fonador
Un dispositivo de entrada para personas con dificultad para usar las manos
- Augmental es una startup que busca ayudar a personas con discapacidades de movimiento a interactuar de forma más natural con dispositivos de computación personal
- Su primer producto, MouthPad, permite al usuario controlar computadoras, smartphones y tablets con movimientos de la lengua y la cabeza
- El objetivo es que incluso personas con discapacidades severas en la función de las manos puedan usar un teléfono o una tablet con la misma soltura que alguien que sí puede usar las manos
Cómo convierte los movimientos dentro de la boca en cursor y clics
- El touchpad sensible a la presión de MouthPad se coloca en una posición que toca el paladar
- El touchpad y dos sensores de movimiento transforman los gestos de lengua y cabeza en señales de entrada en tiempo real por Bluetooth
- Al deslizar la lengua, se puede desplazar hacia arriba, abajo, izquierda y derecha
- Con un gesto de succión se puede hacer clic derecho
- Al presionar el paladar se puede hacer clic izquierdo
- Los usuarios que tienen dificultades para controlar la lengua pueden usar saliva, mordida u otros gestos
- Los usuarios con mayor control del cuello pueden mover el cursor en pantalla mediante seguimiento de cabeza
- Augmental quiere crear una interfaz multimodal adaptada a la condición física de cada usuario
Por qué eligieron la lengua como medio de entrada
- El control de la posición de la lengua involucra una gran área del cerebro
- La lengua está compuesta por 8 músculos, y la mayoría de sus fibras musculares son fibras de contracción lenta que no se fatigan con facilidad
- Vega vio que estas características podían aprovecharse para la interacción con computadoras y experimentó con la boca como medio de entrada
- En su último semestre en MIT confirmó la viabilidad con un prototipo con forma de “paleta” equipado con varios sensores
Usuarios reales y casos de uso
- Personas con lesión medular usan MouthPad todos los días para interactuar de forma independiente con sus dispositivos preferidos
- Un usuario con cuadriplejia que estudia matemáticas y ciencias de la computación en la universidad usa MouthPad para escribir fórmulas y estudiar en la biblioteca
- En esa situación, los asistentes basados en voz no eran adecuados
- También pudo empezar a usarlo para tomar apuntes en clase y jugar con sus amigos
- Una parte importante de los usuarios actuales tiene lesión medular; algunos no pueden mover las manos y otros no pueden mover la cabeza
- Gamers y programadores también usan MouthPad
- Los usuarios más frecuentes interactúan con MouthPad hasta 9 horas al día
Fabricación personalizada y origen en MIT
- Augmental crea un modelo 3D a partir del escaneo bucal del usuario y con ese modelo genera el diseño de MouthPad
- El equipo imprime en 3D un retenedor con materiales dentales y luego añade los componentes electrónicos
- Vega conoció al cofundador Corten Singer mientras estudiaba en UC Berkeley, y después se unió al grupo de investigación Fluid Interfaces del MIT Media Lab
- En MIT tomó cursos de microfabricación, procesamiento de señales y electrónica, y desarrolló dispositivos wearables para ayudar con el acceso a información en línea, la mejora del sueño y la regulación emocional
- En las primeras etapas del desarrollo aprovecharon recursos de MIT como Venture Mentoring Service, MIT I-Corps program y E14 Fund
- Augmental se lanzó oficialmente cuando Vega se graduó de MIT a finales de 2019
El enfoque elegido en lugar de una interfaz cerebro-máquina
- Vega en algún momento se interesó por las interfaces cerebro-máquina, pero tras una pasantía en Neuralink empezó a buscar otra solución
- Los implantes cerebrales tienen un gran potencial para ayudar a las personas en el futuro, pero su desarrollo toma mucho tiempo
- Vega conoció a muchas personas que ya necesitaban una solución inmediata, y en MIT quiso crear un enfoque que mantuviera el potencial de los implantes cerebrales evitando sus limitaciones
Aprobación de la FDA y próxima versión
- Augmental busca obtener la aprobación de la FDA en Estados Unidos dentro del próximo año para respaldar casos de uso como el control de sillas de ruedas y brazos robóticos
- La aprobación de la FDA podría permitir reembolsos por seguro y mejorar la accesibilidad del producto
- La empresa desarrolla una próxima versión que responde a susurros y a movimientos más sutiles de los órganos internos del habla
- Esta función es importante para su grupo inicial de clientes que ha perdido o tiene dañada la función pulmonar
- Vega también ve con optimismo el avance de los agentes de IA y del hardware relacionado, y espera que Augmental se convierta en una interfaz de inteligencia siempre disponible, robusta y privada
1 comentarios
Opiniones de Hacker News
¿Por qué no existía algo así hace 10 a 15 años? Siento que la tecnología de asistencia no la desarrolla ni le importa a suficiente gente hasta que les afecta directamente.
Como las características físicas y neurológicas varían muchísimo, los dispositivos de asistencia a menudo requieren personalización, ajuste y soporte para usuarios específicos, y por eso tienden a ser caros.
La tercera es la comunicación: la persona que lo necesita debe poder explicar sus necesidades, y eso puede requerir introspección y cierto grado de habilidad técnica. La última es el dinero: ¿cuánta gente puede dedicar meses o años a un proyecto que muy probablemente no dará ganancias?
Escribir con puntero de cabeza: https://www.alimed.com/adjustable-head-pointer.html
Escribir con una mano: hay varias distribuciones de teclado https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
También existen reconocimiento de voz, conversión de texto a voz y funciones de accesibilidad de Windows. Los productos de hecho se han desarrollado y lanzado, pero hace falta seguir trabajando, y este producto es una opción adicional bienvenida.
http://pallette.io/instructions.html
El diseño universal beneficia no solo a las personas en situaciones extremas, sino a todos, y por eso debería importarnos a todos. Un pequeño ejemplo es la historia de las rampas en las banquetas.
Parece que ayudaría a cualquiera que haya sufrido lesiones por uso excesivo al usar la computadora. Por una tendinitis severa, usar un mouse o trackpad me resultaba muy doloroso, y hubiera sido genial tener un dispositivo así como otra opción.
El Vision Pro lanzado recientemente y el seguimiento ocular también ofrecen un método de entrada relativamente de nicho, pero muy accesible. Ya se está usando en este contexto.
https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...
Me gustaría usarlo en juegos como una opción de control adicional. Siento que podría volverme bueno apuntando con la lengua. Como la distancia del cerebro a la lengua es menor que del cerebro a la mano, ¿será más rápido el tiempo de reacción? Quizá el control con la lengua termine dominando los esports ;) Seguro pronto saldrá un protector bucal RGB.
Su control tiene tubos para soplar o aspirar aire y así manejar al personaje. Verlo jugar en vivo juegos muy competitivos es realmente impresionante.
[0] https://en.wikipedia.org/wiki/RockyNoHands
Parece que dominar esto sería bastante difícil.
Aunque la tecnología de asistencia para personas con discapacidad es un uso más importante de la entrada con la boca, también estaría bueno tener un mouthguard Bluetooth sencillo que funcione como control de reproducción multimedia para deportes de acción, con reproducir, pausar, siguiente/anterior, etc.
Sería bastante intuitivo y creo que mucho más preciso que los gestos con los dedos que uso ahora. Lo que me preocupa es la comodidad al usarlo, las entradas accidentales y el efecto sobre el habla. Aun así, hay gente que usa accesorios dentales, así que no se ve tan mal.
Ojalá brolylegs hubiera vivido lo suficiente para ver esto :( Él usaba un control común.
Además, Microsoft también tiene cosas buenas para gamers con discapacidad. Está el Adaptive Controller, y también trabajaron con Byowave en el próximo Proteus Controller.
https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
https://www.byowave.com/product/proteus-controller-early-bir...
Es un poco tangencial, pero no entiendo por qué las capas de teclado/mouse no se han vuelto más comunes. Desde que apoyé en Kickstarter el UHK[1] hace unos años, no uso el mouse para nada.
Toma un poco de tiempo acostumbrarse, pero controlar el mouse desde el teclado es realmente excelente.
[1] Ultimate Hacking Keyboard
También hay que decir que el nombre es perfecto. MouthPad suena como alguien con un MouthPad en la boca intentando decir mouse pad. Hermoso.
Hace muchísimo tiempo leí sobre una tecnología similar. Probablemente era esta:
https://www.researchgate.net/publication/224648269_Tongue_dr...