Lanzamiento de la versión para Android de Project Gameface

• Se liberó como open source Project Gameface, presentado en Google I/O 2023
  • Es un “mouse” para gaming manos libres que permite controlar el cursor de la computadora usando movimientos de la cabeza y gestos faciales
  • Las personas pueden hacer clic y arrastrar al levantar las cejas, o mover el cursor al abrir la boca, mejorando la accesibilidad en los juegos
• Este proyecto comenzó inspirado en la historia de Lance Carr, streamer de videojuegos que vive con tetraplejia debido a una enfermedad muscular
  • Colaboraron con Lance para convertir Project Gameface en una realidad

Usos del proyecto

• Ahora se libera más código como open source para apoyar a desarrolladores a crear aplicaciones que hagan más accesibles todos los dispositivos Android
• A través de la cámara del dispositivo, rastrea con fluidez expresiones faciales y movimientos de la cabeza, y los convierte en controles intuitivos y personalizados
• Los desarrolladores ahora pueden crear aplicaciones en las que los usuarios personalicen expresiones faciales, tamaño de los gestos, velocidad del cursor y más para configurar su experiencia

Tres principios clave al crear Project Gameface para Android

1. Ofrecer a las personas con discapacidad un nuevo medio adicional para operar dispositivos Android
2. Construir una solución rentable que permita escalar
3. Desarrollar un producto amigable y personalizable aprovechando las lecciones y directrices obtenidas del primer lanzamiento de Gameface

Implementación del cursor en dispositivos Android

• Se lanzó una nueva forma de operar dispositivos Android
  • A partir de la retroalimentación positiva sobre Project Gameface, descubrieron que desarrolladores y usuarios valoran mucho la idea de mover el cursor con la cabeza y ejecutar acciones mediante expresiones faciales
• Replicaron la misma idea para llevar un nuevo cursor virtual a dispositivos Android
  • Crearon el nuevo cursor usando servicios de accesibilidad de Android y lo programaron para que se mueva según los movimientos de la cabeza del usuario aprovechando la API de Face Landmarks Detection de MediaPipe
• Dentro de la API hay 52 valores de face blendshapes que representan la expresividad de 52 gestos faciales, como levantar la ceja izquierda o abrir la boca
  • Usaron algunos de esos valores para mapear y controlar eficazmente una amplia variedad de funciones, ofreciendo más posibilidades de personalización y control
  • También, al aprovechar los coeficientes de blendshape, permiten que los desarrolladores establezcan distintos umbrales para cada expresión específica y así personalicen la experiencia

Visualización de Project Gameface

• Integraron en Project Gameface las mejores funciones de los servicios de accesibilidad de Android
• Acciones móviles
  • En la versión para Windows de Project Gameface, los usuarios pueden replicar acciones de clic comunes
  • Sin embargo, en Android las funciones que los usuarios deben realizar son más diversas
  • Existen eventos táctiles que se ingresan al sistema operativo y eventos de acción global como "atrás", "cambiar multitarea" y "inicio"
  • Usaron la API de accesibilidad de Android para determinar qué acciones podían ofrecer a los usuarios
  • Actualmente, Project Gameface para Android soporta GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
• Feed de cámara
  • El feed de cámara mejora significativamente la experiencia del usuario, ya que permite configurar umbrales con precisión y comprender mejor los gestos
  • También deja claro para el usuario que la cámara se está usando activamente para entender sus movimientos de cabeza y gestos
  • Crear el feed de cámara solo como un overlay impediría acceder a secciones importantes como la configuración de Android
  • Por eso, usan servicios de accesibilidad de Android junto con Project Gameface para que la cámara siga visible incluso en la configuración de Android y otras secciones importantes
• Posibilidad de ejecutar la 'función de arrastre'
  • Actualmente, los servicios de accesibilidad de Android no ofrecen una forma simple de realizar arrastres en pantalla con los que el usuario interactúe en tiempo real
  • Sin embargo, actualizaron el producto para incluir la función de arrastre, de modo que el usuario pueda definir los puntos de inicio y fin
  • Como resultado, la acción de arrastre se realiza fluidamente a lo largo de la ruta indicada
• Expectativas y apertura
  • Tienen grandes expectativas sobre el potencial de Project Gameface y esperan que desarrolladores y empresas lo aprovechen para crear nuevas experiencias
  • El código de Gameface ahora está disponible como open source en Github