Apple revela nuevas funciones de accesibilidad
(apple.com)- Apple Intelligence se aplica a VoiceOver, Magnifier, Voice Control y Accessibility Reader para reforzar la descripción de imágenes, la exploración en lenguaje natural y la asistencia de lectura
- VoiceOver y Magnifier pueden usar Image Explorer y Live Recognition para hacer preguntas y recibir respuestas sobre lo que aparece en la pantalla de la cámara, pero no se debe depender de ello en situaciones de alto riesgo
- Voice Control permite explorar el iPhone y el iPad con comandos en lenguaje natural como “tap the purple folder”, en lugar de requerir etiquetas o números exactos
- En videos sin subtítulos, se mostrarán automáticamente subtítulos generados en el dispositivo, disponibles en iPhone, iPad, Mac, Apple TV y Apple Vision Pro
- Apple Vision Pro podrá controlar sistemas de conducción alternativa de Tolt y LUCI mediante seguimiento ocular, y Hikawa Grip & Stand también se lanzará globalmente
Calendario de lanzamiento y privacidad
- Las nuevas funciones y las actualizaciones basadas en Apple Intelligence estarán disponibles a finales de este año
- Apple afirmó que, al aplicar Apple Intelligence a las funciones de accesibilidad, mantiene el principio de privacy by design
- Hikawa Grip & Stand for iPhone se lanzará en línea en Apple Store en tres nuevos colores
Exploración de información visual con VoiceOver y Magnifier
- VoiceOver y Magnifier describen con más detalle la información en pantalla y el entorno para usuarios ciegos o con baja visión
- Image Explorer de VoiceOver usa Apple Intelligence para ofrecer descripciones de imágenes en todo el sistema, incluidas fotos, facturas escaneadas y registros personales
- Con la actualización de Live Recognition, los usuarios de VoiceOver podrán presionar el Action button del iPhone para hacer preguntas sobre lo que aparece en el visor de la cámara y recibir respuestas
- Los usuarios pueden continuar con preguntas de seguimiento en sus propias palabras para obtener más información visual
- Magnifier ofrece las mismas funciones de exploración asistida y descripción visual en una interfaz de alto contraste para usuarios con baja visión
- Magnifier también se integra con el Action button y permite controlar la app con solicitudes de voz como “zoom in” y “turn on flashlight”
- No se debe depender de VoiceOver ni de Magnifier en situaciones donde una persona pueda resultar herida o sufrir daño, en situaciones de alto riesgo, para navegación, ni para el diagnóstico o tratamiento de condiciones médicas
Entrada en lenguaje natural en Voice Control
- Voice Control usa Apple Intelligence para que los usuarios con discapacidad física puedan explorar el iPhone y el iPad de forma más intuitiva solo con la voz
- La nueva función de entrada flexible permite describir botones y controles en pantalla con lenguaje natural para operarlos, en lugar de usar etiquetas o números exactos
- El enfoque de “say what you see” puede usarse en todas las apps, incluidas aquellas con diseños visuales como Apple Maps o Files
- Los comandos de ejemplo expresan directamente lo que aparece en pantalla, como “tap the guide about best restaurants” o “tap the purple folder”
- También puede ayudar a reducir barreras cuando los elementos no están correctamente etiquetados para accesibilidad
- Voice Control con Apple Intelligence estará disponible en entornos en inglés de Estados Unidos, Canadá, Reino Unido y Australia
Accessibility Reader y subtítulos generados
- Accessibility Reader ofrece una experiencia de lectura personalizada para usuarios con diversas discapacidades, desde dislexia hasta baja visión
- Con Apple Intelligence, ahora puede procesar materiales originales más complejos, como artículos científicos
- También puede manejar textos con múltiples columnas, imágenes y tablas
- Los resúmenes on demand permiten ver primero un panorama general del documento antes de leer los detalles
- La nueva traducción integrada permite leer el texto en el idioma nativo del usuario manteniendo el formato, las fuentes y los colores personalizados
- Los nuevos subtítulos generados muestran automáticamente la transcripción del audio hablado en videos sin captions ni subtítulos
- Esto incluye clips grabados con iPhone, videos recibidos de amigos y familiares, y videos en streaming en línea
- Los subtítulos se generan de forma privada con reconocimiento de voz en el dispositivo y se mostrarán automáticamente en videos sin subtítulos en iPhone, iPad, Mac, Apple TV y Apple Vision Pro
- La apariencia de los subtítulos puede personalizarse desde el menú de reproducción de video o en Settings
- Los subtítulos generados estarán disponibles en entornos en inglés de Estados Unidos y Canadá
Control de sillas de ruedas motorizadas con Apple Vision Pro
- Algunos usuarios de sillas de ruedas motorizadas no pueden conducir con joystick, por lo que un control de conducción alternativo puede ser esencial para la movilidad independiente
- El preciso sistema de seguimiento ocular de Apple Vision Pro se usa como una forma de entrada altamente responsiva para sistemas de conducción alternativa compatibles
- El seguimiento ocular de Vision Pro no requiere recalibración frecuente y funciona en diversas condiciones de iluminación
- Esta función se lanzará en Estados Unidos con los sistemas de conducción alternativa Tolt y LUCI
- La compatibilidad con accesorios incluye conexiones Bluetooth y por cable; para la conexión por cable se requiere comprar el Apple Vision Pro Developer Strap
- Apple seguirá colaborando con desarrolladores para admitir más sistemas de conducción para sillas de ruedas
- Esta función y Apple Vision Pro están pensados para usarse en entornos controlados; más información en support.apple.com/en-us/118507
- Pat Dolan, quien ha vivido con ALS durante 10 años, afirmó que contar con una opción para controlar por sí mismo su silla de ruedas motorizada es “oro” para él
Hikawa Grip & Stand for iPhone
- Hikawa Grip & Stand for iPhone se lanzará globalmente en Apple Store online y estará disponible en tres nuevos colores
- Es un accesorio MagSafe desarrollado por la diseñadora de Los Ángeles Bailey Hikawa con la accesibilidad en mente
- En su desarrollo participaron personas con diversas discapacidades que afectan el agarre, la fuerza y la movilidad
- Es un agarre y soporte adaptativo que ayuda a los usuarios a sostener el iPhone de la manera que mejor les funcione
- Gracias a la colaboración entre Hikawa y PopSockets, este accesorio adaptativo estará disponible globalmente por primera vez
- En Apple The Grove en Los Ángeles se celebrará una sesión de Today at Apple con la participación de Hikawa, Shane Burcaw y Alex Barone
- Los países donde estará disponible para compra son Australia, Austria, Belgium, Canada, China, Denmark, France, Hong Kong, Italy, Japan, the Netherlands, Singapore, South Korea, Spain, Sweden, Switzerland, Taiwan, the United Arab Emirates, the UK y the U.S., y podrá adquirirse en apple.com
Otras actualizaciones de accesibilidad
- Vehicle Motion Cues llega a visionOS para ayudar a reducir el mareo al usar Apple Vision Pro como pasajero en un vehículo en movimiento
- Vision Pro admitirá gestos faciales para realizar taps y acciones del sistema
- Vision Pro también añadirá una nueva forma de seleccionar elementos con la mirada al usar Dwell Control
- Touch Accommodations ofrece una nueva forma de personalizar la configuración de iOS y iPadOS
- Los Made for iPhone hearing aids realizarán emparejamiento y handoff entre dispositivos Apple de forma más estable en iOS, iPadOS, macOS y visionOS, además de mejorar la experiencia de configuración
- El soporte para Larger Text llega a tvOS para que los espectadores con baja visión puedan aumentar el tamaño del texto en pantalla y leerlo con más facilidad
- Name Recognition permite que usuarios sordos o con dificultades auditivas reciban una alerta cuando alguien diga su nombre, y funciona en más de 50 idiomas en todo el mundo
- Una nueva API para desarrolladores de apps de interpretación en lengua de señas permitirá que los usuarios agreguen un intérprete humano a una videollamada activa de FaceTime
- El Sony Access controller podrá conectarse como control de juego en iOS, iPadOS y macOS
- En el Sony Access controller se podrá personalizar la disposición con un thumbstick, 9 botones integrados y hasta 4 botones externos adicionales o interruptores especiales
- Los usuarios podrán combinar dos controles para crear una experiencia de juego más profundamente personalizada
Idiomas disponibles y restricciones regionales
- Apple Intelligence se ofrece en beta y los idiomas compatibles son English, Danish, Dutch, French, German, Italian, Norwegian, Portuguese, Spanish, Swedish, Turkish, Vietnamese, Chinese (simplified), Chinese (traditional), Japanese y Korean
- Es posible que algunas funciones no estén disponibles en todas las regiones o idiomas
- La disponibilidad de funciones e idiomas, así como los requisitos del sistema, pueden consultarse en support.apple.com/en-us/121115
1 comentarios
Comentarios de Hacker News
A Apple le gusta introducir tecnología nueva discretamente en lugares comunes y probarla en público sin hacer mucho ruido, así que lanzar primero la IA agéntica como una función de accesibilidad se siente muy propio de Apple
La Touch Bar no era solo una barra OLED simple, sino el primer movimiento hacia la transición de Apple Silicon en la Mac, y el chip Apple T1 de la MacBook con Touch Bar de 2016 fue el primer procesador totalmente diseñado por Apple en llegar a una Mac
Tomó del chipset Intel funciones como la administración de energía, los ventiladores, reposo/activación, acceso a cámara y micrófono, y el Secure Enclave para Touch ID, y después el T2 también se encargó del cifrado del SSD, la gestión de audio, el procesamiento de imagen de la cámara y la protección contra manipulaciones del proceso de arranque
El iPhone 3G incluía la herramienta para extraer la SIM de Liquidmetal, una aleación metálica personalizada casi imposible de doblar con la mano, y aunque Apple nunca lanzó después un producto que aplicara esa aleación, casi 20 años más tarde hay rumores de que usará metal líquido en un iPhone plegable
RealityKit también tuvo durante años escaneo 3D y varias funciones de AR cuyo sentido no estaba claro hasta que salió el Apple Vision Pro
A la gente no le gustó la Touch Bar, y solo años después pasó a gustarle cuando entusiastas de la tecnología la hackearon y ajustaron para agregarle funciones más profundas
Tampoco tenía sentido hacer una herramienta para extraer SIM con una aleación cara, y RealityKit y Vision parecen una solución en busca de un problema, mientras que Vision mismo también va en camino al fracaso
3D Touch también tuvo problemas de descubribilidad y usabilidad, y hay más ejemplos así
No me gusta mucho que un material que existe desde hace décadas parezca volverse casi sinónimo de la marca Apple
Que no se use mucho se debe principalmente a que es muy caro, pero si estás en una posición como Apple, con demanda garantizada de decenas de millones de piezas, es mucho más fácil hacer que cierre económicamente
Leí que al grabar video o tomar fotos el lente se encendería o parpadearía de manera más evidente que en Meta, y quizá eso ayude con el tema de privacidad; al menos no sería Meta
Me gustan los smart glasses de Meta, pero ya se me rompieron dos pares y no hay tienda donde me den soporte, así que si sale un producto de Apple pienso cambiarme rápido
Desde la perspectiva de desarrollador, las API de accesibilidad a nivel sistema operativo de Apple son realmente buenas
Donde se rompe todo es en el límite de meter WebKit dentro de una app nativa
Distribuí una app de Tauri con el editor Monaco dentro de un WKWebView y me costó descubrir que el modo
accessibilitySupport: autode VoiceOver rompe silenciosamente la selección de texto hacia atrás en MonacoHabía que ponerlo en
"off"para que la selección funcionara bien, y al final tuve que elegir entre selección de texto normal y soporte para VoiceOver; la respuesta fue la selecciónEn AppKit/UIKit es sólido, pero se desmorona en el límite del WebView embebido donde hoy realmente viven la mayoría de las apps de escritorio
Hace tiempo me anoté en Be My Eyes como persona vidente
No llegaban tantas llamadas como esperaba, pero me gustó haber podido ayudar algunas veces
Una vez leí un sobre, otra vez leí un frasco de medicamento, y una vez ayudé a dos tipos graciosos sentados en unos sillones grandes y acolchonados con bolsas llenas de cajas de cereal, porque querían saber cuál era cuál
Recuerdo que uno de ellos odiaba muchísimo un tipo en particular
La app tenía una función curiosa con la que la persona vidente podía encender la cámara de la persona ciega
https://www.bemyeyes.com
Me parece genial que la IA funcione lo bastante bien como para que una persona ciega pueda resolver sus propios problemas
Aun así, había algo muy humano y bonito en ayudar de vez en cuando con una tarea pequeña y aleatoria de un desconocido
Todavía recuerdo con cariño a una señora mayor que tiró una caja de arándanos en el piso de la cocina y yo la fui guiando para que encontrara todos
Fueron 10 minutos de conexión con una desconocida haciendo algo curioso, y cuatro años después todavía me deja una sensación cálida
Como persona totalmente ciega, empecé a usar esta app después de que agregaron IA, y funciona muy bien para leer etiquetas de alimentos después de que mis hijos cambian cosas de lugar o para revisar si la TV está encendida
Si todavía viviera solo probablemente usaría también la función de voluntarios, pero ahora ya no
Es algo bueno y no me quejo, pero me registré hace años, nunca recibí una llamada y al final la borré
Una cosa que Apple de verdad tiene que hacer bien es el speech-to-text
En accesibilidad ha resuelto muchas cosas, pero en transcripción de voz se siente atrasada no 10 años, pero sí al menos 5
Escribir hoy en iPhone es terrible
El rechazo de palma claramente empeoró frente a antes, así que aparecen más errores, y el algoritmo de autocorrección al escribir también es peor que antes, cambiando seguido palabras varias posiciones antes del lugar donde estoy escribiendo
El reconocimiento de voz tampoco ha mejorado, y por la propia forma del teléfono hasta los dedos se cansan
Ojalá lograran que usar un iPhone no fuera una tortura
Comparada con eso, la solución de Apple se siente como algo del siglo pasado
Con el texto-a-voz de Apple pasa lo mismo cuando ElevenLabs y OpenAI van muchísimo más adelante
Lo único que hace falta es que el iPhone soporte esto de forma nativa con esa misma calidad, porque en el ecosistema cerrado de Apple es la única manera de poder usarlo en todas partes
Ayer descubrí otra horrible “función” de entrada del iPhone
Si estás navegando una lista en una app de CarPlay de terceros y, justo antes de tocar para elegir algo, primero pisas el acelerador, la lista se recorta a solo unos cuantos elementos y vuelve arriba del todo
Gran manera de reducir distracciones al volante. ¿Qué sigue, que si el auto se mueve cambie el destino en el mapa?
Ojalá se aplicara más ampliamente la investigación en interacción humano-computadora, y creo que cuando se hacen tonterías como estas en ecosistemas de autos/CarPlay debería haber responsabilidad legal
Antes tuve un auto que escondía la cámara de reversa detrás de un aviso legal cada vez que la encendías, y apuesto a que al menos un peatón fue atropellado por un auto en reversa mientras esa pantalla estaba visible
El fabricante debería ser 100% responsable de decisiones de UI tan malas
También aprendí ese tip en HN
Solo abre la app de Configuración, toca General, baja a Keyboard y desactiva Slide to Type
Tengo que corregir casi una de cada dos palabras que escribo, o la palabra que el iPhone cree que escribí
Y mientras corrijo, el autocorrector crea errores nuevos y todavía más incomprensibles
A veces alcanza un nivel de locura tipo sueño febril en el que de pronto ya no puedo hacer bien cosas completamente normales
Lo peor es que antes sí funcionaba bien
En el iPhone 4S escribía casi con la velocidad y precisión de un teclado completo
https://www.theregister.com/on-prem/2023/08/16/those-who-rel...
Ojalá al menos arreglaran dos bugs grandes
Incluso donde está soportado, la entrada falla de forma casi aleatoria, y muchas apps de grandes empresas como OneNote ni siquiera soportan dictado
En esos casos debería haber al menos una ruta alternativa, como Dragon Dictate hace décadas
El uso de mayúsculas también sigue siendo aleatorio, así que todavía quedan muchos errores por corregir
Apple parece ver la accesibilidad menos como una función real y más como material para hacer posibles comunicados de prensa vistosos
Dato curioso: este video está hecho para ser accesible a gente vidente
Una persona realmente ciega no escucharía una voz a esa velocidad, y cuando ves a una persona ciega usando la computadora te sorprende la capacidad que tiene para escuchar audio a velocidades difíciles de imaginar
El ejemplo que siempre pongo es este video de Saqib Shaikh, ingeniero de software ciego de Microsoft, presentando sobre Visual Studio
El enlace está ajustado a ese momento exacto
Me impresionó por completo la velocidad a la que su lector de pantalla leía el contenido, y yo no entendía absolutamente nada
Su eficiencia con atajos de teclado haría quedar mal hasta a la élite de vim/emacs
Una voz robótica muy rápida puede sentirse bastante brusca y molesta, y hasta las personas ciegas que dependen de ella a veces pueden sentirse sobreestimuladas
Leí sobre personas ciegas que aprendieron ecolocalización usando sonido, y me pareció un superpoder tan increíble que algún día quisiera desconectar el monitor y aprender a usar las herramientas como se debe
Una compañera ciega con la que trabajé hace años siempre tenía la pantalla apagada, así que la batería de su laptop duraba casi el doble que la del resto, y solo por eso ya era una gran función
Aunque no llegara a un nivel increíble de ecolocalización, con aprender la mitad ya sería genial, y además tendría el extra de poder hacer QA real de cambios de accesibilidad
Esto parece una aplicación realmente útil de los LLM
Ojalá más empresas se enfocaran en cómo ayudar a la gente, en vez de usar la productividad como excusa para reemplazar personas o exprimirlas al máximo
Mi experiencia se limita a unos padres mayores con mala vista, pero si configuras el tamaño de letra al máximo que Apple permite, el teléfono se vuelve imposible de leer
En todas las apps, tanto de primera parte como de terceros, el texto se sale de la pantalla
En el ejemplo de la factura, le dicen al usuario que confirme con el proveedor, pero no entiendo por qué no simplemente llaman al número que aparece en la factura
En vez de decirte que uses detección de texto, ¿por qué no hacerlo por ti? Si es Apple Intelligence, ya debería tener esa capacidad
Me preocupa que, con suerte, esto termine siendo solo una función de humo y espejos
Dicho eso, el agarre sí se ve bien, y ojalá no le pongan el impuesto Apple a esto
Tratar un desarrollo nuevo de la industria como una tecnología, no como el producto en sí
La IA no será el producto, sino una función para mejorar la experiencia del cliente
Solo espero de verdad que el problema de esta publicación anterior (https://news.ycombinator.com/item?id=48178378) no se vuelva tan común como para poner en riesgo funciones útiles como esta
A corto plazo no parece muy probable, pero si aumentan los casos de uso, también aumentarán los actores maliciosos
Es digno de elogio que Apple ayude a personas que lo necesitan con esta tecnología
Pero no hace falta fingir que no sabemos por qué la mayoría de las empresas no se mete en este tipo de cosas
Sinceramente, todos sabemos perfectamente la razón, y este tipo de trabajo siempre se deja a un vago “alguien más”
Parece que todos se saltaron esta parte, pero el control por la mirada para sillas de ruedas eléctricas suena como una idea genial
Tal vez solo me lo parece a mí, o quizá ya sea una idea vieja
La VR completa no terminó de despegar, pero esto me sigue haciendo preguntarme si existe un mercado para dispositivos más ligeros y delgados
Si cupiera en algo del tamaño de unos lentes normales, podría interesarme un dispositivo de control con la mirada
Si además tuviera un sistema HUD me interesaría todavía más, aunque fuera algo muy básico que mostrara solo unos pocos símbolos
Y si además tuviera audio básico, mejor todavía, pero es más importante mantener la forma de lentes normales que tener HUD o audio
Si sigues el enlace de referencia, hay ejemplos como https://www.tolt.tech
Lo interesante es que Apple lo haya integrado al sistema operativo
Da mucho la impresión de que es una de esas funciones que Apple lanza antes para pulirla antes de que el hardware formal esté listo
El monto total a pagar de la factura es $83.89. Antes de pagar, confirme este importe con el proveedor del servicio público o use Text Detection para verificarlo
Quizá pedirle a una persona de confianza que te lea un número sea mejor que llamar a una empresa, pero no todo el mundo tiene esa opción
Esa frase es una advertencia obvia que tienen que poner, parecida a cuando ChatGPT escribe en el pie “verifica todo lo que te decimos”
Algo como: “El monto total a pagar de esta factura es $83.89, un 4% más que la factura del mes pasado de la misma empresa”
Es una lástima que Apple quitara en la versión de YouTube del anuncio la indicación del lector de pantalla “the Apple logo”
https://www.youtube.com/watch?v=B3SmsSCvoss
En mi opinión, esa parte era lo que hacía destacar al anuncio
"English descriptive"Sinceramente, como persona ciega y desarrollador ciego, la mayor parte de esto me deja, en el mejor de los casos, indiferente
Apps de terceros como Seeing AI, Envision AI, BeMyEyes y Aira ya hacen la mayor parte de esto
Así que, con suerte, esto solo hará lo mismo que esas apps pero más rápido y en el dispositivo, aunque eso también podría significar que sea menos preciso, así que habrá que verlo
Mientras tanto, VoiceOver, el lector de pantalla de macOS, ha estado básicamente abandonado en modo mantenimiento, y los usuarios han tenido que construir por su cuenta soluciones de terceros bastante impresionantes para agregar funciones que lectores de pantalla similares en Windows ya tenían desde hace mucho
Visto así, todo esto parece algo presumido, aunque igual podría llevarme una grata sorpresa
Lo que sí me entusiasma un poco es una mejora en Voice Control
Porque no parece nada agradable tener que adivinar el nombre programático de un botón o seguir usando una cuadrícula numérica para apuntar a elementos
Sobre la velocidad de voz, subirla mucho requiere bastante práctica y cambiar de voz también exige cierto reentrenamiento
Las voces más “humanas” muchas veces son más difíciles de seguir a velocidades muy altas, así que mucha gente prefiere voces más robóticas pero consistentes y todavía no confía del todo en TTS basado en IA
Estas voces suelen descomponerse cuando subes la velocidad de habla más allá de cierto punto
Lo de esperar el juicio de las personas realmente afectadas es muy importante
Cada vez más empresas e individuos hablan de accesibilidad, crean soluciones de accesibilidad y evangelizan sobre IA para accesibilidad, pero nunca han hablado ni una sola vez con las personas a las que supuestamente quieren ayudar
Haciendo eso casi seguro se cometen errores, y en el peor caso puede causar más daño que ayuda
Si quieres hacer bien la accesibilidad, incluso en productos de IA, tienes que contratar gente con experiencia vivida real
Si no, terminas con resultados como texto traducido por máquina, seguridad anti-hackers con un clic, o un café con IA que pide miles de guantes de goma
Por cierto, casualmente ahora tengo tiempo para un nuevo proyecto :P
Como alguien que está pasando de una vista “mala pero corregible” a baja visión, esto también me resultó valioso
No sabía que esas apps existían, y justo estaba buscando tecnología asistiva de ese tipo
Apple parece crear este tipo de productos sin haber hablado nunca con alguien que tenga ese problema
Curiosamente, nosotros estamos haciendo un competidor de las apps de terceros que mencionaste, y mi colega tiene mucha experiencia por tener padres ciegos
Tenemos un MVP en línea, pero todavía no es gran cosa, y no quiero ser “el tipo que aparece a decir que hizo esa app”
Solo me confunde una cosa: la parte donde te parece que el procesamiento en el dispositivo podría ser puro humo
Ingenuamente, pensé que era una gran ventaja porque significaba que siempre funcionaría sin depender del servicio telefónico
O sea, en el metro, en un avión, en lugares remotos, etc.
Por otro lado, me da curiosidad saber qué app marca la mayor diferencia en el día a día