- Una foto con vestido de novia de la comediante y actriz británica Tessa Coates reveló una falla en el procesamiento de fotos del iPhone: la persona real y sus reflejos en dos espejos aparecen con posturas distintas
- La causa no fue un fenómeno surrealista, sino un error de fotografía computacional en el que el iPhone no logró agrupar los reflejos en el espejo como la misma persona
- La foto fue tomada en modo panorámico y, mientras Coates se movía, imágenes de distintos instantes se combinaron en una sola
- El algoritmo de Apple eligió la “mejor” imagen de cada zona según criterios como saturación, contraste, detalle y ausencia de desenfoque, pero terminó seleccionando momentos distintos para cada espejo
- En escenas que mezclan espejos y movimiento, incluso los smartphones modernos pueden producir composiciones distintas de la realidad, lo que hace que a veces sea difícil confiar tal cual en el resultado de una toma
Tres posturas en una foto frente al espejo
- La comediante y actriz británica Tessa Coates estaba probándose un vestido de novia cuando le tomaron una foto frente a un espejo
- En la foto se veía a Coates junto con sus reflejos en los espejos de ambos lados, pero las tres posturas eran diferentes
- En un espejo aparecía con los brazos abajo
- En el otro espejo aparecía con las manos juntas frente a la cintura
- La persona real aparecía con el brazo izquierdo al costado del cuerpo
- Aunque a simple vista parece muy extraño, la causa fue un error ocurrido durante el procesamiento de la toma en el iPhone
Qué ocurrió en el pipeline de captura del iPhone
- En el momento en que se presiona el obturador, el iPhone realiza miles de millones de operaciones para crear una sola foto
- En este caso, la cámara no reconoció que estaba fotografiando un espejo y procesó las tres apariciones de Coates como si fueran personas distintas
- Mientras Coates se movía durante la captura, se registraron varias imágenes de distintos instantes de la misma escena
Modo panorámico y composición de imágenes
- Según una actualización, la foto fue tomada en modo panorámico
- En una toma panorámica, la cámara captura varias imágenes mientras recorre la escena, y luego un algoritmo las une
- El algoritmo de Apple selecciona en cada parte la mejor imagen según criterios como saturación, contraste, detalle y ausencia de desenfoque
- La imagen compuesta final debía ser la interpretación más buena y realista de ese instante, pero al incluir espejos, en cada reflejo quedaron momentos distintos
Por qué se crearon “tres Tessas”
- El algoritmo no logró agrupar a la persona real y los dos reflejos en los espejos como una misma persona
- Al considerar que en cada zona del espejo era más adecuado un fotograma distinto, la foto final incluyó posturas diferentes al mismo tiempo
- Como resultado, se creó una imagen compuesta en la que la persona real y sus dos reflejos hacen movimientos distintos
Reproducibilidad y límites
- Este tipo de resultado puede reproducirse no solo en iPhones recientes, sino también en varios smartphones
- La causa está en los límites de la fotografía computacional al manejar espejos
- Algunas personas jóvenes han entendido este fenómeno y lo usan para crear imágenes graciosas para redes sociales
1 comentarios
Opiniones de Hacker News
Me pregunto si el artículo original[0] al que hace referencia este breve resumen no sería una mejor fuente
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
A los puristas siempre les va a disgustar la idea de la fotografía computacional, pero de verdad me encanta que el iPhone pueda tomar buenas fotos nocturnas, con poca luz y con movimiento, en mano
He tomado fotos de noche que pensaba que eran imposibles con un sensor físicamente tan pequeño
¿Reflejan al 100% y píxel por píxel la escena real de ese momento? No, pero no me importa mucho
Antes también hice fusión de exposiciones HDR, focus stacking para poca profundidad de campo y tomas múltiples de espacios concurridos para unirlas en una foto sin gente ni autos, y aunque ninguna es una reproducción perfecta de lo que veían mis ojos, combinar varias exposiciones cumple su función para capturar el sujeto que quiero
El propio lente introduce defectos y variaciones, y lo mismo pasa con la película y el proceso de revelado
Pero querer tener derecho a decidir qué se captura y cómo se ve no te convierte en purista
Esas decisiones son lo que hace que la fotografía sea arte
Al final, esta tecnología le quita ese control al usuario
Si te parece bien que Apple decida el sujeto y el aspecto de la foto, está bien, pero sospecho que a mucha gente no le parecerá
Pronto la cámara no se limitará a elegir el mejor encuadre para cada persona, sino que también escogerá los mejores ojos, corregirá la simetría, seleccionará el tono de piel más agradable estéticamente, etc.
Hasta cierto punto siempre fue así, pero una vez que la foto abandona la pretensión de ser “real”, parece inevitable que vaya por ese camino
Me viene a la mente la escena de WALL-E en la que los retratos de los capitanes se vuelven cada vez más gordos, cuando en realidad, con el paso del tiempo, el capitán de la foto debería haberse visto más atractivo y escultural
Aunque en la realidad seguiría siendo obeso
Se puede tomar una foto de noche, pero comparada con lo que vio mi sensor, es decir, mis ojos, muchas veces es difícil reconocerla
No se siente como una realidad ligeramente mejor, sino como si la cámara decidiera cómo colocar la luz de una manera que no tiene relación con la composición que tiene enfrente
También hubo un artículo que decía que, cuando se derrumban las suposiciones del iPhone sobre qué es una buena iluminación, simplemente arruina los retratos
A veces me gustan más las fotos de un teléfono de hace 5 años que las de uno nuevo, no porque el hardware sea mejor, sino porque el ajuste es peor
Si tomas fotos de cosas que no aparecen mucho en el modelo, por ejemplo espacios de acceso, plomería o primeros planos dentales, pasan cosas interesantes
A veces, si no era en modo RAW, obtenía resultados completamente inútiles, y parecía que la etapa de fotografía computacional no tenía ni idea de lo que estaba haciendo
Más que un límite del sensor, a veces el iPhone se toma más libertades y hace fotos mucho peores que antes
Los únicos que quizá necesiten una descripción perfecta píxel por píxel de la realidad vista por el sensor serían la policía o los peritos de seguros
La fotografía como arte nunca se trató de pureza, y la mayoría queremos fotos que reflejen lo que vimos y la forma en que lo vemos, y aceptaremos pasos técnicos para renderizarlo
Si la luna es hermosa e ilumina suavemente el paisaje, quieres una foto que incluya tanto la luna brillante como el fondo oscuro, y eso puede requerir mucho cómputo
Pero una novia doppelgänger, fotos HDR exageradas o un paisaje al que le quitaron un pájaro y un poste no son una escena que alguien haya visto
Puede ser una imagen genial, pero personalmente siento que entra en otro tipo de arte distinto de la fotografía
Hace unos meses me pasó algo parecido con un Pixel 7
En esta foto de un ciervo: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Si haces zoom, en el nivel de detalle todo parece una pintura al óleo, especialmente la cara del ciervo y la pared del fondo
Ni la pared real ni el ciervo se veían así en absoluto, y no usé ningún filtro
La fotografía computacional es realmente genial, pero también un poco preocupante
Las fotos tomadas con un iPhone 6s alrededor de 2016 también se ven parecido al ampliarlas
Ese tipo de patrón como de mosaico se ve más agradable a la vista que una foto con mucho ruido
Por las leyes de la física, un lente y un sensor pequeños de teléfono tienen límites para capturar luz
El hardware ha mejorado bastante, pero todavía no ha llegado al límite, y aun así no te gustaría que el teléfono entregara tal cual una imagen RAW ruidosa sin procesamiento
Tampoco se puede excluir el procesamiento necesario para pasarla a la cuadrícula de píxeles y al espacio de color correctos
El Pixel 7 no tiene una cámara de zoom dedicada, así que si usaste zoom, fue zoom digital, y la calidad baja mucho
La etapa de procesamiento tiene que usar fotogramas de baja calidad, y resultados así aparecen a menudo
Los usuarios de teléfonos no deberían tener que preocuparse por esto, pero según mi experiencia, en teléfonos sin cámara de zoom suele ser mejor tomar la foto sin zoom, o no pasar de 2x y recortar después
Tal vez se pueda reducir la intensidad del filtrado en la configuración
Este tipo de cosas está pasando cada vez más seguido; parece una combinación ominosa de “mejor compresión si en realidad no miras de cerca la imagen” y “mejoras con IA”.
Hace unas semanas tomé una foto realmente bonita de mi hijo: composición, expresión, enfoque y luz perfectos, pero había un solo problema.
El algoritmo del teléfono decidió que era mejor quitarle la piel a mi hijo y reemplazarla con la textura de la pared de atrás.
Claro, seguramente es mi culpa por haber comprado un teléfono barato como el Galaxy S22 Ultra, y el S23 Ultra será mejor, pero en ese momento todavía no había salido.
Así que activé RAW para al menos salvar las fotos en el futuro, pero RAW solo funciona en el incómodo modo de cámara “Pro” y a veces vuelve silenciosamente al modo no Pro.
Al final me rendí e instalé una app de cámara de terceros.
Al menos Mark no arruina activamente mis fotos, así que supongo que hay que confiar en él: https://play.google.com/store/apps/details?id=net.sourceforg...
Ni siquiera parece usar fotografía computacional, salvo la magia predeterminada de reducción de ruido y ajuste de brillo con poca luz, y la tonta función de reemplazo de la luna.
Con solo el lente de 10x ya le ganó a Apple; no hacía falta hacer tonterías con la luna.
Me parece que la app de cámara predeterminada está bien.
Aunque estos ejemplos todavía no lo sean, creo que en el futuro se van a ir acumulando y presentando como parte de una defensa legal.
Sean válidos o no, casos extremos como estos pueden hacer que algunos jueces y jurados crucen el umbral de la duda razonable.
La manipulación con IA realmente está ocurriendo, y sus límites pueden ser difíciles de predecir.
Peor aún, una persona en el sitio de una bomba podría quedar capturada como si hubiera reaccionado antes de la explosión.
Tenemos supuestos incorporados sobre la causalidad, y esta IA los rompe.
En algunas situaciones específicas, potencialmente podría ser algo enorme.
A mi familia le encanta tomar fotos pano-Frankenstein.
Si haces una panorámica atravesando el rostro de alguien mientras cambia de expresión de forma rápida y dramática, el teléfono intenta unir la cara en una sola imagen coherente y salen resultados bastante graciosos.
Los Google Pixel más recientes empiezan a guardar fotogramas desde el momento en que abres la app de cámara.
Cuando realmente tomas la foto, usan parte de los fotogramas anteriores para hacer una composición HDR prácticamente sin retraso.
Algo similar podría haber ocurrido aquí.
Es probable que, durante el procesamiento, se eligiera la exposición óptima para cada parte de la foto desde distintos fotogramas, produciendo este efecto.
Hay gente que mantiene la cámara encendida durante horas mientras recorre un lugar nuevo para poder fotografiar algo genial al instante, y luego se queja de que la batería se les murió a la hora del almuerzo.
No estoy muy seguro de que esto sea cierto.
Apple nunca dijo públicamente que haga manipulación a ese nivel y, claro, eso no significa que no la haga, pero no parece posible el rango de movimientos que esa mujer tendría que haber hecho dentro de una sola captura.
Incluso con Live Photos, no creo que pase algo así.
Si es cierto, es bastante extraño y me gustaría creerlo, pero se ve un poco demasiado perfecto.
Supongo que alguien ya estará intentando demostrarlo o refutarlo.
Estaba en un mariposario, y una foto de cerca borró las patas de la mariposa y dejó solo las alas.
Enlace de la imagen: https://ibb.co/nwbw5xY
El teléfono asumió que las patas eran parte del fondo.
Lo mismo pasa con el cabello.
Las patas son delgadas y es fácil interpretarlas como ruido.
Sobre todo si usas zoom digital y poca luz, porque hay muy pocos píxeles y el ruido de cada píxel es mayor.
Por lo que escuché en un podcast reciente[0], si mantienes presionado el botón en la app de cámara del iPhone, captura un grupo de fotos y luego muestra la que considera la “mejor”, por ejemplo una en la que todos tengan los ojos abiertos.
Claro, no es lo mismo que lo que ocurrió aquí.
Como tiendo a quitar a la gente de las fotos, siempre se me olvida probar esto.
[0] Probablemente era este episodio: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Ahora, si mantienes presionado el botón, cambia a grabación de video.
Para alguien que no graba videos, es molesto.
Si usas el botón en pantalla, puedes deslizarlo a la izquierda para tomar una ráfaga, pero que yo sepa no hay forma de activar fotos en ráfaga con el botón de volumen.
Tal vez sea posible con el nuevo botón programable de la serie iPhone 15.
Tomar una foto en realidad es como grabar un video corto y elegir el mejor fotograma de ahí.