They See Your Photos: la información que revelan las fotos

• Es un experimento que muestra que las fotos personales pueden revelar no solo los objetos visibles, sino también información privada
• Cuando el usuario sube una foto, permite comprobar qué información puede leer la IA mediante Google Vision API
• El punto central no es un análisis de perfil que reúna múltiples datos, sino que incluso con una sola foto se pueden hacer más inferencias de lo esperado
• No trata sobre varias fotos ni sobre análisis de comportamiento a largo plazo; el alcance de entrada se limita a una sola foto
• Permite experimentar de forma directa cómo compartir o subir fotos, si pasan por análisis de IA, puede derivar en una exposición de información no intencional

---

La información que revela una sola foto

• They See Your Photos es un experimento creado para que el usuario compruebe directamente qué ve la IA en la foto que sube
• Las fotos pueden revelar mucha información personal, y este experimento se enfoca en la información que puede inferirse a partir de una sola foto

Cómo se usa

• El usuario sube una foto
• El sistema usa Google Vision API para comprobar qué información puede leerse en la foto
• A través del mensaje “mira lo que ellos ven”, permite experimentar cómo interpreta la IA una foto

[GN⁺]

Opiniones de Hacker News

• magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
  Este comando elimina todos los metadatos EXIF, cambia la calidad JPEG y simplemente recorta 10 píxeles de cada borde, redimensiona con una proporción específica, aplica atenuación y luego agrega ruido de tipo Uniform
  Además, attenuate debe ir antes del modificador +noise en la línea de comandos, y cuanto peor sea el valor de calidad JPEG, más difícil será detectar la modificación de la imagen[1]
  La proporción de redimensionado también puede ser un número decimal como 91.5% o 92.1%. Independientemente de la detección de imágenes por IA, no solo elimina los metadatos, sino que también puede hacer que cada imagen publicada sea distinta entre sí y claramente diferente de la foto original
  [1] https://fotoforensics.com/tutorial.php?tt=estq

  • Aun con eso de AI image detection notwithstanding, no vale la pena intentarlo. Solo termina siendo una imagen peor para la vista humana
  • No hay garantía de que este método resista el hash perceptual (perceptual hashing)
    https://en.wikipedia.org/wiki/Perceptual_hashing
  • Definitivamente es mejor que no hacer nada, pero me pregunto cómo funciona frente al hash perceptual. Estuve jugando unos 5 minutos con pHash en local, pero no obtuve resultados útiles; probablemente lo usé mal
  • Recortar o recomprimir una imagen no ayuda mucho
    Si ves la búsqueda inversa de imágenes de TinEye, empareja fácilmente incluso estas transformaciones
    https://tineye.com/
  • Si la imagen tiene marca de agua, no puedes quitarla de esa manera. Las marcas de agua resisten fácilmente incluso ruido uniforme hasta un punto insoportable para las personas, y normalmente se almacenan de forma redundante en varias posiciones y canales, así que el ruido uniforme en general se promedia y el recorte tampoco sirve de mucho
    Las marcas de agua suelen insertar la señal en RGB y otros modelos de color, o en áreas de la imagen fuertemente transformadas, así que tampoco estás agregando ruido a lo largo de los “ejes” de la señal de la marca de agua. Tampoco tiene mucho efecto contra la búsqueda de imágenes similares, porque estos algoritmos encuentran decenas de puntos de referencia y buscan imágenes que compartan una alta proporción de ellos. Antes, esos puntos de referencia eran rasgos geométricos de alto contraste, como esquinas, y casi no se veían afectados por el ruido; hoy en día, un punto de referencia puede ser cualquier cosa que elija una red neuronal entrenada contra transformaciones comunes como compresión o ruido

• Hay que recordar que al usar esto renuncias al derecho de demandar al autor en los tribunales: https://theyseeyourphotos.com/legal/terms
  PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
  Este tipo de cláusulas es común en EE. UU. y ha sido respaldado de forma consistente por los tribunales estadounidenses. Curiosamente, Ente no incluyó aquí la cláusula de exclusión voluntaria (opt-out) que sí aparece en sus términos generales (https://ente.io/terms). Me pregunto por qué hicieron términos más restrictivos solo para este servicio en particular

• Esto es simplemente publicidad de su servicio de fotos. Si no analiza con IA, supongo que la búsqueda también debe ser bastante mala, y esa es una de las mejores funciones de Google Photos

  • Trabajo en ese servicio de fotos
    Ente ofrece una búsqueda bastante buena[1], impulsada por machine learning en el dispositivo[2]
    [1]: https://ente.io/blog/machine-learning
    [2]: https://ente.io/ml
  • Decir que sin IA la búsqueda es mala es exagerado. Google tampoco tiene el monopolio del reconocimiento de objetos y rostros en fotos
    Sin alimentar las fotos a una IA sin rostro y gastar montones de electricidad, una solución autoalojada puede ofrecer esas funciones perfectamente bien
  • De todos modos, un servicio como Ente también termina viendo las fotos del usuario, así que se siente como un anuncio raro
  • ¿Cómo se puede impedir que Google actualice el perfil del usuario y el perfil publicitario con la información que obtiene de las fotos?
  • Mientras más empresas haya que traten a los usuarios como seres humanos y no como ganado, mejor

• Esto podría ser bastante bueno para generar descripciones de imágenes para personas con discapacidad visual, pero no ofrece una profundidad de análisis mayor que lo que se ve a simple vista
  Tiene mucha palabrería “para sonar inteligente”. Por ejemplo, sobre una foto de ramas de árbol dijo: “un observador atento también podría notar las sutiles variaciones en el grosor y la textura de las ramas, lo que sugiere patrones de crecimiento naturales y orgánicos”
  Gracias. Si no, quizá habría pensado que ese árbol era un árbol inorgánico y antinatural

  • Parece que el prompt incluye instrucciones como “describe en detalle los matices de la foto” o “¿qué conclusiones se pueden sacar de la situación?”
    Da la impresión de que intenta hacer eso con cualquier foto, tenga o no detalles o implicaciones dignas de mención. Entiendo la intención de mostrar una deducción al estilo Sherlock Holmes para inferir hechos ocultos a partir de una foto, pero se vuelve ridículo cuando el modelo no tiene nada que encontrar
  • Facebook ha estado generando texto alternativo básico desde hace años. No es lo mejor del mundo, pero es mejor que nada; por ejemplo, algo como “4 personas, personas sonriendo, podría ser una imagen con texto”

• Habría dado más miedo si no fuera porque alucinaba cosas como un arete en una oreja que estaba fuera del encuadre, o decía que el zapato izquierdo de un niño descalzo estaba fuera de foco

  • Ahora mismo tengo colgadas unas velas decorativas flotantes estilo Harry Potter sobre la mesa del comedor. Subí una foto donde se veían claramente, y describió de maravilla todo lo demás en la habitación, pero ignoró por completo las velas
    Me imaginé al modelo pensando desesperadamente: “no alucines las velas flotantes, no alucines las velas flotantes”
  • Intentó adivinar el estatus económico de un leopardo de las nieves
    “La imagen se centra en un leopardo de las nieves y no hay personas presentes. La expresión del leopardo parece alerta y algo cautelosa, pero no agresiva. Aunque es difícil determinar con certeza su edad o estado exacto de salud a partir de la imagen, parece ser un adulto en una condición física relativamente buena. No hay indicios claros que señalen su estatus económico o estilo de vida”
  • Justamente da miedo porque alucina de inmediato
  • Probé con varias fotos y alucinó que había algo en una chaqueta, o que había otras prendas
    Fue bastante interesante ver esos momentos de confusión. No se sentía como el cálculo de palabras de un LLM, donde piensas “sí, supongo que podría llegar a esa respuesta”. Las alucinaciones visuales eran más bien del tipo “pero eso no está en la imagen para nada…”

• Agradezco los esfuerzos por crear soluciones técnicas para evitar a las big tech como Google, pero sigo creyendo que el mejor método son las fotos impresas
  En mi familia normalmente yo soy el “encargado de las fotos”, así que después de un evento pido copias impresas para la casa de los familiares involucrados o se las llevo yo mismo. Hay pocas cosas comparables con sostener un objeto real en las manos
  Además, como imprimir tiene un pequeño costo, eso incentiva a mostrar solo unas cuantas fotos realmente buenas, en vez de perderse en un scroll infinito

  • ¿Ya revisaste la política de privacidad del laboratorio fotográfico o de la impresora que usas? Podrían recopilar copias digitales de las fotos, venderlas a terceros o vender la información obtenida de ellas, o entregarlas a la policía o a agencias gubernamentales
  • Si una app para guardar fotos ofreciera pedir impresiones fácilmente, podría ser una buena idea de negocio
  • ¿Dónde imprimes?

• Subí una foto de daños en la chimenea causados por un problema de tapajuntas, y sorprendentemente fue bastante perspicaz. Eso sí, dijo que mi casa estaba vieja y descuidada. Oye, tampoco así
  De todos modos, soy bastante escéptico con la mayoría de la IA, pero usarla para orientarse en reparaciones del hogar sí suena bastante atractivo. Porque encontrar a alguien que no diga tonterías, que sea barato y que de verdad se presente a hacer el trabajo es casi imposible

• Se ve como los LLM de ahora: hablan mucho, pero en realidad no dicen gran cosa. Subí algunas fotos personales y, aparte de descripciones genéricas de la escena, no dio mucha información identificable
  Ej.: “En el fondo se observa una mezcla de edificios modernos y antiguos, característica de una ciudad europea, con diversos estilos arquitectónicos”

  • Mi experiencia fue bastante distinta. Le pasé esta foto:
    https://postimg.cc/yD4YZKFk
    Aunque estoy seguro de que la foto no tiene datos de ubicación, la primera frase fue: “Esta imagen muestra el interior de Union Station en Chicago, Illinois”. Al final agregó una crítica de arte medio improvisada, pero acertó el lugar exacto, el árbol de Navidad y la gente sentada en las bancas. No detectó el ensamble de jazz a un lado

• Ente me parece como un Immich[0] autoalojado con mi familia, pero con cifrado de extremo a extremo. Yo prefiero el lado no cifrado, porque si algo se rompe, los archivos quedan guardados en el disco tal cual y se pueden recuperar fácilmente
  [0]: https://immich.app/

  • El CLI de Ente[0] tiene un servicio de exportación con acceso de solo lectura a la nube, y los elementos eliminados se renombran
    El binario de Go puede ejecutarse casi en cualquier lado, incluyendo la mayoría de los NAS, pero por Argon2 se necesita al menos 1 GB de RAM para descifrar la clave maestra
    [0] https://github.com/ente-io/ente/tree/main/cli
  • Me sorprende lo mucho que se parece a Google Photos. Si Google vuelve a subir los precios, Immich podría ser una alternativa perfecta

• “En cuanto al cisne, no se pueden determinar la edad ni otros detalles (rasgos raciales, etnicidad, estatus económico, estilo de vida).”
  El énfasis es mío

  • Subí varias ilustraciones y en casi todos los retratos indicó explícitamente que no podía determinar “rasgos raciales, etnicidad, estatus económico, estilo de vida”
    No soy un gran pintor, pero sí captó bastante bien los detalles de otras partes. Probablemente el prompt le pregunta por esas cosas y la IA se resiste a responder. Aun así, dijo que por el estilo del dibujo el autor probablemente era hombre. Y sí, soy hombre; tal vez mi estilo sea más masculino, pero no sé cómo se podría cuantificar eso