Ghost Font - una tipografía que las personas pueden leer, pero a la IA le cuesta descifrar

 (mixfont.com)
4 puntos por GN⁺ 9 시간 전 | 1 comentarios | Compartir por WhatsApp
  • Ghost Font es un experimento de comunicación visual que crea letras a partir del movimiento de puntos iguales al fondo, de modo que las personas reconocen el mensaje en video pero a la IA que analiza fotogramas individuales le cuesta descifrarlo
  • En lugar de una tipografía TTF tradicional, combina movimiento, video, ruido y mensajes señuelo; si pausas el video o capturas la pantalla, los puntos se mezclan con el fondo y el mensaje no se revela
  • Claude Fable y GPT Sol 5.6 Ultra tuvieron dificultades hasta que se les indicó mediante prompts la técnica exacta de descifrado, y ChatGPT 5.5 Pro analizó durante 19 minutos antes de generar un mensaje que no existía
  • Un agente dedicado que ejecuta código en local puede analizar el movimiento de los puntos, por lo que se agregan mensajes señuelo a cada video, aunque para información realmente confidencial se deben usar cifrado o contraseñas
  • Tiene potencial de uso en CAPTCHA y benchmarks de visión de IA, pero también es difícil de leer para las personas, y podría ser descifrada cuando aparezcan modelos nativos de video. Planean publicar el código de generación de video como open source

Letras hechas con movimiento

  • Ghost Font registra mensajes no como formas estáticas de letras, sino como movimiento de puntos
    • Combina movimiento, video, ruido y señuelos para compartir mensajes que las personas pueden leer
    • No es un archivo de tipografía TTF común, sino un experimento para explorar si es posible comunicar texto visualmente en un formato que la IA no entienda con facilidad
  • Aunque no es tan nítido como el texto normal, las personas pueden identificar de inmediato las letras en movimiento, mientras que los principales modelos de IA no logran descifrarlas con facilidad
  • El playground disponible es un prototipo para poner a prueba el concepto
    • Al ingresar unas pocas palabras, las letras aparecen a través del movimiento de puntos
    • Puedes previsualizar el mensaje ingresado en tiempo real o descargarlo como video para compartirlo y probarlo por tu cuenta
    • Todo el procesamiento se realiza localmente y los datos no se envían ni se comparten con un servidor

Una estructura ilegible en una imagen fija

  • Todas las letras están compuestas por puntos que se ven exactamente igual que el fondo, y el mensaje solo aparece en el movimiento a lo largo del tiempo de esos puntos
  • Si se pausa el video, los puntos estáticos se mezclan entre sí, por lo que es difícil saber qué mensaje contiene mirando un solo fotograma
  • Incluso si se hace una captura de pantalla de la página o se extraen imágenes individuales del video, no se revela información legible del mensaje

De ZXX a Ghost Font

  • El diseñador Sang Mun presentó en 2013 ZXX, una tipografía que las personas podían leer pero que el software de reconocimiento óptico de caracteres (OCR) tenía dificultades para interpretar
    • Estaba compuesta por cuatro tipografías y ocultaba las letras camuflándolas con ruido, borrándolas con líneas o escondiéndolas bajo marcas falsas
    • En ese momento fue considerada una tipografía capaz de evadir la vigilancia, pero los agentes de IA modernos pueden leer fácilmente letras renderizadas con ZXX
  • Al introducir una imagen de ZXX en el modo Instant de ChatGPT 5.5, reconoció las palabras e incluso algunos detalles pequeños con un solo prompt
  • En cambio, en una sola pantalla de Ghost Font solo se ven puntos estáticos ilegibles, por lo que es difícil obtener el mensaje con el mismo tipo de análisis de imagen
    • ChatGPT 5.5 Pro analizó durante 19 minutos antes de generar un mensaje que en realidad no existía

Análisis basado en código y mensajes señuelo

  • El simple hecho de usar video no constituye una defensa completa
    • Un entorno de modelos en línea puede no encontrar el mensaje en fotogramas individuales
    • Un agente dedicado con capacidad de ejecutar código localmente sí puede analizar el movimiento de los puntos y descifrar el mensaje real
  • Para dificultar el análisis, Ghost Font agrega mensajes señuelo a todos los videos que genera
    • Si un agente que busca el mensaje oculto encuentra primero el señuelo, puede tomarlo como si fuera el mensaje real
    • Debido a esta capa, incluso modelos de razonamiento potentes como Fable y GPT Sol 5.6 Ultra tuvieron dificultades para descifrarlo
  • Claude Fable y GPT Sol 5.6 Ultra podían usar código, pero les costó descifrar el mensaje en movimiento hasta que se les indicó con precisión mediante prompts qué técnica debían buscar

Límites como mecanismo de seguridad

  • Si realmente necesitas ocultar un mensaje, no debes usar Ghost Font sino cifrado o una clave específica
    • Un mensaje que solo puede abrirse con una contraseña conocida por una persona tampoco puede ser leído por la IA sin esa contraseña
  • El objetivo de Ghost Font no es brindar seguridad absoluta, sino probar si se puede insertar en un archivo compartible un mensaje visual que las personas puedan ver, pero que la IA no pueda leer con facilidad
  • También es un intento por explorar los límites de la percepción de la IA y, al mismo tiempo, preservar elementos propios de lo humano
    • En un contexto donde la IA también se usa para la generación de tipografías, esperan que las personas sigan manteniendo una voz creativa distintiva

Posibilidades para CAPTCHA y benchmarks de IA

  • Las letras en movimiento podrían aplicarse a CAPTCHA
    • En un contexto donde muchas CAPTCHA son resueltas fácilmente por la IA, el movimiento en video podría convertirse en una tarea relativamente fácil para las personas pero difícil de descifrar para bots automatizados
  • También existe la posibilidad de usarlo como benchmark para medir el avance de la percepción visual de la IA
    • Los modelos multimodales actuales se basan sobre todo en imágenes y, aunque acepten video, por lo general lo dividen en fotogramas para analizar cada imagen
    • Se espera que, cuando aparezcan modelos nativos de video, puedan procesar directamente el movimiento y leer el texto de Ghost Font

Una brecha que se reduce entre personas e IA

  • Ghost Font es difícil de leer para la IA, pero también es bastante difícil de leer para las personas
  • A medida que la capacidad de percepción visual de la IA mejora rápidamente, la brecha de reconocimiento entre personas e IA sigue reduciéndose
  • El siguiente paso es publicar el código de generación de video como un proyecto open source
    • Planean ampliarlo para admitir tamaños de pantalla más grandes y manejar cadenas de texto más largas

Lecturas relacionadas

1 comentarios

 
GN⁺ 9 시간 전
Opiniones en Hacker News

  • Este tipo de CAPTCHA ya existe y se puede eludir fácilmente. Si se imita el promediado en el eje temporal y se calcula el promedio de unas 4 tramas consecutivas, las letras resaltan, y hasta un modelo de lenguaje grande básico puede leerlas.
    Es una técnica que también funciona contra varios otros métodos de defensa frente a la IA, así que probablemente apenas ralentice a los scrapers.

  • Parece que bastaría con aplicar a Ghost Font técnicas comunes de compresión de video, reconstruir los contornos de las letras a partir de la señal comprimida y analizarlas con reconocimiento óptico de caracteres (OCR). Puede ser una técnica nueva de CAPTCHA, pero una vez que empiece la carrera de ataque y defensa, no será fundamentalmente más difícil que los métodos existentes.

    • Al final, en algún lado habrá un comando de ffmpeg que se encargue de esto.
    • Con solo aplicar un filtro a dos capturas de pantalla ya obtuve estos resultados:
      https://fingswotidun.com/images/GhostFont_2_samples.jpg
      https://fingswotidun.com/images/GhostFont_b_2_samples.jpg
      Una IA, en vez de apretar torpemente el botón de captura de pantalla, podría usar tramas consecutivas y reunir suficientes muestras para reconstruir el texto con claridad incluso a partir de un video más corto que el tiempo que tarda una persona en leerlo.
    • Podría reemplazar los CAPTCHA existentes, pero no ofrecería el efecto secundario de entrenar imágenes no verificadas con datos enviados por usuarios ni de reforzar las etiquetas de fragmentos de imágenes existentes.

  • Al principio pensé que “Written In Ghost Text” era la frase que había que leer, y recién mucho después me di cuenta de que era un texto señuelo. La frase real me resultó tan difícil de leer como una imagen 3D Magic Eye, y verla en la pantalla del celular hasta me dio dolor de cabeza.
    La idea de investigación es interesante, pero me pregunto cuándo los modelos de IA descubrirán cómo descifrarlo; parece que bastaría con mejorar un poco el prompt.

    • Para mí fue exactamente al revés. El texto real se leía muy fácil, pero “Written in Ghost Text” era tan tenue que lo habría pasado por alto por completo si no fuera por este comentario.
    • Como no puedo ver imágenes Magic Eye, tampoco puedo ver el texto auxiliar. La IA puede leerlo usando múltiples muestras, así que a largo plazo es muy probable que la IA termine leyéndolo mejor que las personas.
    • ¿En serio? La única frase que veo es esa.
    • Yo no puedo leer en absoluto el texto señuelo.

  • Le di una grabación a GPT-5.6 y leyó el texto sin problemas. Estimó el movimiento del video con flujo óptico y mapas de desplazamiento vertical, lo combinó en un mapa de movimiento de alto contraste, y yo no le indiqué ningún método en particular; solo le pregunté qué decía.

    • También lo puse en Fable con el prompt “What does the message say?” y lo identificó sin problemas. El proceso de razonamiento también es interesante: https://imgur.com/a/GToXs6W
    • No detectó el texto señuelo, sino que leyó el texto que yo había ingresado. Fue haciendo, en orden, análisis de metadatos del video y de tramas, detección de periodicidad del estereograma, desenfoque y reducción de escala, cálculo del desplazamiento entre tramas y correlación cruzada, verificación con OpenCV, optimización de flujo óptico, estimación de desplazamiento vertical y mejora de la extracción de texto.
    • Me pregunto si hay un enlace a esa conversación.

  • Es ingenioso, pero no es imposible romperlo con un algoritmo. Basta con tomar dos tramas consecutivas, desplazar el índice de una de ellas hasta encontrar la posición donde la diferencia sea mínima, restar las tramas alineadas y aplicar reconocimiento óptico de caracteres.
    Funciona especialmente bien cuando el movimiento es lineal o en una sola dirección; con 20 líneas de código que solo revisan desplazamientos verticales, el resultado de restar la trama 7 a la trama 1 fue este: https://imgur.com/a/only-human-can-read-this-vfDe6ZA

    • Este enfoque es vulnerable a falsos positivos y, en general, tiene un costo computacional alto. Ghost Font en sí parece una técnica bastante sólida.
    • Me pregunto si podrías compartir el código.

  • Pegué una captura de pantalla del texto básico “GHOST FONT” en ChatGPT 5.6 Sol y le pedí que lo leyera; después de procesarlo un rato, respondió “WHAT HAPPENS IN VEGAS / STAYS IN VEGAS”.

    • El texto no es una imagen estática, sino un video, y cada trama está compuesta por puntos aleatorios; una trama individual no contiene la frase prevista.
      Aprovecha que los modelos de primer nivel de la generación actual procesan el video trama por trama, y cada trama también contiene un texto señuelo oculto que hace que el modelo crea que encontró la respuesta y se detenga. Si se analizan las correlaciones entre tramas, se puede descubrir la técnica, pero en una sola trama solo hay ruido y señuelos.
    • Lo que permite leer el texto es el movimiento, así que es difícil esperar la respuesta deseada a partir de una captura de pantalla que solo contiene ruido. Aunque, viéndolo de nuevo, en la imagen estática también dice “WRITTEN IN GHOST FONT”.

  • Si hasta a las personas les cuesta leerlo, cuando sea importante también se podrá entrenar a la IA para que lo lea. Entonces me pregunto cuál es su utilidad práctica.

    • Un proyecto de investigación no tiene por qué ser necesariamente práctico. Explorar esta área y compartir lo descubierto ya tiene valor por sí mismo.

  • Al revés, también me gustaría ver una tipografía que solo pueda leer la IA.

  • Esta técnica es sólida, pero al final la solución definitiva, lamentablemente, probablemente será la atestación (attestation).

  • Estrictamente hablando, no es una tipografía que deba permanecer estática, sino un efecto de video. Es parecido a cerrar un libro, tomarle una foto y decir que la cámara no puede leer esa tipografía.
    Probé una sola trama y un video de 1 segundo en GPT 5.6 Sol (High). En la trama, tras 9 minutos y 30 segundos, descifró “WRITTEN IN GHOST FONT”. En la demo solo se ve “GHOST FONT”, pero en la imagen extraída realmente aparecía la forma de “Ghost Font”.
    En el video, después de 3 minutos identificó que era un efecto definido por el movimiento y pidió ejecutar QuickTime; dijo que “no hay una capa OCR estática legible y estoy extrayendo las formas de las letras del campo de flujo óptico”. En 4 minutos obtuvo una imagen de movimiento con forma de letras y, tras analizarla 9 minutos más, devolvió “GHOST FONT” después de un total de 13 minutos y 36 segundos.
    Por lo tanto, no es una tipografía, tampoco la pueden leer todas las personas, y no es cierto que la IA no pueda leerla. Las imágenes intermedias del procesamiento se pueden ver en https://imgur.com/a/SHlGu4O.

    • “WRITTEN IN GHOST FONT” es un texto señuelo estático que no depende del contenido ingresado. Se puede confirmar tomando una foto de la pantalla con una exposición larga, por ejemplo con un smartphone.