Buscar todo el texto dentro de la ciudad de Nueva York
(alltext.nyc)- Más de 8 millones de imágenes de Google Street View fueron analizadas con IA para extraer 138 millones de textos callejeros
- Con esto se construyó una base de datos de texto callejero de NYC que se puede buscar y se creó un motor de búsqueda
- Como obra del artista de medios Yufeng Zhao, esto permite mostrar en un mapa la distribución de ubicación de palabras específicas (por ejemplo: pizza, Broadway, luxury, beware, gold, iglesia, jerk, etc.) para visualizar características culturales, comerciales y regionales
- Es tanto un experimento para leer el paisaje urbano de NYC como una especie de "código fuente", como una nueva forma de explorar datos urbanos
Descripción general del proyecto
- Objetivo: recopilar y hacer buscable el texto visible en toda NYC
- Fuente de datos: Google Street View (2007~2025, más de 8 millones de imágenes)
- Tecnología: reconocimiento de texto en imágenes (OCR), mapeo de coordenadas de ubicación
- Límite de alcance: solo incluye texto dentro del rango visible de las calles que un vehículo puede fotografiar (excluye callejones, parques y texto pequeño)
Principales casos de visualización
- Pizza: distribución de pizzerías en toda NYC
- Broadway: señalizaciones de Broadway en todos los boroughs y zonas con alta concentración de teatros
- Luxury: textos promocionales de nuevos complejos residenciales, concentrados en la zona de Hudson Yards
- Beware: concentrado en zonas residenciales periféricas con casas y cercas, casi inexistente en Manhattan
- Gold: distrito de diamantes y calles con tiendas de compra de oro
- Iglesia: ubicación de iglesias en comunidades hispanohablantes
- Jerk: zonas de Flatbush y Jamaica con abundancia de restaurantes de comida jamaicana
- Unisex: distribución geográfica de barberías y salones de belleza mixtos
Casos de texto interesantes
- Fedders: logo de una marca de A/C empotrados de las décadas de 1950 a 1990, fenómeno de las "Fedders house"
- Yodock: marca de barreras plásticas peatonales para zonas de construcción
- 4Cars (Acars): anuncios pegados ilegalmente para compra de autos usados, con errores de OCR
- Sabrett: marca emblemática de carritos de hot dogs de NYC, con distribución en zonas turísticas
- Halal: puestos y carritos de comida halal, que comenzaron en los años 80 y se consolidaron como parte de la cultura gastronómica urbana
- Siamese: nombre de un tipo de conexión para mangueras contra incendios
- Surveillance: avisos de cámaras de vigilancia, presentes en instalaciones públicas y privadas de toda la ciudad
Interpretación y significado
- El proyecto reinterpreta la ciudad como un mapa basado en texto, haciendo visibles de forma visual las huellas del comercio, la cultura, la seguridad y la infraestructura
- La distribución geográfica de palabras específicas está estrechamente relacionada con ámbitos culturales, industrias y características sociales
- Las palabras relacionadas con advertencia y vigilancia reflejan la cultura de seguridad y control de NYC y el carácter registrable del espacio público
- Los datos pueden usarse no solo para visualización simple, sino también como material de investigación para historia urbana, sociología y branding
4 comentarios
El texto está bastante alucinatorio.
"all text in nyc" es un motor de búsqueda que encuentra texto en las imágenes de Google Street View de la ciudad de Nueva York. Busca cualquier palabra o frase para ver dónde aparece en toda la ciudad: en letreros de tiendas, grafitis, anuncios y carteles de protesta.
El sitio del texto básicamente toma todo Street View, le pasa OCR y permite encontrar palabras específicas.
Lo corrigieron.
Es realmente muy interesante, pero da un poco de miedo pensar que esto no lo hizo ni el gobierno ni una empresa como Google.
Siento que el mundo está desbordado de datos.
Comentario de Hacker News
También está muy interesante este artículo sobre ese sitio: el proyecto Street View de The Pudding
The Pudding es de lo mejor que se puede ver en internet últimamente
Lo agregué arriba del todo
En YouTube hay gente que graba videos caminando por distintas ciudades. En lo personal, me gustan especialmente los videos de caminatas por Tokio/Japón. Creo que estaría genial intentar construir mapas 3D a partir de ese tipo de videos. No es mi área de especialidad, pero imagino que ya habrá empresas que lo han intentado. En esos videos hay una cantidad enorme de datos. Quizá incluso podrían usarse gratis para entrenar robots, como robots de reparto que caminan entre multitudes
Técnicamente, supongo que sería una combinación de SLAM, fotogrametría y VIO, pero como no hay IMU, esa parte habría que estimarla a partir del video. Parece que los fotogramas y hasta el parpadeo de la iluminación pasarían demasiado rápido
Enlaces de ejemplo: caminata callejera por Tokio, otro ejemplo
De forma parecida, sería realmente útil una herramienta que reconstruyera planos de planta a partir de imágenes fijas, como fotos inmobiliarias. Incluso si requiriera algo de entrada manual parcial, seguiría siendo útil
Antes había alguien que subía videos a YouTube recorriendo los barrios de electrónica de Tokio. Sorprendentemente, muchos de los mejores lugares para comprar smartphones o piezas de robots estaban en edificios que no llamaban nada la atención, y si no tuvieras conocimiento local de verdad, no los encontrarías. Si algo como lo que propones se implementara de verdad, sería de enorme ayuda para viajeros que quisieran encontrar sitios así. Me encantaría verlo
Sería muy interesante si Google Maps añadiera una función así a la búsqueda. A menudo siento que buscar información en Google Maps se queda corto. Hace poco intenté encontrar lugares con café de especialidad en el sur de Gran Canaria y al final solo había uno dentro de un hotel, y me tomó 30 minutos encontrarlo. Suelo buscar con términos de filtrado como "pourover" o "v60", pero si el café no lo menciona claramente en la descripción o en las reseñas, es difícil encontrarlo. Ni siquiera parece que indexen el texto en fotos tomadas por clientes, como por ejemplo los menús
Si buscas V60, da la impresión de que saldrían sobre todo vehículos Volvo, pero me pregunto cuántas fotos habrá realmente en cafeterías donde aparezca esa palabra
Si las cafeterías no habían pensado en esas palabras, ahora quizá deberían hacerlo. Siendo sincero, creo que yo también volvería a revisar este sitio
Dejo esto porque me da curiosidad el GitHub de quien preparó los datos. Me pregunto cuántos recursos de cómputo hicieron falta para analizar los datos de Nueva York. Me gustaría intentar algo así en mi ciudad, pero siento que mi presupuesto se quedaría demasiado corto. Ver yz3440 GitHub (los comentarios de abajo tienen razón: en realidad lo que preocupa no es el cómputo sino el costo del Google Maps API. Si se hiciera gratis, al autor probablemente le habría tomado años. Qué envidia su presupuesto)
Espero que el costo de cómputo del OCR sea barato. Con una PC personal potente, creo que bastaría con dejarla corriendo toda la noche o durante una semana. El problema es el costo de uso del Google Maps API. A menos que lo consideren un proyecto artístico y le eximan los cargos, es una carga seria. Ver precios de Maps Platform En una gran ciudad con muchos panoramas, salirte del nivel gratuito puede costar miles de dólares
Según el artículo, usaron 8 millones de panoramas, así que solo con el Street View API habría costado unos 30 mil dólares (la API de imágenes estáticas tiene menor resolución, así que probablemente habría costado el doble). El OCR parece mucho más barato si no hay prisa. Por ejemplo, con una GPU común ejecutando un servidor de PaddlePaddle, se podrían procesar 4 MP por segundo. Con hardware de unos pocos miles de dólares, podría hacerse en 3 a 6 meses, dependiendo de la resolución y del tamaño del modelo
Si son 8 millones de imágenes, eso da 13.2 por segundo durante una semana. Lo que me pregunto es si recopilaron los datos usando la API de Google o si colaboraron directamente con Google
Hice el cálculo con Claude y me salió que descargar todas las fotos callejeras de Taipéi con la gmap api cada 3 m costaría unos 8,000 dólares. Es caro, pero no una cantidad imposible
Me parece interesante que censuren insultos como "fuck". No sé si leer la palabra completa a propósito realmente afecte al cerebro
En las fotos reales sí se puede encontrar esa palabra. Tal vez en la versión de StreetView esté censurada aparte en algún lado, no lo sé
Probablemente sea por SEO o por políticas aptas para toda la familia, o ambas. Como referencia, en YouTube también existe la regla de no decir groserías durante el primer minuto del video
Si buscas "Fool", salen muchísimos errores de OCR, por cosas como oclusiones, etc. Resultados de búsqueda de ejemplo "Surgery of the Fool" es el mejor
Parece muy útil para OSINT (inteligencia de fuentes abiertas). Me pregunto si las agencias de inteligencia ya tendrán algo así a escala global
Es un proyecto realmente genial. Si además le metieran embeddings tipo CLIP para que no solo buscara texto sino también por significado, como "personas peleando", "gato y perro", "Tesla rojo", "payaso", "niño y perrito", etc., sería 10 veces mejor
También están los proyectos relacionados All Text in NYC y All text in Brooklyn
Esto me recordó a un servicio llamado NY Cerebro. Permite hacer búsquedas semánticas usando cientos de cámaras públicas de la ciudad de Nueva York nycerebro.vercel.app (por ejemplo, buscando "scaffolding")
Me sorprendió lo baja que es la resolución de las cámaras públicas de la calle. Sumado a los reflejos de las luces de los autos, el resultado no convence mucho
Este servicio fue un proyecto que ganó el primer lugar en un hackatón de NVIDIA y Vercel