Contando todos los yurts/ger de Mongolia con machine learning
(monroeclinton.com)- Se llevó a cabo un proyecto para contar directamente la cantidad de yurts (ger) en toda Mongolia usando un algoritmo de machine learning
- Se entrenó un modelo YOLO para identificar yurts a partir de una sola imagen satelital y se automatizó el etiquetado de datos a gran escala
- Con servidores distribuidos, Docker Swarm y FastAPI, unos 120 workers procesaron en paralelo tiles de imágenes y consolidaron los resultados
- Finalmente se encontraron 172,689 yurts, y el resultado contribuye a entender el crecimiento urbano de Mongolia y los problemas de infraestructura habitacional
- También ofrece ideas sobre los distritos ger de Mongolia, su trasfondo social y sus retos de desarrollo
Contar yurts en Mongolia con machine learning – Resumen del proyecto
Curiosidad sobre la sociedad mongola contemporánea
- En lugar de analizar datos para entender la historia del Imperio mongol y la Mongolia actual, se exploró activamente la vista satelital de Google Maps
- Al revisar imágenes satelitales de Ulán Bator, se encontró un enorme conjunto de yurts que se extiende por varios kilómetros, y se decidió contarlas personalmente para saber cuántas había exactamente
Preparación de datos y etiquetado
- Se recopilaron automáticamente imágenes satelitales en formato de tile (256x256 px) desde Google Maps, centradas en los alrededores de Ulán Bator
- Los tiles se importaron a Label Studio y los yurts se etiquetaron manualmente uno por uno con bounding boxes, generando así datos anotados (annotated data)
- Se adoptó YOLO11 (ultralytics) como algoritmo de detección de objetos, usando el dataset anotado para entrenar el modelo
Entrenamiento del modelo y expansión del dataset
- Además de entrenar el modelo con base en YOLO11, se aumentó el nivel de automatización con un bucle iterativo de retroalimentación de etiquetado-reentrenamiento-etiquetado
- Al inicio, la precisión era baja por falta de datos, pero se mejoró la tasa de detección con etiquetado adicional iterativo y un mayor número de muestras
- En vez de una laptop, para el entrenamiento se rentaron recursos GPU de vast.ai y se ejecutó el trabajo a gran escala en un entorno de contenedores Docker. Al terminar el entrenamiento, los resultados del modelo y sus metadatos se subían automáticamente a un almacenamiento S3
Construcción de un sistema de exploración a escala nacional
Optimización del alcance de búsqueda
- Se calculó el número de tiles por nivel de zoom para toda la superficie de Mongolia
- Como la densidad de población es baja, para excluir zonas no habitadas se extrajeron con overpass turbo puntos donde probablemente hubiera asentamientos humanos
- Con base en un buffer de 2 km alrededor de esos puntos, se redujo drásticamente el conjunto de tiles a inspeccionar
Procesamiento distribuido a gran escala
- Se usó Docker Swarm para formar un clúster con 8 servidores (128 vCPU en total)
- Separación de funciones entre servidor API (FastAPI) y workers:
- API: administra las áreas de búsqueda y el conjunto de tiles asignados a los workers, además del progreso y el estado
- Worker: recibe un área de búsqueda desde la API, detecta con el modelo los yurts en esos tiles y registra los resultados en la API
Consolidación de resultados
- Se procesaron en paralelo unas 270,000 áreas de búsqueda y varios millones de imágenes
- Finalmente se confirmaron 172,689 yurts con base en detecciones con una probabilidad de 40% o más
- El dataset se publicó, permitiendo analizar uso de suelo, hoteles y distribución de yurts cerca de pequeñas minas, entre otros aspectos
Los yurts y el contexto social de Mongolia
Historia y cambios en las zonas ger (yurt)
- Históricamente, los yurts fueron la vivienda tradicional de los nómadas mongoles, pero su uso ha cambiado en muchos sentidos con la urbanización y la industrialización
- A inicios del siglo XX, los yurts también se usaban con fines públicos, como escuelas temporales, y con la migración hacia las grandes ciudades surgieron distritos ger en lugares como Ulán Bator
"En el censo de 1979, el 51% de la población total vivía en zonas urbanas, lo que reflejaba la rápida urbanización de la década de 1970. Debido a la falta de vivienda e infraestructura, los distritos ger se expandieron hacia la periferia urbana."
Urbanización y retos de infraestructura
- La población llegada desde zonas rurales se trasladó a la ciudad con sus yurts y los usó como vivienda en lugares sin infraestructura formal
- Con la introducción en 2002 de una ley relacionada con la propiedad de la tierra, avanzó la formalización legal de los asentamientos de residentes de distritos ger
- El gobierno ha impulsado políticas de reurbanización como el Plan Maestro Ulán Bator 2020, pero el ritmo real de avance ha sido lento
"Los propietarios de tierra en los distritos ger venden o intercambian su terreno con desarrolladores para construir nuevos departamentos, pero con frecuencia el valor del departamento es menor que el del terreno, o el desarrollo avanza lentamente"
Implicaciones y perspectivas futuras
- Esto sugiere que la formalización y la provisión de infraestructura en los distritos ger siguen siendo un reto social y de política pública
- El objetivo de largo plazo del gobierno mongol es llevar a los distritos ger vivienda, agua, electricidad y otra infraestructura urbana
- Se necesita formulación de políticas basada en datos y seguimiento continuo
Preguntas adicionales para explorar
- Factores principales que impulsan la urbanización e industrialización en Mongolia y en otros países
- Diferencias entre los mongoles que se establecen en la ciudad y los que permanecen fuera de ella
- Dificultades que enfrenta el gobierno en el desarrollo de los distritos ger
- Factores que explican las diferencias en la velocidad de desarrollo entre países
Referencias
- Se consultaron artículos, informes y bases de datos clave sobre políticas públicas, sociología e infraestructura
- “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
- Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
- “Educational Import: Local Encounters with Global Forces in Mongolia.”
- Mongolia: A Country Study. Federal Research Division, Library of Congress.
- Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.
Cierre
- A través de tecnología y datos, se examina un problema social y se propone una nueva perspectiva sobre el trasfondo social y los patrones de vivienda
- Es un caso práctico de aplicación que combina diversas técnicas y herramientas open source (machine learning, Docker, FastAPI, etc.)
1 comentarios
Comentarios en Hacker News
Cuando se habla de los distritos de ger/yurta en la ciudad, no se debe subestimar la importancia cultural de la vida nómada y de la cultura del ger. Por cambios climáticos recientes (desertificación) y razones económicas, muchas personas terminan dejando la vida nómada y mudándose cerca de ciudades como Ulán Bator, a menudo de mala gana y pensando que será algo temporal. No es solo un problema de falta de vivienda; también existe una fuerte resistencia psicológica a mudarse por completo a estructuras permanentes como apartamentos, porque eso simboliza abandonar totalmente el nomadismo. Por eso también se ven ger instalados junto a edificios permanentes, agregados al patio de la casa de familiares o ampliados como una forma de preservar la identidad cultural. Ese tipo de casos puede verse en las primeras fotos
Hace unos años crucé Mongolia en motocicleta y algo que me sorprendió fue que, incluso cuando la gente vivía en buenas casas permanentes, casi siempre había un ger en el patio trasero. Desde fuera, me preguntaba por qué necesitaban una segunda casa, pero cuando se lo pregunté a la gente local me miraron como si la pregunta fuera rara. El ger está profundamente arraigado en la cultura y funciona como símbolo de estatus, espacio para recibir invitados, para la vida al aire libre y para muchos otros usos
Quiero contar una experiencia que tuve en un palacio de Jiva, en Uzbekistán: era claramente un palacio tradicional con entrada formal y muchas salas ornamentadas, pero aun así, en una esquina de un patio interior completamente rodeado por muros, había un espacio circular aparte, es decir, un lugar para instalar un ger. Los kanes de esta región también presumían su linaje de Gengis Kan, y existía la idea de que, aunque vivieran dentro de la ciudad, no era propio de un kan pasar la noche bajo un techo permanente; tampoco parecía bien visto por los familiares que los visitaban
Wiki del Palacio Toshhovli
[Foto del espacio circular en el patio de recepción](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)
Mongolia ha sufrido varios inviernos muy duros en años recientes, lo que provocó un gran desplazamiento desde las estepas y una fuerte reducción de los rebaños. Como resultado, la mayoría está yendo a las ciudades. Aunque quisieran, no hay suficiente espacio para que todos entren en edificios permanentes
Según entiendo, probablemente ya tienen al menos un ger, y mudarlo es relativamente fácil cuando hace falta. Por ejemplo, también he oído que vuelven a la casa del campo para ocasiones especiales
Más que ver la vida en ger como un fracaso de las políticas públicas, estoy más de acuerdo con interpretarla como una elección cultural. En el pasado, incluso Gengis Kan vivía en un ger, y en la práctica algunas personas lo hacen por necesidad y otras por decisión propia. Por eso, no se puede concluir sin más que esa realidad sea algo negativo
En Ulán Bator existe un ger estandarizado. Es fácil comprar piezas o ger completos en mercados grandes. En 2017 costaban alrededor de 1,000 dólares cada uno. Con ese dinero se consigue una casa pequeña, bien aislada y fácil de trasladar, y en Mongolia puedes establecerte prácticamente en cualquier lugar fuera de la ciudad (aunque si vas con 2,000 ovejas, probablemente convenga hablar con la gente local sobre el uso del pastizal). Al final, elegir un ger no es solo cuestión de tradición y cultura, sino también una decisión racional dadas las circunstancias
Como referencia, por cortesía al tipo de tienda-vivienda turca se le llama yurta, y a la mongola, ger. También se mencionó en broma que en Francia la llaman shabadoo, en Canadá plumbus y en Estados Unidos flip. Y se añadió como chiste que molesta un poco cuando alguien local ve su shabadoo y le dice ger
Me pregunto qué tipo de cimentación se hace para colocar un ger
Se mencionó que la cantidad de yurtas con aprendizaje automático aplicado en Mongolia era cero
Yo diría que no hay forma de que sea cero; de hecho, supongo que debe de haber bastantes
Al principio pensé que “yurta” era un oficio o un tipo de persona, así que entendí mal el título
Gracias, fue una experiencia graciosa y me hiciste reír
Como no nativo, me pregunto cuál sería una frase más correcta. También se mencionó algo como: “Conté todas las yurtas de Mongolia con aprendizaje automático”
Da un poco de pena que no se hayan usado como entrada las 89,259 yurtas cuyos contornos ya están marcados en OpenStreetMap (OSM). Aunque probablemente hubo problemas para alinear esos contornos con las imágenes de Google Maps
Estadísticas de etiquetas de ger en OSM para Mongolia
Supongo que el modelo no detectó bien las yurtas que estaban en los bordes de los mosaicos. Y también sorprende que el número sea mucho menor de lo esperado para una población de 3 millones
Sobre la parte de “hay pocas yurtas para 3 millones de personas”: si el conteo real fue de 172,700 y asumimos que cada una corresponde a una familia, usando 4 personas por ger (probablemente en realidad más), eso da unas 690 mil personas, es decir, cerca del 20% de la población de Mongolia, que ronda los 3.5 millones. Suena bastante plausible
También comparto una estimación aproximada que hice antes de abrir el enlace. De los 3 millones de habitantes de Mongolia, 1.5 millones viven en la capital. Si asumimos que alrededor de 1 millón vive fuera de zonas urbanas y hay un ger por cada 4 personas, serían 250 mil. Sumando usos secundarios como invitados, almacenamiento o patios de casas, yo calcularía unas 300 mil, casi el doble del resultado de la app de ML
La idea de usar OSM y similares como etiquetas se menciona con frecuencia en proyectos de geografía/aprendizaje automático. Pero la licencia de OSM impide adoptar imágenes de Google Maps, así que incluso con fines de investigación hay muchos problemas legales para obtener o redistribuir esas imágenes. Google sublicencia imágenes de muchas fuentes externas y controla estrictamente la propiedad intelectual. También está el gran problema de alinear imágenes y etiquetas, y las etiquetas mismas podrían ser coordenadas GPS y no anotaciones basadas en imagen. Además, en estructuras móviles como los ger, la completitud y consistencia de las etiquetas inevitablemente será baja. La cobertura de OSM también depende mucho de qué tan activa sea la comunidad local. Aun así, puede servir para validación cruzada entre etiquetas propias y predicciones. En detección por mosaicos, normalmente se descartan las predicciones en los bordes y se manejan duplicados con ventanas superpuestas y NMS
Si son unas 172 mil, sigue siendo una cantidad enorme y probablemente la mayor del mundo con mucha diferencia en relación con la población
Quiero subrayar que descargar directamente imágenes satelitales de Google Maps está prohibido por los términos de uso. De hecho, es fácil que te bloqueen, así que sorprende que hayan descargado todos los mosaicos de Mongolia
Fuera del monopolio de mercado, no entiendo la razón de una política así
Si te bloquean, siempre puedes crear otra cuenta nueva
El resultado me parece interesante, y me gustaría saber cuál fue realmente la tasa de falsos positivos. También quisiera preguntar si tanques de almacenamiento, silos o piscinas al aire libre fueron clasificados por error como ger
Esto me recordó los proyectos Geo/ML que veía en la universidad, y fue un gusto volver a encontrar algo así después de tanto tiempo. El gobierno australiano también gasta mucho dinero cada año en trabajos parecidos, pero comparado con este resultado, parece bastante más ineficiente. Frustra ver que ni siquiera pueden clasificar bien un terreno o contar correctamente objetos pequeños con forma de ger
En el resultado “se detectaron 172,689 ger con una puntuación de predicción de precisión superior al 40%”, me pregunto cómo debe interpretarse “prediction score”
Al principio entendí el título como si todas las yurtas de Mongolia “usaran” aprendizaje automático
Se dijo que se usó una solución semicomercial (gratis para fines educativos), y da curiosidad saber cuál era la topología/arquitectura del modelo de aprendizaje profundo. También intriga si habría un enfoque mejor