La Fundación Overture Maps publica el primer dataset abierto de mapas a escala mundial

• Primera versión oficial de un dataset abierto de mapas de grado comercial compuesto por 4 capas clave, que ofrece datos globales basados en mapas de libre uso para cualquier persona
• La capa de Places of Interest (POI) incluye más de 59 millones de registros de lugares en todo el mundo, sentando las bases para servicios basados en ubicación como navegación y búsqueda local
• Está estructurado en múltiples capas integradas que abarcan Buildings, Transportation y Administrative Boundaries, desde edificios y red vial hasta límites administrativos
• Todas las capas están formateadas con el esquema de datos de Overture Maps, lo que facilita su recopilación y uso mediante un estándar interoperable
• Marca un punto de inflexión al resolver, mediante la colaboración bajo un modelo de activo compartido, el costo de recopilación y mantenimiento de datos cartográficos globales, algo que ya resulta difícil de sostener para una sola organización

---

Resumen del lanzamiento

• Overture Maps Foundation (OMF) publicó su primer dataset abierto de mapas con la versión Overture 2023-07-26-alpha.0
• Está compuesto por 4 capas de datos distintivas: Places of Interest (POIs), Buildings, Transportation Network y Administrative Boundaries
• Cada capa combina diversas fuentes abiertas de datos cartográficos y pasa por una serie de controles de calidad para su validación e integración (conflation)
• Fue lanzado con el esquema de datos de Overture Maps presentado en junio de 2023
• El dataset de Places incluye más de 59 millones de lugares en todo el mundo y constituye un elemento base para navegación, búsqueda local y diversas apps basadas en ubicación
• El dataset puede descargarse desde la página de download

Composición de la fundación y contexto

• Fue fundada en diciembre de 2022 por AWS, Meta, Microsoft y TomTom
• Actualmente participan más de una decena de empresas de mapeo, geoespacial y tecnología; entre los nuevos miembros se suman ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn y Sparkgeo
• Parte de la premisa de que los datos cartográficos deben ser un activo compartido que respalde las aplicaciones del futuro
• A medida que aumentan las exigencias sobre precisión, actualización y procedencia de los mapas, el costo y la complejidad de recopilar y mantener datos cartográficos globales superan la capacidad de una sola organización

Detalles de las capas de datos

• Places of Interest

  • Incluye más de 59 millones de registros de POI que antes nunca habían sido publicados como datos abiertos
  • Se deriva de los datos que los miembros fundadores Meta y Microsoft aportaron a OMF, y establece una línea base de datos de lugares a nivel mundial
  • En adelante, combinará recursos disponibles como datos gubernamentales abiertos, datos locales de mapeo por crowdsourcing y técnicas de AI/ML para seguir mejorando, actualizando y ampliando los datos
  • Se distribuye bajo la licencia CDLA Permissive v2.0, por lo que creadores de mapas y proveedores de servicios de ubicación pueden usarlo libremente

• Buildings

  • Incluye más de 780 millones de footprints de edificios únicos en todo el mundo
  • Fue desarrollado combinando varios proyectos de datos abiertos como OpenStreetMap, Microsoft AI-generated building footprints y Esri

• Transportation

  • Representa la red vial mundial derivada de datos de OpenStreetMap
  • Reestructura los datos construidos por la comunidad al formato de datos de Overture y ofrece una segmentación consistente junto con un linear reference system
  • También admite la incorporación de datos como límites de velocidad o tráfico en tiempo real

• Administrative Boundaries

  • Dataset abierto global de límites administrativos nacionales y regionales
  • Los nombres de regiones están traducidos a más de 40 idiomas, lo que facilita su uso internacional

Esquema de datos e interoperabilidad

• Todas las capas están formateadas con el reciente esquema de datos de OMF
• Está diseñado para que desarrolladores de servicios cartográficos recopilen y usen los datos de una forma estandarizada y documentada, con interoperabilidad

Objetivo de la publicación y próximos planes

• El lanzamiento público de los datos busca recoger feedback de la comunidad, que puede enviarse por GitHub o correo electrónico
• En futuras versiones se integrarán nuevas fuentes abiertas de datos
• También se convertirán capas adicionales al esquema de OMF
• Está prevista la implementación de Global Entity Reference System, un sistema de IDs estables que permitirá agregar datos de forma consistente a las entidades del mapa

[GN⁺]

Opiniones de Hacker News

• Overture Maps es un proyecto en el que grandes actores del sector geoespacial, como TomTom, Amazon, Microsoft y otros, excluyendo a Google, buscan aprovechar datasets abiertos como OpenStreetMap junto con sus propios datos propietarios y métodos de procesamiento
  Es un consorcio que toma datos geoespaciales basados en datos abiertos, los enriquece cada uno mediante procesos propietarios y luego redistribuye el resultado bajo la relativamente permisiva Community Database License Agreement - CDLAv2, mientras mantiene en privado los datos fuente y los procesos necesarios para crear ese dataset
  En la comunidad de OpenStreetMap hay mucha discusión, pero en general se ve como algo positivo que se estén invirtiendo tantos recursos en el ecosistema alrededor de OSM

  • Los mapeadores de OSM estaban bastante molestos con las ediciones de las empresas miembro de Overture
    Ya fueran ediciones hechas por contratistas mal pagados o importaciones masivas de contenido extraído de imágenes satelitales mediante inteligencia artificial, eran problemáticas
  • Me pregunto cómo es posible eso
    Tenía entendido que OSM está licenciado de forma que, si se combina con otros datos, todo el conjunto debe publicarse bajo la misma licencia
  • Sería realmente útil que al menos publicaran los nombres de las fuentes de datos
    Por ejemplo, en un análisis de acceso a atención médica basado en datos geoespaciales en el que estoy trabajando ahora, sería de enorme valor poder confiar en que la capa de places es una fuente bastante precisa de ubicaciones de proveedores de salud
    Vincular datos de CMS y de planes de seguro médico, y geocodificarlos con el geocodificador OSM Tiger, lleva mucho trabajo, así que contar con datos ya depurados sería de gran ayuda

• Si buscas un mapa en sí, tipo Google Maps, recomiendo mucho Protomaps https://protomaps.com/
  Todos los datos del mapa están dentro de un único archivo en formato PMTile, y mediante solicitudes de rango a ese archivo se pueden obtener los datos vectoriales necesarios para una zona/zoom específicos
  Por ejemplo, puedes subir myfile.pmtiles a S3 y configurar una Lambda que reciba x/y/z en la ruta, solicite el rango correcto y luego CloudFront cachee la respuesta del tile
  Después puedes usar tiles.mydomain.com o el dominio de CloudFront tal cual, y en el frontend traer los tiles y renderizarlos con algo como Leaflet
  En Leaflet puedes usar el plugin/biblioteca de protomaps y pasarle una URL como "[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)", donde 20230408 corresponde a 20230408.pmtiles en el bucket de S3
  También es bueno que puedas poner un nuevo archivo pmtiles en el bucket y actualizar el cliente para que use la nueva fuente, y que, como los tiles están en formato vectorial, puedas aplicarles el tema que quieras del lado del cliente
  No hace falta usar obligatoriamente el tileset global de más de 100 GB; con herramientas del mismo desarrollador también se puede descargar solo una zona geográfica específica https://app.protomaps.com/downloads/small_map
  El archivo .pmtiles pesa un poco más de 100 GB, pero toda la configuración estuvo funcionando en una o dos horas como máximo, y el costo operativo debería ser mucho menor que Google Maps

  • La demo no ayuda mucho
    Parece detenerse en un nivel de zoom arbitrario, así que le faltan detalles que me importarían al evaluar esta solución
    Si uno revisa el repositorio de GitHub, aparece https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu..., que aunque no alcanza para reemplazar por completo a Google Maps, al menos es más detallado
  • Se ve genial, pero en mi endpoint tengo que enviar mapas ráster
    Me pregunto si hay una forma sencilla de usar mapas MVT para generar tiles al vuelo, sumar un backend CGI y caché, y luego renderizar con Leaflet
    Tengo un pequeño proyecto personal de renderizador de mapas hecho con Leaflet, y ahora uso fuentes de tiles de Google, OSM y Esri; sería bueno tener más fuentes
  • ¿Eso significa una ejecución de Lambda por cada tile?

• “Límites administrativos: un dataset abierto global de límites administrativos nacionales y regionales, que incluye nombres de regiones traducidos a más de 40 idiomas para apoyar su uso internacional”; eso suena a que se va a poner interesante
  Si mal no recuerdo, para evitar meterse en disputas, Google Maps cambiaba la visualización de las fronteras según la perspectiva del lugar desde donde se solicitaba el mapa
  En muchos países es delito no mostrar las fronteras “correctamente”
  Fuente relacionada: https://qz.com/224821/see-how-borders-change-on-google-maps-...

  • Si no estás creando un competidor de Google Maps, en el 99% de los casos no necesitarás países con fronteras en disputa
    Si no tienes millones de usuarios, probablemente ni siquiera a nadie dentro de esos países le importe

• Está bien que proporcionen los datos, pero cuando uno intenta obtenerlos de verdad, parece que los hubieran dejado lo más enredados posible.
  Que haya que importarlos usando DuckDB... no entiendo por qué no admiten simplemente un archivo de volcado de MySQL.
  Tampoco entiendo por qué el usuario tendría que tener DuckDB, ni si DuckDB es tan popular.
  El enlace que dieron tampoco funciona, así que no parece haber nada realmente utilizable, y no entiendo cómo se supone que uno debe usar esto.
  Además exigen Amazon S3 y algo como un lenguaje de consultas no estándar para acceder a eso, lo cual no entiendo.
  No creo ser el único; debería ser más universal que el método actual.

  • Iba a decir que es un poco descortés tener los datos encerrados detrás de una cuenta de AWS o Azure, pero, siendo realistas, no sorprende que los grandes proveedores de nube quieran hacer que se usen más servicios en la nube.
    Si AWS o Azure quisieran, nada les impide abrir s3:Get y s3:List en ese bucket para permitir lectura sin autenticación.

• Como colaborador de AllThePlaces, me interesa este tema: https://www.alltheplaces.xyz/
  AllThePlaces es un proyecto open source que reúne spiders de Scrapy que rastrean sitios web de franquicias y cadenas minoristas que probablemente aparezcan en name-suggestion-index, y recopila datos de ubicación bajo licencia CC-0: http://nsi.guide/
  Está reuniendo datos de casi 3 millones de puntos de interés a partir de casi 1700 spiders.
  Overture Maps parece un proyecto bastante cerrado y propietario, y su apertura parece limitarse a la afirmación de que se pueden descargar el dataset y la especificación del esquema.
  Para empezar, no hay una explicación pública de cómo se generaron los datos, por lo que a los usuarios finales les resulta difícil tener garantías sobre su precisión y completitud.
  Los límites administrativos son terriblemente complejos e incluyen límites en disputa, una ambigüedad considerable en la definición de los límites y compromisos entre el rendimiento de los algoritmos que usan datos de límites administrativos y la precisión de esos límites.
  No se sabe qué definición de límites sigue Overture Maps, ni si puede admitir varias definiciones.
  Es posible que Microsoft haya aportado información geográfica en ld+json/microdatos obtenida del rastreo de Internet de BingBot, pero esos datos son tristemente imprecisos: los campos se mezclan o se reutilizan mal, las páginas web siguen existiendo aunque un nombre de campo incluya “CLOSED” para indicar que cerró hace 5 años, y las especificaciones de horarios de atención son muy ambiguas, entre otros problemas.
  En AllThePlaces hay muchos spiders en los que hace falta bastante juicio humano complejo para combinar los datos sucios que organizaciones como tiendas y franquicias de restaurantes publican en sus sitios web.
  Incluso para información de ubicación que podría requerir una exactitud y precisión de ±1 a 5 m, como locales individuales dentro de un centro comercial, las fuentes autorizadas suelen entregar datos con precisión de 1 mm y exactitud de ±10 a 100 m.
  Lugares como AllThePlaces, Overture Maps y Google Maps siguen necesitando editores humanos que hagan relevamiento en terreno —es decir, editores de OpenStreetMap— para marcar las ubicaciones exactas y estandarizar las definiciones de ubicación.
  También hacen falta definiciones como si la ubicación puntual debe considerarse el centro del mayor polígono regular que cabe dentro de todo el polígono irregular, el centro de masa de una lámina plana, o la ubicación de la entrada principal.
  Si Overture Maps depende de BingBot para los datos de lugares, se perderá una enorme cantidad de puntos de interés que BingBot jamás encontrará.
  Por ejemplo, a veces hacen falta llamadas a APIs REST/JSON/GraphQL no documentadas, o modificar parámetros de llamadas observadas a APIs de búsqueda de tiendas, para que se devuelvan todas las ubicaciones y sus campos relacionados.
  Los desarrolladores web suelen hacer tonterías como poner en robots.txt que se rastreen 10.000 páginas de más de 1 GB desde un sitemap actualizado hace 5 años, mientras bloquean 10 llamadas rápidas a una API que permitirían obtener 5 MB de datos actualizados.
  Overture Maps puede tomar libremente los datos de AllThePlaces porque son CC-0, y también puede contrastarlos con otras fuentes, como datos de rastreo de BingBot, bases de datos gubernamentales de establecimientos comerciales autorizados y datos de geocodificación de direcciones postales.
  Pero el desorden de los datos de múltiples fuentes probablemente llegue a un nivel casi imposible de conciliar incluso para humanos, y Overture Maps quizá tenga que decidir si acepta duplicados o renuncia a la completitud.
  Además, no hay herramientas públicas con las que otra persona pueda reproducir los mismos datos.
  Los usuarios de AllThePlaces se topan con frecuencia con terceros que rompen Internet, como Cloudflare e Imperva, con bloqueos geográficos personalizados y, en raras ocasiones, con mecanismos excesivos de limitación de solicitudes.
  Si Overture Maps depende del rastreo de BingBot, tendrá una ligera ventaja sobre AllThePlaces porque Cloudflare, Imperva, firewalls de clientes y otros permiten deliberadamente a BingBot, pero para capturar la mayor cantidad posible de puntos de interés en todo el mundo hacen falta cada vez más rangos de ISP residenciales y software para evadir la detección de bots.
  Se necesita gente en decenas de países, y hay que rastrear los sitios web dirigidos a cada país desde espacios de direcciones de ISP residenciales de ese país.
  De lo contrario, se termina con una visión estadounidense del mundo, una visión europea del mundo o algo distinto del panorama completo.
  Si Overture Maps tiene ubicaciones incorrectas de una franquicia/marca en particular por problemas de depuración de datos o por fuentes malas, quizá no autorizadas, esa franquicia/marca no tiene un repositorio de software donde abrir un issue o enviar un parche.
  Ejemplo de un centro comercial australiano capturado por AllThePlaces: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...

  • Es cierto que “no hay herramientas públicas con las que otra persona pueda reproducir los mismos datos”; de hecho, eso es el núcleo de Overture.
    Overture se creó para que empresas privadas puedan aprovechar datos públicos como OpenStreetMap y, al mismo tiempo, combinarlos con sus propios datos y procesos propietarios.
    La intención es compartir el resultado bajo una nueva licencia relativamente permisiva llamada Community Database License Agreement, pero mantener como propietarios los procesos y los datos subyacentes.
  • Totalmente de acuerdo.
    Aquí también hay un envoltorio claramente publicitario.
    Parecen presentar estos mapas como si tuvieran un respaldo “confiable” u “oficial”, y quisieran usarlos como base para tomar decisiones en comercio, seguridad, reclamos de seguros u otras actividades valiosas basadas en datos, aunque no necesariamente relacionadas con protección o seguridad.
    Me pregunto qué recurso podría tener aquí el público o la supervisión pública.

• El repositorio de GitHub está aquí: https://github.com/OvertureMaps/data
  La licencia parece muy permisiva y, aunque no conozco bien el estado actual del ecosistema de mapas abiertos, la idea de GERS también se ve buena
  https://docs.overturemaps.org/gers/

  • La licencia CDLA huele un poco a “no inventado aquí”, pero al menos parece una licencia permisiva real, no falso open source
    Curiosamente, dos de las cuatro capas usan ODbL

• No queda claro cómo Overture podría lavar la licencia de los datos de OSM aquí
  Dice: “Transporte: la capa de transporte de OMF representa la red vial mundial derivada de datos del proyecto OpenStreetMap. Estos datos construidos por la comunidad se reestructuran al formato de datos de Overture para ofrecer una partición de datos consistente y un sistema de referencia lineal que permita agregar datos como límites de velocidad o tráfico en tiempo real”
  La ODbL de OSM es muy clara en que hay que dar crédito a los colaboradores de OSM
  Me cuesta creer que CDLA Permissive v2.0 le permita mágicamente a Overture esquivar eso
  Corrección: se me pasó que usan licencias distintas para cada dataset
  El tema transport usa ODbL, así que los usuarios desprevenidos seguramente se van a tropezar con eso

  • Los datos nuevos generados por Overture Maps parecen poder subirse a OSM si uno quiere
    La licencia CDLA es permisiva: https://cdla.dev/permissive-2-0/
    Según mi interpretación, no están intentando evitar dar crédito a OSM, sino mantener el crédito y la licencia de OSM en las partes tomadas de OSM, y licenciar el resto bajo CDLA 2.0 para que cualquiera pueda usarlo
  • Overture puede parecer hostil hacia OpenStreetMap, pero no veo que aquí estén lavando licencias
    El artículo dice explícitamente que la licencia CDLA se aplica a los datos proporcionados por Meta y Microsoft, no a los datos de OSM
    Es una pena que Meta y Microsoft no contribuyan sus datos a OSM y los publiquen con otra licencia, pero así son las cosas

• Excelente
  Sospecho que algún día Google intentará extraer más ingresos de Maps que ahora, y entonces estos sistemas de mapas colaborativos realmente van a ganar fuerza
  Ojalá hubiera una forma de financiar que la gente compre imágenes satelitales y luego las meta en sistemas como este
  Por ejemplo, Sunnyvale pagó mucho dinero por imágenes de la ciudad que usa para discutir tráfico, zonificación, etc.; sería bueno poder incorporar esas imágenes a un dataset público

  • No hay ninguna razón técnica en particular por la que esas imágenes no puedan aportarse
    Si no recuerdo mal, Google también usa imágenes propiedad de gobiernos locales en sus productos
    Una sola ciudad quizá no sea una fuente lo bastante grande como para que a Google le importe, pero, sobre todo en Europa, he visto avisos de copyright de gobiernos nacionales o regionales al ver imágenes
    Dicho eso, hoy hay muchas fuentes de imágenes satelitales, así que tal vez Google no esté tan necesitado de material nuevo
    Los proveedores comerciales con los que colabora Google probablemente fotografían todo el territorio continental de EE. UU. aproximadamente una vez cada 12 meses
    Donde parece haber más demanda es en la fotografía aérea usada en niveles de zoom muy altos
    No soy especialista geoespacial, pero parece que esas imágenes se combinan con cosas como LIDAR o imágenes multiespectrales para crear mapas de altura junto con el material visual, y adquirirlas parece bastante caro

• ¿Cuál es la diferencia entre esto y OpenStreetMap?

  • OpenStreetMap es una comunidad de personas que construye una base de datos de mapas completamente abierta
    Cubre todo tipo de detalles, desde caminos, tiendas y ríos hasta atracciones turísticas, rutas de senderismo y hospitales
    Cualquiera puede contribuir y, hablando como alguien bastante involucrado en OSM, si quieres poner algo en el mapa, sobre todo si es de tu zona, eres bienvenido
    Overture es un nuevo grupo de empresas que distribuye algunos datasets con una licencia abierta, pero los métodos que usaron para crearlos siguen siendo propietarios
    Parte de los datos que publicaron son propios, y muchos datasets son datos de OpenStreetMap reempaquetados
  • Me preguntaba lo mismo, y las FAQ de Overture responden justamente esa pregunta
    Overture no es una comunidad de editores de mapas individuales, sino un proyecto de mapas centrado en datos, así que su objetivo es complementar a OSM
    Combina OSM con otras fuentes para crear un nuevo dataset de mapas abierto, y los datos de Overture se ofrecen a la comunidad de OpenStreetMap bajo licencias de datos abiertas compatibles
    Se alienta a las empresas miembro de Overture a contribuir directamente a OSM
  • En cierto sentido, OSM es más impresionante que Wikipedia
    Cerca de mi casa hay un camino de grava que quizá usen unas 20 personas al día, y por una obra cercana movieron una parte del camino unos metros hacia un lado
    OSM reflejó esa nueva realidad al día siguiente
  • OSM es principalmente un mapa hecho por personas, y esto está hecho principalmente por máquinas
  • Esto permite lavar la licencia de datos de OpenStreetMap hacia un sistema propietario para que las grandes empresas puedan usarlos sin contribuir nada de vuelta

• ¿Alguien ya lo subió a BigQuery?
  Sé que el ambiente es de “abucheos a Google”, pero simplemente quiero hacer algunos joins con otras tablas que tengo en BigQuery
  Me pregunto si existe algo como un BigQuery comunitario que pueda usar en vez de mantener mi propia importación