- En 2016, el gobierno del Reino Unido encargó a Ordnance Survey (OS) probar si era posible crear una base de datos nacional de direcciones sin el Postcode Address File (PAF) de Royal Mail, y los materiales publicados mediante solicitudes de acceso a la información muestran que construirla de forma independiente difícilmente sería una alternativa realista
- El PAF es el dataset central de direcciones postales físicas del Reino Unido, pero con la privatización de Royal Mail en 2013 también pasaron al sector privado su propiedad y gestión, y usarlo en un sitio web o app puede costar más de £6000 al año en licencias
- OS reconstruyó el PAF usando el National Address Gazetteer (NAG) y OS MasterMap, pero frente a AddressBase la precisión llegó solo al 90.8%, lo que generó 2.9 millones de direcciones incorrectas y 4.2 millones de registros faltantes o erróneos
- La calidad se debilitó en lugares con estructuras de múltiples direcciones, como bloques de departamentos, centros comerciales, aeropuertos, viviendas con solo nombre y direcciones con accesos privados; OS estimó que sería necesaria una verificación manual de 4.2 millones de direcciones problemáticas
- Recrear datos de direcciones del mismo nivel sin el PAF tomaría cinco años y medio, con peores resultados; además, los códigos postales en sí son propiedad de Royal Mail, por lo que la opción realista para datos abiertos de direcciones se acerca más a recuperar el PAF y publicarlo
Por qué el PAF es un dataset nacional
- El Postcode Address File (PAF) es el dataset central que contiene todas las direcciones postales físicas del Reino Unido
- No es información personal, sino una base de datos de direcciones, y se usa, por ejemplo, para autocompletar direcciones con solo ingresar el código postal en las pantallas de pago de tiendas en línea
- Investigadores y desarrolladores necesitan acceso a datos de direcciones precisos para crear herramientas, servicios y plataformas
- Actualmente, el PAF debe licenciarse a través de Royal Mail, y usar datos de direcciones dentro de un sitio web o app puede costar más de £6000 al año
- Esta estructura de costos se convierte en una barrera de entrada para desarrolladores individuales y pequeñas empresas, y también obstaculiza el crecimiento económico
La privatización de 2013 y el intento del gobierno en 2016
- Cuando Royal Mail se privatizó en 2013, no solo pasaron al sector privado las responsabilidades de reparto postal, sino también la propiedad y gestión del PAF
- En el último presupuesto de George Osborne, en 2016, el gobierno asignó £5m al desarrollo de opciones para un “registro de direcciones autorizado, abierto y de uso libre”
- El documento presupuestario de entonces consideraba que un uso más amplio y actualizaciones más frecuentes de datos de direcciones más precisos podían abrir oportunidades de innovación
- Ocho años después, el PAF sigue bajo propiedad privada y detrás de una alta barrera de costos
- Los resultados de la investigación publicados mediante solicitudes de acceso a la información incluyen el encargo del gobierno a OS para evaluar si podía reconstruir el PAF sin la propiedad intelectual de Royal Mail
Cómo OS creó una base de datos de direcciones sin el PAF
- OS partió del National Address Gazetteer (NAG), una de las fuentes que Royal Mail consulta al crear el PAF
- El NAG se compone de datos aportados por gobiernos locales, departamentos gubernamentales y Ordnance Survey
- Cuando aparece un edificio nuevo, el consejo local envía los cambios al NAG
- A diferencia del PAF, incluye no solo direcciones de edificios, sino también infraestructura de servicios públicos como subestaciones eléctricas, paradas de autobús, parques, etc.
- Como varias organizaciones lo actualizan de maneras distintas, el NAG no está estandarizado como el PAF y sus datos son desordenados
- OS aplicó algoritmos para distinguir, dentro del NAG, las direcciones útiles de edificios y otros elementos del mobiliario urbano
- En ese proceso comparó el NAG con Master Map, los datos cartográficos gráficos de OS
- Mediante el análisis de vectores y formas, intentó determinar si un registro del NAG correspondía a un edificio o dirección individual, o a elementos como postes telefónicos o buzones
- Las direcciones que no podían identificarse con certeza se estimaban, se corregían manualmente observando mapas o, en algunos casos, se verificaban mediante trabajo de campo
- Como resultado del piloto, OS creó más de 21 millones de registros de direcciones completos y 10 millones de registros parcialmente completos; en términos de escala, alcanzó un nivel similar al PAF
Límites revelados por la evaluación de precisión
- OS evaluó la calidad comparando la nueva base de datos con AddressBase
- AddressBase es una base de datos de direcciones separada, propiedad de OS, y se construye usando el NAG y otras fuentes
- La diferencia importante es que AddressBase también incluye datos licenciados del PAF, por los que paga a Royal Mail
- Comparado con AddressBase, el nuevo dataset alcanzó solo 90.8% de precisión
- Esto se traduce en 2.9 millones de direcciones incorrectas
- Las direcciones ausentes o mal incluidas en el nuevo dataset suman 4.2 millones
- Los casos simples, como una casa unifamiliar donde un edificio corresponde a una sola dirección, son relativamente fáciles de reproducir
- Filtrar elementos innecesarios, como infraestructura de servicios públicos, también es relativamente sencillo
- Los errores aumentan apenas la estructura de direcciones se vuelve un poco más compleja
- Cuando un edificio contiene varias direcciones, como en un bloque de departamentos
- Cuando algo parece ser un solo edificio o una sola dirección en el mapa, como un gran centro comercial o un aeropuerto, pero en realidad contiene cientos de direcciones de tiendas y empresas
- Viviendas a las que se accede por un acceso privado compartido
- Viviendas sin número, identificadas solo por nombre
Corrección manual y el problema del tiempo
- OS concluyó que, para que una base de datos sin el PAF fuera realmente útil, habría que verificar manualmente 4.2 millones de direcciones problemáticas
- Sin ese proceso, más de 1 de cada 10 direcciones estaría ausente o tendría errores, dañando gravemente la confianza en el producto
- Organizaciones para las que la precisión es crítica, como los servicios de emergencia, podrían verse especialmente afectadas por estos problemas de calidad
- Incluso si el gobierno siguiera impulsando una nueva base de datos sin el PAF, llevarla a un nivel práctico tomaría cinco años y medio
- El costo fue tachado en la respuesta a la solicitud de acceso a la información y no se hizo público
El alcance limitado del enfoque
- El estudio no examinó suficientemente las oportunidades activas que podría generar la apertura del PAF, como la creatividad y la innovación
- OS no incluyó datos de direcciones de terceros en el nuevo dataset sin el PAF
- Una alternativa posible habría sido comprar millones de direcciones a empresas como Experian y combinarlas
- También habría sido posible que el gobierno reuniera las direcciones enviadas al renovar licencias de conducir o presentar declaraciones de impuestos ante HMRC, e incorporarlas a un nuevo dataset de direcciones
- La calidad de los datos de direcciones depende no solo de la completitud, sino también de la frecuencia de actualización, la velocidad de corrección de errores y la precisión de categorías específicas de direcciones
Por qué abrir el PAF es la conclusión realista
- Los resultados del estudio muestran que reproducir el PAF sin usar datos de Royal Mail es muy difícil
- Reconstruirlo sin el PAF sería caro, tardado y daría como resultado un producto peor en general
- Los códigos postales son propiedad de Royal Mail y no pueden incluirse en el nuevo dataset, lo que vuelve inútiles los datos para muchos usos potenciales
- Para obtener los beneficios de los datos abiertos de direcciones, el gobierno debe recuperar de Royal Mail el control de este dataset nacional esencial
- Publicar el Postcode Address File como datos abiertos sigue siendo el camino realista para el crecimiento y la innovación
1 comentarios
Comentarios de Hacker News
Al otro lado del canal, el gobierno francés creó BAN (Base Adresse Nationale, base de datos nacional de direcciones), que contiene direcciones postales detalladas dentro de Francia y coordenadas precisas: https://adresse.data.gouv.fr/base-adresse-nationale
Sobre esta base de datos ofrecen una interfaz de consulta, una interfaz para que los gobiernos locales mantengan los datos actualizados y una API gratuita para búsqueda de direcciones y geocodificación/geocodificación inversa (https://adresse.data.gouv.fr/api-doc/adresse); los datos se pueden descargar bajo una licencia abierta.
Cargar datos en BAN es obligatorio por ley: cada municipio debe crear y subir una Base Adresse Locale.
Los datos originales provinieron de varias fuentes, incluidas La Poste, el equivalente francés de Royal Mail, y OpenStreetMap.
El problema es que ese número corresponde al menos a 7 estructuras, de las cuales 5 son edificios de departamentos.
Cada uno de esos 5 edificios está dividido en varias escaleras con entradas independientes, sin pasillos que las conecten, así que en la práctica funcionan como edificios separados.
Mi edificio tiene 8 pisos con 2 viviendas por piso, pero no hay números ni letras de puerta, así que a las visitas tengo que explicarles “la puerta de la derecha en el piso N”, y hasta que puse mi nombre en el buzón de la planta baja ni siquiera podía recibir correo.
A mi entender, esa información no está en BAN.
Además, en OpenStreetMap las coordenadas del número de calle de BAN apuntan a una isleta central de la vía frente al acceso a la propiedad privada, pero en la realidad no hay una sola entrada.
Sumando a las respuestas de abajo, el problema no es el sistema de coordenadas en sí, sino la suposición sobre cómo se calcularon.
Una empresa de servicios públicos que conozco sigue atada a una solución de modelado de redes a medida que fue oficialmente descontinuada en 2014, y como se rompió la antigua herramienta de importación de direcciones, 3 empleados de tiempo completo están creando y eliminando direcciones manualmente.
Como señala el artículo, fue un error increíblemente estúpido cometido durante la privatización de Royal Mail. En ese momento se podría haber resuelto muy fácilmente, pero ahora se volvió mucho más difícil.
Incluso si el gobierno quisiera hacerlo ahora, no puede simplemente aprobar una ley que diga “PAF ahora es gratis” sin compensar a Royal Mail con cientos de millones de libras.
También existe por separado el costo de mantener los datos, y en tiempos de recortes presupuestarios es una propuesta difícil de vender.
Por ejemplo, si un arrendador no informa por distintas razones la conversión de una vivienda en una casa de ocupación múltiple, los residentes pueden tener problemas para recibir correo.
Si hay un problema con la dirección, primero hay que consultar al concejo local, así que también hay una parte que encaja bien con la centralización.
El gobierno gastó 5 millones de libras solo en un estudio que concluyó que reconstruir el PAF era imposible, así que cientos de millones de libras suenan más bien como un buen trato.
La conclusión del estudio es que crear una base de datos precisa es realmente difícil. OS concluyó que, para convertir una base de datos sin PAF en un conjunto de datos realmente utilizable, habría que verificar manualmente 4,2 millones de direcciones incorrectas.
El secreto del éxito de Royal Mail con el PAF, y la razón por la que solo Royal Mail puede mantenerlo, es que sus empleados caminan y manejan hasta todos esos puntos de entrega seis días a la semana.
Es comparable al caso en que colaboradores de OpenStreetMap hicieron una solicitud de acceso a la información a Royal Mail sobre la ubicación de los buzones, pero al final fue rechazada con el argumento de que esa información solo la manejan las oficinas locales de clasificación.
Esta es una pelea de larga data. Quienes tengan buena memoria recordarán el choque de hace 15 años, cuando un pequeño grupo de desarrolladores activistas creó ernestmarples.com, que ofrecía acceso gratuito a datos de códigos postales
El sitio llevaba el nombre del inventor del sistema moderno de códigos postales del Reino Unido y, como era de esperarse, fue cerrado rápidamente tras amenazas de acciones legales por parte de Royal Mail
https://www.theguardian.com/technology/2009/oct/05/ernest-ma...
https://blog.okfn.org/2009/10/05/ernest-marples-uk-postcode-...
Así que, para quien solo quiera saber que AB10 1JL corresponde a un área alrededor de 57.14677,-2.09873, esos datos ya existen
PAF es una fuente de datos más detallada y, como se ve en https://www.royalmail.com/find-a-postcode, indica qué direcciones concretas incluye AB10 1JL, como 102-104 Union Street, Aberdeen, 82 Union Street, Timpson Shoe Repairs Ltd, Smart Mobile, etc.
PAF es útil para ofrecer una opción de ingreso rápido de direcciones en sitios web o para validar datos de direcciones
Si simplemente quieres convertir un código postal en una ubicación, esa información ya es pública
La solución simple aquí es que el gobierno presione a Royal Mail
Podría decir que, si no entrega gratis el archivo de códigos postales, el gobierno creará un nuevo sistema de numeración y enviará a cada vivienda una tarjeta de dirección con el nuevo número junto con la próxima factura del impuesto municipal, dejando los códigos postales en el pasado
El nuevo sistema de numeración debería ser único por vivienda e incluir también un dígito de verificación, de modo que solo con el número terceros de logística como Amazon puedan usarlo para entregas
Cuando quiero encontrar un código postal, lo busco en el mapa de solicitudes de planificación
No lo he comprobado en Inglaterra, pero en Escocia sin duda es así; por ejemplo, aquí hay una entrada cualquiera de St Mungo's Cathedral en Glasgow: https://publicaccess.glasgow.gov.uk/online-applications/case...
Por ejemplo, subdivisión de parcelas, fusión de parcelas, dos casas en una misma parcela, edificios de departamentos, casos en que se demuele una casa y se construye un edificio de departamentos, etc.
Trabajo en manufactura y esto se parece mucho al problema de los números de pieza; no es en absoluto trivial, y la empresa donde trabajo también lo trató como algo trivial y lo hizo mal
En comparación, en Países Bajos todos los datos de códigos postales son datos abiertos, e incluyen contornos detallados de edificios y casi toda la información relacionada
La mayoría de los conjuntos de datos se pueden ver en https://app.pdok.nl/viewer
Un ejemplo que me pasa seguido es que Google Maps encuentra mi dirección (ciudad, nombre de calle, número) como ubicación y luego intenta convertirla de vuelta a mi código postal
Parece razonable, pero se rompe cuando sabes que los polígonos de códigos postales pueden superponerse
En el edificio donde vivo hay, más o menos, un código postal distinto por piso, así que cuando ingreso mi dirección en un sitio web que usa la API de Google, “amablemente” autocompleta o “corrige” mi código postal de 1234AB a 1234AZ
Como todos los códigos postales comparten las mismas coordenadas, en la práctica elige uno al azar
Es una situación realmente mala, porque la combinación de código postal y número de calle debería identificar de forma única un buzón; y fue pura suerte que, dentro del conjunto de códigos postales usado en mi edificio, no se reutilizaran números de calle
En el Reino Unido al menos pueden poner la excusa de que los códigos postales son un sistema de 60 años y que es inevitable que arrastre residuos legacy
En cambio, Irlanda, al introducir Éircode hace menos de 10 años, eligió un formato opaco en el que hay que pagar por acceder a la base de datos central y cualquier cosa más allá de unas pocas consultas es de pago
Como solo cubre viviendas, tampoco se puede dar un eircode para un parque o un sendero
Es exactamente el tipo de cosa que diseñaría un gobierno moderno
Empresas como IBM son las que esperaría que diseñaran ese tipo de desastre total que se ve en los grandes proyectos
Lo que falta son las direcciones reales incluidas dentro de cada código postal
Para quienes no son del Reino Unido: un código postal británico acota, por ejemplo, no a una ciudad o zona, sino a aproximadamente entre 1 y 15 edificios.
En la práctica, suelen ser más bien grupos de direcciones cercanas entre sí, y muchas veces hay que conocer la zona, lo que resulta bastante interesante.
[0] https://club.ministryoftesting.com/t/what-are-fun-postcodes-...
La mayor parte de nuestra calle tiene un solo código postal. Antes era una calle de casas unifamiliares, así que habrían sido unas 30 o 40 viviendas, pero al estar en un suburbio urbano la densidad aumentó: algunas casas se subdividieron y se convirtieron en departamentos, y una casa unifamiliar grande podía terminar siendo seis casas pequeñas.
Algunas fueron compradas, demolidas y reemplazadas por edificios que no llaman la atención desde afuera, pero que son completamente distintos de lo que había antes.
Donde vivo es un edificio residencial dedicado de 4 pisos, pero está diseñado para parecer una casa grande desde afuera; la planta baja está por debajo del nivel de la calle y en el frente del último piso solo hay ventanas que parecen de una conversión de ático.
Aun así, sigue siendo un solo código postal, así que probablemente comparto el mismo código con más de 100 hogares.
Recodificar sería confuso y aportaría poco valor, así que en general no se hace.
En la entrega postal real, el código postal es solo una comodidad legible por humanos dentro de la dirección; la máquina, a veces con ayuda humana, convierte una dirección arbitraria en un código de destino único y luego lo imprime como código de barras en el envío.
Por eso, para Royal Mail no es un gran problema que los códigos postales ya no sean tan descriptivos como hace 50 años.
Si revisas el correo recibido durante unos días, verás que durante el proceso de clasificación se le imprimen con inyección de tinta dos códigos de barras de color naranja fluorescente.
El código superior se parece más a un ID único temporal: se asigna a cada pieza de correo dentro del sistema de clasificación y, cuando se agota, vuelve a empezar, lo que ayuda con la depuración y las estadísticas.
El código inferior es, en cierto sentido, el sucesor del código postal: es igual para todos los elementos entregados a la misma dirección y distinto de los de otras direcciones.
En realidad codifica el Delivery Point que maneja PAF, es decir, el punto en el que un empleado de Royal Mail entrega el correo: https://en.wikipedia.org/wiki/RM4SCC
Como usa estos códigos postales “reales”, a Royal Mail le resulta más fácil aceptar solicitudes poco realistas de códigos postales “de vanidad”.
Si los ricos de Dirt Town quieren el código postal de la elegante Upper Niceton vecina, Royal Mail puede permitirlo, porque los equipos reales trabajan con códigos puramente numéricos y por eso siguen tratando esas casas de “Upper Niceton” como lo que son en realidad: Dirt Town.
En algún lado debe existir “las falsedades que creen los programadores sobre las direcciones”.
Desde mi posición como inquilino de una vivienda nueva en el Reino Unido, lo importante no es solo el archivo, sino también la ruta para parchear el archivo.
Durante casi un año tuve que ingresar mi dirección manualmente, porque la base de datos de códigos postales, o las versiones antiguas que tenían pets.com, cameras.com y looroll.com, no lograban ponerse al día con la realidad de mi bungalow de relleno urbano.
Yo era 8A, no el maldito 8. Gracias a la señora de la casa 8 por recibir mis paquetes durante aquellos meses oscuros.
Esto se parece a tzdata. Es valioso no solo porque reúne la historia de las configuraciones horarias geopolíticas, sino también porque se actualiza con cuidado, a tiempo y dentro de presupuesto.
Liberar PAF.v2024_08finalfinal_v3_final.doc está bien, pero ¿quién lo mantendrá actualizado?
No lo digo por animosidad, sino de forma realista. El texto original tiene razón. No podemos competir contra una versión suficientemente buena de PAF, ni reproducirla ni filtrarla; debemos recuperar PAF y toda su infraestructura en manos públicas lo antes posible, y estar preparados para asumir el costo de actualizarla.
En los malos tiempos, hace 10 años, lo recibíamos en CD de una conocida agencia de informes crediticios.
Luego pasamos a actualizaciones “automáticas” para una instalación interna mediante un software pésimo y lleno de bugs, pero ese software se detenía en cuanto te descuidabas un momento, así que no fue una gran mejora.
Ahora pagamos a una empresa completamente distinta y mucho mejor para acceder a él como servicio web.
Hoy supongo que la velocidad con que las actualizaciones llegan hasta el sitio web suele ser, como mínimo, la del ciclo de lanzamientos de PAF.
Si no cambió recientemente, PAF no lo produce directamente Royal Mail, sino que se lo subcontrata a una empresa llamada AFD, ubicada en la Isla de Man.
Mi única queja sobre el servicio actual es que el costo no es muy bueno en relación con el valor. Nuestro costo total promedia unos 30 peniques por búsqueda de dirección, y en nuestro trabajo es poco probable que esas direcciones lleguen a usarse realmente.
El Eircode de Irlanda también tiene esencialmente la misma estructura. Originalmente se creó como un conjunto de datos privado y propietario, y ahora, para usarlo, hay que obtener una licencia de acceso.
Eircode es mejor que un código postal en el sentido de que hay uno por cada edificio/dirección/departamento, pero como no es secuencial, incluso edificios vecinos pueden tener eircodes completamente distintos.
El artículo resaltaba las dificultades con centros comerciales y edificios de departamentos, y por mi experiencia intentando validar grandes volúmenes de Eircode-dirección en un proyecto, definitivamente es un problema.
Un problema aún peor es que no hay forma de enviar a alguien a verificarlo, porque el eircode no es como un número de casa colocado en algún lugar.
Además, una dirección irlandesa válida puede no tener ningún número aparte del eircode, y el eircode en sí es un agregado reciente y no tradicional.
Los National Emergency Operations Centres (NEOCs) del HSE National Ambulance Service (NAS) tienen un paquete GIS que interpreta en tiempo real los Eircodes y las direcciones tradicionales o coloquiales, asociándolos con edificios reales y entradas de edificios, y es bastante impresionante.
Puede enviar indicaciones en tiempo real a ambulancias y otros activos, por lo que desde 2016 se han reducido mucho los retrasos en servicios clínicos por confusiones de direcciones.
Así que el Estado sí tiene la capacidad. Eircode fue algo que elegimos como país, no algo inevitable por sus limitaciones.