La ciudad de Seattle entregó por error 32 millones de correos electrónicos por 40 dólares (2018)
(mchap.io)- Quien hizo la solicitud de registros públicos pidió en 2017 solo los metadatos de los correos de seattle.gov, como remitente, destinatario, copias y hora y fecha, pero la ciudad de Seattle entregó un archivo que incluía hasta los primeros 256 caracteres de unos 32 millones de correos electrónicos
- Seattle IT estimó al principio que revisar esto requeriría 320 años-persona y 33 millones de dólares en salarios, pero después redujo el costo del primer lote a 1.25 dólares al decir que, como eran metadatos sin cuerpo del mensaje, no hacía falta revisión
- En unos 400 archivos subidos al portal de registros públicos se mezclaron datos sensibles como nombres de usuario y contraseñas, números de tarjeta de crédito, números de seguro social, licencias de conducir, información de investigaciones policiales y del FBI, y alertas de Zabbix
- Cuando la persona solicitante avisó del problema, Seattle suspendió temporalmente el acceso a GovQA y dijo que volvería a procesar una versión corregida; después pidió borrar los archivos, escanear el disco duro mediante Kroll y aceptar condiciones de exención legal
- Al final, la persona solicitante borró los archivos y presentó una declaración junto con medidas de limpieza del disco, y Seattle empezó a entregar por partes los metadatos originalmente pedidos desde el 26 de enero de 2018, llegando a 27 millones de registros al momento de escribir
El punto de partida de la solicitud de registros públicos
- Después de haber pedido metadatos de llamadas y correos de la oficina del alcalde de Chicago, la persona solicitante amplió sus solicitudes de registros públicos para comprobar si problemas similares aparecían de forma sistémica en distintas partes de Estados Unidos y para mapear la estructura de las comunicaciones
- Presentó más de 100 solicitudes de metadatos de correo electrónico en todo Estados Unidos, con al menos 2 solicitudes por estado
- El primer lote grande se envió a las ciudades más grandes de 14 estados elegidos al azar, y los únicos lugares donde intentó llevar la solicitud hasta el final fueron Houston y Seattle
- Houston respondió relativamente rápido y envió por correo metadatos de 6 millones de correos electrónicos
- La solicitud a Seattle después derivó en un incidente mucho más complejo
La solicitud original enviada a Seattle
- El 2 de abril de 2017, la persona solicitante pidió al departamento de Seattle IT los metadatos de todos los correos intercambiados durante 2017 con direcciones de correo propiedad de Seattle
- From address
- To address
- bcc addresses
- cc addresses
- Time
- Date
- Desde el punto de vista técnico, consideraba que era una solicitud que podía resolverse con un comando de PowerShell de una sola línea, pero a nivel de política entendía que normalmente era el tipo de solicitud que provoca una fuerte resistencia
- La primera respuesta de Seattle indicó que en los 90 días más recientes había 5.5 millones de correos enviados desde direcciones seattle.gov y 26.8 millones recibidos, por lo que había una cantidad muy grande de registros que revisar antes de compartirlos
- La persona solicitante mantuvo su pedido de los aproximadamente 32 millones de registros completos, argumentando que, al pedir solo metadatos y no el contenido, el volumen de revisión debería ser relativamente menor
La estimación de costo de 33 millones de dólares
- Al reescribir el contenido de la solicitud, Seattle pareció usar una redacción que cambiaba el alcance original
- La solicitud original estaba limitada a metadatos, pero la versión reescrita parecía abarcar también el contenido de los correos
- La persona solicitante dijo que no sabía por qué había ocurrido ese cambio
- Seattle IT estimó que cada correo requeriría entre 30 segundos y 2 minutos de revisión, y que el trabajo completo podría costar unos 320 años-persona y 33 millones de dólares en salarios
- La persona solicitante señaló que las solicitudes grandes de registros públicos suelen rechazarse por ser “excesivamente onerosas”, pero que una estimación de costos de esta magnitud era muy poco común
- También se presentó un costo de almacenamiento por separado
- Seattle calculó que los datos solicitados podrían ocupar entre 8 y 10TB y que podía montar un servidor FTP para permitir la descarga
- Según su modelo interno de costos, podía cobrar 2,480 dólares al año más 2.11 dólares por GB, y calculó que para 10TB harían falta 21,606.40 dólares al año
- La persona solicitante contrastó esto con el volcado de metadatos de correo de Houston, que pesaba 1.2GB, y con el hecho de que Seattle usaba Amazon S3 para almacenar datos de solicitudes de registros públicos en ese momento
- El precio de S3 en ese entonces era de 0.023 dólares por GB
- Seattle no cerró la solicitud de inmediato y preguntó si quería seguir adelante; la persona solicitante preguntó el 29 de mayo cuántos registros recibiría, pero no obtuvo respuesta
Retiro de la estimación y primer lote por 1.25 dólares
- El 5 de junio, Seattle reconoció que la estimación inicial de costos era incorrecta y pidió 1.25 dólares por el primer lote, correspondiente a dos días de registros, el 1 y 2 de enero dentro de un periodo de tres meses
- Informó que el archivo entregado sería una hoja de cálculo de Excel con solo los metadatos solicitados y sin el cuerpo de los correos, por lo que no necesitaba revisión y podía entregarse más rápido de lo que sugerían los 320 años mencionados antes
- La persona solicitante interpretó que exigir un cheque individual por cada bloque de dos días era una forma de dificultar deliberadamente la solicitud, y envió por adelantado 14 cheques
- Los primeros 13 eran de aproximadamente 1.25 dólares cada uno
- Después Seattle ya no exigió más pagos individuales adicionales
- Durante dos meses no hubo grandes novedades, y Seattle creó una cuenta en el portal de registros públicos después de cobrar todos los cheques
La filtración masiva revelada en el portal GovQA
- El 22 de agosto, al volver a agregar esa cuenta de correo en su teléfono, la persona solicitante confirmó que la solicitud ya estaba completada
- En el portal de solicitudes de registros públicos de Seattle había unos 400 archivos disponibles para descargar, que en conjunto contenían metadatos de unos 32 millones de correos electrónicos
- El problema más grave era que también se incluían los primeros 256 caracteres de cada correo
- Entre los archivos se mezclaban datos como:
- nombres de usuario y contraseñas
- números de tarjeta de crédito
- números de seguro social y licencias de conducir
- investigaciones policiales en curso y reportes de arresto
- contenido de mensajes sobre infidelidad
- investigaciones del FBI
- alertas de Zabbix
- La persona solicitante consideró que se trataba de un enorme conjunto de datos lleno de información muy privada y que probablemente violaba varias leyes, incluyendo la Privacy Act of 1974 y la legislación del estado de Washington sobre registros públicos
- Aunque es difícil saber la causa exacta, planteó la posibilidad de que hubiera una ruptura de comunicación relacionada con la reescritura de la solicitud y con las vacaciones del funcionario original de registros públicos
El reclamo y la respuesta inicial de Seattle
- La persona solicitante respondió esperando que Seattle detectara por sí misma el error, indicando que los registros entregados no coincidían con la solicitud original y contenían mucha más información de la pedida, por lo que debían revisarse de nuevo
- Seattle respondió que la información solicitada estaba en columnas específicas del informe y que, como los registros se habían generado mediante un reporte del sistema, no podían limitarse solo a los campos pedidos
- From address estaba en la columna J
- To address en la K
- bcc address en la M
- cc address en la L
- Time and date en la R
- Seattle sostuvo que no tenía obligación de crear registros nuevos que no existían y que, como ya había proporcionado todos los registros que respondían a la solicitud, consideraba cerrado el caso
- Cuando la persona solicitante detalló la información filtrada y dijo que presentaría el problema ante la Washington Office of Privacy and Data Protection, Seattle reconoció que se trataba de un error involuntario
- Seattle suspendió temporalmente el acceso a GovQA para investigar la causa e informó que entregaría registros corregidos a través de GovQA la semana siguiente
- Al mismo tiempo, pidió a la persona solicitante que no revisara, compartiera, copiara ni usara esos registros
La llamada con el CTO y la Chief Privacy Officer
- Después, la persona solicitante entró en una conferencia telefónica con el CTO de Seattle y la Chief Privacy Officer a través de personas relacionadas con el Slack de Seattle Open Data
- En la llamada se discutió qué había pasado y cómo debían manejarse los registros
- Mientras preguntaba si podía conservar los correos, se cortó la conexión a internet y, cuando volvió a conectarse unos 10 minutos después, dijo que el tono de la conversación había cambiado
- Seattle planteó las siguientes condiciones
- borrar todos los archivos
- contratar a Kroll para escanear el disco duro y certificar la eliminación
- si aceptaba 1 y 2, ofrecer una exención legal completa
- La persona solicitante no aceptó y acordaron que a partir de ahí hablarían los abogados
Presión legal y confirmación del borrado
- Después de la llamada, el abogado de la persona solicitante contactó al abogado de Seattle, y al parecer Seattle estaba evaluando abordar el caso mediante posibles acusaciones relacionadas con la Computer Fraud and Abuse Act
- La persona solicitante consideró problemático que se tratara así una información que la propia Seattle había enviado, y finalmente borró los archivos
- Durante aproximadamente un mes, la mayoría de las conversaciones se desarrollaron entre los abogados de ambas partes
- La persona solicitante propuso una declaración jurada explicando lo ocurrido, cómo se habían borrado los archivos y cómo se verificaría ese borrado
- Seattle estuvo en general de acuerdo con la declaración, pero exigió medidas adicionales de garantía, como ejecutar un bash script que sobrescribiera con bits aleatorios el espacio libre no utilizado del disco
- Al final, la persona solicitante ejecutó
zerofreeyfstrim, y Seattle aceptó la declaración - Después de eso ya no hubo más amenazas legales
Cobertura externa y notificación de Seattle
- Aproximadamente una semana después de la llamada, una persona empleada de la ciudad de Seattle filtró este caso a KIRO7 de Seattle
- La investigación de KIRO7 reveló que Seattle todavía no había notificado la filtración, algo que era necesario conforme a la ley del estado de Washington sobre solicitudes de registros públicos
- Solo después de la investigación de KIRO7 Seattle notificó a sus empleados sobre la filtración de correos
- La cobertura relacionada apareció en un artículo de KIRO7
- Una semana después, un artículo de Crosscut abordó el caso con más detalle, incluyendo la historia del departamento de Seattle IT
- El 19 de enero renunció el CTO de Seattle, Michael Mattmiller, y la persona solicitante dijo que era difícil saber si la renuncia estaba relacionada con la filtración de correos, aunque por el momento en que ocurrió consideró que valía la pena mencionarlo
Entrega final de metadatos
- Desde el 26 de enero de 2018, Seattle comenzó a entregar por partes los metadatos de correo electrónico originalmente solicitados
- Al momento de escribir, se habían entregado 27 millones de registros de metadatos de correo electrónico
- Los únicos departamentos que todavía no habían entregado metadatos eran Police Department y Human Services
- Los datos sin procesar pueden descargarse desde el dataset de Kaggle
- El dataset todavía contiene elementos que dificultan su procesamiento y análisis
- mezcla triple quotes, punto y coma y comas, por lo que está muy sucio
- incluye millones de alertas del sistema
- en las comunicaciones entre direcciones seattle.gov hay dos registros de metadatos distintos para una misma interacción
- La persona solicitante está trabajando en una prueba de concepto para usar estos datos en el contexto de las leyes de registros públicos y visualizó un día de metadatos con Gephi
- el layout es Yifan Hu
- aplicó filtros con k-core mínimo de 5 y degree mínimo de 5
- Pidió que quien pueda ayudar con modelado de redes se ponga en contacto
La controversia legislativa en Washington y los planes posteriores
- El 23 de febrero, entre el primer y el segundo lote de metadatos, la legislatura del estado de Washington intentó aprobar SB6617
- SB6617 era un proyecto que excluía de la obligación de divulgación bajo la ley de registros públicos del estado de Washington varios tipos de registros, incluidos los intercambios de correo electrónico
- El proyecto pasó por la Cámara y el Senado y fue enviado a la oficina del gobernador menos de 24 horas después de su primera lectura
- Seattle Times cubrió el tema en este artículo
- La oficina del gobernador de Washington recibió más de 6,300 llamadas, 100 cartas y más de 12,500 correos electrónicos, y el gobernador finalmente vetó el proyecto
- Cuando la persona solicitante preguntó si esta controversia estaba relacionada con la demora del lote de metadatos, Seattle respondió que no, que ya había corregido el bug que frenaba el proceso y que enviaría registros adicionales esa misma semana
- Un mes después, Seattle comenzó a enviar el resto de los lotes
- La persona solicitante sigue reuniendo más metadatos de correo de varias ciudades y planea escribir más adelante sobre los fundamentos de las solicitudes de registros públicos y sobre solicitudes de registros digitales
- El próximo texto tratará una demanda en curso contra la OMB de la Casa Blanca por metadatos de correo de enero de 2017, y afirma que en la primera audiencia el abogado de la parte demandada no se presentó
1 comentarios
Comentarios en Hacker News
La parte más interesante de esta historia es el riesgo legal de seguir conservando registros divulgados por error
Si el autor no le hubiera avisado a la ciudad que había publicado información mucho más sensible de lo que creía, probablemente la ciudad nunca se habría enterado del error y quizá el autor habría podido hacer lo que quisiera con esos datos
Pero en el momento en que lo informó, la ciudad supo que los datos habían llegado a manos de alguien que no debía tener acceso, y surgió la pregunta legal de si él tenía derecho a conservarlos
Si se tratara de propiedad física o dinero, hay mucha jurisprudencia sobre qué hacer con algo recibido por error evidente. Si un concesionario deja un auto nuevo en la dirección equivocada y después descubre que era para otra dirección, no puedes quedarte con el auto; si te depositan por error 100 mil dólares en tu cuenta bancaria, también los recuperan
Pero ¿qué pasa con los datos, es decir, con la información? Creo que hay argumentos legales bastante sólidos de que se te puede ordenar no conservar ciertas categorías de datos, como los secretos comerciales
Así que, aunque esta situación haya sido un error gigantesco de la ciudad, parece correcta la decisión del autor de cooperar con la solicitud de la ciudad. Lo lamentable es que, en vez de recompensarlo por avisar del problema, intentaran amenazarlo si no cooperaba para arreglar su propio error
https://about.usps.com/publications/pub300a/pub300a_v04_revi...
https://faq.usps.com/s/article/What-Options-Do-I-Have-Regard...
También hay más discusión sobre qué pasa cuando recibes algo entregado por error
https://law.stackexchange.com/questions/17533/if-a-retailer-...
Si te parece que el trato después de avisar ya fue malo, basta imaginar lo mucho peor que habría sido si no lo hubiera hecho
Y tampoco se sigue necesariamente que hubiera podido hacer libremente lo que quisiera con los datos. Si hubiera divulgado más información, probablemente se habría metido en un problema serio
Incluso ahora, que al final los datos fueron borrados, estamos en una situación en la que hay que confiar en cierta medida en la declaración que firmó
Por eso no está claro que exista un marco legal definido para procesar a alguien solo por seguir conservando registros recibidos por error. Sería distinto si se tratara de propiedad física o de ciertos datos protegidos por copyright
La TI gubernamental es famosa por ser cara y, muchas veces, un desastre. Hace poco tuve que crear una cuenta en una agencia local y descubrí por prueba y error que dos campos de fecha del formulario web exigían formatos distintos
Al final recibí los datos de acceso, pero no funcionaban, y cuando asumí que era un problema de contraseña e intenté restablecerla, me salió un error 404
La persona a cargo fue muy amable, pero solo pude iniciar sesión después de que la agencia hiciera el restablecimiento tres veces
Si una empresa privada tuviera este tipo de problemas, quebraría. El gobierno probablemente solo contratará a otra persona incompetente, y esa persona conseguirá un empleo de por vida
Claro, seguramente no hay ninguna forma real de hacer responsable a esa empresa subcontratada
Por eso la TI gubernamental suele ser tan mala. Es un entorno horrible para trabajar y la paga no compite con el sector privado
Antes trabajé mucho en el área de datos abiertos, e incluso llegué a trabajar en el departamento de datos abiertos de un gobierno de una gran ciudad
Este tipo de acciones no ayuda en nada a esa causa. Solo refuerza la creencia de que los datos abiertos y las solicitudes de acceso a la información son un enorme desperdicio de tiempo y recursos, y que solo abren riesgos legales sin una buena razón
También me sorprende bastante que se considere que los metadatos de correos electrónicos del gobierno sean legítimamente datos abiertos. ¿Crees que debería hacerse público cuántas veces le enviaste correos al gobierno y recibiste respuesta, y con qué departamento te comunicaste? Yo no lo creo
Si está bien que ellos tengan tus metadatos, pero no que tú tengas los de ellos, eso crea una asimetría extraña
No es un reflejo perfecto, pero si OP demuestra que estos metadatos son poderosos y usa eso para presionar a que ninguna de las dos partes recopile este tipo de metadatos, entonces sí se me ocurre un uso legítimo de una solicitud de acceso a la información como esta
Este tipo de cosas pasa todo el tiempo. Y peor aún, a menudo los altos cargos, por ejemplo los directores de datos, ni siquiera pueden hablar con la prensa o con organizaciones vecinas por culpa del equipo legal. De hecho, una vez un CDO me dijo: “no puedo hablar contigo”
Una frase que uso mucho sobre los datos abiertos es: “los datos abiertos son una mentira”. Al final, no existe ningún mecanismo legal para verificar que un conjunto de datos publicado como abierto esté completo tanto en columnas como en filas
Muy rara vez se explica si falta información o por qué falta. Como resultado, el público termina malinterpretando profundamente la realidad, y en muchos casos eso se hace a propósito por miedo a que el público malinterprete los datos
Así que al final uno termina yéndose por FOIA e incluso peleando en tribunales. Hay una razón por la que he tenido que presentar como 10 demandas relacionadas con FOIA
En resumen, los datos abiertos están bien, pero por su falta de rigor y de rendición de cuentas, en la práctica no sirven para trabajos que requieren profundidad
Eso incluye tanto los metadatos como el contenido, y te indican que no incluyas información sensible que no quieras que se haga pública
Fue una lectura entretenida
Habiendo trabajado del otro lado como administrador de sistemas, casi puedo imaginar cómo habrán recibido su solicitud inicial
Como pasa muchas veces, probablemente solo leyeron una parte de la solicitud y se espantaron por la escala. Así que en su cabeza pensaron que estaba pidiendo demasiada información, y muy probablemente se burlaron de él durante días junto al dispensador de agua partiendo de una premisa equivocada
Al final, supongo que alguien entendió mal lo que había que hacer y cometió el error fatal de exportar encabezados recortados desde valores hardcodeados, en vez de parsear los encabezados del correo
Y seguramente solo empezaron a tomarlo en serio después de que él señaló el problema
No estoy diciendo que el área de TI deba someterse a todas las solicitudes sin chistar, ni que se deba esperar cortesía incluso frente a abusos reales
Pero el chisme tóxico junto al dispensador de agua no es eso. Es literalmente insultar la inteligencia de la gente o disfrutar del sufrimiento ajeno, especialmente cuando se ejerce poder sobre los usuarios
Me recuerda a cuando el Assessor de nuestro condado amenazó con llamar a la policía solo porque dijimos que queríamos datos públicos
También intentó cobrarnos miles de dólares extra por materiales por los que solo debía cobrarse el costo de copiar los registros, y hubo varias cosas más
Qué divertido es tratar con organismos públicos
En Europa, una solicitud así conecta información sobre personas, es decir, quién contactó a quién y en qué fecha y hora
Guardar esto, y mucho más procesarlo, solo está permitido cuando existe una necesidad de saberlo
Ya es una interpretación forzada insistir en que un funcionario que actúa en nombre de Seattle deja de ser un individuo, pero incluso en ese caso, todas las direcciones de correo fuera del dominio del gobierno de Seattle son un área completamente prohibida sin orden judicial, causa justificada y la condición de ser un investigador criminal
Ah, la privacidad
Y las ciudades publican información personal todo el tiempo sin inmutarse. Las direcciones particulares o los propietarios de bienes inmuebles dentro de la ciudad son parte del registro público, y la ciudad no suele tener problema en entregar nombres y direcciones a cualquiera que los solicite
Las direcciones de correo son mucho menos riesgosas que eso
Tiene sentido que los ciudadanos puedan verificar qué hace el gobierno. Por desgracia, el gobierno registra demasiadas cosas, y a veces uno desearía que no las registrara, y mejor aún que esos registros no fueran públicos
Si te parece que esta solicitud es mala, conviene revisar la historia de LexisNexis. Su negocio central es pedir datos, reunirlos en una sola base de datos y permitir hacer investigaciones de antecedentes sobre prácticamente cualquier persona de la que el gobierno de EE. UU. tenga una noción vaga
Antes también existía un sitio llamado masscorruption, que según recuerdo lo llevaba alguien obsesionado con un gobierno de condado en Massachusetts. Presentó una solicitud FOIA por todos los archivos de imagen de los escritorios del gobierno, efectivamente los recibió, y publicó imágenes personales de empleados que nunca debieron estar guardadas en computadoras del gobierno
En mi trabajo, cada vez que pongo a un empleado del gobierno en el campo de destinatario, Outlook muestra un banner diciendo que el mensaje en redacción podría quedar sujeto a FOIA. Sobre todo en gobiernos locales, nunca se sabe qué hará que la gente se movilice o qué le llamará la atención
El autor parece tener una idea completamente distinta de lo que es “metadatos”
Desde mi punto de vista, metadatos sería “la cantidad aproximada de correos”, si acaso “bloques de direcciones”, “franjas horarias promediadas de manera amplia”, y quizá “categorías muy vagas”
Quién lo envió, a quién fue, y quiénes estaban en copia oculta y copia no entra en mi definición de metadatos
Por ley, deben mantener un registro de todas sus acciones y comunicaciones, y cualquiera puede revisarlo
En sentido estricto, no deberían usar recursos del gobierno para comunicaciones privadas, y legalmente tampoco deberían usar medios privados de comunicación para asuntos públicos
Aparte del punto central del artículo, de verdad me da curiosidad: ¿hay tanta gente que puede llamar de inmediato a “mi abogado”?
El artículo dice que Seattle actuó como si fuera a impulsar cargos bajo la Computer Fraud And Abuse Act (CFAA) por la información que ellos mismos enviaron, así que el autor hizo que su abogado se comunicara con el abogado de la otra parte
En la jurisdicción que conozco, como el litigio es prácticamente el principal recurso cuando rechazan una solicitud o cobran una tarifa que uno considera injusta, tiene sentido
Cuando tengo dudas, prefiero seguir con alguien que ya conoce mi situación
Por ejemplo, en una vivienda rentada anterior tuve algunos problemas, y en ese proceso me uní al Mieterschutzbund, una asociación de protección a inquilinos. Eso me da derecho a una consulta de 1 hora con un especialista de la asociación y también a 1 o 2 horas con un abogado especializado en derecho de arrendamiento
Como ese proceso normalmente solo toma 1 o 2 días, en la práctica es como tener un abogado de arrendamiento listo para actuar
A cambio, yo le arreglé el cableado eléctrico de aluminio de su casa
Archivo: https://web.archive.org/web/20231024164822/https://mchap.io/...
¿De verdad es una solicitud razonable a la que el gobierno debería responder pedir la siguiente información sobre todos los correos enviados hacia o desde direcciones de correo propiedad de Seattle en 2017?
¿No expone esto demasiada información privada sobre los empleados del gobierno y las personas con las que se comunican? El artículo y la ley parecen tratar esto como algo completamente normal, pero a mí me parece muy extraño
Por ejemplo, podría revelar la hora exacta a la que la gente entra y sale de la oficina, la información de vacaciones de todos los empleados, amistades o relaciones que no se explican por el organigrama o la división de equipos, e incluso pistas relacionadas con investigaciones criminales
Si se puede inferir tanto, me pregunto si realmente se le puede llamar metadatos
¿Burócratas que solo ponen trabas? Sí. ¿Analfabetismo digital? Sí. ¿Culpar al solicitante por sus propios errores? Sí. ¿Todo eso junto? No tiene precio.