- El nuevo libro de Marietje Schaake, The Tech Coup, aborda cómo las empresas tecnológicas privadas están entrando en ámbitos del gobierno como la ciberseguridad, el orden público, las elecciones y la defensa militar, debilitando el Estado de derecho democrático
- Con casos como Pegasus de NSO Group, el reconocimiento facial de Clearview, las empresas de tecnología electoral y decisiones sobre el acceso a Starlink, capacidades y criterios que antes monopolizaban los Estados se están desplazando al sector privado, sin importar el tamaño de la empresa
- El ámbito digital también necesita claridad legal, mecanismos de responsabilidad y transparencia al nivel de lo que se exige en decisiones sobre medicamentos, sustancias químicas, alimentos, automóviles y conflictos en el extranjero
- Cuanto más deleguen los gobiernos funciones públicas a empresas tecnológicas, más deben asumir estas una responsabilidad equivalente a la del gobierno; por eso cobran importancia los expertos técnicos independientes, la ampliación de la responsabilidad pública y mantener la efectividad de FOIA
- El uso de energía y agua de los centros de datos, la evaluación del impacto social antes de desplegar IA, una ley federal de protección de datos y la protección infantil en línea son temas difíciles de resolver solo con decisiones individuales, y están aumentando la supervisión política y la regulación estatal
Los riesgos cuando las empresas tecnológicas asumen funciones del gobierno
- The Tech Coup: How to Save Democracy from Silicon Valley es un libro de Marietje Schaake, Policy Fellow de Stanford HAI, que trata el poder sin control de las empresas privadas como una amenaza para la democracia
- Las empresas tecnológicas no solo tienen enorme poder económico, sino que también están desempeñando funciones que antes se dejaban al gobierno
- ciberseguridad
- sistemas usados en el orden público
- elecciones
- política de defensa militar
- Los casos del libro surgen de la experiencia de Schaake como eurodiputada entre 2009 y 2019 y de su experiencia observando la cultura tecnológica en Stanford’s Cyber Policy Center y Stanford HAI
Cómo la autoridad del Estado pasa a empresas privadas
- En el ámbito digital, el control de la información, la capacidad de actuar y la capacidad de ejecución de las empresas llega a igualar o incluso superar a la del gobierno
- NSO Group Technologies creó y vende el spyware Pegasus, capaz de hackear los dispositivos de las personas
- Si se tiene la capacidad financiera para comprar Pegasus, se puede acceder a funciones del nivel de una agencia de inteligencia
- Es posible acceder a información extremadamente privada de opositores políticos, jueces, periodistas, personal clave y competidores
- Algunas empresas, con el argumento de defender a sus clientes o sus redes, atacan a hackers a través de fronteras y usan capacidades cibernéticas ofensivas bajo el enfoque de "offense as defense"
- Este problema no se limita a las grandes tecnológicas
- NSO, el software de reconocimiento facial de Clearview y las empresas que fabrican tecnología electoral muestran el mismo problema
- También se incluye el caso en que Elon Musk decidió quién podía acceder a la conexión a internet de Starlink en Ucrania
- Capacidades y decisiones que antes eran terreno exclusivo del Estado están fluyendo hacia empresas privadas, pero sin los frenos y contrapesos que se esperan en una sociedad regida por el Estado de derecho
Leyes, responsabilidad y experiencia técnica que necesita el ámbito digital
- Para que los actores democráticos vuelvan a asumir responsabilidad, primero deben reconocer y entender el poder que ejercen las empresas sobre la gobernanza, la democracia y el derecho internacional
- El ámbito digital necesita mecanismos legales e institucionales al nivel de lo que se espera en otros campos de innovación
-
Claridad legal
- Deben establecerse junto con mecanismos de responsabilidad y medidas de transparencia
- La respuesta de Estados Unidos a la guerra en Ucrania muestra diferencias entre el mundo físico y el ámbito cibernético
- Como parte de la OTAN, Estados Unidos dejó claro que no quería desplegar tropas terrestres, pero en el ámbito cibernético las actividades ofensivas continúan
- Esta inconsistencia política puede persistir por las zonas grises legales del ámbito digital
- El derecho internacional, la regulación y la aplicación de la ley deben alcanzar el nivel al que ya llegó la tecnología, y la delegación democrática, la responsabilidad y la supervisión deben funcionar de verdad también en la actividad digital
-
Experiencia técnica independiente para legisladores
- El poder legislativo necesita expertos técnicos independientes que proporcionen información confiable, como ocurre con los equipos jurídicos independientes que ayudan a redactar leyes
- Poner experiencia técnica al servicio de los legisladores ayuda a reducir la influencia de los lobbistas
- Los legisladores deben entender cómo la tecnología afecta a la salud, la educación, la justicia, la vivienda y el transporte
- Como la tecnología alcanza todos los sectores, es difícil abordarla desde una sola comisión
Ampliación de la responsabilidad pública y el vacío de responsabilidad del outsourcing
- Cuanto más externalicen los gobiernos procedimientos hacia empresas tecnológicas, más deben estar sujetas a una responsabilidad equivalente a la del gobierno las funciones que operan en nombre del Estado
- Schaake llama a esto “public accountability extension”
- Es un mecanismo para cambiar la situación actual, en la que el gobierno entrega funciones públicas esenciales a empresas tecnológicas y al mismo tiempo se deshace de la responsabilidad
- En varias jurisdicciones, la policía no puede hackear directamente el dispositivo de un sospechoso, pero sí puede contratar a una empresa de hacking para obtener el mismo acceso
- La policía puede decir que no hackea por sí misma, pero consigue el acceso por otros medios
- En Estados Unidos, los gobiernos estatales y locales no pueden discriminar a los ciudadanos según categorías sensibles, pero a veces la tecnología que usan sí ejecuta esa discriminación sin asumir responsabilidad
- También aparece un vacío de responsabilidad en las solicitudes FOIA
- Los periodistas tienen derecho, en nombre de los ciudadanos, a saber qué hace el gobierno
- Si el gobierno encarga a una empresa privada tareas gubernamentales o la recolección y almacenamiento de información pública, esa empresa puede no conservar la información con los estándares exigidos a las instituciones públicas
- Si la empresa se niega a entregar información por preocupaciones de propiedad o confidencialidad, se debilita la efectividad de FOIA
- La ampliación de la responsabilidad pública apunta a los casos en que los gobiernos se esconden detrás de empresas, incluidas las tecnológicas, para evitar rendir cuentas
Centros de datos, IA y agenda ciudadana
- No existen estándares ni obligaciones para que las empresas reporten el uso actual o previsto de energía y agua de los centros de datos
- Hay estimaciones de casos individuales, pero no se conoce la suma total del consumo energético de todos los centros de datos
- Cuando grandes tecnológicas intentan construir centros de datos en comunidades locales, a veces presentan sus propuestas mediante empresas pantalla que ocultan que detrás están Amazon, Google o Microsoft
- Abogados y consultores destacan los beneficios económicos que recibiría la comunidad
- Puede ocultarse información clave, como la identidad de la empresa y la demanda energética del centro de datos
- La falta de transparencia sobre el uso de recursos escasos obstaculiza una buena gobernanza
- En Países Bajos, concejales municipales de medio tiempo tuvieron que decidir si permitir centros de datos hiperescalables, frente a corporaciones multimillonarias y sus abogados, contadores, consultores y firmas de PR
- Si se estandarizaran los requisitos de transparencia y reporte sobre quién está detrás de un proyecto y sus indicadores de uso energético, sería posible un debate público más justo
- Incluso con mayor transparencia, seguiría abierta la pregunta de si la sociedad realmente quiere más centros de datos que consumen recursos energéticos escasos en una era de cambio climático
- Si no se conocen los costos, es difícil responder preguntas de costo-beneficio
- Uno de los principales problemas en Estados Unidos es la capacidad de la red eléctrica
- Hay reportes de que, incluso en economías avanzadas como Países Bajos, Estados Unidos y Reino Unido, la red funciona casi en nivel de emergencia, en code red
- La red está siendo llevada al límite y aumentan las fallas y los apagones
- Muchos centros de datos aprobados hace varios años podrían enfrentar una ola de desastres cuando entren en operación dos o tres años después
- El principio de precaución del derecho de la UE exige detenerse para evaluar el impacto social antes de desplegar ampliamente nuevas innovaciones
- Las autoridades aún no lo han aplicado a innovaciones tecnológicas como la IA
- El contexto es la presión por usar IA y la aprobación por separado de la ley de IA de la UE
- Es un concepto útil cuando incluso los ingenieros se sorprenden por el comportamiento de los modelos de IA, o cuando la sociedad, los legisladores y los ciudadanos desconocen el impacto cotidiano de cierta innovación
- Desde hace mucho tiempo ha habido señales en todo el mundo del daño causado por el poder de las empresas tecnológicas, pero los estadounidenses tendían a verlas como hechos lejanos
- En 2017, Facebook fue usado en Myanmar para promover el genocidio
- En 2018, Cambridge Analytica extrajo y analizó datos de millones de usuarios de Facebook y permitió que campañas políticas los usaran para hacer perfiles psicológicos, lo que pudo influir en la votación del Brexit en Reino Unido
- El asalto al Capitolio de Estados Unidos en 2020 fue impulsado en parte por desinformación en redes sociales, y terminó haciendo que decenas de millones de estadounidenses perdieran la confianza en el proceso electoral
- Los consumidores pueden elegir cómo usar la tecnología y los servicios, pero existe una gran asimetría de poder entre los usuarios individuales de internet y dispositivos y las empresas tecnológicas
- Se necesitan supervisión independiente y poderes de control, y en Estados Unidos hay demandas de una ley federal de protección de datos, protección infantil en línea, mejor ciberseguridad y herramientas para responder a la desinformación en salud y elecciones
- No existe una mayoría política en el Congreso para llevarlo a cabo
- Como el gobierno federal no puede o no quiere hacerlo, varios estados están impulsando leyes y regulaciones tecnológicas
1 comentarios
Opiniones de Hacker News
El problema es más profundo. El software ha erosionado por completo los derechos de propiedad, y entiendo que alguien acuñó el término “tecnofeudalismo”.
Las empresas son dueñas del software, y nosotros, como siervos, solo lo rentamos.
https://www.gnu.org/philosophy/not-ipr.html
“Ser dueño para siempre y solo rentarlo a otros” no es para nada un derecho de propiedad débil desde el punto de vista de quien hizo el producto.
https://www.schneier.com/essays/archives/2012/11/when_it_com...
Si soy dueño de un terreno, puedo cobrarle entrada a la gente, pero eso no significa que esté renunciando a mis derechos de propiedad. No vemos esto como una “erosión” de los derechos de propiedad, sino más bien como lo contrario.
Esto es un poco ortogonal al tema del artículo, pero toca un problema más profundo de la regulación tecnológica.
Internet conecta a todos y permite que la información fluya libremente, pero ese flujo libre de información está erosionando la confianza de la gente.
Queremos libertad de expresión, pero la gente engaña y coacciona con palabras. No podemos crear reglas que lo impidan, y la gente siempre encuentra formas de evadirlas.
Ken Thompson escribió “Reflections on Trusting Trust” en 1984, y su conclusión fue que no podemos dejar en manos de las computadoras la construcción de confianza. Pero para vivir en sociedad necesitamos confianza.
Confiar en las personas es un instinto humano, pero en línea las mentiras se propagan rápido, y después de que te engañan varias veces pierdes la confianza natural en los demás. Me pregunto qué deberíamos hacer de aquí en adelante.
La Internet temprana era, en general, así: BBS, Usenet, foros. Pero en la Internet moderna consumimos sobre todo sitios arbitrarios de búsquedas de Google o cuentas de TikTok que podrían ser bots.
Las FAANG han reemplazado activamente los modelos basados en seguir a alguien por feeds algorítmicos para obtener más ganancias.
Cuando se pierde la confianza, recuperarla requiere 10 veces, a veces 100 veces más esfuerzo. A veces ni siquiera vuelve aunque se invierta 100 veces más.
Es una regla básica de la vida, y fingir que esa regla no existe no la hace desaparecer.
El problema de fondo es que las instituciones que tradicionalmente gozaban de confianza y que ahora todavía quieren ser confiables no quieren hacer el esfuerzo necesario para recuperar la confianza perdida. Pienso en los medios y el gobierno.
En cambio, desperdician energía exigiendo descaradamente que se les crea, y cuanto más lo hacen, más se abre la brecha. Al culpar a quienes se sienten vulnerados, la brecha se agranda aún más.
Fuerzas maliciosas se han metido por ese vacío. Hasta que las instituciones acepten que “la confianza real se gana”, esas fuerzas seguirán prosperando.
En ese entonces también aumentó drásticamente la circulación del conocimiento, y seguramente aumentaron también las mentiras y falsedades. ¿Cómo lidió la sociedad con eso?
Es decir, al encontrar en la web información que considero lo bastante “verdadera” como para reemplazar lo que decían las organizaciones existentes, perdí confianza en instituciones, expertos, funcionarios públicos, etc.
Sí, perdí confianza por la web, pero fue porque me permitió acceder a la verdad real y darme cuenta de lo deshonestas que son muchas personas.
Por ejemplo, si un mecánico cobra de más, ahora el cliente puede descubrirlo investigando en línea. Antes quizás lo aceptaba sin más, pero ahora se le puede cuestionar con razón. La deshonestidad ya existía; ahora simplemente es más fácil descubrirla.
El artículo en sí no es muy bueno, aunque el autor tenga una trayectoria respetable en Europa.
El pasaje que dice: “así como los legisladores dependen de equipos legales independientes para crear leyes que resistan impugnaciones judiciales, también se necesitan expertos tecnológicos independientes que proporcionen información confiable…” muestra que no conoce lo suficiente el contexto estadounidense.
El Congreso de EE. UU. antes tenía una Office of Technology Assessment, pero fue eliminada en 1995. “Los republicanos de la Cámara calificaron a la OTA de derrochadora y hostil a los intereses del GOP”.
El problema general no es la “tecnología”, sino los monopolios. Los bancos y las farmacias de EE. UU. también se han reducido a 2 o 3 actores principales.
Una aplicación estricta de la Sherman Act podría ayudar. Aunque la experiencia de la división de AT&T no es demasiado alentadora.
https://en.wikipedia.org/wiki/Office_of_Technology_Assessmen...
Cuando leo “proporcionar experiencia tecnológica a los legisladores”, me imagino más a consultores independientes explicando un algoritmo en inglés sencillo que a un departamento científico del gobierno haciendo investigación.
Más bien, ese punto muestra que si se puede eliminar una institución que no te gusta simplemente alegando que está sesgada hacia un partido, entonces la lógica bipartidista de “nosotros contra ellos” es el problema central. Me pregunto si eso era lo que querías decir con monopolio.
Estoy de acuerdo en que los monopolios son un problema, pero eso no hace que desaparezcan los demás problemas. Las soluciones tecnológicas pueden terminar haciendo cumplir reglas implícitas que no fueron decididas por un proceso democrático, y su impacto sobre las personas puede ser del mismo nivel que una decisión gubernamental.
Personalmente, creo que las empresas y los gobiernos están tratando juntos con la gente
Los gobiernos presionan a las empresas para que hagan cosas que el gobierno no debería hacer directamente. Si una empresa se niega a cooperar, la amenazan con dividirla
Hay una razón por la que AT&T tenía una sala de interceptación dedicada para la NSA. Es como amenazar a DJI con prohibirla en uno de sus mayores mercados si no vende drones a Ucrania
No vale la pena leerlo. Porque no es producto de un proceso deductivo que parta de los hechos y avance hacia una conclusión inevitable
El proceso causal que dio origen a este libro y a su publicidad está en la ruptura de la relación de patrocinio político entre el progresismo estadounidense y las empresas tecnológicas de EE. UU. Como resultado, surgió una demanda de justificaciones a posteriori para cambios en la asignación de efectivo, en la asignación de presupuestos para guerras legales, etc.
El autor partió de la conclusión de que “por eso hay que quitarles poder a las empresas tecnológicas” y acomodó el razonamiento hacia atrás
Por lo tanto, salvo en los casos en que esa conclusión pueda resultar correcta por casualidad, este documento no transmite implicaciones útiles en términos de valor esperado
Hay un pasaje que dice: “Compárese cómo respondió Estados Unidos a la guerra en Ucrania en el mundo físico y en el ámbito cibernético…”
Hace unas semanas vi Zero Days, un buen documental sobre Stuxnet, y fue bastante impactante ver hasta qué punto las herramientas de este ámbito quedan fuera del escrutinio público
Las capacidades ofensivas que podrían equivaler a actos de guerra parecen recibir muy poca supervisión democrática, e incluso un exdirector de la NSA consideró que el alcance de la clasificación de documentos había sido excesivo. Incluso varios años después de que los hechos ya hubieran pasado, casi nadie quería hablar con los realizadores de la película
Ya sea la seguridad privada distópica al estilo Palantir o las herramientas usadas por las agencias de inteligencia, puede decirse que la situación sobre la que advierte el texto ya había llegado hace 10 años
¿Qué se puede hacer frente al poder de gobierno sin controles?
La sociedad la moldean quienes simplemente se presentan, así que si quieres tener voz, tienes que presentarte en persona
Parece funcionar bastante aceptablemente
Hay una predicción que dice que “también en Países Bajos, una economía avanzada como Estados Unidos y Reino Unido, la red eléctrica está operando en código rojo, casi a nivel de emergencia, y cuando entren en funcionamiento los centros de datos podría enfrentar una ola de desastres”
Mantengo un documento llamado Timed Predictions para revisar más adelante predicciones importantes
Agregaré este punto ahí. Dentro de unos años, en 2026-2027, evaluaré si se sufrió una “ola de desastres” por una red eléctrica sobrecargada
O quizá alguien podría iniciar al menos una versión parcialmente pública
También sería posible algo como entradas de blog con fecha futura que tengan notificaciones RSS/Atom o suscripción a feeds
El problema no es Big Tech, sino que vivimos en la fantasía de que se puede mantener la red eléctrica con energías renovables sin baterías de escala de teravatios-hora
Muchas veces quise hacer algo parecido y, a la inversa, también quise revisar predicciones una vez que sus resultados ya habían ocurrido
El discurso en línea subestima demasiado el éxito. Muchas veces la gente no parece hablar porque tenga razón, sino porque la gente quiere escuchar eso
Lo que más preocupa es la parte en que los smartphones tomaron el control de la seguridad de forma sutil. Ahora, sin un celular, no se puede pagar impuestos, acceder a servicios médicos ni siquiera iniciar sesión en el trabajo.
Si hace 25 años alguien hubiera dicho que el acceso a los servicios gubernamentales se iba a privatizar por completo, habría habido una enorme reacción en contra. Pero no solo aceptamos esto, sino que lo hicimos voluntariamente a cambio de comodidad. Ahora estamos en problemas.
Antes, los estadounidenses se entusiasmaban con la frase “quien renuncia a la libertad por seguridad no obtiene ni libertad ni seguridad”, pero ahora es peor que eso. Renunciamos a la seguridad por comodidad, entregamos todo sobre nosotros a multimillonarios sin escrúpulos que quieren reemplazar al gobierno entero, y encima vamos a terminar pagándoles mientras lo hacen.
Tampoco estoy seguro de que necesitar un celular para acceder a la red de una empresa sea algo más indignante que necesitar una laptop para el trabajo de oficina moderno.
https://www.irs.gov/filing/where-to-file-paper-tax-returns-w...
Los smartphones claramente han hecho que el uso de los servicios gubernamentales sea más accesible y eficiente. Sobre todo para comunidades marginadas, zonas rurales y personas con discapacidad.
Dicho eso, es difícil estar de acuerdo con la afirmación de que el acceso a los servicios gubernamentales se haya “privatizado por completo”. Los gobiernos suelen colaborar con empresas privadas para desarrollar y ofrecer estos servicios, y normalmente existe cierto grado de supervisión regulatoria. De esa colaboración también han surgido innovaciones útiles, como portales de declaración de impuestos en línea o la telemedicina.
La frase de Franklin sobre cambiar libertad por seguridad sigue siendo válida, pero también hay que mirar el otro lado. Si rechazamos el cambio tecnológico, corremos el riesgo de quedarnos atrás. El verdadero desafío es encontrar un equilibrio entre comodidad, seguridad y derechos individuales.
En vez de sonar la alarma hablando de una “toma de control sutil”, sería mejor enfocarse en medidas prácticas para proteger los derechos. Estándares abiertos, marcos regulatorios más fuertes e inversión en programas de alfabetización digital serían un buen punto de partida.
Los vouchers escolares fueron y siguen siendo un tema candente para varios grupos influyentes, y también hay personas que quieren eliminar por completo los servicios gubernamentales y reemplazarlos por servicios privados. La mentalidad pro-privatización y de gobierno pequeño ha sido enormemente popular al menos desde Reagan.
En Estados Unidos, la historia de renunciar a la libertad por seguridad, o por comodidad o religión, es aún más larga. También hay muchos ejemplos del siglo XX, como las políticas de la Guerra Fría y las pruebas ideológicas, diversas leyes de moral pública y la zonificación restrictiva.
Lo interesante del texto es esto:
El gobierno está externalizando cada vez más procedimientos a empresas tecnológicas. Si una empresa tecnológica opera en nombre del gobierno, debería ser tan responsable como el gobierno.
A esto lo llaman “extensión de la responsabilidad pública”, y aunque suena simple, podría ser un enorme cambio de reglas. Hoy, a medida que el gobierno externaliza cada vez más funciones gubernamentales centrales a empresas tecnológicas, también está transfiriéndoles su responsabilidad.