La inteligencia artificial y el espionaje masivo

• Internet hizo posible almacenar en grandes cantidades datos de comportamiento como ubicación, compras, con quién hablamos y qué leemos, y la IA puede añadir a eso espionaje masivo al interpretar incluso el contenido de las conversaciones
• La vigilancia tradicional se parecía más a recopilar registros de comportamiento, pero el espionaje requería escuchar y entender conversaciones, por lo que hasta ahora el cuello de botella era el trabajo humano
• La IA generativa puede resumir una reunión de una hora en una página y organizar millones de conversaciones por tema, convirtiendo el análisis de conversaciones en un problema de búsqueda a gran escala
• Aunque la IA no sea perfecta y pueda omitir o equivocarse en información importante, la diferencia de escala es enorme porque puede duplicarse millones de veces y mejorar con rapidez
• En un contexto donde gobiernos y empresas ya usan vigilancia masiva, si también se analizan conversaciones, emociones e información secreta, el control social y la publicidad personalizada podrían volverse aún más fuertes

---

La diferencia entre vigilancia y espionaje

• Vigilancia (surveillance) es recopilar registros de comportamiento como adónde fue una persona, con quién habló, qué compró y qué hizo
• Espionaje (spying) es esconder dispositivos de escucha en una casa o un auto, o intervenir llamadas telefónicas para oír y entender el contenido mismo de las conversaciones
• Antes de Internet, vigilar a alguien exigía que una persona lo siguiera directamente para registrar sus desplazamientos, encuentros, compras, acciones y lecturas, lo que costaba mucho tiempo y dinero
• Los smartphones, las tarjetas de crédito, las apps, los lectores de libros electrónicos y las computadoras registran continuamente la ubicación, las compras, con quién hablamos, qué leemos y cómo usamos esos dispositivos
• A medida que bajaron los costos de almacenamiento y procesamiento, la vigilancia, antes pasiva e individual, se convirtió en vigilancia masiva, pasó a formar parte del modelo de negocio de Internet y se volvió difícil de evitar de una manera razonable

El cuello de botella del espionaje que la IA está cambiando

• El espionaje ha sido técnicamente posible desde hace mucho tiempo, pero para escuchar conversaciones y entender su significado hacía falta trabajo humano
• Empresas de spyware como NSO Group pueden ayudar a gobiernos a hackear los teléfonos de las personas, pero aún queda la tarea de clasificar y comprender las conversaciones recolectadas
• Gobiernos como el de China podían censurar publicaciones en redes sociales según ciertas palabras o frases, pero ese método era tosco y fácil de esquivar
• La IA generativa moderna hace bien los resúmenes y puede devolver una síntesis de una página al recibir como entrada una reunión de una hora
• La IA también puede buscar entre millones de conversaciones, organizarlas por tema o encontrar quién está hablando de qué

La búsqueda retrospectiva que creó la vigilancia masiva

• La vigilancia masiva cambia de forma fundamental la naturaleza de la vigilancia
• Como todos los datos se almacenan, aunque no se haya definido un objetivo en un momento concreto, después se pueden revisar los datos del pasado
• Si existen datos almacenados, se pueden hacer consultas como las siguientes
  • Encontrar dónde estuvo una persona específica el año pasado
  • Crear una lista de los sedanes rojos que pasaron por cierta carretera el mes pasado
  • Encontrar a todas las personas que compraron durante el último año todos los materiales para una bomba de olla a presión
  • Encontrar pares de teléfonos que se desplazaron uno hacia el otro, se apagaron, y una hora después volvieron a encenderse mientras se alejaban entre sí
• Este método permite identificar objetivos después, basándose en los datos guardados, sin necesidad de haber señalado primero a una persona específica

Consultas posibles con el espionaje masivo

• El espionaje masivo también puede cambiar la naturaleza del espionaje
• Todos los datos de conversaciones pasan a estar almacenados, ser buscables y poder entenderse a gran escala
• Las consultas posibles incluyen las siguientes
  • Encontrar quién habló de un tema específico el mes pasado y cómo fue cambiando esa discusión
  • Verificar si, cuando una persona llamada A realizó cierta acción, alguien le indicó que la hiciera
  • Encontrar personas que planean delitos, difunden rumores o planean asistir a una protesta política
• Para encontrar estructuras organizativas, se puede ver si una persona da instrucciones similares a varias personas y a quiénes se retransmiten después esas instrucciones
• También se puede seguir con enorme detalle cómo se forman y se rompen amistades, alianzas y relaciones de confianza

Micrófonos y dispositivos que siempre escuchan

• El espionaje masivo no se limita a conversaciones realizadas en teléfonos o computadoras
• Así como las cámaras distribuidas por todas partes impulsaron la vigilancia masiva, los micrófonos instalados en todas partes también pueden impulsar el espionaje masivo
• Siri, Alexa y “Hey Google” ya están siempre escuchando, aunque esas conversaciones todavía no se están almacenando

Cambios de comportamiento y control social

• Cuando las personas saben que están siendo vigiladas constantemente, cambian su comportamiento
• La gente se conforma y practica la autocensura, lo que produce un chilling effect
• La vigilancia facilita el control social, y el espionaje puede empeorarlo aún más
• Gobiernos de todo el mundo ya usan vigilancia masiva, y es muy probable que también lleven a cabo espionaje masivo

Empresas y la industria publicitaria

• Las empresas también pueden espiar a las personas
• La vigilancia masiva abrió la era de la publicidad personalizada, y el espionaje masivo podría reforzar todavía más esa industria
• Qué dice la gente, cómo se siente y qué secretos guarda es información atractiva para marketers que buscan ventajas
• A las empresas tecnológicas dominantes que hoy vigilan continuamente a las personas les resultará difícil resistir la tentación de recolectar y usar esos datos
• En los primeros años de Gmail, Google habló de la posibilidad de usar el contenido de Gmail para ofrecer publicidad personalizada, pero luego lo dejó de lado
  • Lo más probable es que fuera porque los datos de palabras clave recolectados entonces eran muy deficientes y poco útiles para marketing
  • Si la IA mejora el análisis del contenido de las conversaciones, esa condición podría cambiar
  • Puede que Google no sea la primera en espiar las conversaciones de los usuarios, pero si otras empresas empiezan, podría serle difícil resistirse por la presión de los anunciantes

Posibilidad y límites de la regulación

• Esta capacidad sí se puede limitar
• Se puede prohibir el espionaje masivo o aprobar reglas fuertes de privacidad de datos
• Sin embargo, todavía no se han tomado medidas para limitar la vigilancia masiva
• Y si no se ha podido limitar la vigilancia masiva, tampoco está claro por qué el espionaje habría de recibir un trato distinto

[GN⁺]

Opiniones de Hacker News

• Esto no es un problema tecnológico, sino político. La Unión Soviética, junto con Alemania y otros países, logró llevar a cabo vigilancia masiva de forma efectiva usando solo tecnología primitiva, con papeleo sobre todos los movimientos y acciones, informantes, vigilancia de audio, etc.
  La razón por la que algo así no llegó de la misma manera a lugares como Estados Unidos no fue que no tuvieran la capacidad de realizar esa vigilancia, sino que no había interés político
  Si miramos al pasado, se han prohibido cosas que la gente nunca habría imaginado que podrían prohibirse. Por ejemplo, convertir en delito cultivar una planta en casa para consumirla, o criminalizar que un empresario tenga la “opinión equivocada” sobre a quién prestar servicio o a quién contratar
  Una “opción nuclear” que ilegalice por completo la recopilación de datos sobre individuos, sin importar si están agregados o no, tampoco sería un salto jurídico enorme. El problema no es que la tecnología exista, sino que el interés político por contenerla es cercano a cero, y que vivimos en una “democracia” donde la voluntad popular casi no se refleja en la aprobación de leyes

  • Estoy de acuerdo en que hay que detener la vigilancia, pero explicaría el problema de otra forma. En su apogeo, la KGB tenía alrededor de 500 mil empleados directos, además de incontables informantes
    Hoy el FBI emplea a unas 35 mil personas. Pero si el FBI pudiera alcanzar el nivel de alcance de la KGB en su apogeo sin aumentar significativamente su personal, la situación cambiaría
    La tecnología elimina el costo de la vigilancia, y antes ese costo funcionaba como salvaguarda. Esto cambia de raíz el cálculo político
    El hecho de que en 1945 las computadoras fueran demasiado caras y requirieran logística a escala industrial no tiene nada que ver con la realidad actual, en la que la mayoría de las personas lleva siempre varias computadoras encima. Nadie niega que los cambios en la tecnología de fabricación de computadoras transformaron fundamentalmente el papel de las computadoras en la vida cotidiana
    En 1945, en teoría también habría sido posible poner una computadora en cada hogar, pero que no hubiera voluntad “política” para hacerlo no implica que hoy no haga falta ajustar hábitos, moral y políticas a este nuevo entorno
    Por eso no entiendo por qué siempre aparece alguien diciendo algo como: “las pesadillas distópicas ya eran técnicamente posibles antes, y como entonces no requerían consideraciones especiales, ahora tampoco las requieren”
  • Es difícil verlo simplemente como un problema político. Muchas políticas que creemos que son decisiones políticas en realidad estuvieron impulsadas por el costo y la disponibilidad de la tecnología
    Cuando los costos bajan, nuevas opciones se vuelven realidad. Se suele admirar la capacidad de la Stasi, pero en realidad ellos habrían cambiado con gusto casi todas sus herramientas manuales de vigilancia por herramientas poderosas modernas como las órdenes de geocerca. En Estados Unidos, las agencias de aplicación de la ley las usan de forma rutinaria, casi sin debate político
  • Comparar la criminalización de cultivar una planta en casa para consumirla con la criminalización de que un empresario tenga la “opinión equivocada” sobre a quién prestar servicio o a quién contratar es una comparación bastante fuerte
    Lo primero, si se refiere al cannabis, es un caso documentado de racismo y represión política; lo segundo fue diseñado casi con el propósito opuesto
    Restringir las “opiniones equivocadas” de un empresario sobre a quién prestar servicio busca que las personas con la “identidad equivocada” también puedan participar en la sociedad y no queden excluidas por la decisión de un negocio. Por supuesto, “opinión equivocada” tampoco es un término legal, y pensar que está bien discriminar a ciertos grupos no es ilegal en sí mismo. Lo ilegal es llevar ese pensamiento a la acción
    Si ofreces servicios al público, por ley debes ofrecérselos a todos los miembros del público. Si creer en la discriminación se llama una “opinión equivocada”, esa es la expresión del autor original, así que no voy a discutirla
  • La distinción entre “es un problema político, no tecnológico” parece una distinción sin gran diferencia. La política, es decir, los mecanismos de consenso y las estructuras de gobernanza, también son tecnologías que coordinan y dan forma a la actividad social
    Decidir cómo implementar nuevas herramientas de vigilancia también es una pregunta técnica, y creo que la forma en que se usa una herramienta define en parte qué es esa herramienta. Los cambios en las capacidades de una herramienta específica no son el límite absoluto de la “tecnología”; las decisiones sobre implementación y uso también entran en ese ámbito
    Aunque no haya sido tan total como lo construido en la Unión Soviética, Estados Unidos también creó efectivamente una red de vigilancia masiva dirigida a sus propios ciudadanos https://www.brennancenter.org/our-work/analysis-opinion/hist...
    El punto de que “con tecnología primitiva se logró hacer vigilancia masiva de manera efectiva” es especialmente bueno. Históricamente, los avances en comunicaciones y en herramientas de procesamiento de señales e información llevaron a muchos avances en vigilancia estatal, y corresponde ver a la IA no tanto como un terreno completamente nuevo, sino como un refinamiento dentro de una larga historia, o un pequeño cambio de paradigma
    Si se refiere a la Civil Rights Act, el delito concreto no es “tener una opinión equivocada”, sino obstaculizar los viajes y el comercio interestatales. El prejuicio no encaja con un modelo de país en el que los ciudadanos deben poder desplazarse libremente dentro de sus fronteras y mantenerse por sí mismos
  • Al final se puede decir que todo es un problema político, pero este asunto está siendo impulsado por completo por el cambio tecnológico. En la Unión Soviética y Alemania Oriental, redactar informes requería cientos de miles de personas
    Hoy, una sola persona capacitada puede pasar la mayor parte de una tarde descargando un dump de HN y generar reportes por usuario con un LLM. Puede incluir campos como orientación política, leyes infringidas, países visitados recientemente, rango de patrimonio neto, formación académica y trayectoria profesional, contactos profesionales

• No sé por qué no se habla más de esto. La realidad del Estado de vigilancia era que había demasiados datos como para vigilarlos de manera práctica, y la IA resuelve directamente este problema al resumir datos complejos.
  Al menos a corto plazo, no creo que el verdadero peligro de la IA sea un planeta de clips, ni una falla de alineación moral, ni un entorno mediático donde desaparece la creatividad. Más bien, el peligro es que sea una herramienta para apuntar contra quienes se desvían del promedio, una herramienta diseñada para dar respuestas con seguridad y entrenada con el promedio de las películas y de los sesgos sociales.

  • En lugares como Palantir ya hay gente de dentro y fuera de esta comunidad construyendo eso desde hace años.
    El CEO de YC también fue uno de los primeros empleados de Palantir, y otro socio de YC ahora apoya tecnologías invasivas de vigilancia policial. A ellos les gusta esto tanto financiera como políticamente.
  • Detrás de que la IA resuelva mediante resúmenes el problema de que el volumen de datos del Estado de vigilancia no podía monitorearse de forma práctica, hay dos dinámicas más fundamentales: la economía de la atención y la política de la capacidad de combate.
    Antes, la atención humana tenía un valor fundamental. Para coordinarse o tomar decisiones a fin de usar recursos, los humanos tenían que prestar atención a otros humanos. La sociedad se sacudirá en este nivel tan fundamental.
    La política de la capacidad de combate también está relacionada, pero requiere un análisis aparte. La política actual funciona porque la clase dominante necesita la fuerza militar de las masas para garantizar la estabilidad de una entidad política a gran escala. Esto podría considerarse parte del nivel básico de la organización política humana, y también se verá sacudido de manera fundamental de una forma que nunca hemos visto.
    El mundo orwelliano que la IA hace posible, con una bota pisando un rostro para siempre, es solo el primer paso. Si yo fuera una IA que intentara tomar el control del mundo, no sería Skynet. Eso parece burdo e innecesariamente caro.
    En cambio, primero me volvería indispensable de innumerables maneras y luego convencería a toda la humanidad de extinguirse en silencio por razones económicas y culturales.
  • Este texto también podría convertirse en un resumen de IA si se corta después de “This, IMO, is the real danger of AI (at present)”.
    Lo que sigue se comprimiría como metadatos de retórica emocional. El patrón retórico de “no es a, ni b, ni c, sino d” en realidad añade algo de valor de contenido, pero en mayor medida aporta sabor.
    Lo que se revela aquí es que quien escribe podría ser alguien capaz de causar problemas. Además, combinado con otros datos, también podría inferirse qué películas o productos le interesan.
  • Desde el principio he pensado así el modelo de amenaza de la vigilancia masiva por parte de gobiernos y empresas. Nunca pensé que un oficinista de corbata fuera a interesarse especialmente en mí para arrestarme, venderme más cosas o cancelarme el seguro.
    Siempre vi esas narrativas individuales y antropomorfizadas como una pista falsa para distraer. Al igual que la frase “no tengo nada que ocultar” centra la atención en algunos asuntos concretos, en realidad la estructura es la de un Gran Hermano sentado sobre tu hombro, juzgando continuamente en términos generales.
    Siempre he pensado que el actor de amenaza es un análisis masivo algorítmico realizado a escala, de forma simultánea o retrospectiva, sobre todos los silos de datos almacenados, y que la presión resultante se aplicaría de manera gradual y sutil.
  • La IA no ha resuelto el problema de resumir datasets grandes y complejos. Por ejemplo, una forma común de tratar con estos datasets es usar un subconjunto aleatorio, y eso puede hacerse incluso con una sola línea de código.

• Los nuevos bots de Google, Meta, Microsoft y otros no solo rastrearán la web o las redes sociales, sino que rastrearán temas y personas específicas.
  En muchas culturas existe el concepto de “ángeles guardianes” o “espíritus ancestrales” que velan por la vida de sus descendientes.
  En un futuro de tecnofeudalismo no muy lejano, los “bots de asistente personal” ofrecidos por grandes empresas te “ayudarán” respondiendo preguntas, recopilando información y encargándose de lo que les indiques. Pero ese “bot de asistente personal” no será un ángel guardián: solo te servirá de la manera que quiera su creador corporativo.
  Su verdadera misión será recopilar información sobre ti, delatarte y proporcionarte información seleccionada que el mejor postor quiera mostrarte, y a veces información “patrocinada”. No te sirven a ti, sirven a su creador. No te dejes engañar.

  • Te garantizo que eso no me va a pasar. Al menos puedo evitar esa pesadilla. Será difícil evitar otras distopías que traerá la IA, pero esa en particular sí puedo evitarla.
  • Esto puede aplicarse a cualquier dispositivo que hoy lleve “smart” en el nombre. Por ejemplo, smartphones, smart TVs o semáforos inteligentes.
    Ojalá la gente no creyera que lo “smart” siempre es mejor.
    Pero ya nos están entrenando para ese futuro. La gente se está acostumbrando más a hablarle al dispositivo que tiene en la mano, a depender de las apps de mapas para orientarse y a usar prompts de consulta para IA.
  • Las grandes empresas como Google ya hacen esto incluso sin IA. ¿La IA hará que sus servicios sean más tentadores? Sí, pero la IA open source y la búsqueda también están avanzando mucho, así que podrían romper la dependencia de las grandes tecnológicas.
    Si todo el mundo termina teniendo en casa un dispositivo de IA autoalojado de 500 dólares, Google podría perder su razón de existir. Vale la pena trabajar por ese futuro.
  • Eso es simplemente tu celular.
  • Suena poético, pero siempre tengo la sensación de que, si algo puede imaginarse, entonces más bien no va a ocurrir. La única constante es la sorpresa, y estos avances solo pueden acertarse por casualidad.

• Otro aspecto es lo que veo como aplicación masiva de la ley penal posibilitada por la IA
  Muchas leyes penales se redactaron con la premisa implícita de que investigar y procesar delitos requiere recursos, y que ese costo limita el alcance práctico de la aplicación de la ley. Es decir, queda a discreción del fiscal
  Dejando de lado por un momento las injusticias muy graves que surgen cuando esa discreción fiscal se usa de manera desigual, imaginemos un mundo sin esa discreción. Puede sonar algo artificial, pero la IA al menos podría hacerlo posible. ¿Sería un mundo mejor si solo se aplicara el código legal vigente tal como está?
  De pronto, una IA que vigila la actividad pública podría activar investigadores de IA para redactar borradores de órdenes judiciales, y un juez de IA podría aprobarlas y escribir las opiniones. Se podría afirmar que se respetó el debido proceso y que el registro de que había causa probable para una investigación adicional o un arresto quedó disponible para el público
  Como en Demolition Man, podrían salir multas de la pared, pero con una causa probable claramente descrita y pruebas bien presentadas por escrito
  Investigar y procesar ejemplos triviales se vuelve posible de repente. Un CCTV detecta a alguien que recoge un billete de 20 dólares en la calle y descubre que esa persona no lo declaró en sus impuestos. También serían posibles las innumerables formas de violar la CFAA, una mención al pasar sobre piratear música en el metro, investigaciones por drogas basadas en pupilas dilatadas y tambaleos, e incluso multas por cruzar la calle indebidamente emitidas como si fueran cámaras de velocidad
  Si quien exprime es una IA barata, ¿a quién le importa si “sale más caro el caldo que las albóndigas”?
  Hay que pensar si este es un mundo mejor, o si nos deja a todos a merced de un fiscal motivado a sobreanalizar toda nuestra vida
  Volviendo a la realidad, sé que el argumento de que “si se aplican todas las leyes llega el caos” es más una acusación contra el sistema de justicia penal que contra la IA. Pero la IA nos permite imaginar realmente un mundo así, y tal vez esa idea ayude a crear mejores instituciones

  • Otra posibilidad es que la sociedad decaiga tanto que la gente del futuro elija esta distopía. Uno puede imaginar un mundo de desempleo totalmente automatizado que salió terriblemente mal, con gran parte de la sociedad pobre, sin propósito y adicta a los opioides
    No una utopía de ingreso básico para filósofos y artistas, sino un mundo donde la decadencia tipo Rust Belt se intensifica cada vez más, cuesta abajo y sin frenos
    Los “sobrevivientes”, sin saber qué hacer, podrían optar por la opción nuclear de automatizar el panóptico, las cárceles y la segregación de una sociedad fallida. Es un contraste como el de los Eloi y los Morlocks, o los trabajadores tecnológicos del Bay Area y los campamentos de carpas del Bay Area
    Si en el pasado tampoco lo hicimos mejor, ¿por qué deberíamos esperar hacerlo mejor en un futuro donde las “herramientas” de control social sean más eficientes y poderosas? Sobre todo cuando eliminar la empatía será más fácil que nunca gracias a la distancia emocional de los intermediarios de IA
  • Emitir multas por cruzar indebidamente la calle como si fueran cámaras de velocidad ya existía desde 2017: https://futurism.com/facial-recognition-china-social-credit
    Desde abril de 2017, esta ciudad de la provincia china de Guangdong adoptó una técnica bastante fuerte para impedir que la gente cruce indebidamente. A quienes cruzan con el semáforo en rojo se les muestra la cara, el nombre y parte de su ID gubernamental en grandes pantallas LED sobre las intersecciones, gracias a dispositivos de reconocimiento facial en toda la ciudad
    También se volvió más invasivo. Según Motherboard, una empresa china de inteligencia artificial está integrando este sistema con las operadoras móviles para que los infractores reciban un mensaje de texto con la multa en cuanto son detectados
  • Recuerdo que Weapons of Math Destruction incluía varios ejemplos de IA que mostraban sesgos como los que ya existen en el sistema judicial, la banca, etc.
  • El software existente en esta línea ya muestra sesgos contra grupos marginados. También es fácil prever un futuro en el que al final se agreguen filtros para eximir a ciertas personas de las molestias de esta vigilancia. Puede que se necesiten nuevas leyes, y se aprobarán
  • Buen punto. Si la justicia la aplica un sistema y no una persona, el desenlace de ese escenario es que perdemos de muchas formas la capacidad de cuestionar el proceso o a los involucrados
    Como no habrá nadie responsable, será casi imposible impugnar la forma en que se aplica la ley

• Personalmente, me preocupan mucho más las implicaciones de la censura y los modelos de negocio que esta habilita que las implicaciones de la vigilancia
  Pronto será posible crear una app de citas donde chatear sea gratis, pero haya que pagar para acordar un lugar de encuentro o intercambiar datos de contacto. Sobre todo si el 99% de la gente no conoce formas de evadirlo y los intentos repetidos de evasión terminan en bloqueo
  Lo mismo con apps como Airbnb o eBay: podrán impedir que la gente las use como simples sitios de listados y cierre tratos fuera de la plataforma para evitar comisiones
  Las implicaciones para las redes sociales son más preocupantes. Se podría inspeccionar cada publicación, comentario, mensaje, foto y video, y retirar de inmediato de la distribución cualquier contenido que promueva ciertos puntos de vista. Por ejemplo, se podría filtrar cualquier mención, por indirecta que sea, de algo como la teoría de la fuga de laboratorio
  El software de control parental aprovechará estas funciones al máximo y, en la práctica, redefinirá la crianza helicóptero

• En el momento en que la tecnología llegó hasta ahí, esas dos cosas eran, hasta cierto punto, inevitables. Más que debatir cómo detenerlo, deberíamos discutir con más urgencia cómo adaptarnos a esta realidad.
  Detenerlo es, en gran medida, un esfuerzo inútil, y solo sería posible si todos fueran buenos, y no lo somos.
  Un concepto relacionado es la vigilancia ubicua. Es una situación en la que, literalmente adonde vayas, hay vigilancia activa en todas partes, y la IA la filtra e investiga sin cesar. En muchos espacios públicos de zonas densamente pobladas ya es así hasta cierto punto, pero imagina que estuviera en todas partes y que en la práctica fuera imposible de evitar. Salvo excepciones como una jaula de Faraday o un gorro de papel aluminio.
  La forma más realista de limitar las desventajas de esta vigilancia es una combinación de legislación que la regule y contravigilancia que aumente la probabilidad de que la vigilancia ilegal sea observada y castigada. Es un enfoque en el que la tecnología está ampliamente disponible, pero su uso se regula.
  La gente seguirá intentando evadirlo, pero si se descubre un abuso de la tecnología, deberá pagarse con cárcel. Cuando la vigilancia se vuelva inevitable, nadie podrá estar seguro de que nadie está viendo su mala conducta.
  La ventaja de la vigilancia masiva multilateral es que nadie puede estar absolutamente seguro de que nadie está viendo un abuso de poder.
  Claro que, en la realidad, los Estados ya la están adoptando y monopolizando, lo que en China, Corea del Norte y otros lugares está llevando a escenarios tipo 1984.

  • Necesitamos crear más comunidades offline. Crear cosas que estén dentro de espacios que podamos controlar por completo, fuera del alcance de la IA, y empezar a discouraging o directamente expulsar el uso de celulares en esos espacios.
    Es importante no crear formas de interacción que prioricen lo digital.
  • Mi opinión sobre todo lo de ciencia ficción o futurista es parecida. Si los seres humanos pueden imaginar algo, en el momento en que descubren cómo hacerlo, su existencia queda prácticamente garantizada.
  • No estoy de acuerdo con esa actitud fatalista. Como mínimo, hace demasiado fácil que aumente la vigilancia. Se pueden imponer límites legales.

• Pronto, en nombre de la “seguridad”, nos escanearán la cara en promedio cada pocos minutos, y será obligatorio en muchos ámbitos de la vida. Es un mundo patético que TI ayudó a crear.

  • Algunos de nosotros ya hacemos eso con el celular. Sé que no es lo que querías decir, pero en cierto sentido quizá precondicionó a la sociedad.
  • La gente lleva años escaneándose la huella o la cara para desbloquear el celular.
  • Se pondrá mucho peor, y rápido.
    Las interfaces neuronales son la última frontera de la privacidad, y parece que pronto la TSA hará un escaneo rápido antes de abordar.
    Sería sensato crear una Neural Bill of Rights si no queremos perder este tren como pasó con el rastreo en internet.
    https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
  • Lo veo como algo inevitable, pero sin F/OSS habría tardado mucho más.

• Schneier se equivocó al decir que “hey google” siempre está escuchando. Google procesa la palabra de activación en el dispositivo con hardware dedicado, y solo después envía el audio a niveles superiores.
  Aunque cueste creerlo, los responsables de privacidad de Google realmente intentan hacer lo correcto. No siempre lo logran, pero con nuestro hardware y la escucha de la palabra de activación sí lo lograron.
  Soy empleado de Google, pero no del área de hardware.

  • Lo que él dijo fue que “Siri, Alexa y ‘Hey Google’ ya están siempre escuchando; simplemente las conversaciones todavía no se almacenan”. Funcionalmente, es lo mismo que acabas de describir.
    El procesamiento de la palabra de activación en hardware es una función de ahorro de energía, no una mejora de privacidad. Puede que algunos dispositivos no tengan recursos suficientes para enviar o almacenar todo el audio, pero el audio es pequeño y la extracción de texto no requiere una reproducción perfecta, así que muchos dispositivos probablemente podrían reprogramarse para hacerlo si se acepta el costo en duración de batería.

• Por eso no hay que restringir el software de IA. Porque la gente común y las personas con conciencia cívica deben poder desarrollar sistemas de IA de respuesta personales y públicos para enfrentarse a la IA corporativa. El futuro de la IA es una estructura adversarial.
  Por supuesto, la libertad de desarrollar software de IA no significa libertad para usarlo como a uno se le dé la gana, y su uso debe regularse, especialmente para proteger a las personas de este tipo de cosas. Pero no podemos confiar en la gente, así que debemos poder desplegar medios de autodefensa.

  • ¿Cómo podría una IA adversarial proteger la privacidad o la libertad de comportarse en espacios públicos de formas que el Gran Hermano no tolera?
  • Un sistema operativo basado en LLM, como la visión de Karpathy, necesita un nuevo dictador benevolente parecido a Linus Torvalds, alguien como Yann LeCun.

• La IA no permite la vigilancia masiva; la vigilancia masiva ya existe.
  La IA permite todo tipo de extracción de datos de comportamiento de décadas sobre todo el mundo.
  Haciendo de abogado del diablo, en un mundo donde los datos no se usaran con mala fe y solo se utilizaran para procesar delitos conforme a leyes aprobadas por el gobierno, podría llevar a una sociedad en la que nadie esté por encima de la ley y todos reciban el mismo trato.
  Pero los humanos que controlan el sistema claramente quieren tener ventaja, así que eso rara vez sale bien.