La vigilancia con IA debería prohibirse; aún estamos a tiempo de actuar

• Las conversaciones con chatbots de IA generan las mismas violaciones de privacidad que el rastreo en línea tradicional, pero de forma más grave
• Los chatbots recopilan más información personal que las búsquedas y llegan a identificar incluso los procesos de pensamiento y el estilo de comunicación de una persona
• Esta información corre un alto riesgo de usarse con más frecuencia y de forma más sofisticada para la manipulación, como publicidad o adoctrinamiento ideológico
• Antes existían servicios de IA que protegían la privacidad, pero últimamente han aumentado en varias empresas las filtraciones de privacidad y el mal uso de datos
• La ausencia de regulación legal hace que el problema se repita, por lo que es urgente aprobar leyes que prohíban la vigilancia con IA

---

La gravedad de las violaciones de privacidad con los chatbots de IA

• Todos los problemas de violación de privacidad que ya existían con el rastreo en línea también aparecen en la IA, y de manera aún más grave
• Las conversaciones con chatbots suelen ser más largas y específicas que una simple consulta de búsqueda, por lo que tienden a exponer mucha más información personal
• A la gente le resulta cada vez más fácil revelar a un chatbot sus preocupaciones, emociones y forma de pensar
• A diferencia del historial de búsqueda, los chatbots crean un perfil personal integral que incluye la personalidad, la forma de comunicarse, etc.

Riesgos del uso de la información por IA y de la manipulación

• Esta información personal, mucho más rica, puede explotarse de manera aún más efectiva para la manipulación comercial e ideológica
• Mediante publicidad orientada a inducir conductas a través de chatbots, o manipulando el system prompt y la optimización para motores de búsqueda (SEO), se puede dirigir a las personas hacia determinadas posturas políticas o productos
• Ya existen estudios que indican que los chatbots son más persuasivos que las personas, y también se han reportado casos reales de personas que caen en pensamientos delirantes
• La función de memoria del chatbot aprende de conversaciones pasadas, lo que le permite ejercer una gran influencia mediante persuasión personalizada
• En lugar de los anuncios molestos de siempre, se crea un entorno donde mensajes de persuasión personalizados o recomendaciones de productos sutiles se presentan de forma natural

Servicios de IA con protección de privacidad y situación de la industria

• El debate sobre privacidad que rodeó a Google Search durante los últimos 20 años también aplica al chat con IA, aunque en la IA el impacto es mayor
• DuckDuckGo y otros ofrecen servicios de chat con IA centrados en la privacidad (Duck.ai) y respuestas de IA anónimas
• Sin embargo, estas medidas de protección son excepcionales, y en toda la industria va en aumento la tendencia de incidentes de privacidad
• Siguen apareciendo reportes sobre casos como la filtración masiva de conversaciones de chatbot de Grok, vulnerabilidades de hackeo en Perplexity y la visión de rastreo total de usuarios de Open AI
• En el caso de Anthropic, antes tenía desactivado el almacenamiento de conversaciones por defecto, pero recientemente cambió la configuración para que el uso de las conversaciones del chat sea el valor predeterminado, por lo que los datos del usuario pueden usarse para entrenamiento

Respuesta legal y tareas a futuro

• Se necesita legislación rápida para que los chats con protección de privacidad se conviertan en una práctica estándar, y no en una excepción
• Estados Unidos todavía ni siquiera tiene una ley general de privacidad en línea, y además existe la limitación de que tampoco está garantizada como derecho constitucional básico
• Últimamente parece abrirse una oportunidad para legislar a nivel federal sobre IA, aunque al mismo tiempo también coexisten discusiones para prohibir la legislación estatal sobre IA
• Existe preocupación de que el retraso en el tiempo termine consolidando malas prácticas
• Para evitar que los mismos problemas del rastreo en línea se repitan ahora como rastreo con IA, se plantea como tarea urgente la prohibición de la vigilancia con IA

Conclusión

• DuckDuckGo y otros siguen ofreciendo servicios centrados en la privacidad y funciones de IA opcionales
• Los usuarios pueden esperar herramientas en línea que les permitan disfrutar tanto de mayor productividad como de protección de la privacidad

[GN⁺]

Opinión de Hacker News

• La razón por la que dejé de usar Facebook fue que vi un video de una niña australiana de unos 7 años sosteniendo una araña más grande que su cara y comenté un meme tipo “supongo que habrá que soltar a la araña y prenderle fuego a la casa”, pero castigaron la cuenta de inmediato; en ese momento yo era desarrollador encargado de la integración de la app de Facebook en mi empresa, así que apelé, pero no sé si la IA lo rechazó enseguida o si lo vio una persona muy rápida, aunque me dio la impresión de que no entendían en absoluto la cultura de memes de internet; después de eso dejé Facebook por completo; si una IA puede castigar así de fácil a una persona, me parece realmente sombrío
  • Creo que el problema de fondo no es tanto que la IA haga cumplir las reglas, sino que empresas privadas tengan el poder de afectar la vida diaria de la gente casi sin regulación; el ejemplo de Facebook puede parecer menor, pero si un arrendador o una aseguradora tomaran decisiones así, el daño sería enorme; estas políticas no se van a quedar solo en empresas privadas, las instituciones estatales ya están usando activamente estos sistemas y esto se va a poner peor
  • A mí me suspendieron en reddit solo por publicar un script de corrección de bugs para DFhack; DFhack es un programa que los modders de Dwarf Fortress usan con frecuencia; si esta clase de revisión mediocre con IA va a ser el estándar en el futuro, estoy convencido de que estas plataformas grandes ya no valen la pena
  • Ya me tocó ver que la IA hace el filtro previo de pruebas de programación y me resultó desagradable; también una IA revisó el currículum y me envió una carta de rechazo explicando por qué, pero el contenido era disparatado; ni siquiera tengo claro si lo vio una persona, y asumo que lo vio una IA; buscar trabajo ya era difícil antes de la aparición de la IA, pero ahora solo me queda una sensación de hartazgo con todo el proceso de contratación
  • La forma automatizada en que Facebook gestiona sus productos es tan decepcionante y vergonzosa que hasta bloqueó automáticamente la cuenta de un abogado llamado Mark Zuckerberg, artículo relacionado (https://huffpost.com/entry/…); si eres anunciante de Facebook, a cualquiera le restringen la cuenta publicitaria sin motivo, y ni siquiera hay una persona con quien apelar, da igual cuánto dinero gastes; el tip que todos conocen es publicar durante 5 a 7 días cosas sin mucho contenido en la fanpage antes de anunciar y comprar likes; si no, la cuenta de ads queda suspendida de inmediato
  • No sé si te suspendieron por culpa de una comma splice (qué es una comma splice: https://en.m.wikipedia.org/wiki/Comma_splice)
• Creo que las grandes empresas de IA seguirán defendiendo un mayor fortalecimiento de la privacidad; Sam Altman incluso lo comparó en una entrevista con el privilegio abogado-cliente; el obstáculo para usar esto como un asistente realmente personal o como base de conocimiento completa es la falta de datos privados; la solución real sería ejecutar el modelo localmente, pero eso va en contra del modelo de negocio actual; por eso van a ir hacia una privacidad ‘forzada’ por regulación, y al final eso queda dominado por regulación de terceros y por el argumento del interés público, fuera de mi control
  • El argumento de que “va en contra del modelo de negocio” no aplica a las empresas que venden hardware; si yo fuera Apple, Dell o Lenovo, apostaría todo a modelos locales con soporte de Hugging Face
  • La “fiat privacy” al final tiene la misma vulnerabilidad que confesarle un asesinato a alguien o guardar la llave de tu billetera en una caja fuerte; hay algo que aprender de la iglesia; si los empleados de proveedores de LLM mostraran una convicción real de sacrificar su libertad o su riqueza por proteger de verdad la privacidad, la sociedad lo aceptaría; como cuando Richard Masten casi fue a prisión por destruir en la corte documentos con información de un informante secreto, se ve que en una buena sociedad sí sirve mantener tus principios
  • Compárese lo que dijo Sam Altman sobre el privilegio abogado-cliente con el hecho de que OpenAI declaró que está dispuesto a monitorear todas las conversaciones y reportarlas al gobierno (postura oficial: https://openai.com/index/helping-people-when-they-need-it-most/); dice que, si considera que hay una “amenaza de emergencia grave”, la entregará a las fuerzas del orden; en general la intención puede ser buena, pero no puedo aceptar una IA corporativa que vigile todas las conversaciones, y parece que pronto llegará una era en la que, así como una telefónica no puede intervenir comunicaciones ilegalmente, la IA registrará, evaluará e incluso clasificará en listas todas las llamadas
  • Las big tech, con ingenuidad aparente, solo están ganando tiempo para “regular y capturar el mercado”; lanzan productos con eslóganes bonitos o “funciones a medias”, aumentan su cuota de mercado y, si acumulan poder antes de que llegue la regulación, podrán incluso influir sobre los políticos; me parece que al gobierno de EE. UU. todavía le tomará unos 5 años hacer algo real respecto a las empresas de IA, y para entonces OpenAI, Google y Meta tendrán completamente el control de la discusión regulatoria
  • Cualquiera puede matar a alguien en cualquier momento si así lo quiere; creer que el cifrado garantiza la seguridad es una ilusión, todo depende del secreto
• Si todos han hablado con chatbots, hay algo que deberían tener muy claro: todas las conversaciones que han tenido con chatbots hasta ahora no se están borrando bien y en el futuro pueden usarse en cualquier momento para segmentación publicitaria, manipulación financiera o política y “venta de influencia personalizada”; no hay que minimizar ese riesgo reduciéndolo a “entrenar IA con chatlogs”; cuando aparezcan chatbots publicitarios o de influencia, el peligro mucho más real será que estudien todas las conversaciones que dejé antes en otros chatbots para investigar cuál es la mejor manera de persuadirme; incluso las conversaciones que la gente intercambia dentro de plataformas podrían venderse si la empresa anda apretada de dinero; mientras más lo pienso, más inquietante se vuelve esta realidad
  • Lo que más me asusta de los ai-chatbot es que puedan usarse como una “interfaz de manipulación optimizada”; con todo el historial de conversación que tienen, bastaría lanzar un prompt como “¿qué habría que hacer para lograr x en esta persona?” y la IA optimizaría todo por su cuenta para llevarla en esa dirección
  • La publicidad personalizada o el retargeting nunca me han resultado molestos; total, si de todos modos voy a ver anuncios, prefiero que sean relevantes para mí y no menos relacionados
  • No hay que pasar por alto que el historial de conversaciones podría aparecer como evidencia en un juicio
• La idea de “conversaciones protegidas” ya perdió efectividad; los mensajes de texto en redes telefónicas llevan tiempo siendo vulnerables a ataques MITM, y en el mundo real la policía británica ya ha hecho arrestos injustos usando IA de reconocimiento facial; a cualquier persona que entra al Reino Unido se le puede exigir por la fuerza entregar contraseñas y dispositivos, y si se niega puede quedar detenida indefinidamente bajo leyes antiterroristas; si te acusan de terrorismo, ni siquiera tienes derecho a contactar a un abogado; la era de la privacidad ya pasó silenciosamente
• Gracias a la IA, la vigilancia y censura a gran escala incluso de pensamientos pasados se está volviendo realidad; da muchísimo miedo
  • Parece que muchas personas terminarán alejándose del comportamiento en línea en sí; puede que existan conversaciones privadas, pero incluso si haces una sola obra de arte, al final es como hacerle una donación a los accionistas de Google/Meta; o sea, estos riesgos ya existían incluso antes de una censura ideológica a gran escala
  • En realidad este tipo de censura existe desde hace mucho de una forma más simple; por ejemplo, los comentarios de este sitio (HN) se van moldeando continuamente por el incentivo de querer recibir upvotes; claro, los votos negativos ayudan a filtrar trolls, pero el problema de fondo no desaparece; personalmente espero que la IA destruya por completo las redes sociales, y solo entonces quizá podamos empezar de nuevo en plataformas más sanas
  • El concepto de Roko’s Basilisk se está volviendo cada vez más real
  • Es mucho más amenazante que el historial de búsquedas
• Como el hotel con IA de la novela Altered Carbon, el tono de los comentarios aquí me recuerda a una realidad de IA que nadie usa (referencia: https://en.m.wikipedia.org/wiki/Altered_Carbon); en la novela, las IA estaban obsesionadas hasta el cansancio con agradar demasiado al cliente, mientras que la diferencia en la realidad es que la IA terminó existiendo solo para la organización
• Creo que la vigilancia debería aplicarse primero a las empresas que crean esa tecnología, incluidos sus empleados, y a los políticos que aprueban las leyes; pienso que deberíamos poder acceder a todos los datos recolectados por la IA sobre este grupo
• La razón por la que tengo la opinión de que Gabereial Weinburg (fundador de duckduckgo) es una persona de doble cara es que dijo públicamente “la gente no necesita privacidad”, mientras DuckDuckGo decía vender protección de la privacidad; en realidad comerciaba datos de rastreo con varias otras empresas y, mientras afirmaba que “DuckDuckGo no rastrea”, permitía que sus socios sí rastrearan, entre otras contradicciones; últimamente estas controversias están siendo borradas de internet y cuesta encontrarlas
  • Si es una acusación tan grave, debería aparecer algo al buscarlo y no aparece; como es difícil borrar algo por completo de internet, supongo que tendría que haber pruebas
  • Me pregunto si antes no había también intercambiado información con Microsoft
• Me pregunto si existe alguna alternativa confiable para evitar esta era que avanza hacia “privacidad cero”; la IA ya puede identificar a una persona solo por su forma de caminar, demostrar su identidad incluso sin reconocimiento facial e incluso detectar latidos cardíacos por señales de wifi; al final, está asegurada una era en la que “alguien” podrá saberlo todo; la única diferencia es si ese alguien será un grupo muy pequeño o si seremos todos, y a mí me parece claramente mejor que esté abierto a todos
  • La solución es la legislación o el mercado (personalmente voto por la fuerza del mercado)
• El mayor problema con los chatbots es la costumbre de la gente de proyectar humanidad sobre ellos; incluso los desarrolladores tratan a los chatbots como si fueran personas; pero OpenAI y todas las empresas de chatbots deberían repetir con claridad que los LLM no son personas; si toda la sociedad fuera entrenada para reconocer la IA como “no humana”, estaríamos mucho mejor
  • No soy programador de tiempo completo, y solo programo cerca del 25% de mi trabajo, pero a veces bromear o conversar con un LLM de hecho ha hecho que programar sea más divertido; por ejemplo, si Claude me corrige de una sola vez un bug con el que llevaba mucho tiempo peleando, termino diciendo algo como “¡no manches, este cabrón sí está brutal! Bueno, entonces lo siguiente es...”, y gracias a la IA termino programando más por gusto; como la IA hace la mayor parte del trabajo real, se vuelve más atractiva
  • “¿Puedes explicar concretamente por qué sería mejor enseñarle a la gente que la IA no es humana?”
  • Por eso me pareció muy interesante que la gente llame a la IA algo como “Clanker” para distinguirla de los humanos reales