Crisis de confianza en la inteligencia artificial

Desconfianza hacia las nuevas funciones de IA de Dropbox

• Dropbox agregó nuevas funciones de IA.
• Estas funciones enfrentaron críticas porque envían datos a OpenAI.
• Dropbox niega que los archivos personales se usen como datos de entrenamiento del modelo.

Detalles importantes

• Dropbox tiene un documento que establece el principio de no usar datos de clientes para entrenar modelos de IA sin el consentimiento del cliente.
• Hay una casilla de verificación oculta en la configuración, y no está claro si eso constituye el consentimiento del usuario.

Personas que no confían en OpenAI

• OpenAI, socio externo de Dropbox, afirma que no usa los datos para entrenar sus modelos internos y que los elimina en un plazo de 30 días.
• La gente no cree en las afirmaciones de OpenAI y está atravesando una crisis de confianza respecto a la IA.

Facebook no te escucha por el micrófono

• La teoría de que Facebook escucha a los usuarios a través del micrófono para mostrarles anuncios puede refutarse fácilmente por razones técnicas y no técnicas.
• Sin embargo, la gente no cree esas refutaciones basándose en su propia experiencia.

Esto realmente importa

• La confianza es importante, y es una acusación grave que una empresa mienta sobre cómo maneja la privacidad.
• El papel del gobierno es evitar que este tipo de cosas ocurra.

Lo que podemos hacer

• Los grandes laboratorios de IA pueden mejorar la confianza compartiendo información sobre sus datos de entrenamiento.
• Las interacciones con ChatGPT se usan para mejorar el modelo, pero faltan detalles sobre cómo se usan exactamente.

Oportunidad para los modelos locales

• La gente confía más en los modelos locales que se ejecutan en sus propios dispositivos, en lugar de en la nube.
• La calidad de los modelos locales está mejorando y su tamaño se está reduciendo.

Opinión de GN⁺

• La intersección entre IA y privacidad es un tema importante, y se necesita una conversación transparente al respecto.
• La desconfianza hacia las afirmaciones de Dropbox y OpenAI surge tanto de la falta de comprensión de la tecnología como de la falta de confianza.
• Este artículo resulta interesante porque destaca el rápido avance de la tecnología de IA y la importancia de la privacidad que lo acompaña, y explica por qué se necesita una comunicación transparente basada en la comprensión y la confianza.

[GN⁺]

Comentarios de Hacker News

• La captura de pantalla fue tomada directamente desde mi cuenta. Está configurado como "activado", pero yo no lo activé.

  • También existe una crisis de "consentimiento" en lo relacionado con la privacidad en sitios web. Necesitamos una definición de consentimiento que sea legalmente ejecutable, y eso no debería significar que los usuarios tengan que dar un consentimiento afirmativo para que sus datos sean enviados a terceros. Es un buen artículo, pero la analogía entre "mi teléfono me está escuchando" y "OpenAI podría estar mintiendo sobre cómo usa mis datos" tiene algunas fallas. La fuerte supervisión sobre las apps de terceros que acceden al micrófono del iPhone no es equivalente a cuando los datos se transfieren a terceros. Para la persona común puede parecer lo mismo, pero en realidad sí estamos protegidos de lo primero. Actuar como si la lucha por la privacidad y la soberanía de los datos del usuario ya estuviera perdida es muy poco productivo. Veo mucho a gente relativamente conocedora de tecnología reaccionando ante nuevos abusos corporativos con una actitud de "eso ya es noticia vieja". Esa gente debería dar un mejor ejemplo. Esa impotencia daña la confianza y no transmite la idea de que un mundo mejor sea posible. El error de Dropbox parece ser un regreso de esa forma de pensar: asumir que a los usuarios no les importará que enviemos sus archivos privados a un tercero sin preguntar. Ya saqué la mayor parte de mis datos de Dropbox, y ayer sentí la necesidad de cancelarlo definitivamente. ¡Gracias, Dropbox!

• Este texto es algo ingenuo y da la impresión de "asumir buena fe". Mira lo que ha pasado fuera de la IA en los últimos 10 años: todo el mundo consume datos como un acumulador compulsivo. No solo Google y Facebook, sino todos. Hoy descubrí que un mini sitio sobre comida tradicional sueca agregó videos con reproducción automática, banners de consentimiento de cookies con dark patterns, etc. Casi toda nueva app/sitio está construida alrededor de ese eje económico. Y justo cuando los LLM empezaron a volverse poderosos, de repente hubo un cierre coordinado sobre las API de terceros. Ahora tenemos ChatGPT/OpenAI y sus competidores. Si otros actores consumen datos como un snack nocturno secreto, la generación actual de IA es más bien como zombis rápidos y ágiles que ansían sangre y cerebros. Es porque los datos juegan un papel más directo en el producto, pero también porque la típica mentalidad competitiva del tren del hype de los VC tecnológicos despertó por primera vez en décadas. Toda la situación apunta a apocalipsis zombi / fiebre del oro / pedir perdón después, etc. Por eso creo firmemente que esa es la razón por la que ellos (todos) se enfocan tanto más en la retórica de seguridad/responsabilidad. Están acumulando municiones por adelantado para enturbiar el agua antes de que lleguen las inevitables crisis de PR por reputación, en plural. Mientras tanto, nosotros los tecnólogos andamos por ahí como si no hubiéramos vivido profundamente los últimos 10 años, pensando que esta vez será diferente porque la IA tiene bases académicas, por las nuevas empresas brillantes, por la retórica de seguridad, por los tuits provocadores de fundadores "con los pies en la tierra". No sé exactamente qué está pasando, pero ya conozco a la gente y cómo funciona desde hace suficiente tiempo. Y no han mejorado.

• Creo que tu artículo pasa por alto problemas de privacidad que van más allá del entrenamiento con mis datos.

  • Como profesional, tengo clientes sujetos a acuerdos de confidencialidad y regulaciones sobre a dónde va mi información. Prefiero servicios donde mis datos permanezcan en el servidor. No entiendo por qué mis datos no están siempre completamente cifrados y visibles solo para mí, pero que sean enviados por internet a otra empresa para ser procesados, sin mi consentimiento ni interés, es terrible. Cuando uso funciones de IA, doy mi consentimiento, pero enviar mis archivos personales por todo internet sin mi consentimiento es una locura. Sinceramente, OneDrive tiene una herramienta de migración, y conseguí una prueba de Dropbox Business y anoche moví automáticamente todos mis archivos. Este es el último límite de que su empresa siga haciendo cosas que no pedí y no me dé funciones que llevo pidiendo constantemente... cifrado de extremo a extremo. Si quieres migrar de Dropbox Business a una cuenta de Office 365 OneDrive en unos cuantos clics, aquí está: [enlace a la herramienta de migración]

• El problema central aquí es que la gente está preocupada porque los archivos privados de Dropbox se estén usando por OpenAI para entrenar modelos.

  • Eso es solo parte del problema. No quiero que mis datos sean enviados a ningún lado a menos que yo lo autorice. En este caso, no tenemos motivos para dudar de lo que dicen sobre que OpenAI no usará nuestros archivos para entrenamiento, pero sí tenemos que confiar en que puedan manejar nuestros archivos de forma segura.

• Facebook dice que no hace esto. El riesgo para su reputación si los descubrieran mintiendo sería enorme.

  • No creo que Facebook esté espiando secretamente a nadie a través del micrófono del teléfono, pero esa afirmación concreta no me resulta nada convincente. La reputación de Facebook, al menos entre la gente común no técnica que conozco, ya es pésima. Vivo en Estados Unidos, y la gente sabe que Facebook ayudó a alimentar los disturbios del 6 de enero de 2021, y luego evitó toda responsabilidad sin arreglar nada. El daño reputacional que absorberían por esto, algo que mucha gente ya cree que probablemente hacen, no tiene comparación.

• El aspecto de la confianza en el micrófono en el artículo parece una distracción, un red herring que desvía de lo que podría dejar más claro el punto principal.

  • Facebook toma tus datos de su app y de internet, rastrea tu comportamiento en internet y mete esos datos en tu <i>modelo</i>. Esos modelos a veces son tan precisos que casi pueden predecir lo que estás pensando. Por eso la gente común termina concluyendo que deben estar escuchándolos por el micrófono. Las empresas de LLM como OpenAI y sus socios usan casi exactamente el mismo tipo de modelos. Toman datos de donde quieran para mejorar el modelo y hacer que sigas haciendo clic donde ellos quieren que hagas clic, y así monetizarte.

• No "confío" en OpenAI ni en ninguna otra gran empresa respecto a lo que dicen que hicieron, que harán o que están haciendo.

  • Pero sí creo que OpenAI no está usando datos de Dropbox para <i>entrenamiento</i> sin el consentimiento de los usuarios. Pero ese no es el problema aquí. El problema ocurre cuando los datos están en tránsito; se envían a un tercero que realmente puede leerlos, puede haber empleados deshonestos fuera del control de Dropbox, los datos pueden aparecer en logs o ser procesados bajo otras políticas. Si le envío datos personales a Dropbox, ellos no pueden mandarlos a un tercero por ninguna razón sin mi consentimiento explícito e informado. No entiendo cómo eso puede ser debatible. Si Dropbox quisiera alojar el modelo y ofrecer búsquedas RAG a usuarios que den su consentimiento, eso sería una cosa. Si Dropbox va a enviar de forma preventiva todos los datos de todos los usuarios a un tercero sin avisarle a nadie, eso es otra totalmente distinta. Es terrible.

• ¿Crisis de confianza en la IA?

  • ¿Qué pasa después de enterarte de que la junta directiva/CEO de una empresa fue despedida o reemplazada por acusaciones de mentiras o manipulación? Si Dropbox obtiene algo escaneando datos derivados de los datos del usuario, entonces esos datos "derivados" ya no serían "datos del usuario", sino datos de Dropbox, y podrían compartirse. Puede que tengan una naturaleza estadística que no se relacione directamente con usuarios individuales, pero ¿no son justamente esos los datos de entrenamiento? ¿No es así como funciona? Eso no es mentir, es hilar muy fino. No, eso es conducta poco ética, y se ha vuelto el estándar para las grandes empresas.

• Creo que las personas que no confían en las empresas de IA probablemente tendrán sentimientos parecidos hacia empresas de varias industrias, organizaciones sin fines de lucro e incluso instituciones gubernamentales.

  • A mí me parece que hay un problema de confianza mucho más grande que va más allá de las empresas basadas en IA. Por eso, que este sector específico intente luchar contra esa desconfianza que llega desde todos los frentes parece una misión imposible que está fuera del alcance de estos negocios. No estoy seguro de cuál es la respuesta a este problema, si realmente hay un problema, o hacia dónde podríamos encaminarnos si este cinismo generalizado se extiende a todo y a todos. Tal vez simplemente estamos condenados a vivir tiempos interesantes.