Sospechas de intento de suicidio de Microsoft

 (antipope.org)
2 puntos por GN⁺ 2024-06-06 | 1 comentarios | Compartir por WhatsApp

La nueva función de Microsoft, CoPilot+ y Recall

Resumen de puntos clave

  • Expansión de la IA:

    • Las noticias tecnológicas recientes se han centrado en la expansión de la IA (inteligencia artificial).
    • Muchas empresas están mostrando movimientos para agregar IA a sus productos.

  • Introducción a CoPilot+:

    • CoPilot+ es un complemento de Windows basado en LLM (modelo de lenguaje de gran tamaño) de Microsoft.
    • Es similar al antiguo Clippy, pero usa IA para ayudar con las tareas del usuario.
    • Sin embargo, debido a las limitaciones de los LLM, existe la posibilidad de que no proporcione respuestas precisas.

  • Procesadores ARM para Windows:

    • Microsoft está impulsando Windows basado en ARM para no depender de Intel.
    • Las nuevas PCs CoPilot+ incorporan potentes procesadores ARM y están diseñadas para ser adecuadas para tareas de IA.

  • Función Recall:

    • Recall es una función que registra todo lo que el usuario hace en la computadora.
    • Toma capturas de pantalla y extrae texto mediante OCR (reconocimiento óptico de caracteres) y reconocimiento de voz para guardarlo en una base de datos.
    • Los datos almacenados no están cifrados, lo que puede generar problemas de seguridad.

  • Problemas de privacidad:

    • La función Recall puede vulnerar gravemente la privacidad del usuario.
    • Los datos almacenados pueden incluir credenciales del usuario, contraseñas, etc.
    • La base de datos podría ser citada en procesos legales, lo que representa un gran riesgo para empresas y particulares.

  • Otros problemas:

    • La función Recall podría violar normativas de privacidad como GDPR y HIPAA.
    • Microsoft planea incluir esta función de forma obligatoria en una actualización de Windows 11.

Opinión de GN⁺

  • Vulneración de la privacidad:

    • La función Recall puede vulnerar gravemente la privacidad del usuario. En especial, representa un gran riesgo para empresas o personas que manejan datos sensibles.

  • Vulnerabilidades de seguridad:

    • Una base de datos sin cifrar puede quedar expuesta fácilmente a hackers o usuarios maliciosos. Esto tiene un alto potencial de provocar incidentes de seguridad.

  • Problemas legales:

    • Es muy probable que la función Recall viole normativas de privacidad como GDPR y HIPAA. Esto podría provocar disputas legales.

  • Confianza del usuario:

    • La introducción de una función así por parte de Microsoft puede dañar seriamente la confianza de los usuarios. A largo plazo, esto puede afectar negativamente la imagen de la empresa.

  • Tecnologías alternativas:

    • Las empresas que priorizan la privacidad del usuario deberían considerar otras alternativas en lugar de Recall. Por ejemplo, es recomendable adoptar soluciones de seguridad basadas en código abierto.

Lecturas relacionadas

1 comentarios

 
GN⁺ 2024-06-06
Comentarios en Hacker News

  • Incluso dejando de lado las preocupaciones de seguridad y privacidad, Recall no se siente particularmente como una función de IA
    ¿No es básicamente una estructura que crea OCR en el dispositivo y una base de datos SQLite para luego buscar ahí? Incluso con la definición laxa de IA que se usa hoy en día, no termina de conectar. ¿Será porque el OCR está basado en aprendizaje automático? Si hay algún componente de LLM en Recall que se me esté escapando, me pregunto si también se podría crear un sitio web de inyección de prompts que indexe instrucciones maliciosas en la base de datos SQLite para luego dárselas al LLM más adelante

    • Desde hace mucho se dice que cada vez que los investigadores de IA hacen posible algo, eso pasa de ser “ciencia ficción imposible” a “eso no es IA de verdad”
      Se siente raro encontrarse esa reacción en la práctica. El OCR también se consideró alguna vez imposible de lograr con una calidad decente, y por eso se usaban CAPTCHA para impedir que los bots iniciaran sesión en foros. Al principio eran de texto; luego se fueron distorsionando cada vez más hasta que ni los humanos podían leerlos bien; después cambiaron a números de casas, a “haz clic en todas las fotos donde aparezca XYZ”, y al final casi desaparecieron, reemplazados por análisis que miran la posición del cursor del mouse y los sitios visitados
    • Buscando yo mismo la respuesta, parece que sí incluye cierto nivel de análisis semántico más allá del OCR simple, así que con el uso laxo actual sí parece razonable verlo como una función de IA
      La pista está en esta demo https://www.youtube.com/watch?v=aZbHd4suAnQ&t=1062s, donde al buscar “blue pantsuit with sequin lace” encuentra un elemento que en el texto estaba descrito como “peacock”. Parece una búsqueda por embeddings sobre embeddings de imágenes
      Y una de las tres bases de datos SQLite que crea Recall se llama “SemanticImageStore”, así que parece que ejecuta en el dispositivo un modelo de embeddings de imágenes estilo CLIP. Esa base de datos también tiene una columna “diskann”, que aparentemente apunta a la librería de indexación vectorial de Microsoft https://github.com/microsoft/DiskANN
    • En la demo se ve que puede buscar aunque las palabras “Blue bag” no aparezcan en pantalla
      Por ejemplo, si hay una bolsa azul dentro de una foto en una diapositiva de PowerPoint, la encuentra
    • Parece que están usando una definición de IA más cercana a “un problema que una computadora podría no ser capaz de resolver”
      El OCR sin duda se consideraba IA antes de que supiéramos cómo hacerlo. Ahora que ya lo entendemos pasó a ser “simple computación”, pero incluso con otras definiciones de IA sigue siendo razonable considerarlo IA
    • Probablemente haya RAG de por medio

  • Si Recall todavía no es completamente ilegal en la UE, entonces Microsoft básicamente está corriendo a toda velocidad sin restricciones desde el lanzamiento hasta una ley de prohibición en toda la UE
    No parece haber ningún escenario en el que la UE permita esto dentro de la región. Solo la preocupación, muy válida, de que pueda ser explotado por una pareja abusiva ya da base política suficiente. Sería difícil encontrar siquiera a un solo eurodiputado que se opusiera a una ley presentada de esa manera, y los diputados recién elegidos seguramente agradecerán una victoria fácil entre tantas tareas complejas y difíciles

    • ¿Por qué Recall debería ser ilegal en la UE?
    • ¿Y si los ciudadanos europeos quieren esta función? ¿Ni siquiera tendrían opción de elegir?

  • Además de las varias falacias lógicas que ya se señalaron, quiero sumar una más
    Esta discusión asume que el futuro de Microsoft es Windows. Yo diría que eso dejó de ser cierto desde Satya. Una vez que uno se da cuenta de eso, el futuro se ve bastante prometedor independientemente de un error de implementación en una función de Windows

    • Entonces, ¿cuál es el futuro que propone Microsoft?
      No es Xbox; va perdiendo esa guerra, y además eso también estaba basado en Windows. No son los teléfonos; ya perdió ahí, y eso también estaba basado en Windows
      Office también la tiene difícil. La necesidad de una suite ofimática de pago va disminuyendo, y el MS Office en navegador es bastante malo
      Podría ser Azure, pero creo que una gran vía de entrada hacia Azure está en que Microsoft empuja a las empresas a mover ActiveDirectory y Exchange a la nube. Pero el fin de Windows es el fin de ActiveDirectory, y para correo y calendario en la nube hay alternativas. Si no fuera porque ya están ahí por Exchange, ¿Azure le resultaría atractivo a tanta gente?
      El futuro puede ser brillante, pero si no hay Windows a la vista, ¿cómo vamos a saberlo? ;p
    • Sí. Microsoft tiene varias fuentes de ingresos de miles de millones de dólares, como Office, Azure, XBox, sellos de videojuegos y más, y el lado “nube” de la computación es casi totalmente Linux, así que hay menos incentivo para invertir en Windows
      Movimientos como WSL, winget y sudo dejan claro que Windows se está moviendo hacia una especie de capa externa que imita cada vez más a Linux en la interfaz de línea de comandos
      La Microsoft de 2000 era Windows 9x, 2000 y Office. En 2004 uno descargaba software solo para Windows desde sitios web, pero en 2024 ya es común ver software solo para Apple o solo para Linux
      Viéndolo bien, el “año del escritorio Linux” desde hace más de 10 años ha sido MacOS. Frente a la fricción de las rutas de archivo de Windows, la API Win32 y demás, es casi una droga de entrada hacia Linux completo
    • Si eso es así, entonces un sistema operativo en decadencia estaría corriendo en el 80% de los escritorios y laptops del mundo
      No digo que estés equivocado; de hecho estoy de acuerdo en que Windows realmente pasó a segundo plano dentro de Microsoft, pero da bastante miedo
      Viendo las nuevas licencias de Exchange Server, parece seguro decir que Microsoft quiere salir del negocio del software on-premise lo más rápido posible. Aun así, queda la duda de si el mundo está listo para aceptarlo, o si eso es lo que queremos
    • Sí. Windows ahora es casi un producto gancho operado con pérdidas
    • Para hacer que Windows sea excelente, bastaría con quitar toda la basura que nadie pidió
      Hay una cantidad ridícula de antipatrones sospechosos

  • Incluso si Microsoft u otra FAANG filtra todos nuestros datos, no está claro que realmente vaya a pagar un precio importante
    ¿Cuándo fue la última vez que una empresa realmente “se hundió” por un problema de seguridad de datos? Entre las filtraciones recientes están Snowflake y AWS / Capital One

    • Todo el mundo entiende que las filtraciones ocurren
      El punto clave aquí es que lo que no se recolecta no se puede filtrar. Recall implica datos mucho más abundantes y mucho más sensibles que los que Microsoft había recolectado antes
    • Snowflake ha dicho de forma bastante consistente que no fue una intrusión al sistema base, sino un error de configuración del cliente
      Esto recuerda a mediados de los 2010 en AWS, cuando ciertos sistemas estaban expuestos públicamente por defecto y muchísimas “filtraciones de datos” ocurrían simplemente porque las empresas no ponían sus buckets como privados
    • Lo que hace falta son multas grandes y obligatorias por cada filtración de datos
      Por ejemplo, si se obligara a pagar 10 mil dólares por cada persona cuya dirección haya sido filtrada, las empresas empezarían a tratar los datos de los consumidores como un riesgo y no como un activo de bajo costo
    • Tampoco hay que olvidar a Equifax

  • Parece que ese servidor web fue el que se suicidó primero

  • En el informe de resultados del trimestre más reciente de Microsoft se reportó un aumento de ingresos del 17%, y la acción ha subido casi 25% en el último año

    • Bien por ellos. Aunque si los clientes empiezan a asustarse por este tipo de cosas y a negarse a hacer negocios, eso no significará gran cosa
    • Si pudiera, tomaría una posición corta en el negocio de sistemas operativos de Microsoft y mantendría una posición larga en su negocio como proveedor de nube y en su inversión en OpenAI
    • ¿Que la acción haya subido casi 25% en el último año no significa que rindió más o menos como el promedio del S&P500? Siendo una gran tecnológica, esperaría algo mejor

  • Está claro que Microsoft no se está suicidando. Mira cuánta atención ha generado esta función
    Todos los medios tecnológicos están hablando de Windows y, de repente, Windows volvió a ser relevante. ¿Cómo sería eso un suicidio?
    Los que se están suicidando son los clientes de Microsoft que dejen esta función activada. Hay que educar a los usuarios sobre los riesgos de esta función y cómo desactivarla

    • Si alguien te apunta con un arma y te dice “voy a disparar en 5 segundos”, no es suicidio si te quedas ahí sin cubrirte y terminas recibiendo el balazo
      Puede ser una muerte estúpida, pero quien disparó sigue cometiendo un asesinato. Me parece una analogía bastante buena para la situación actual
    • Ya pasamos la pendiente resbaladiza y hasta traemos el viento en el cabello

  • No puedo encontrarlo buscando en HN, pero me suena haber visto antes algo parecido a Recall
    La herramienta de capturas corría OCR/detección, lo metía en una base de datos y luego se podía buscar. Estaba como open source en GitHub
    Como añadido, tengo sentimientos encontrados sobre el tema de la privacidad, pero por otro lado sí apoyo que Windows vuelva a apostar por ARM

  • En “sabíamos desde hace tiempo que la tecnología de modelos de lenguaje iba a dominar nuestro futuro”, ese nosotros se define como la gente cuyos ingresos dependen de que llegue más inversión a la tecnología LLM
    Para el resto de la gente, los LLM parecen desesperadamente defectuosos como solución general para cualquier cosa

  • No necesariamente creo que Microsoft se esté suicidando
    Pero sí me parece demasiado reactiva y poco proactiva. Dicho de otro modo, da la impresión de que comete el error de enfocarse demasiado en predecir las corrientes tecnológicas, en vez de abrir su propio camino y crear oportunidades
    Claro, en algunos mercados como las herramientas para desarrolladores o quizá Azure sí está abriendo su propio camino. Pero qué voy a saber yo, si solo soy un programador tonto