1 puntos por GN⁺ 2024-06-11 | 1 comentarios | Compartir por WhatsApp
  • Apple Intelligence introdujo Private Cloud Compute (PCC) para delegar a modelos fundacionales grandes las solicitudes que son difíciles de procesar en el dispositivo, y propone un diseño que minimiza el acceso a datos personales también en la nube
  • PCC busca llevar un modelo de seguridad a nivel de dispositivo al centro de datos combinando servidores personalizados con Apple silicon, Secure Enclave, Secure Boot, Code Signing y sandboxing
  • Las solicitudes del usuario se cifran directamente con la clave pública de nodos PCC verificados, y ni el balanceador de carga ni la puerta de enlace de privacidad tienen las claves para descifrarlas
  • Para facilitar la operación, el sistema excluye herramientas comunes como shell remoto, depuración interactiva y logging de propósito general, y está diseñado para que solo salgan del nodo logs auditados y métricas limitadas
  • Apple planea construir una IA en la nube verificable externamente mediante imágenes de software de producción, registros de transparencia, un entorno de investigación y el Apple Security Bounty

El problema de privacidad cuando Apple Intelligence pasa a la nube

  • Apple Intelligence es un sistema que ofrece funciones de inteligencia personal basadas en modelos generativos en iPhone, iPad y Mac
  • Las funciones avanzadas que requieren razonar sobre datos más complejos necesitan modelos fundacionales más grandes, y para eso Apple creó Private Cloud Compute (PCC)
  • PCC es un sistema de inteligencia en la nube diseñado para procesamiento de IA personal, y su objetivo es que los datos personales del usuario no queden expuestos a nadie, incluido Apple
  • El procesamiento en el dispositivo favorece la seguridad y la privacidad de los datos del usuario
    • Los datos que solo existen en el dispositivo del usuario no quedan en un punto central de ataque
    • Para los datos más sensibles en la nube, el cifrado de extremo a extremo es una defensa muy fuerte
    • En servicios en la nube donde el cifrado de extremo a extremo no es apropiado, se pueden usar procesamiento temporal o identificadores aleatorios no relacionados que difuminen la identidad del usuario

Límites del modelo de seguridad tradicional para IA en la nube

  • La IA en la nube puede aprovechar hardware potente de centro de datos y modelos de machine learning grandes, pero necesita acceso sin cifrar a las solicitudes y a los datos personales relacionados
  • Por eso no puede resolverse solo con cifrado de extremo a extremo completo, y los servicios tradicionales de IA en la nube han dependido de enfoques convencionales de seguridad en la nube
  • El enfoque tradicional tiene tres debilidades
    • Es difícil verificar las garantías de seguridad y privacidad
      • Aunque un servicio diga que no registra datos de un usuario específico, es difícil para un investigador confirmarlo
      • Una nueva versión podría dejar por error datos sensibles en los logs, o un balanceador de carga que termina TLS podría registrar masivamente solicitudes de usuarios durante la resolución de problemas
    • Es difícil ofrecer transparencia en tiempo de ejecución
      • Los servicios de IA en la nube normalmente no publican la pila de software que realmente está en ejecución
      • Incluso usando solo software open source, no existe un método ampliamente desplegado para que el dispositivo o navegador del usuario verifique que el software del servicio no fue modificado
    • Es difícil imponer restricciones fuertes al acceso privilegiado
      • Los SRE y administradores pueden usar accesos de alto privilegio como SSH durante fallas o incidentes graves
      • Un administrador podría copiar datos sensibles de usuarios al respaldar datos de un servidor en vivo, o un atacante podría robar credenciales administrativas y extraer datos de usuarios

Cinco requisitos de diseño de PCC

  • Cómputo sin estado sobre datos personales de usuarios individuales

    • PCC debe usar los datos personales recibidos solo con el fin de procesar la solicitud del usuario
    • Los datos no deben entregarse a nadie más que al usuario, incluidos empleados de Apple
    • Después de devolver la respuesta, no deben conservarse en ninguna forma, ni siquiera para logs o depuración
  • Garantías exigibles técnicamente

    • Las garantías de seguridad y privacidad son más fuertes cuando se pueden limitar y analizar los componentes críticos de todo el sistema
    • Las garantías centrales de PCC no deben depender de componentes externos como balanceadores de carga que terminan TLS
    • Requisitos operativos como recopilar métricas del servidor y logs de errores también deben estar soportados de forma que no debiliten la protección de privacidad
  • Sin acceso privilegiado en tiempo de ejecución

    • PCC no debe tener interfaces privilegiadas que permitan a los SRE de Apple eludir las garantías de privacidad, incluso durante respuesta a incidentes
    • Tampoco debe permitir ampliar el alcance del acceso privilegiado cargando software adicional en tiempo de ejecución
  • No focalización

    • Para apuntar a los datos personales de un usuario específico de PCC, un atacante tendría que intentar comprometer ampliamente todo el sistema PCC
    • Incluso un atacante con acceso físico a nodos PCC en la cadena de suministro o con acceso al centro de datos no debería poder desviar solicitudes de un usuario específico a un nodo comprometido
  • Transparencia verificable

    • Investigadores de seguridad deben poder verificar con alta confianza que las garantías de seguridad y privacidad de PCC coinciden con los compromisos públicos de Apple
    • También debe poder verificarse que el software inspeccionado por investigadores es el mismo que se ejecuta en el entorno de producción de PCC

Nodos PCC y base de seguridad

  • La raíz de confianza de PCC son los nodos de cómputo PCC, hardware de servidor diseñado a medida
  • Los nodos PCC llevan al centro de datos tecnologías de seguridad de hardware usadas en iPhone
  • El sistema operativo es un subconjunto reforzado basado en iOS y macOS, adaptado a cargas de inferencia de LLM
    • Está diseñado para mantener una superficie de ataque reducida
    • Aprovecha tecnologías de seguridad de iOS como Code Signing y sandboxing
  • Apple excluye de los nodos PCC componentes que normalmente son importantes para administrar centros de datos
    • shell remoto
    • observación interna del sistema y herramientas de observabilidad de propósito general
  • En su lugar, usa componentes específicos que entregan a los SRE solo métricas operativas pequeñas y limitadas de manera determinista
  • Creó una nueva pila de machine learning con Swift on Server para alojar modelos fundacionales basados en la nube

Procesamiento de solicitudes de usuarios y prevención de retención de datos

  • PCC debe usar los datos de la solicitud del usuario para inferencia del modelo, así que no puede diseñarse solo con cifrado de extremo a extremo completo
  • En su lugar, hace que los nodos de cómputo PCC impongan técnicamente la privacidad de los datos del usuario durante el procesamiento y evita que los datos puedan conservarse una vez terminado el ciclo de trabajo
  • Las garantías de PCC para el tratamiento de datos de usuarios son tres
    • El dispositivo del usuario envía datos a PCC únicamente con el fin de procesar una solicitud de inferencia
    • Los datos del usuario permanecen en el nodo PCC que procesa la solicitud solo hasta antes de devolver la respuesta
    • Los datos del usuario no se entregan ni siquiera a empleados de Apple con acceso administrativo a servicios u hardware de producción
  • Cuando Apple Intelligence usa PCC, el dispositivo arma la solicitud con el prompt, el modelo deseado y parámetros de inferencia
  • El cliente PCC del dispositivo primero cifra directamente la solicitud con la clave pública de un nodo PCC verificado y autenticado criptográficamente
    • Se proporciona cifrado de extremo a extremo desde el dispositivo del usuario hasta el nodo PCC verificado
    • Servicios auxiliares del centro de datos como balanceadores de carga y puertas de enlace de privacidad están fuera del límite de confianza y no tienen claves para descifrar la solicitud
  • Los nodos PCC solo pueden ejecutar código aprobado y medido criptográficamente mediante Secure Boot y Code Signing
    • Todo código ejecutable debe estar firmado por Apple e incluido en una trust cache aprobada para un nodo PCC específico
    • La trust cache la carga Secure Enclave y no puede modificarse ni ampliarse en tiempo de ejecución
    • No se pueden crear mapeos JIT, lo que evita compilación o inyección de código en tiempo de ejecución
  • El código y los activos del modelo usan protección de integridad como la usada en Signed System Volume
  • Secure Enclave impone que las claves de descifrado de solicitudes no puedan duplicarse ni extraerse
  • Para impedir la retención de datos, Secure Enclave aleatoriza la clave de cifrado del volumen de datos en cada reinicio y no la almacena de forma persistente
    • Cada vez que se reinicia el Secure Enclave Processor de un nodo PCC, el volumen de datos se elimina criptográficamente
    • El proceso de inferencia borra los datos relacionados al completarse la solicitud
    • Los espacios de direcciones que procesaron datos de usuarios se reciclan periódicamente para reducir el impacto de datos que puedan quedar inesperadamente en memoria
  • Pointer Authentication Codes y el sandboxing dificultan exploits que busquen eludir las garantías y limitan el movimiento lateral dentro de los nodos PCC
  • La capa de control y despacho de inferencia está escrita en Swift para asegurar seguridad de memoria, y separa el procesamiento inicial de solicitudes en un espacio de direcciones aparte

Eliminación del acceso privilegiado en tiempo de ejecución

  • Los nodos PCC no incluyen shell remoto ni mecanismos de depuración interactiva
  • Code Signing impide cargar código adicional, pero Apple considera que este tipo de acceso abierto en sí mismo es una amplia superficie de ataque para eludir la seguridad y privacidad del sistema
  • Los nodos PCC no pueden activar Developer Mode y tampoco incluyen herramientas necesarias para flujos de depuración
  • Las herramientas de observabilidad y administración incluyen resguardos de privacidad para evitar exposición de datos de usuarios
    • No hay mecanismo de logging de propósito general
    • Solo logs y métricas predefinidos, estructurados y auditados pueden salir del nodo
    • Se usan varias capas de revisión independiente para evitar exposición accidental de datos de usuarios a través de esos mecanismos
  • Este diseño ofrece garantías exigibles de que solo el código designado accede a los datos del usuario y de que esos datos no se filtren fuera del nodo PCC durante la administración del sistema

No focalización y defensa contra ataques de hardware

  • El modelo de amenazas de PCC incluye atacantes avanzados capaces de acceder físicamente a nodos de cómputo y de eludir parte de las propiedades de seguridad de hardware del sistema para extraer datos durante el procesamiento
  • Apple se defiende de dos formas
    • Aplica una cadena de suministro reforzada al hardware PCC para que los ataques de hardware a gran escala sean muy costosos y detectables
    • Evita que ataques pequeños se usen para apuntar a datos de usuarios específicos
  • La seguridad de hardware de PCC empieza en la etapa de fabricación
    • Se inventarían los componentes de los nodos PCC y se realiza imagen de alta resolución antes de sellar los servidores y activar interruptores contra manipulación
    • Tras llegar al centro de datos, se hace una revalidación amplia antes del aprovisionamiento de PCC
    • Varios equipos de Apple cruzan datos de fuentes independientes, y observadores externos sin relación con Apple monitorean adicionalmente el procedimiento
    • A cada nodo PCC se le emite un certificado de clave con raíz en el UID de Secure Enclave
    • Los dispositivos de usuario no envían datos a nodos PCC cuyos certificados no puedan verificarse
  • Para impedir ataques más pequeños y sofisticados, PCC usa un enfoque de difusión del objetivo
  • Los metadatos de la solicitud no incluyen información de identificación personal sobre el dispositivo o el usuario de origen
    • Solo incluyen datos limitados de contexto de la solicitud necesarios para enrutarla al modelo adecuado
    • Solo estos metadatos se entregan a balanceadores de carga y componentes del centro de datos fuera del límite de confianza de PCC
  • Los metadatos incluyen credenciales de un solo uso basadas en RSA Blind Signatures, que autorizan solicitudes válidas sin vincularlas a un usuario específico
  • Las solicitudes PCC pasan por un OHTTP relay operado por un tercero
    • Oculta la dirección IP de origen del dispositivo antes de que la solicitud llegue a la infraestructura PCC
    • Impide que un atacante identifique solicitudes por IP o las vincule con una persona
    • Para desviar tráfico según IP de origen habría que comprometer tanto el relay de terceros como el balanceador de carga de Apple
  • Los dispositivos de usuario cifran solicitudes solo para un subconjunto de nodos PCC, no para todo el servicio PCC
    • El balanceador de carga devuelve un subconjunto de nodos con alta probabilidad de estar listos para procesar la solicitud
    • Como el balanceador de carga no tiene identificadores de usuario ni de dispositivo, no puede sesgar el conjunto para un usuario específico
    • Aunque se comprometa un solo nodo, solo podrá descifrar una pequeña fracción de las solicitudes entrantes
    • El conjunto de nodos PCC elegido por el balanceador de carga puede auditarse estadísticamente

Transparencia verificable y acceso para investigadores

  • Apple considera que la confianza pública en PCC requiere que investigadores de seguridad puedan verificar de extremo a extremo sus garantías de seguridad y privacidad
  • En el lanzamiento de PCC, planea publicar las imágenes de software de todos los builds de producción con fines de investigación de seguridad
  • Los dispositivos de usuario están diseñados para enviar datos solo a nodos PCC que puedan demostrar criptográficamente que ejecutan software listado públicamente
  • El plan de transparencia verificable de Apple incluye lo siguiente
    • Publicar en un registro de transparencia criptográficamente resistente a manipulaciones y de solo anexado las mediciones de todo el código que se ejecuta en PCC
    • Hacer públicos el registro y las imágenes binarias de software relacionadas para que especialistas en privacidad y seguridad puedan inspeccionarlos y verificarlos
    • Publicar y mantener un conjunto oficial de herramientas para analizar software de nodos PCC
    • Recompensar hallazgos de investigación importantes mediante Apple Security Bounty
  • Todas las imágenes de software PCC de producción se publicarán para inspección binaria independiente
    • Incluyen el OS, aplicaciones y ejecutables relacionados
    • Los investigadores podrán verificarlas comparándolas con las mediciones del registro de transparencia
    • El software se publicará dentro de los 90 días posteriores a su inclusión en el registro o después de ofrecer la actualización de software correspondiente, lo que ocurra primero
    • Una vez que una versión entra firmada al registro, no puede eliminarse sin ser detectado
  • Los dispositivos de usuario envuelven la clave del payload de la solicitud con la clave pública del nodo solo cuando la medición atestada del nodo PCC coincide con una versión de software del registro público de transparencia
  • Code Signing impide la carga de software no autorizado y garantiza que todo el código del nodo PCC quede incluido en la atestación

Entorno de investigación PCC y recompensas

  • Apple planea tres medidas adicionales para que investigadores puedan verificar rápidamente las promesas de privacidad de PCC y encontrar problemas
    • Publicar PCC Virtual Research Environment
      • Un conjunto de herramientas e imágenes que simulan nodos PCC en una Mac con Apple silicon
      • Podrá arrancar una versión del software PCC modificada mínimamente para funcionar en virtualización
    • Además de las imágenes binarias de todos los builds PCC de producción, publicar periódicamente parte del código fuente de PCC crítico para la seguridad
    • Por primera vez en una plataforma Apple, incluir en texto plano el firmware sepOS y el bootloader iBoot en las imágenes PCC
  • Apple Security Bounty recompensará hallazgos sobre toda la pila de software de PCC
  • Los problemas que debiliten las promesas de privacidad de PCC recibirán recompensas especialmente altas

Lo que Apple publicará después

  • PCC está diseñado para cumplir los requisitos de cómputo sin estado, garantías exigibles, ausencia de acceso privilegiado, no focalización y transparencia verificable
  • Después de que PCC esté disponible en beta, seguirán explicaciones técnicas más profundas
  • En el futuro planea compartir más detalles técnicos sobre la implementación y el funcionamiento de cada requisito central
  • Apple planea publicar pronto por primera vez el software de PCC y el PCC Virtual Research Environment para investigadores de seguridad

1 comentarios

 
GN⁺ 2024-06-11
Opiniones de Hacker News
  • Todo lo que se conecta a la nube o a internet implica que, al final, tienes que confiar en alguien, a menos que sea open source y que el servidor sea descentralizado
    Apple puede hacer todo lo posible para que nadie más que ellos acceda a los datos, pero Apple controla todos los endpoints, las actualizaciones del iPhone y los servidores
    Me recuerda al texto “la criptografía basada en la web siempre es una estafa”: https://www.devever.net/~hl/webcrypto
    Incluso con los datos almacenados localmente, Apple tiene el poder de acceder a ellos si quisiera, y podría hacerlo si hubiera una orden gubernamental. Por eso, creo que cuando dicen “privado” se acerca más a que solo Apple puede saberlo, no a que menos actores puedan hacerlo
    Es mejor en el sentido de que las alternativas pueden filtrar datos a más lugares, pero está lejos de ser el cifrado irrompible que se promociona

    • No creo que esta evaluación sea del todo justa, porque mete a Apple en el mismo saco que Google u OpenAI
      Google claramente rastrea a los usuarios para publicidad, recomendaciones, AI, etc.; no lo oculta y es una parte central de su modelo de negocio
      En cambio, Apple se tomó bastante en serio evitar que sus empleados accedan a los datos de los usuarios en este sistema de AI, limita fuertemente el logging y la observabilidad, e incluso diseña sus propios chips y sistema operativo
      También es una gran diferencia que el cliente no se comunique con sistemas que no hayan sido auditados
      No se puede creerle a Apple sin más, pero creo que las auditorías de terceros son la clave para confiar en la privacidad de este sistema y verificarla
      Decir “Apple sabe lo que haces” da a entender que alguien dentro de Apple puede acceder a los datos que van del dispositivo a la nube privada, y eso no parece ser cierto
      El hecho de que la privacidad sea un eje importante del modelo de negocio de Apple también es un factor de confianza. Apple ha tenido éxito financiero creando productos que ganan dinero de otras formas, y vender datos no es necesario ni una buena idea de negocio para ellos
      Es razonable mantener escepticismo hasta que haya verificación de terceros, pero es injusto decir que el enfoque de Apple no es mejor para los datos y la privacidad que el de OpenAI o Google
    • En “debe ser open source y el servidor descentralizado”, lo más preciso sería decir que debe ser open source y autohosteable
      Si la gente no puede operar su propio servidor, no hay forma de saber si el código del repositorio público es el mismo que corre en los servidores cloud reales, así que el open source por sí solo no alcanza
    • A menos que verifiques por tu cuenta el diseño del hardware, el proceso de fabricación y todo el software, incluso al ejecutarlo localmente terminas confiando en muchísima gente
    • Eso no es correcto. Si confías en las matemáticas, puedes demostrar que el software es lo que afirma ser
      Por supuesto, hace falta trabajo de verificación, pero aun así es un gran avance
    • Si vas a usar tecnología, tienes que confiar en alguien. Desde su fundación, Apple se ha enfocado en computadoras para uso personal, su mensaje ha sido consistente y su historial es bastante bueno
      A mi parecer, las alternativas están dispersas y tienen poco foco, así que confiaría en Apple
  • Hay un buen comentario del criptógrafo Matt Green aquí: https://x.com/matthew_d_green/status/1800291897245835616?t=C...
    No sé si Matt sabe que no se pueden leer tuits sin una cuenta de X. Ojalá usara BlueSky o Mastodon
    Hilo recopilado: https://threadreaderapp.com/thread/1800291897245835616.html?...

    • Si de verdad hubiera querido que nadie leyera sus tuits, habría usado BluSky o Mastodon
    • En particular, destacan dos tuits
      “Probablemente haya como seis detalles técnicos más en la publicación del blog. Es un diseño muy cuidadoso. Si le dieras mucho dinero a un gran equipo y le pidieras construir la mejor nube ‘privada’ del mundo, probablemente se vería así”
      “Por supuesto, hay que recordar que los superespías no son el mayor adversario. Para mucha gente, el mayor adversario es la empresa que les vendió el dispositivo y el software. Este sistema PCC representa un compromiso real de Apple de ‘no mirar’ los datos de los usuarios. Eso es importante”
      Preferiría que los datos se quedaran dentro del dispositivo, pero al menos esto es un gran compromiso en la dirección correcta o, quizá, va en la dirección equivocada pero está muchísimo mejor hecho que la competencia
    • Me preocupa la parte que dice: “Apple no parece tener planes de avisar explícitamente cuando los datos salgan del dispositivo hacia Private Compute. El usuario no da su consentimiento, y ni siquiera necesariamente recibe una notificación. Simplemente ocurre como por arte de magia”
      Supongo que habrá una opción para desactivar todas las funciones de AI, tanto en el dispositivo como fuera de él
      ¿Por qué un fabricante de dispositivos no ofrecería una opción solo para AI en el dispositivo? Las funciones de AI de iOS 17 ya se pueden usar sin iCloud
      Sería bueno que Apple usara un dominio propio como *.pcc.apple.com para que se pudiera filtrar a nivel de red
    • Se puede leer aquí incluso sin una cuenta de X: https://nitter.poast.org/matthew_d_green/status/180029189724...
    • Matt en realidad usa activamente una cuenta de Mastodon, pero parece que todavía no publicó esta historia allí: https://ioc.exchange/@matthew_d_green
  • Aunque lo leas todo, al final se reduce a “confía en nosotros”. Apple puede firmar y aprobar en cualquier momento una actualización con una puerta trasera, el gobierno puede obligar a Apple a hacerlo con una sola firma, y todo puede ocurrir en silencio.
    Entiendo que lo que hace Apple tiene ventajas. Pero si vendes confianza, tienes que ser 100% veraz, y si no explicas con transparencia que aún existe esta posibilidad de acceso a los datos, todo el mensaje queda contaminado.

    • Apple ya tiene privilegios de root y el software es de código cerrado. En este momento no hay absolutamente ninguna forma de impedir que suba todos los datos.
      Si no confías en quienes hacen el sistema operativo, tienes un problema mucho más profundo que preocuparte por el procesamiento de IA fuera del dispositivo.
    • Ese argumento no es distinto de lo que Apple puede hacerle al iPhone. El hecho de que se procese en un servidor no cambia nada.
      Apple puede hacer que el iPhone suba al servidor los datos que quiera con solo apretar un botón. Con esa lógica, no deberías confiar en nada, ni siquiera en la IA ejecutada localmente. Probablemente sea cierto, pero no es práctico.
      La parte final del hilo de Matthew Green lo resume bien: “A veces lo perfecto se interpone en el camino de lo muy bueno. En la práctica, la alternativa al procesamiento en el dispositivo es enviar datos sensibles a OpenAI o a lugares aún más sospechosos. Para mucha gente, el mayor adversario es la empresa que le vendió el dispositivo y el software. PCC es una promesa real de Apple de que ‘no mirará’ los datos, y eso es importante. Ahora vamos hacia un mundo donde una parte del teléfono vive en un centro de datos a 2,000 millas de distancia, así que quienes trabajan en seguridad también tienen que acostumbrarse a ese hecho y hacer que cada parte sea lo más segura posible”.
  • Muy interesante. Private Cloud Compute de Apple parece conceptualmente lo mismo que System Transparency, el proyecto open source que empezamos con colegas hace 6 años.
    Espero ver más detalles técnicos. Si alguien de Apple ve esto, puede contactarme en stromberg@mullvad.net. Podemos hablar de nuestro diseño y del de Apple, o dar retroalimentación.
    Enlaces relacionados: https://mullvad.net/en/blog/system-transparency-future
    http://system-transparency.org
    http://sigsum.org

    • https://en.m.wikipedia.org/wiki/Confidential_computing
      Lo que hace Apple es computación confidencial. Si buscas implementaciones, puedes entender más detalles técnicos.
    • Al ver el anuncio pensé exactamente lo mismo de inmediato, y me vino a la mente System Transparency. Me da curiosidad qué evaluación saldrá una vez que se publiquen los detalles y se entiendan por completo.
    • Como Intel SGX, AMD SEV y la nueva tecnología de NVIDIA, la mayoría de estos sistemas usan los mismos componentes básicos, pero creo que el diferenciador de Apple es la calidad de toda la implementación y del sistema.
      Apple no es miembro del Confidential Computing Consortium, pero ARM sí.
      También soy bastante optimista sobre la computación confiable, y parece que está ganando impulso.
      Sería mejor que fuera más abierta, para poder controlar todo el stack e instalar tus propios certificados raíz o claves en la plataforma de hardware, pero aun así puede aportar muchas ventajas.
      Espero que, si Apple lo empuja al mercado masivo, aumente aún más la adopción.
  • La parte que dice “por primera vez en las plataformas de Apple, las imágenes de PCC incluyen en texto plano el firmware sepOS y el bootloader iBoot, lo que permite a los investigadores estudiar estos componentes centrales con más facilidad que nunca” es muy buena.
    Sin embargo, la parte de que “el software se publica dentro de los 90 días desde que se incluye en el registro o después de que esté disponible la actualización de software correspondiente, lo que ocurra primero” deja, en teoría, una brecha de hasta 90 días entre la publicación de software vulnerable y la posibilidad de descubrirlo.
    Espero que, en la práctica, la entrega de imágenes sea mucho más cercana a inmediata que al máximo permitido.

    • Si los auditores molestos hacen demasiadas preguntas sobre puertas traseras de la NSA o del CCP, se arreglará con un calendario de actualizar y revertir cada 89 días.
  • En Estados Unidos, la privacidad total es imposible. El gobierno no solo puede obligar a Apple a mostrar sus interiores, sino también impedirle decir que lo hizo.
    En la práctica, Apple no tiene forma de eludir esta “restricción”. Si tienes oportunidad, agradécele a tu “representante” por haber votado a favor de extender la PATRIOT Act.

    • Los servidores de Private Cloud Compute no tienen almacenamiento persistente, así que aunque abran sus interiores no habría nada que ver.
      Para recolectar datos de las solicitudes entrantes, el gobierno necesitaría algo como una intervención en tiempo real de las solicitudes, y eso podría ser una situación distinta.
      Claro que solo soy alguien en internet, y apenas se me ocurrió una posible refutación a esta preocupación, así que ni siquiera sé si voy por el camino correcto.
    • Como persona asiática, la expresión “open up the kimono” me suena incómoda y espeluznante. No creo ser la única persona que lo siente así.
    • Privacidad garantizada y privacidad demostrable no son lo mismo.
      El gobierno puede solicitar datos. Pero el sistema de Apple haría pública esa intrusión, aunque la propia Apple no pudiera decirlo.
    • Lo que Apple puede hacer, y lo que de hecho parece hacer en todos sus productos, es no tener desde el principio los datos que podrían pedirle, o no tenerlos en texto plano.
      Ni siquiera con una carta de seguridad nacional se pueden solicitar datos que ya no existen.
    • Según el artículo de Apple, parece posible. Me da curiosidad si hubo alguna parte en particular que te hiciera ruido.
  • Hay una gran pregunta. ¿Para quién es esto?
    Que no se malentienda: es un esfuerzo excelente y un trabajo nerd de nivel A+. Es algo que habla mi idioma.
    Pero creo que simplemente buscaría la forma de desactivar la función de llamar a casa. Para empezar, no quiero que se comporte así.
    ¿Esto busca que yo le diga a otros que “Apple es la opción más segura”? No quiero recomendar Linux, porque no quiero dar soporte técnico.
    Siento que ahora soy el viejo que grita: “no toquen mis datos”.

    • Apple necesita diferenciarse y eligió la privacidad como forma de hacerlo; estoy de acuerdo.
      Los titulares sobre los esfuerzos de IA de Microsoft han sido, en general, casi una pesadilla, con mucha mala prensa.
      Si la cobertura sobre Apple AI se llena de notas sobre cómo se preocuparon casi en exceso por la seguridad y la privacidad, es probable que la gente se sienta un poco más tranquila al usarlo.
      No uso mucho los productos de OpenAI, pero si los usara, preferiría hacerlo a través de la capa de anonimización de Apple antes que ir directamente a OpenAI.
    • ¿Qué pasaría si no se pudiera desactivar y se presentara esta seguridad extrema como la razón?
    • Esto es para los accionistas. Gracias a la fiebre de inversión en IA, las capitalizaciones de mercado de Microsoft y Nvidia ahora son mayores que la de Apple.
      Apple también tiene que demostrar que puede ser una empresa centrada en IA. Solo que Apple tiene una cultura organizacional orientada a mantener la privacidad.
    • Es para gente como yo.
      No me preocupa que el gobierno acceda a mis datos. Lo que quiero es que actores maliciosos como estafadores, gobiernos extranjeros, empresas de adtech y aseguradoras no accedan a mis datos personales.
      Al mismo tiempo, también quiero usar las capacidades de los LLM. ¿Es una exigencia tan poco realista?
      En la práctica, asumo que el gobierno de EE. UU. ya tiene todos mis datos. No me gusta la situación actual, pero la realidad es la realidad.
    • También es para los competidores que impulsaron la narrativa de que Apple “se quedó atrás”.
      En realidad, tenían listos LLM e infraestructura en la nube a escala de iPhone, y esto no es simplemente un trabajo de 2 años.
      Apple está poniendo énfasis en la privacidad, tal como se espera de ella.
      Gemini también podría afirmar que protege la privacidad, pero si fuera cierto, la gente probablemente pensaría que por eso su rendimiento sería peor.
  • Me da curiosidad cómo se compara con AWS Nitro Enclaves, que Apple mencionó brevemente.
    La diferencia principal parece estar en que se puede verificar hasta el nivel de firmware.
    Nitro Enclaves no proporciona mediciones de firmware[0] ni del hipervisor, y afirma que el código del hipervisor puede actualizarse de forma transparente en cualquier momento[1].
    Apple planea proporcionar sepOS, el sistema operativo del Secure Enclave Processor, y las imágenes del bootloader.
    La publicación del blog no es clara, pero suena como si también fueran a proporcionar el código fuente de estos componentes.
    [0]: https://docs.aws.amazon.com/enclaves/latest/user/set-up-atte...
    [1]: https://docs.aws.amazon.com/pdfs/whitepapers/latest/security...

    • Nitro sí mide el firmware. Si hay firmware distinto al esperado, el servidor queda prácticamente separado de la red basada en EC2 o se reinicializa automáticamente.
      Se dispara automáticamente una llamada, y es muy probable que el equipo de seguridad también intervenga.
      En EC2, el hipervisor no es firmware, así que no hay razón para medir “firmware del hipervisor”.
      Si el firmware BIOS/UEFI de la placa madre se altera, se sobrescribe.
      El código del hipervisor, como todo código, siempre está firmado, y la tarjeta Nitro lo transmite al servidor mediante un sistema de seguridad verificable que aprovecha measured boot o secure boot.
      No sé exactamente qué significa “Nitro enclaves” como término orientado al cliente, pero los ingenieros de EC2 se movilizan como un ejército ante una llamada si detectan incluso un riesgo de seguridad menor.
      Esos aspectos básicos están cubiertos, y llegan hasta el punto de garantizar que los volcados de memoria no contengan datos reales de clientes ni siquiera en forma cifrada.
    • AWS tuvo que hacerlo así por su propio silicio. Intel, ARM y AMD proporcionan atestación a nivel de firmware e hipervisor.
  • Tengo muchas ganas de ver este sistema operativo, y soy cautelosamente optimista porque podría ser el primer caso en que una gran empresa tecnológica ofrezca realmente garantías de seguridad auditables.
    Dependiendo de cómo evolucione, Apple podría llegar a ganarse de verdad parte de la confianza que los usuarios ya le tienen, y eso sería bastante genial.
    Algo aún más genial sería ofrecer una auditoría de toda la cadena de gestión, y para eso parece que también tendrían que abrir algunas otras partes del stack.
    En particular, si el sistema operativo en la nube se vuelve open source como prometieron, tendría un valor enorme.
    La principal preocupación actual es que, si en el despliegue real se usa virtualización, el Secure Enclave de la parte todavía propietaria del sistema operativo que corre en el dispositivo del usuario podría entregar la clave, y podría existir una puerta trasera por la cual un hipervisor que no hemos auditado acceda al contenedor.
    Las personas con más experiencia en seguridad plantearán mejores preguntas.
    Si Apple responde al feedback de los investigadores, más partes de esta cadena de herramientas podrían volverse auditables.
    Aunque no podamos verificar la seguridad de los casos de uso aprobados por Apple, este sistema operativo en la nube podría ser un gran avance en razonamiento de seguridad y en la nube segura, y la gente también podría alojarlo de forma independiente o crear derivados.
    El peor caso sería que Apple en realidad no lo haga, pero al menos parece bastante probable que cumpla esa promesa. Entonces, incluso en el peor caso, tendríamos “una base de código open source muy útil para computación segura a gran escala”, y eso sería algo bueno sin importar qué pase con lo demás.

    • AWS Nitro Enclaves[0] también es un caso cercano, pero lo importante es que Apple convirtió el cómputo privado en un producto para más de 1.000 millones de clientes de macOS e iOS.
      [0] https://docs.aws.amazon.com/enclaves/latest/user/nitro-encla...
    • A la industria tecnológica le encanta copiar a Apple.
      Asahi Linux tiene un buen resumen de la seguridad de la cadena de arranque en dispositivo: https://github.com/AsahiLinux/docs/wiki/Apple-Platform-Secur...
      La frase “Publicaremos el PCC Virtual Research Environment. Es un conjunto de herramientas e imágenes que permite simular nodos PCC en una Mac con Apple silicon y arrancar una versión del software PCC con modificaciones mínimas para que la virtualización funcione” parece indicar que los nodos PCC son bare metal.
      ¿También se podrán simular nodos PCC en el iPad Pro con M4 Apple Silicon?
  • Es interesante la parte que dice: “Por último, usamos Swift on Server para crear un nuevo stack de machine learning para alojar modelos fundacionales basados en la nube”.
    Llama la atención que aquí aparezca Swift on Server: https://www.swift.org/documentation/server/