Apple quiere que la IA se ejecute directamente en su propio hardware, no en la nube

Apple busca ejecutar la IA directamente en el hardware, no en la nube

• Apple reveló recientemente, a través de una investigación, sus planes para ponerse al día con sus competidores en el campo de la inteligencia artificial al proponer una forma de ejecutar modelos de lenguaje de gran tamaño en smartphones.
• El artículo de investigación "LLM in a Flash" presenta una solución a los cuellos de botella computacionales actuales y abre camino a métodos para realizar inferencia de LLM de forma eficiente en dispositivos con memoria limitada.
• Este enfoque abre la puerta a la forma en que grandes repositorios de datos que impulsan aplicaciones como ChatGPT responden, es decir, realizan inferencias, ante las preguntas de los usuarios.

Investigación de IA de Apple y perspectivas del mercado

• Apple ha mostrado nuevos movimientos en su investigación de IA, incluyendo la ejecución del modelo de generación de imágenes Stable Diffusion en sus propios chips.
• Los fabricantes de smartphones y de chips esperan que las nuevas funciones de IA reactiven el mercado de los teléfonos inteligentes, y según Counterpoint Research, se prevé que en 2024 se envíen más de 100 millones de smartphones centrados en IA.
• Aunque Apple lanzó Siri en 2011, existe la percepción de que quedó algo al margen del entusiasmo por la inteligencia artificial que recorrió Silicon Valley tras el lanzamiento de ChatGPT de OpenAI.

Desafíos técnicos y privacidad

• Ejecutar grandes modelos de IA como ChatGPT o Bard de Google en dispositivos personales es un reto técnico considerable, ya que los smartphones no cuentan con los vastos recursos de cómputo ni la energía de un centro de datos.
• Resolver este problema permitiría que los asistentes de IA respondan más rápido que desde la nube y funcionen incluso sin conexión, además de ayudar a proteger la privacidad al responder preguntas en el dispositivo personal sin necesidad de enviar datos a la nube.

Conclusión del artículo

• Los investigadores de Apple señalaron lo siguiente en la conclusión del artículo:

  “Nuestra investigación no solo ofrece una solución a los cuellos de botella computacionales actuales, sino que también establece un precedente para investigaciones futuras. Creemos que, a medida que el tamaño y la complejidad de los LLM sigan creciendo, enfoques como este serán esenciales para aprovechar al máximo el potencial de los LLM en una amplia gama de dispositivos y aplicaciones”.

Opinión de GN⁺

• Esta investigación de Apple abre la posibilidad de ofrecer a los usuarios de smartphones una experiencia de IA más rápida y más personal.
• Dadas las preocupaciones de los usuarios sobre la privacidad, procesar los datos en el dispositivo personal en lugar de en la nube podría ser una alternativa atractiva para muchas personas.
• Si esta tecnología se comercializa, se espera que los usuarios puedan utilizar funciones avanzadas de IA incluso sin conexión a internet, mejorando significativamente la usabilidad y conveniencia de los smartphones.

[GN⁺]

Opiniones de Hacker News

• Decir que Apple se ha quedado atrás en el campo de la inteligencia artificial (IA) es una locura.

  • OpenAI está acaparando la atención, pero la búsqueda se basa en anuncios de enlaces y venta de datos, así que es menos prometedora para la IA.
  • La IA “grande” actual está limitada por los costos de la nube para el entrenamiento, y los grandes jugadores están haciendo todo lo posible por llevar el software al hardware.
  • OpenAI colabora con socios comerciales de todo el mundo y habla de AGI (inteligencia artificial general), pero eso no es más realista que una criptomoneda que reemplace a los bancos centrales.
  • Mientras tanto, Apple lleva más de 4 años integrando procesadores neuronales en sus dispositivos, y las funciones de IA están incluidas en todas sus campañas de marketing.
  • La realidad aumentada de VisionOS ofrece un nuevo terreno para la utilidad de la IA, y apunta no solo a la diversión, sino también al trabajo donde el trabajo remoto se vuelve la norma.
  • Apple es el único ecosistema seguro y que protege la privacidad que existe.

• Me alegra que la IA se ejecute en el hardware como parte de las versiones más recientes de iOS.

  • Comparte la experiencia de haber recibido un mensaje mientras conducía y que Siri describiera con precisión el contenido de una foto.
  • Como esta función está cifrada de extremo a extremo (E2E), debió haberse identificado localmente y no mientras el mensaje se transmitía.
  • Esto resulta interesante como una actualización de mejora de calidad, y expresa expectativa sobre su potencial de crecer a medida que la IA pueda procesar más cosas en el hardware.

• Recomienda probar Mistral 7B en dispositivos móviles.

  • Dice que probó esa app en un iPhone 15 y que el rendimiento es muy bueno.
  • La desventaja es que la app necesita casi toda la memoria del teléfono, y si cambias a otra app y vuelves, el estado se reinicia y hay que volver a cargar el modelo desde cero.

• Cree que, en el mundo actual lleno de teléfonos/dispositivos potentes, ejecutar la IA en el propio dispositivo es el siguiente paso.

  • Usa un teléfono con especificaciones potentes de un modelo de 2021, y considera que Apple querrá descargar apps de IA costosas a estos potentes dispositivos de los usuarios.
  • Esto le parece una victoria para la privacidad para quienes no quieren que sus datos personales se usen en entrenamiento, y prefiere tener control sobre el modelo que usa y la ética que sigue.

• La biblioteca CoreML de Apple existe desde hace varios años e incluye modelos BERT.

  • Espera que se introduzcan en iOS y iPadOS modelos transformer más avanzados que BERT.
  • El iPad Pro tiene 16 GB de RAM y puede ejecutar un modelo de 13B.
  • Tras comprar una Mac Mini de 32 GB, siente que en solo 6 semanas los modelos que puede ejecutar han mejorado mucho.
  • Tiene grandes expectativas para el futuro.

• Es interesante que la IA tenga el potencial de crear un nuevo ciclo de actualizaciones para los smartphones.

  • Aún está por verse si las funciones de IA realmente justificarán una actualización; si afectan la duración de la batería, la propuesta de valor podría no cambiar mucho.

• Cree que, en una situación donde la IA presenta riesgos para la privacidad, ejecutarla localmente es la mejor opción.

  • Quiere que en el futuro la IA multiplique por 10 sus capacidades cognitivas, y para eso la información tendría que intercambiarse con el cerebro en tiempo real.
  • No quiere conectarse a una sincronización de datos en la nube para que los anunciantes y las agencias de espionaje husmeen en sus pensamientos.

• Apple reduce el costo de operar la infraestructura para ofrecer opciones de IA/ML a los usuarios de iPhone.

  • Esto ahorra costos al distribuir el cómputo y aprovechar el gasto ya realizado en la fabricación de los dispositivos.
  • Ofrece privacidad al consumidor, ya que los datos no salen del teléfono.

• Se pregunta cómo responderán compañías como OpenAI si la IA en dispositivo se vuelve algo masivo.

  • Como su modelo de negocio se basa en el acceso por API, quizá empiecen a vender modelos offline.
  • Sin embargo, eso podría generar problemas de piratería.

• Apple ha expresado claramente su intención de ejecutar IA en el dispositivo, a pesar de que en las generaciones más recientes casi no ha asignado espacio adicional en el chip al motor neuronal.

  • Hay varias explicaciones posibles para esto, y le interesa la perspectiva de alguien que sepa mejor cuál es la real.
  • Puede que crean que el hardware actual ya es lo suficientemente potente, o que el uso del ANE no justifique más recursos.
  • También podrían estar planeando volver a generalizar los cálculos de IA mediante cosas como operaciones vectoriales.
  • En el escenario más pesimista, quizá estén reservando un gran aumento para cuando necesiten forzar una actualización.