Un ejecutivo de Apple Silicon habla de la demanda de IA para la Mac mini y del futuro on-device

 (macrumors.com)
1 puntos por GN⁺ 4 시간 전 | 1 comentarios | Compartir por WhatsApp
  • A medida que crece la demanda de equipos dedicados para ejecutar agentes de IA durante largos periodos, Mac mini y Mac Studio están atrayendo atención como escritorios para desarrolladores
  • Las tareas de tipo agente requieren sistemas separados de la máquina principal de trabajo, bajo control directo del usuario y capaces de ejecutarse 24 horas al día, 7 días a la semana
  • Hay muchas herramientas de IA Mac-first o Mac-only, y a medida que las Mac se vuelven comunes entre desarrolladores de laboratorios de IA de frontera, se fortalece la posición del ecosistema Mac
  • Brooks ve la IA de tipo agente no como un simple problema de GPU, sino como un problema de diseño integral del chip que abarca la ejecución de LLM, las llamadas a herramientas y el procesamiento de flujos de trabajo
  • Apple vincula la IA on-device con privacidad, seguridad y costo de inferencia, y prevé una ejecución híbrida en la que el dispositivo y la nube se reparten los roles

La demanda de agentes de IA se concentra en Mac mini y Mac Studio

  • Doug Brooks, gerente sénior de producto de Apple Silicon, habló sobre la estrategia de chips de Apple y la demanda de IA en una entrevista con The Deep View justo antes de la WWDC 2026
  • Apple está viendo una demanda increíble en Mac mini y Mac Studio
  • Para las cargas de trabajo de tipo agente, son importantes las siguientes condiciones
    • un sistema que el usuario pueda controlar directamente
    • un entorno separado de la máquina de uso principal
    • equipo capaz de funcionar las 24 horas del día, los 7 días de la semana
  • Brooks calificó a la Mac mini como un “amazing system” bajo estas condiciones
  • Muchas herramientas de IA se ofrecen como Mac-first o Mac-only, y también se menciona que en los laboratorios de IA de frontera es común trabajar con Mac

La IA on-device a la que apunta Apple Silicon

  • Brooks no ve la IA de tipo agente solo como una tarea centrada en la GPU
    • No basta con que la GPU se encargue únicamente de ejecutar el LLM
    • Varias partes del chip también intervienen en las llamadas a herramientas y en las tareas alrededor del flujo de trabajo
    • Esa estructura encaja con las fortalezas de Apple Silicon
  • Las fortalezas de Apple en IA están ligadas a decisiones de diseño de chips previas a la aparición de LLM como ChatGPT
    • El Neural Engine fue diseñado para operaciones matriciales con eficiencia energética
    • Los aceleradores de redes neuronales menos conocidos dentro del CPU procesan tareas sensibles al tiempo, como la voz
    • Más recientemente, también se añadieron aceleradores de redes neuronales a la GPU para escalar el rendimiento de IA desde chips de nivel iPhone hasta el gran silicon de las Mac
  • Apple mantiene un enfoque en el que fabrica chips para máquinas específicas y desarrolla juntos el hardware y el software
  • La ejecución de IA muestra una tendencia de traslado parcial de la nube a lo local, y Brooks atribuye ese movimiento a la privacidad, la seguridad y al aumento del costo de inferencia por el mayor uso de tokens de los agentes
  • La ejecución futura de IA, más que un cambio completamente local, se parece a un modelo híbrido en el que el agente decide qué tareas procesar en el dispositivo y cuáles enviar a la nube
  • En iPhone y iPad se enfatiza la “transparent AI”
    • Se refiere a funciones que operan silenciosamente en todo el sistema operativo y en apps de terceros sin presentarse abiertamente como IA
    • Se menciona como ejemplo el generador de imágenes Draw Things, que funciona en iPhone, iPad y Mac
    • También se incluye como caso SwingVision, que analiza en tiempo real partidos de tenis y pickleball con la cámara del iPhone
  • Brooks describió el ritmo actual de desarrollo de la IA como “just crazy” y dijo que es difícil predecir no solo cómo será dentro de un año, sino incluso dentro de 3 meses o 1 mes

Lecturas relacionadas

1 comentarios

 
GN⁺ 4 시간 전
Opiniones de Hacker News

  • Apple casi no ha logrado ofrecer experiencias de IA realmente interesantes hasta ahora, pero aun así parece muy probable que dentro de 5 años se convierta en el proveedor dominante de IA
    Si el chip, el modelo, o ambos avanzan una o dos veces más, incluso los dispositivos Apple de gama media podrían ejecutar gratis modelos locales bastante buenos, y en ese momento la combinación de privacidad, costo y latencia parece difícil de superar para OpenAI/Anthropic/Google
    Lo dejo escrito para que dentro de 5 años me feliciten o se burlen

    • Me gusta más que Apple no esté convirtiendo todos sus negocios en algo centrado en IA
      Ya cansa un poco. En el trabajo la uso por necesidad práctica, así que le está quitando lo interesante y divertido, y siento que si la usara igual de fuera del trabajo pasaría lo mismo
    • Hay dos grandes razones por las que la inferencia local tendrá dificultades para competir con la nube por un buen tiempo
      Primero, la mayoría de las tareas útiles con LLM se procesan en paralelo. Una Mac Mini puede ejecutar un solo hilo de inferencia de LLM a la vez, mientras que la nube puede lanzar decenas y distribuirlos eficientemente por toda una flota de hardware
      Segundo, hardware de inferencia más rápido como el de Cerebras o Groq no puede ejecutarse en local. Es difícil subestimar la ventaja de tener más de 5 veces el rendimiento de tokens por hilo, y si a eso se le suma la ventaja de múltiples hilos, termina siendo un golpe decisivo para los LLM locales
      La inferencia local sí tiene su papel. Si manejas cosas extremadamente sensibles, o quieres conversaciones sexuales o imágenes NSFW con modelos sin censura, lo local es la única opción. También parece probable que Apple y otras empresas sigan ejecutando mucho en local tareas útiles como sugerencias de edición de texto, reconocimiento de voz, síntesis de voz y manipulación de imágenes, y a medida que mejore el hardware local, esas funciones también mejorarán
      Pero para la mayoría de las tareas con LLM, parece que la nube seguirá dominando durante muchísimo tiempo, quizá para siempre
    • La integración discreta de machine learning en la app Fotos está bien. Identificación de plantas, reconocimiento facial, eliminación de fondo, búsqueda de texto por OCR e incluso búsqueda de escritura a mano, todo está bastante bien integrado
    • Antes que todo local o todo en línea, parece que primero llegará lo híbrido
      Por ejemplo, el control o la delegación de la computadora quedarían a cargo de un modelo local, mientras que las tareas que requieran razonamiento fuerte, planeación o acceso a conocimiento quedarían a cargo de un modelo en línea. Me alegraría equivocarme, pero creo que los modelos están creciendo más rápido que el hardware
    • En abril de 2023 escribí “todos deberíamos comprar una Mac Studio con todo al máximo, 128 GB de RAM, 20 núcleos de CPU, muchas GPU y núcleos Neural”
      Llegamos tarde y temprano al mismo tiempo
      https://news.ycombinator.com/item?id=35527692

  • Si Apple diseñara Private Cloud Compute como un entorno de ejecución dedicado para una sola persona, parece que incluso podría vender máquinas desde 10 mil dólares
    Al final necesitaría una ruta para bajar a algo de 2,500 dólares, pero este tipo de nicho parece difícil para cualquier marca de consumo que no sea Apple
    [1] https://security.apple.com/blog/private-cloud-compute/

    • Los modelos de M3 Ultra Mac Studio con más de 800 GB/s de ancho de banda de memoria, que están agotados, se están vendiendo en eBay por 24,000 dólares, así que sí parece posible
    • Cuando iCloud Drive estaba en desarrollo, una vez le pedí a Apple, por medio de un vendedor que vino a presentar una app médica interna para iPad, que hicieran algo así para iCloud
      Habría pagado sin problema 50 mil dólares por una Mac Pro para rack que los dispositivos “administrados” pudieran usar como destino, pero Apple no entendió en absoluto esa necesidad
    • Antes, cada vez que salía una nueva Mac, con mis colegas armábamos la configuración más cara posible
      En algún momento era fácil llegar a seis cifras en dólares, pero con el tiempo fue bajando poco a poco
    • Apple es bastante hostil con los usuarios profesionales, así que no lo creo
    • Eso se acerca más a lo empresarial. Cuesta imaginar un caso de uso que justifique una máquina de 10 mil dólares en computación personal

  • Si lo que quieres es usar software tipo Claude Code u openclaw solo con suscripción o API de LLM, sin correr modelos locales, y quedarte únicamente con el flujo de trabajo de “segundo cerebro” siempre encendido y con acceso al sistema de archivos local, no tengo claro que realmente necesites una Mac mini
    Parece algo que también podría correr en una Raspberry Pi o una laptop vieja, así que me da curiosidad si alguien ya lo ha probado

    • No termino de entender la moda de la Mac mini
      Supongo que es una de dos. 1) Escucharon que “la Mac es buena para IA”, la compraron y luego hacen la inferencia con Claude, sin darse cuenta de que si tienes internet hasta desde una secadora podrías llamar a la API de Anthropic. 2) Quieren que su agente tenga los globos azules de iMessage
      Cuesta creer que la gente común esté haciendo tanta inferencia en dispositivo como para agotar la Mac Mini, e incluso si así fuera, la Mac mini tampoco es una plataforma especialmente buena para eso
    • Para ese uso en específico no necesitas una Mac Mini, pero el precio era bastante bajo y la calidad es buena
      Quienes la compran tal vez no aprovechen toda la potencia, pero suelen valorar más la comodidad que comprar lo más barato posible
      Si asumes que la usarás mucho tiempo y también para otras cosas, se puede justificar hasta cierto punto
    • Es porque en la Mac mini puedes enviar mensajes por iMessage. Eso es todo
    • Sí. Un poco de potencia extra ayuda en tareas como abrir el navegador, pero si quieres gastar poco, una mini PC reacondicionada o algo como Minisforum o GMKTec también funciona bastante bien
      Lo ideal es al menos 16 GB de memoria, y si se puede, 32 GB
    • Si solo vas a usar openclaw y la API, no necesitas una PC grande
      Yo corro algo ligero en una RPI4 de 8 GB. Mucha gente sí ejecuta LLM locales, y ahí la Mac sirve. Sinceramente, creo que es difícil superar la relación costo-beneficio de una suscripción a OpenRouter y las llamadas a API

  • Si tuviera capital, me gustaría hacer un appliance de inferencia para el hogar
    No tendría periféricos aparte de Ethernet, y la configuración sería solo una unidad de cómputo integrada de CPU+GPU+memoria, almacenamiento auxiliar, placa madre y fuente de poder. La idea es dejar solo el hardware mínimo necesario para ejecutar modelos como una utilidad, sin adornos
    También estaría bien que el panel frontal tuviera una pantalla para mostrar el estado, como los viejos equipos estéreo Hi-Fi
    Añadiendo algo más, imagino una especie de serie de módulos con CPU RISC-V + Vortex GPGPU + memoria

    • En invierno podría calentar la casa y en verano la piscina
    • Eso suena como un Mac mini/Studio con la apariencia apenas modificada
    • ¿No es eso lo que hace George Hotz en tiny? https://tinycorp.myshopify.com/
    • De lo que existe hoy, lo más cercano parece ser el ASIC para LLM diseñado por Taalas
      https://taalas.com/products/
      Lástima que, aunque el chatbot de esa empresa es sorprendentemente rápido, no sé absolutamente nada sobre la empresa que lo opera
      De todos modos, un ASIC para correr modelos de difusión del lenguaje de forma local no suena mal. Incluso si algún día queda obsoleto, sigue siendo mejor que dejar todo en manos de empresas que viven de capital de riesgo, que en el futuro pueden desaparecer o, peor aún, dominar el mercado y cobrar lo que quieran
    • Estoy siguiendo a Tenstorrent para este propósito
      Parece que el precio quedará en algún punto entre una plataforma de memoria unificada con alta densidad de memoria y una GPU especializada para una tarea concreta
      Está justo en el límite de lo que tiene sentido para el hogar, pero es interesante

  • Ejecutar modelos en el dispositivo en una Mac es bastante fastidioso
    Empezando por averiguar qué va a funcionar entre BF16, FP8, BF16+FP8, NVFP4, INT8, GGUF, etc.; siendo generosos, no está nada claro. Apple casi no ofrece soporte de herramientas. Existe MLX, pero si no piensas convertir tú mismo los modelos a ese formato, te quedas bastante atrás
    Apps como LM Studio, Ollama y Draw Things simplifican mucho, pero sigue siendo engorroso

    • No tengo claro qué es exactamente lo fastidioso. Es simplemente parte del aprendizaje, y en uno o dos días te acostumbras
      Parece que se olvidó que durante los últimos 50 años hacer todo tipo de tareas con computadoras ha sido tedioso, complejo y ha requerido bastante tiempo solo para lograr que funcione. Mi primera computadora tenía 48 KB de RAM y para jugar había que cargar desde casete durante 5 minutos. Eso sí era fastidioso
      Comparado con eso, que LM Studio te permita descargar un modelo, cargarlo y conversar o conectarle agentes es muy fácil y requiere poco esfuerzo
    • Uso LM Studio con bastante frecuencia, y el equipo de MLX y la comunidad normalmente suben una versión MLX uno o dos días después del lanzamiento de un modelo nuevo
    • Me da curiosidad saber qué problemas estás teniendo. Estoy ejecutando varios agentes next de Qwen Coder en local y funcionan bien
    • Convertir un modelo a MLX es literalmente hacer git clone y ejecutar mlx_lm.convert
      Después del clon, es un trabajo de 5 minutos
    • Por otro lado, estoy usando con satisfacción este LLM local de antirez, conocido por Redis
      [1] https://github.com/antirez/ds4

  • El punto clave no es la inferencia de IA, sino las llamadas a herramientas, el trabajo con apps GUI de escritorio y ejecutar el navegador
    Todavía no hay un modelo en el dispositivo lo bastante bueno como para hacer trabajo real en una Mac Mini barata. Pero para correr algunos navegadores y apps GUI, comprar una Mac Mini es muchísimo mejor que pagar por contenedores en la nube más caros y con peor rendimiento
    Los navegadores no están diseñados para ejecutarse en contenedores Linux, y funcionan mejor en un sistema operativo de escritorio sobre bare metal. La Mac Mini M4 tiene mejor rendimiento por núcleo único, medido por puntaje de Geekbench, que cualquier VM que puedas alquilar en la nube en términos de rendimiento de cómputo puro por dólar

    • A precio de lista, un paquete de 4 era originalmente una solución muy buena para los requisitos de tokens por segundo por dólar

  • El enlace enviado debería haber sido este artículo editorial original
    https://www.thedeepview.com/articles/how-apple-s-decade-long...

  • Que “según Doug Brooks, gerente senior de producto de Apple silicon, la Mac mini y la Mac Studio de Apple se han convertido en las máquinas preferidas para ejecutar agentes de IA” es en gran medida un fenómeno de EE. UU.
    Por aquí no hay Mac mini ni Mac Studio; solo laptops ThinkPad y MacBook conectadas a hyperscalers

    • No sé a qué te refieres con “por aquí”. En el Reino Unido la electricidad es ridículamente cara, así que es una de las opciones de bajo consumo bastante populares para LLM locales
      Si no estás metido en el mundo de los LLM locales, obviamente no las vas a ver. Es como decir “aquí el tenis no es popular” sin ir nunca a una cancha de tenis

  • Así como la gente compraba autos diésel porque rendían más que los de gasolina, en muchos países la electricidad es muy cara y por eso están comprando equipos con memoria unificada de Apple, porque el costo operativo es más bajo que en una configuración de Nvidia
    Si aumentan las opciones de memoria unificada que no sean de Apple, mucha gente va a elegir esas en su lugar

  • Este artículo es una reescritura de https://www.thedeepview.com/articles/how-apple-s-decade-long...