Apple presenta el chip M5, que mejora drásticamente el rendimiento de IA

• El chip M5 integra un Neural Accelerator en cada núcleo de la GPU, elevando la velocidad de cómputo de IA a más de 4 veces frente al M4
• Combina una GPU de 10 núcleos, un Neural Engine de 16 núcleos y 153 GB/s de ancho de banda de memoria unificada para reforzar de forma notable tanto los modelos de IA on-device como el procesamiento gráfico
• Se incorpora en la MacBook Pro 14, iPad Pro y Apple Vision Pro, mejorando de forma importante la velocidad de ejecución de flujos de trabajo basados en IA, modelos de difusión y modelos de lenguaje
• Con el nuevo motor de ray tracing de tercera generación y la segunda generación de Dynamic Caching, ofrece un rendimiento gráfico hasta 45% superior en juegos y apps 3D
• Apple destaca que el chip M5 es una plataforma clave para la era de la IA y representa el próximo gran salto de Apple Silicon tanto en eficiencia energética como en rendimiento

---

Resumen del chip M5

• El chip M5 es un SoC Apple Silicon de nueva generación fabricado con un proceso de 3 nanómetros de tercera generación, rediseñado por completo para cargas de trabajo de IA
• Integra un Neural Accelerator en cada uno de sus 10 núcleos de GPU, logrando un rendimiento de cómputo de IA 4 veces superior al M4 y 6 veces superior al M1
• Su CPU de 10 núcleos, compuesta por 4 núcleos de rendimiento y 6 núcleos de eficiencia, ofrece un rendimiento multinúcleo 15% más rápido que el M4
• Con un Neural Engine de 16 núcleos, un motor multimedia mejorado y 153 GB/s de ancho de banda de memoria, refuerza la eficiencia en todo el sistema

Innovación en IA y rendimiento gráfico

• La arquitectura de GPU de nueva generación del M5 tiene todos sus bloques de cómputo optimizados para IA, y el Neural Accelerator dentro de la GPU procesa directamente las operaciones de IA
  • La velocidad de ejecución de apps de IA on-device como Draw Things y LM Studio mejora de forma considerable
• La combinación del motor de ray tracing de tercera generación y la segunda generación de Dynamic Caching eleva el rendimiento gráfico en 30% frente al M4 y en 2.5 veces frente al M1
• Permite soporte para 120Hz y transiciones de cuadros fluidas en juegos exigentes como Cyberpunk 2077
• Las apps basadas en los frameworks oficiales de Apple (Core ML, Metal Performance Shaders, Metal 4) pueden ver mejoras de rendimiento inmediatas
• Los desarrolladores pueden controlar directamente el Neural Accelerator dentro de la GPU mediante la API Tensor de Metal 4

Neural Engine y Apple Intelligence

• El Neural Engine de 16 núcleos trabaja junto con el Neural Accelerator de la CPU y la GPU para procesar operaciones de IA de alta velocidad
• En Apple Vision Pro, funciones complejas de IA como la conversión 3D de fotos y la creación de Persona funcionan más rápido
• Mejora la capacidad de respuesta de los modelos de lenguaje basados en Apple Intelligence y de la herramienta Image Playground, optimizando la experiencia de IA on-device
• Los desarrolladores que utilicen modelos de Apple Intelligence también pueden percibir mejoras de rendimiento gracias al Neural Engine mejorado del M5

Arquitectura de memoria

• Los 153 GB/s de ancho de banda de memoria unificada representan un aumento de 30% frente al M4 y más del doble frente al M1
• Gracias a una estructura de pool de memoria único, la CPU, la GPU y el Neural Engine pueden acceder a la misma memoria de gran capacidad
• Con una configuración de 32 GB de memoria, puede ejecutar sin problemas al mismo tiempo apps creativas exigentes como Photoshop y Final Cut Pro, junto con modelos de IA de gran tamaño
• Maximiza el rendimiento de modelos de IA grandes y del renderizado gráfico en tiempo real

Eficiencia energética y medio ambiente

• El M5 mejora de forma importante el rendimiento manteniendo una eficiencia energética de nivel líder en la industria
• Como parte de la iniciativa Apple 2030, impulsa la reducción de emisiones de carbono en producción, materiales, energía y transporte
• Los dispositivos con chip M5 cumplen con los estándares de eficiencia energética y minimizan el consumo energético a lo largo de toda la vida útil del producto

Significado general

• El chip M5 simboliza que la evolución de Apple Silicon ya entró de lleno en la era de la computación centrada en IA
• Con el diseño integrado de la GPU y el Neural Engine, el rendimiento de IA on-device evoluciona hacia una menor dependencia de la nube y una mayor autonomía de cómputo en los dispositivos personales
• Con esto, Apple está redefiniendo la MacBook Pro, iPad Pro y Vision Pro como plataformas creativas de IA de próxima generación

[tsboard]

Parece más bien el manotazo desesperado de Apple, que llegó tarde a la IA, pero aun así genera expectativas jaja

[GN⁺]

Opiniones de Hacker News

• Organizado en una tabla

  Chip	Proceso	Núcleos CPU	GPU	Neural Engine	Ancho de banda de memoria	Memoria unificada	Geekbench single/multi
  M1	5 nm G1	8: 4P+4E	7–8	16-core	68.25 GB/s	16 GB	2346 / 8346
  M2	5 nm G2	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2586 / 9672
  M3	3 nm G1	8: 4P+4E	8–10	16-core	100 GB/s	24 GB	2965 / 11565
  M4	3 nm G2	10: 4P+6E	8–10	16-core	120 GB/s	32 GB	3822 / 15031
  M5	3 nm G3	10: 4P+6E	10	16-core	153 GB/s	≤32 GB	4133 / 15437 (9 core)

• Es interesante que la memoria unificada haya bajado de 32GB a 24GB. Supongo que pensaron que el chip M4 permitía demasiada memoria en el modelo estándar y quisieron ampliar la diferenciación frente a los chips Pro/Max. Pero viendo que la Macbook Pro más reciente también soporta la opción de 32GB, también creo que los 24GB del M5 en la tabla podrían ser un error tipográfico
• Mi M3 Max pronto va a parecer viejo, pero subir a un M6 o M7 Max sí que sonaría genial
• Me pregunto si el proceso de 2nm de TSMC se retrasó hasta el próximo año o si el plan original siempre fue 2026
• La puntuación multicore de Geekbench del M5 es de la versión de 9 núcleos. Todavía no se ha publicado nada de la versión de 10 núcleos
• La MacBook Pro con M5 todavía usa un chip WiFi de Broadcom, pero el iPad Pro con M5 incluye los chips N1 y C1X, así que da para ilusionarse.
  Siento que Apple está haciendo cosas increíblemente impresionantes en hardware.
  El equipo de software de verdad necesita ponerse las pilas. El M1 por sí solo ya es tan potente que la mayoría de los usuarios no necesitan actualizar.
  Pero el nuevo OS (Tahoe) de pronto vuelve lenta mi M1 Air incluso al hacer tareas que llevo años haciendo igual.
  Si eso es ralentización intencional, sería realmente decepcionante
  • Después de la actualización a Tahoe, mi laptop de trabajo M2 Pro con 32GB se volvió torpe como una PC lenta de casa.
    Hasta el puntero del mouse se siente como si se teleportara. Desactivar la transparencia en accesibilidad no lo arregló, e incluso lo empeoró
  • Últimamente hay muchas cosas de Apple relacionadas con software que de verdad me vuelven loco.
    • Uso el iPhone como control remoto de Apple TV y de repente deja de funcionar el control de volumen; ese tipo de UI inconsistente es el problema
    • El método de autenticación que fuerza Face ID es desesperante. En una estación de esquí obviamente Face ID no funciona, pero no te deja ir directo a escribir la contraseña
    • En Apple TV, incluso para ingresar el control parental te obliga a pasar por la pantalla de selección de PIN. Sería más cómodo abrir de una vez la ventana para introducir el PIN
    • También cuando usas el iPhone como control remoto, me gustaría que en la aprobación para menores avanzara automáticamente
  • El equipo de hardware de Apple hace cosas casi milagrosas, pero el software que las mueve no está a la altura. Se siente como si fueran dos empresas totalmente distintas operando por separado
  • Todavía es difícil saber si el chip WiFi de la MacBook Pro con M5 y el N1, C1X del iPad Pro son realmente buenos. También he tenido muchas experiencias poco satisfactorias con los módems celulares de Apple.
    Me parece exagerado decir que el M1 es poderoso. Su rendimiento por vatio es excelente, pero en cómputo real un Ryzen 9 7945HX puede procesar unas 3 veces más trabajo que un M1 Max, y un Intel Core Ultra 7 265k unas 3.5 veces más
  • Si Apple separara por completo sus organizaciones de hardware y software, estandarizara más el hardware y convirtiera macOS/iOS en una opción entre muchas, me entusiasmaría muchísimo. Sé que en la práctica es imposible, pero me gusta soñarlo
• El hardware de Apple impresiona en especificaciones, pero no quiero comprar una Mac en la que no pueda correr Linux directamente. No me gusta el ecosistema controlado que construyó Apple.
  También está el problema de ARM contra x86. Aunque salgan distros compatibles, en desktop uno quiere correr de todo, incluido software variado y juegos, y ARM todavía tiene bastantes límites ahí. En laptops ya se volvió una elección razonable, pero un desktop ARM verdaderamente libre y viable para uso real todavía se ve lejano
  • En realidad, Linux corre bastante bien en Mac. ¿Has probado Parallels o VMware Fusion? En especial Parallels soporta bien aceleración 2D/3D/video, suspensión e integración con el OS anfitrión.
    Si eso no te convence, la nueva función nativa de contenedores de Tahoe permite correr contenedores directamente desde dockerhub y similares.
    Y eso de llamar al ecosistema de macOS un "jardín cerrado" tampoco lo veo tanto: puedes instalar apps libremente y con homebrew usar casi todo el software abierto o cerrado
  • Sigo buscando laptops ARM donde Linux funcione bien. También he estado viendo productos de Lenovo, pero el soporte de Linux todavía se queda corto
  • Para recibir servicio oficial de Apple, más bien sientes que te hacen upselling a la fuerza. Llegan a cobrar $1500 por cambiar un teclado. Apple sigue siendo poco proactiva con el reciclaje y el retiro de modelos viejos. Y sí, sigue siendo un entorno cercado, con opciones limitadas sobre lo que puedo hacer en mis propios dispositivos
  • Las Mac M1 y M2 funcionan bastante bien con Asahi Linux (todavía no hay soporte para M3, M4 ni M5)
  • A estas alturas creo que la velocidad de cómputo en sí ya no importa tanto. Mientras la ley de Wirth no pegue demasiado fuerte, todo bien
• Otra vez no veo información concreta sobre mejoras en el Neural Engine.
  Casi toda la información relacionada con el Apple Neural Engine (ANE) sale de documentación oficial de Apple o de reverse engineering (repo de Github), y supongo que esta vez también hubo algunas mejoras para responder mejor al rendimiento de transformers.
  Los papers de Apple sobre investigación en transformers también son bastante interesantes:
  • transformers on the Neural Engine
  • vision transformers
    En software ha mejorado bastante con MLX, pero creo que todavía hay margen para mejorar más. Habrá que ver cuánto avanza el M5 Max
    Por muchas mejoras que haya, no se aplican a generaciones anteriores, y lo más frustrante sigue siendo que todavía insistan en ofrecer 8GB de memoria unificada
  • Como dices, recientemente (desde hace uno o dos años) todos los modelos base de Mac arrancan en 16GB. La MacBook Air también
  • Sí hay casos donde se necesita más rendimiento de cómputo, sobre todo con vision language models de contexto grande. Según entiendo, el ANE anterior estaba más optimizado para tareas de convolution y eficiencia computacional, mientras que el nuevo neural accelerator apunta más a flexibilidad y rendimiento
  • Según tengo entendido, MLX todavía no usa el Neural Engine. Casi preferiría que abandonaran el Neural Engine y se enfocaran en las unidades metal/tensor de la GPU
  • Mi apuesta es que esta vez hicieron algo como NVIDIA y metieron un systolic array dentro de los núcleos GPU. Me parece la única forma de cuadruplicar la velocidad de MLX frente al M4
  • La memoria unificada siempre termina quedándose corta frente a la vram. Incluso mis 16GB de vram se me hacen insuficientes. Además, Apple cobra carísimo el almacenamiento, así que aunque quiera hacer AI local de verdad para analizar libremente mi calendario, correos, fotos y notas, el hecho de que solo puedas elegir entre opciones de 256GB a 1TB se vuelve una limitación
• En Apple Silicon hay varias unidades de hardware capaces de hacer matrix multiplies
  1. CPU SIMD/NEON
  2. CPU AMX coprocessor(M1~M3)
  3. CPU SME(M4)
  4. GPU(metal compute shader+simdgroup-matrix+mps matrix)
  5. Neural Engine(CoreML advisory)
     Y en el M5 parece haberse añadido un "Neural Accelerator" a cada núcleo
  • En realidad tiene sentido porque cada unidad opera sobre puntos distintos de la jerarquía de memoria. Incluso para los programadores es algo positivo, ya que permite controlar con más detalle la latencia y el throughput
  • Menos mal que librerías como Pytorch abstraen bien toda esta complejidad. Si te tocara construirlo todo desde cero, sería bastante más complicado
  • Me pregunto si el software de Apple (por ejemplo, Final Cut) aprovecha al mismo tiempo estas unidades de multiplicación de matrices "duplicadas" para exprimir al máximo el rendimiento. Por la naturaleza del multitasking, a nivel de OS distintos programas reparten los recursos, pero sería interesante ver un uso simultáneo extremo de este tipo
  • No sé si sea un diseño tan raro. Operaciones como matmul ya son primitivas tan comunes y usadas todos los días que hasta la Mac Quadra de 1994 tenía un montón de unidades de punto flotante, mientras que la Mac de 1984 no tenía ninguna
  • Me pregunto si se podrán usar todas las unidades de multiplicación de matrices al mismo tiempo. Tal vez no sea práctico, pero sería divertido probarlo. Si la CPU es superscalar, parecería posible ejecutar algunas operaciones en paralelo
• El chip del iPad Pro está siendo binning según el almacenamiento
  • 512GB o menos: 3 P-cores + 6 E-cores
  • 1TB o más: 4 P-cores + 6 E-cores
    Fuente
  • Diferenciar el rendimiento por nivel de almacenamiento es un marketing realmente repugnante, considerando además lo muchísimo que Apple cobra por el almacenamiento
• Últimamente, al ver a Apple me queda la impresión de que el equipo de hardware lo está haciendo mucho mejor que el de software
  • No es la primera vez en la historia de Apple. En la transición de 68k a PowerPC también hubo un gran salto en hardware, pero el software no estuvo a la altura. Gran parte del sistema central funcionó casi hasta OS 9 mediante emulación, y la memoria protegida y el multitasking preventivo también iban muy rezagados. Los proyectos Taligent y Copland fracasaron, y luego llegó la compra de NeXT antes del lanzamiento de Mac OS X. Hasta entonces el software era el punto diferenciador de la Mac, pero incluso eso decayó tras la transición a Intel, y da la impresión de que desde la llegada de las Mac con M1 el hardware volvió a ponerse al frente
  • El software tiende a ampliar demasiado su alcance, acumular funciones innecesarias y dejar apps abandonadas. En cambio, el hardware está limitado por el costo de fabricación, así que su alcance es más acotado. Apple necesita ahora a alguien que se anime a recortar de forma agresiva ese alcance innecesario y varios productos de software
  • Me parece que la mayoría del software que no va para datacenter/cloud cada vez es peor. Quienes ya se acostumbraron a ese estado son los que terminan tomando decisiones, así que creo que irá a peor
  • En realidad no es algo de ahora; desde siempre la calidad del software de Apple ha sido discutible. El viejo iTunes también escribía lentísimo archivo por archivo cuando editabas tags, y fuera del diseño visual o las guías de diseño, nunca me ha dado la impresión de ser software especialmente sobresaliente
  • Apple es, en esencia, una empresa de hardware. Mientras ofrece gratis el OS para consumidores, Microsoft históricamente se ha enfocado más en vender el OS. Ahora que incluso diseña directamente el paquete SoC, siento que está mostrando muy bien esa fortaleza en hardware
• Es la primera vez que veo a Apple usar directamente el término "AI" en marketing. Antes solo usaba "machine learning" o "Apple Intelligence"
  • Al final Apple también terminó cediendo al hype. Me da pena, porque "machine learning" parecía ser el último orgullo de Apple en mantenerse firme con ese término
  • Claro, si Apple adopta AI de propósito general como diffusion models/LLM, no tengo problema con que lo llamen AI. Aun así, me gustaría que al menos en PR también mencionaran Apple Intelligence
  • Tampoco es que no haya esperanza. AI podría usarse como sigla de Apple Intelligence, si uno le echa suficiente imaginación
  • Yo quiero creer que el AI que Apple promociona en realidad significa Apple Intelligence
• En el anuncio del M5 dijeron que el cómputo GPU para AI era 4 veces más rápido que en el M4, pero seguramente será en condiciones de laboratorio. En la práctica, tanto el M5 del iPad como el de la MacBook Pro afirman "3.5 veces más rendimiento de AI", pero en las demos reales solo muestran ejemplos entre 1.2 y 2.3 veces más rápidos que el M4. Me pregunto qué prueba usaron para sacar ese 3.5x
  • Se sabe que el M5 añade soporte para operaciones FP4. Por eso creo que la diferencia de velocidad se nota mucho con modelos cuantizados Q4 (precisión bastante menor que BF16)
  • No solo Apple: también es común que la competencia compare con chips de dos generaciones atrás, así que entiendo este tipo de cifras infladas
• Me pregunto si este chip M5 también incluye "Memory Integrity Enforcement" (la función de seguridad introducida en el A19/A19 Pro)
  • Si usa los mismos núcleos de CPU, es muy probable que sí lo soporte

[xguru]

En el comunicado de prensa se enfatiza tanto la IA que hasta se percibe cierta urgencia por parte de Apple.
Es bastante revolucionario que hayan integrado la GPU y el acelerador neuronal para aumentar la velocidad de las operaciones de IA, así que parece que el rendimiento on-device va a subir muchísimo. Ahora la clave será qué tan bueno sea el modelo que le pongan encima jaja