Apple aprueba un controlador que permite usar eGPU de Nvidia en Mac con Arm

 (theverge.com)
4 puntos por GN⁺ 25 일 전 | 1 comentarios | Compartir por WhatsApp
  • Este controlador fue desarrollado por Tiny Corp, no por Nvidia, y puede usarse con la firma aprobada por Apple sin desactivar System Integrity Protection (SIP)
  • El controlador debe compilarse directamente mediante Docker, por lo que no es una solución típica de plug and play
  • Según la documentación de Tiny Corp, este controlador fue diseñado para ejecutar modelos de lenguaje grandes (LLM)
  • Tiny Corp afirma que “Apple aprobó controladores tanto para AMD como para Nvidia”
  • Con esto, se abre la posibilidad de que los usuarios de Mac con Arm también puedan aprovechar GPU externas (eGPU)
  • Se considera un caso muy inusual que Apple permita firmar controladores de GPU de desarrolladores externos
  • En el pasado, no era posible instalar controladores no oficiales sin desactivar SIP
  • Con esta aprobación, se refuerzan aún más la capacidad de expansión del hardware Mac y el aprovechamiento para cargas de trabajo de IA y aprendizaje automático

Lecturas relacionadas

1 comentarios

 
GN⁺ 25 일 전
Opiniones de Hacker News

  • Técnicamente es un buen proyecto, pero en la práctica casi no sirve en el 90% de los casos
    Si quieres correr LLM con una GPU de Nvidia, es mejor comprar una PC usada, y si quieres una Mac con mucha VRAM, simplemente compra una Mac
    El enfoque propuesto queda limitado por el puerto Thunderbolt, y además el acceso a herramientas y librerías de Nvidia es peor
    A cambio, terminas con un sistema incompleto que puede romperse con una actualización de macOS

    • Otra opción es montar por red una GPU de Nvidia que esté en otra máquina dentro de la misma LAN
      Así no tienes la limitación de ancho de banda de Thunderbolt, y puedes usar las llamadas a CUDA tal cual
      Eso sí, tiene que estar en la misma LAN y hay un overhead de alrededor del 4%
      Es difícil de usar en viajes y los problemas de drivers de macOS siguen sin resolverse
      Trabajo en GPU Go, así que puede que tenga un sesgo hacia este enfoque
    • La falta de tooling de Nvidia se debe en gran parte a que hasta ahora no se podía usar el hardware en macOS
      Ahora que ya es posible, la situación podría cambiar de aquí en adelante
    • Yo había confundido eGPU con una GPU virtual, pero en realidad significa GPU externa

  • No entiendo por qué enlazan a un proxy en vez del original
    El original es la cuenta de tinygrad en X

    • Probablemente por el muro de inicio de sesión. X ahora tiene muchas restricciones como “tienes que registrarte para ver las respuestas”, y la calidad del sitio ha bajado
    • Hoy en día parece bastante común que X sea la fuente original

  • Según entiendo, esto solo funciona para Tinygrad
    No se puede usar CUDA ni Vulkan desde PyTorch
    La documentación relacionada está en la documentación de TinyGPU

  • Apple rechazó firmar drivers de eGPU de Nvidia desde 2018, y no sé cómo logró evitar el escrutinio regulatorio

    • Me pregunto si hay alguna prueba de que Nvidia realmente lo haya intentado
      Desde macOS 10.13 ya no se permitían drivers gráficos de terceros, aunque quizá los drivers no gráficos sí podían permitirse
    • Tal vez al gobierno simplemente no le importa
      Casi no había Macs donde pudieras conectar una GPU de Nvidia, y ahora ya ni siquiera tienen ranuras
    • Apple no tiene una posición monopólica en ningún mercado
    • Es una situación parecida a cuando Google bloqueó el cliente de YouTube para Windows Phone
    • ¿No basta con desactivar SIP?

  • Después de leer la guía y los scripts, parece que la GPU se pasa a una VM de Linux y luego se devuelve a la Mac
    Da la impresión de que el equipo de TinyGrad consiguió aprobación para este método
    Puede que haya entendido mal el papel de Docker

  • Tanto Apple como Nvidia están perdiéndose buenos resultados por su actitud cerrada
    Habría sido mucho mejor poder usar Nvidia en hardware Mac con Linux
    Como consumidores, perdemos el control incluso después de comprar el producto

    • Por eso yo simplemente no compro productos de Apple
      Fuera de ese ecosistema todo funciona bien igual

  • Cada vez hay más usuarios con laptops ARM que dejan la GPU en remoto
    Por eso se vuelve importante una UX donde la GPU pueda acompañar el flujo de trabajo local
    En GPUGo / TensorFusion estamos investigando cómo combinar un flujo de desarrollo local-first con acceso a GPU remota
    Me pregunto si la gente realmente quiere algo que se sienta como una eGPU, o si más bien quiere cómputo remoto con la menor fricción posible

    • Pero si al mostrar imágenes desde la GPU ya hay 100 ms de latencia de red, eso sí sería un problema

  • Estoy de viaje, pero tengo una RTX 5090 en casa y quisiera probar esto con ella
    Estoy revisando la documentación de TinyGPU y espero que funcione en una Mac Mini M4
    Parece que haría falta una PSU ATX para la alimentación; ¿tinygrad servirá para inferencia de LLM?

    • En AliExpress puedes comprar un gabinete para GPU por unos 100 dólares
      Usa una PSU estándar, pero la Mac Mini no tiene occulink, así que quedas limitado por el ancho de banda de USB-C
      Cuando los drivers de Intel Arc estén más estables, una combinación barata de GPU también podría ser interesante
      La Intel Arc Pro B70 (32GB VRAM) cuesta 1000 dólares, y la Mac Mini ronda los 500
    • Me pregunto cuánto puede compensar la VRAM rápida de la GPU la VRAM lenta de la Mac
      Si la velocidad de interconexión no alcanza, el cambio entre capas podría volverse un cuello de botella
    • Yo también tenía una 5090 sin abrir en la caja, así que al final la devolví
      Es la situación irónica de tener dinero pero no tiempo para usarlo

  • Es interesante, pero no se puede ejecutar CUDA ni nvidia-smi

    • Aun así, no sorprende tanto porque esto se basa en librerías de ML de otra empresa, no de Nvidia
      Estaría bueno que apareciera una capa de compatibilidad con CUDA, pero que la inferencia y el entrenamiento funcionen con librerías propias ya es bastante genial

  • Si la Mac hubiera soportado drivers de Nvidia, las ventas de la Mac Pro habrían aumentado

    • Que Apple y Nvidia hayan reanudado una relación oficial es algo grande
      Durante más de 10 años Apple no permitió drivers de GPU de Nvidia
      Incluso GPUs de hace 7 años (por ejemplo, VEGA64, RTX1080Ti) tienen una velocidad de procesamiento de tokens superior a la de la mayoría de Apple Silicon
      Los procesadores MAX/Ultra de Apple son adecuados para modelos grandes, pero no son tan rápidos como una RTX5090