LibreCuda - Ejecutar código CUDA en GPU Nvidia sin un runtime privativo

• Un proyecto que busca reemplazar la API del controlador CUDA para permitir ejecutar código CUDA en GPU Nvidia sin depender del runtime privativo de CUDA
• Se comunica directamente con el hardware mediante ioctls (en particular, lo que Nvidia llama rmapi en su módulo abierto del kernel para GPU) y QMD, la estructura de cola de comandos MMIO de Nvidia
• Puede subir binarios CUDA ELF a la GPU y ejecutarlos mediante la cola de comandos
• Funcionalidades actuales
  • Asignación y liberación de memoria de GPU, y mapeo de memoria para que la CPU pueda acceder a ella
  • Puede subir binarios CUDA ELF a la GPU
  • Ejecución de kernels CUDA a través de la cola de comandos
• Licencia MIT

Resumen de GN⁺

• LibreCUDA es un proyecto que permite ejecutar código CUDA en GPU Nvidia sin un runtime privativo de CUDA
• Por ahora solo tiene implementadas funciones básicas y no está listo para uso real
• Un proyecto con funcionalidades similares es ROCm, que ofrece capacidades parecidas a CUDA en GPU AMD

[GN⁺]

Opiniones de Hacker News

• El objetivo de Open CUDA es permitir que se ejecute también en GPUs distintas de NVIDIA

  • Si de todos modos tienes que comprar una GPU de NVIDIA, no tiene sentido
  • Si hubiera competencia real, sería fácil comprar dispositivos con más VRAM
  • Algún día se podrá ejecutar Llama 405b en local

• Mi experiencia con CUDA es limitada, pero me pregunto si esto ayudaría a resolver los problemas de versiones de dependencias de CUDA/CUDNN que surgen al ejecutar varias bibliotecas de ML (por ejemplo, TensorFlow, ONNX)

• Está muy bien

  • Esto es todo lo que quiero del runtime de CUDA
  • Se podrían ejecutar las pruebas unitarias de LLVM libc
  • Esto podría justificar una biblioteca de AMD que use el mismo enfoque de llamadas directas al sistema

• Para que los proyectos que dependen de CUDA obtengan libertad de plataforma, el primer paso debería ser migrar de LibreCUDA a HiP

• Me pregunto qué es un archivo ELF de CUDA

  • Me pregunto si es código SASS binario o si hace falta una alternativa de código abierto a PTXAS

• Como principiante en CUDA, me pregunto qué problema resuelve esto

• Parece que dejaron pasar la oportunidad de llamarlo CUDA Libre

• Me pregunto si todavía hay que seguir ejecutando el driver gráfico propietario de NVIDIA, o si es algo completamente independiente

• Los autores deberían empezar a pensar en las notificaciones por infracción de marca registrada

• Desde que ZLUDA fue discontinuado a pedido de AMD, hace falta un reemplazo de ZLUDA como forma general de romper la dependencia de CUDA

  • Se necesita algo que no esté atado al hardware de NVIDIA