Ollama ahora admite tarjetas gráficas AMD

• Ollama comenzó a admitir tarjetas gráficas AMD en una versión preliminar para Windows y Linux
• Todas las funciones de Ollama ahora pueden acelerarse con tarjetas gráficas AMD en Linux y Windows

Tarjetas gráficas compatibles

• Serie AMD Radeon RX: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• Serie AMD Radeon PRO: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• Serie AMD Instinct: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• Próximamente se añadirá soporte para más tarjetas gráficas AMD.

[GN⁺]

Opiniones de Hacker News

• Falta de reconocimiento a las contribuciones de llama.cpp

  • Se nota que llama.cpp no recibe reconocimiento directo ni agradecimientos por las herramientas que se basan en la tecnología que proporciona.
  • Otro software de "ejecución local" recibe un nivel adecuado de crédito; Ollama parece no tener problemas con la licencia MIT, pero no hay muestras de agradecimiento ni en el repositorio, ni en el blog, ni en el sitio web de Ollama.

• Opiniones sobre la publicación del blog relacionada con el soporte de AMD en Ollama

  • La publicación del blog resulta curiosa. Ya estaba ejecutando Ollama en una AMD RX 6650 desde hace varias semanas.
  • Ofrecían un contenedor ROCm desde hace 21 días, y parece que se publicó junto con la última versión, la 0.1.29. Me pregunto qué cambió realmente en esta versión con respecto al soporte de AMD.
  • Hay un issue que describe el proceso para ejecutar Ollama en tarjetas AMD no soportadas oficialmente. Básicamente, solo hay que configurar variables de entorno.
  • Descubrí el cambio de que el modelo starcoder2 ahora funciona. Antes se cerraba inesperadamente.

• Dudas sobre la atención excesiva que recibe Ollama

  • No tengo claro por qué Ollama recibe tanta atención. Tiene un valor limitado, ya que solo soporta un modelo a la vez y se usa únicamente para experimentación.
  • Hace que el proceso de experimentar sea muy fácil, pero considerando que depende por completo de llama.cpp y que su principal propuesta de valor es la gestión sencilla de modelos, creo que su valor está sobreestimado frente a la atención y los elogios que recibe.
  • Después de la experimentación inicial, al final hay que desplegar los modelos en un entorno de producción. No se trata de darle crédito a llama.cpp, sino de señalar que este producto está recibiendo más atención de la que aporta en valor.

• Agradecimiento por el soporte para RX 6800/6800 XT / 6900 XT

  • Me alegra poder usar para trabajo de ML una tarjeta que compré pagando de más por la escasez posterior al covid.
  • Gracias al proyecto Ollama y a llama.cpp.

• Mensaje de advertencia relacionado con AMD al ejecutar Ollama

  • fooocus funciona, pero al ejecutar Ollama aparece un mensaje de advertencia relacionado con el driver de AMD en Linux.
  • Como no están las librerías de ROCm, termina usando la CPU.
  • Tendré que revisar cómo reinstalar ROCm en Arch Linux.

• Reacción positiva ante la pérdida de competitividad de CUDA

  • Mientras más proyectos como este aparezcan, menos importante será CUDA y menor será la ventaja competitiva de Nvidia.

• El software local para LLM impulsa la compra de hardware nuevo

  • Tarjetas antiguas como la RX 570/580 no reciben soporte y, aunque el hardware nuevo es mucho más potente, pensaba que no haría falta una tarjeta reciente, ya que CUDA salió en 2007 y ROCm en 2016.

• La experiencia sencilla de uso de Ollama

  • No tenía experiencia ejecutando modelos locales, pero en Ubuntu 22 funcionó de inmediato con una tarjeta 7600, así que está excelente.

• Curiosidad sobre el uso de OpenCL

  • OpenCL se usa poco en comparación con Cuda, así que me pregunto cómo lograron implementarlo con éxito.
  • Pagué una cantidad considerable por una tarjeta 4090, pero ojalá hubiera más opciones.

• Precio de las tarjetas NVidia y esfuerzos por mejorar el soporte de AMD

  • Da a entender que se está haciendo mucho esfuerzo por mejorar el soporte de AMD en un contexto donde las tarjetas NVidia de gama alta son muy caras y difíciles de conseguir.