gpudeploy - el “Airbnb” de las GPUs

Mercado de GPU

• GPU Deploy ofrece un servicio de GPUs bajo demanda de bajo costo para machine learning e IA
• Está preconfigurado para trabajos de ML, por lo que puedes iniciar instancias GPU al instante

Especificaciones y precios de las GPU disponibles

• Se admiten varios modelos de GPU, como Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000, entre otros
• La RAM de las GPU se ofrece en un rango de 11 GB a 640 GB
• Los núcleos CUDA van de 3,584 a 116,736
• Las vCPU se pueden elegir entre 16 y 242
• Los precios por hora varían entre 0,06 USD y 26,55 USD (sin impuesto a las ventas; el precio real suele ser más bajo)

Propuesta de uso de GPU ociosas

• Si tienes GPU ociosas, puedes proporcionar recursos de cómputo a través de GPU Deploy
  • Si eres operador de un clúster GPU, puedes arrendar recursos de cómputo ociosos
  • Si eres una empresa de IA, puedes arrendar recursos de cómputo ociosos
  • Puedes participar incluso si eres una persona individual y tienes GPUs

Opinión de GN⁺

• La tarifa de uso de GPU por demanda suele ser muy alta, y este servicio es atractivo porque permite usarlas a menor costo cuando las necesitas
• Sin embargo, para un uso a largo plazo, construir y operar tu propio servidor GPU puede ser mucho más económico
• Puede ser una buena opción para que personas o pymes aprovechen recursos de GPU
• Desde la perspectiva empresarial, vale la pena evaluar su adopción considerando costos de construcción y operación de servidores GPU, con miras a corto y largo plazo
• Servicios similares de provisión de GPU incluyen AWS, GCP y Microsoft Azure, y conviene comparar cuidadosamente las especificaciones y políticas de precios de cada uno
• Aprovechar GPU ociosas es una propuesta interesante, pero pueden surgir preocupaciones de seguridad y gestión de recursos

[GN⁺]

Comentario de Hacker News

• Cosas a considerar al proporcionar recursos de GPU a terceros:
  • Privacidad: un atacante podría instalar una honey-pot de GPU y recolectar datos
  • Cálculos falsos en GPU: un atacante podría usar una GPU falsa y enviar datos de relleno para reducir la carga de cómputo
  • GPU defectuosa: aunque no haya mala intención, una GPU dañada puede dar resultados incorrectos
• Hay que aceptar los términos de servicio y la política de privacidad, pero es llamativo que el enlace vaya a una página en blanco
• El concepto en sí es excelente. Es similar a un “Airbnb para GPUs” como Vast.ai, y me pregunto en qué se diferencia esta propuesta y en qué es mejor
• Quizá “provisionamiento de GPU bajo demanda” sea más fácil de entender que “Airbnb para GPUs”
• Buena idea y mucha suerte. El proyecto de criptomoneda Akash Network se ve prometedor, con demanda y casos de uso legítimos
• No estoy seguro de lo que se dice sobre que Stability AI sobreaprovisionó hardware; creo que me deslumbró el marketing excesivo de IA
• ¡Excelente idea! ¿Cómo se garantiza la seguridad del proveedor? Al alquilar un clúster de GPUs, ¿qué acceso debería tener el arrendatario? ¿Solo se les envía el kernel de la GPU o también acceso de usuario limitado? ¿Han considerado incorporarlo a una red privada para que el operador no tenga que abrir puertos del router y aun así tener una experiencia fluida?
• Si quieres ver precios, revisa GPUMonger.com. Este servicio se ve mucho más profundo y real, pero para una comparación simple de precios, GPUMonger parece mejor.
• Están apareciendo rápidamente empresas que ofrecen soluciones de software para problemas de hardware. Parece que la mayor parte de la potencia de cómputo disponible ya está asignada, así que habrá que conseguir más proveedores. Me intriga por qué Y Combinator invierte en empresas similares. Shadeform.ai es otro ejemplo.
• Algunas notas:
  • Mirando el código del script de instalación, no empieza con set -e, así que podría terminar en instalaciones incompletas
  • Se instala un binario llamado "instance-server" y no sé qué hace. ¿Puedo confiar en esto en mi servidor/red?
  • Parece que, por ser solo Nvidia, las GPUs de AMD no se soportarán por un tiempo
  • Se siente como un MVP. Veremos cómo escala con el tiempo.
• Si tienes una RTX 4090 ociosa, ¿cuánto podrías ganar?