Las nubes alternativas crecen rápidamente mientras las empresas piden acceso más barato a las GPU

Crecimiento de las plataformas de nube alternativas

• La demanda de plataformas de nube alternativas está aumentando más que nunca.
• CoreWeave recaudó recientemente una nueva inversión de 1.01 mil millones de dólares, llevando su valuación a 19 mil millones de dólares.
• Lambda Labs también aseguró 500 millones de dólares en financiamiento especializado, y Voltage Park está invirtiendo 500 millones de dólares en centros de datos basados en GPU.
• Together AI recibió una inversión de 106 millones de dólares liderada por Salesforce.

Aumento de la demanda de IA generativa

• A medida que continúa el auge de la IA generativa, también está creciendo la demanda de hardware para ejecutar y entrenar modelos de IA generativa a gran escala.
• Las GPU incluyen miles de núcleos capaces de procesar en paralelo las ecuaciones de álgebra lineal que componen los modelos generativos, por lo que son una opción ideal para entrenar, ajustar y ejecutar modelos.
• Sin embargo, como el costo de instalar GPU es alto, la mayoría de los desarrolladores y organizaciones están recurriendo a la nube.

Ventajas de las plataformas de nube alternativas

• Los proveedores tradicionales de computación en la nube, como AWS, Google Cloud y Microsoft Azure, ofrecen GPU e instancias de hardware especializado optimizadas para cargas de trabajo de IA generativa.
• Sin embargo, para algunos modelos y proyectos, las nubes alternativas pueden ser más baratas y tener mejor disponibilidad.
• En CoreWeave, alquilar una Nvidia A100 40GB cuesta $2.46 por hora, lo que equivale a $1,771 al mes. En Azure, la misma GPU cuesta $3.40 por hora y $2,448 al mes, mientras que en Google Cloud cuesta $3.67 por hora y $2,642 al mes.

Desafíos para las plataformas de nube alternativas

• La clave será si los proveedores de nube alternativos pueden seguir poniendo grandes volúmenes de GPU en línea y ofrecerlos a precios competitivos.
• A medida que actores establecidos como Google, Microsoft y AWS aumentan su inversión en hardware personalizado para ejecutar y entrenar modelos, la competencia en precios podría volverse más difícil.
• Muchas cargas de trabajo de IA generativa funcionan mejor en GPU, pero para tareas que no son sensibles al tiempo, puede que las GPU no sean estrictamente necesarias.
• Si estalla la burbuja de la IA generativa, existe el riesgo de una sobreoferta de GPU y de una caída importante en la demanda.

Opinión de GN⁺

• El aumento explosivo de la demanda de GPU podría fortalecer aún más la influencia de los principales proveedores de GPU, como Nvidia. Se sabe que Nvidia dio prioridad en el suministro de GPU a proveedores de nube alternativos, lo que parece ser una estrategia para reforzar su dominio del mercado.
• Si los proveedores de nube logran asegurar clústeres masivos de GPU, podrán obtener una ventaja competitiva para atraer grandes proyectos de IA. Un caso representativo es el contrato de miles de millones de dólares que Microsoft firmó con CoreWeave para suministrar capacidad de cómputo con GPU a OpenAI.
• Sin embargo, a largo plazo, el panorama de la industria de la nube podría cambiar drásticamente con el desarrollo de silicio personalizado especializado en IA, como Google TPU, MS Azure Maia/Cobalt y AWS Trainium. Parece probable que los hyperscalers intenten reducir su dependencia de Nvidia.
• Aunque la nube alternativa está surgiendo como una nueva opción, será limitado el número de clientes con capacidades de seguridad, compliance y gestión multicloud. El dominio de mercado de los proveedores de nube tradicionales sigue siendo muy fuerte.

[GN⁺]

Opiniones de Hacker News

Resumen:

• El modelo de negocio de AWS parece basarse en hacer confusa la fijación de precios, de modo que solo sepas el costo después de usarlo
• Un análisis del costo mensual del nuevo tipo de instancia n4-standard-2 de GCP muestra que los costos de vCPU y memoria son altos, de $69 al mes, y que el precio del SSD también es elevado
• Se espera que los grandes proveedores de nube tengan dificultades en los próximos 10 años. El costo y la complejidad de construir sistemas a escala planetaria son demasiado altos y difíciles de justificar
• Hay un error de cálculo en un artículo que compara los costos de renta de GPU Nvidia A100 40GB entre CoreWeave, Azure y Google Cloud. El costo mensual de CoreWeave difiere en alrededor de un 30%
• Se recomienda fly.io como una alternativa adecuada para cargas de trabajo con GPU. Su función de autoescalado es buena
• El modelo de negocio de AWS parece consistir en obtener muchos ingresos durante el proceso en el que una startup temprana crece hasta convertirse en una gran empresa. Sin embargo, con el fin del ZIRP y la dificultad para conseguir financiamiento de VC, se espera que disminuya la cantidad de startups capaces de gastar mucho dinero para lograr un crecimiento explosivo
• Se plantea una pregunta sobre la experiencia de usar GPU de nubes alternativas para tareas de inferencia. La latencia es importante, y la comunicación entre la infraestructura de AWS y las GPU en otros lugares puede ser difícil
• Core Weave y Lambda Labs tienen políticas de precios depredadoras, ya que no permiten alquilar GPU sin contratos anuales. También hay empresas como sfcompute que ofrecen cómputo por hora
• El simple hecho de "haber conseguido una pequeña cantidad de H100s/A100s" puede convertirse en un modelo de negocio tecnológico rentable
• Crusoe Cloud ofrece H100s, A100s y L40s a precios muy bajos, y además no cobra tarifas por uso de red. Su precio por FLOP no tiene rival