- Tras el lanzamiento de ChatGPT en noviembre de 2023, la demanda de GPU H100 se disparó y la tarifa de renta por hora subió de $4.70 a más de $8
- Los proveedores de centros de datos estimaban un periodo de recuperación de la inversión de menos de 2 años al rentar H100 a más de $4.50 por hora
- Sin embargo, para agosto de 2024, la tarifa de renta de las GPU H100 en clústeres pequeños cayó al rango de $1 a $2
Criterios de rentabilidad de la inversión en H100 para centros de datos
- Más de $2.85 por hora: posibilidad de superar el rendimiento del S&P500
- Menos de $2.85 por hora: rendimiento inferior al del S&P500
- Menos de $1.65 por hora: se esperan pérdidas de inversión a 5 años
Principales causas de la fuerte caída de precios en el mercado de GPU H100
- El auge de los modelos de pesos abiertos impulsó la demanda de inferencia y fine-tuning
- En cambio, el mercado de fabricantes de modelos fundacionales pequeños y medianos se contrajo
- Muchas empresas y startups se dieron cuenta de que ajustar finamente modelos abiertos existentes era más económico y efectivo que entrenar sus propios modelos
- Startups y empresas sin planes de entrenar modelos grandes de más de 70B retiraron sus inversiones
- Muchos proveedores de infraestructura aseguran sus ganancias mediante contratos de largo plazo de 3 a 5 años
- Esto fue impuesto por varias empresas de modelos fundacionales durante el pico de la IA en 2023
- Comenzó la reventa de capacidad no utilizada de nodos reservados
- La construcción de clústeres propios por parte de grandes creadores de modelos como Facebook y Microsoft redujo la demanda de clústeres existentes
- ChatGPT se lanzó en noviembre de 2022 con la serie A100, y la H100 se introdujo en marzo de 2023. La H100 era 3 veces más potente que la A100, pero costaba solo el doble
- Aparición de GPU alternativas a la H100, como AMD MI300 e Intel Gaudi3
- La transición de Ethereum a proof-of-stake y el dominio de los ASIC en la minería de Bitcoin redujeron la demanda de minería con GPU
Implicaciones
- El costo promedio de una H100 supera los $50k y, asumiendo una vida útil de 5 años, existen distintos modelos de renta
- Por encima de $2.85 por hora se puede superar la TIR del mercado bursátil, pero por debajo de ese nivel pueden generarse pérdidas
- Es muy probable que nuevas inversiones en hardware H100 provoquen pérdidas
- Salvo situaciones excepcionales como H100 con descuento, tarifas eléctricas, o requerimientos especiales de clientes
- En cambio, la caída del precio de las H100 será un catalizador para la expansión de la IA de pesos abiertos
- Se espera que impulse la experimentación con modelos abiertos y el desarrollo de aplicaciones por parte de desarrolladores e ingenieros
- Featherless.AI ofrece inferencia instantánea de más de 2,000 modelos de IA open source por una tarifa fija mensual de $10
- Para asegurar la rentabilidad del hardware es indispensable optimizar todas las capas y elegir GPU personalizadas
Opinión de GN⁺
- Cambios en el mercado de GPU: La caída del precio de las GPU H100 muestra lo rápido que está cambiando el mercado de GPU. Esto tiene un gran impacto para inversionistas y proveedores de infraestructura
- Influencia de los modelos open source: La aparición de modelos open source como Llama 3 aumenta la demanda de fine-tuning e inferencia. Esto reduce la demanda de entrenamiento de modelos a gran escala
- Ascenso de las GPU alternativas: A medida que las GPU de AMD e Intel surgen como alternativas a la H100, la competencia del mercado se intensifica. Esto podría añadir más presión a la baja sobre los precios de las GPU
- Oportunidad para las aplicaciones de IA: La reducción en el costo de las GPU puede bajar la barrera de entrada para desarrollar aplicaciones de IA y fomentar más innovación
- Necesidad de replantear la estrategia de inversión: La inversión en infraestructura de GPU requiere un enfoque cuidadoso y una observación estrecha de las tendencias del mercado
2 comentarios
El efecto mariposa que desató llama... está interesante. Jaja
Opiniones de Hacker News
Un servicio que ofrece GPUs a $2 podría poner en riesgo su negocio al depender de cómputo poco confiable. AWS ha mejorado la confiabilidad de la infraestructura de GPUs empresariales de alto nivel.
Los centros de datos que ya tenían infraestructura pudieron obtener grandes ganancias con las H100. Pero en un mercado eficiente, esas oportunidades no duran para siempre.
La verdadera ganancia está en alquilar clústeres InfiniBand, no GPUs o máquinas individuales.
En todo el mundo, hay menos de 50 equipos que necesitan 16 nodos H100. Muchos equipos no serán rentables.
Muchos fundadores intentan entrenar modelos para convencer a los inversionistas, pero son pocos los casos en que realmente se ha entrenado un modelo valioso.
Se expresa tristeza por los laboratorios universitarios que no pudieron comprar recursos de cómputo durante la época en que la investigación en IA estaba en auge.
Esta situación recuerda al ciclo de auge y caída del petróleo descrito en 'The Prize: The Epic Quest for Oil, Money & Power'.
OpenAI debe seguir mejorando sus modelos para responder al avance de los modelos de código abierto.
Esto suena como malas noticias para las granjas de alquiler de GPUs.
Se comparte la opinión de que se aumentó ligeramente la posición en corto sobre NVDA.