- Sobre el aumento acelerado de la inversión en centros de datos de las empresas líderes de IA, el CEO de IBM, Arvind Krishna, planteó serias dudas sobre su rentabilidad
- Señaló que, con los costos actuales, se necesitan alrededor de 80 mil millones de dólares para construir un centro de datos de 1 gigavatio, y dijo que las empresas más grandes impulsan proyectos de 20 a 30 gigavatios
- A nivel mundial calculó que hay inversiones de aproximadamente 100 gigavatios en infraestructura de IA en curso, con un total de 8 billones de dólares
- Krishna evaluó que, considerando la depreciación en 5 años de los chips de IA y el enorme costo de capital, se necesitaría una utilidad anual de 800 mil millones de dólares, algo que en la práctica considera imposible
- También afirmó que, con la tecnología actual, la probabilidad de lograr AGI (inteligencia artificial general) es solo de 0~1%, y subrayó que solo con LLM hay un límite
Auge de la inversión en centros de datos de IA y controversia sobre la rentabilidad
- Las principales empresas de IA están invirtiendo miles de millones de dólares en centros de datos en la carrera por AGI
- Meta repitió en su último reporte de resultados los términos “capacity” y “AI infrastructure”
- Google anunció un plan a largo plazo para construir centros de datos en el espacio
- Krishna declaró que casi no hay posibilidad de que esas inversiones se conviertan en beneficios
- Lo planteó como un “cálculo con los precios de hoy”, asumiendo que los costos futuros son inciertos
Cálculo de costos y análisis de rentabilidad de Krishna
- Explicó que un centro de datos de 1 gigavatio requiere aproximadamente 80 mil millones de dólares para construirse
- Si una empresa impulsa 20~30 gigavatios, eso implicaría un CapEx de 1,5 billones de dólares
- En todo el mundo se está llevando a cabo una inversión de alrededor de 100 gigavatios, con un total de 8 billones de dólares
- En ese caso, serían necesarios 800 mil millones de dólares de utilidad anual solo para poder cubrir los intereses
- Krishna afirmó que “no hay forma de obtener esas ganancias”
Depreciación y riesgo de inversión
- Señaló como riesgo clave la depreciación de 5 años de los chips de IA
- Dijo que “a los cinco años hay que desechar los chips y volver a reponerlos”
- El inversor Michael Burry también señaló el problema de depreciación de Nvidia y provocó una caída de las acciones de IA
- Krishna evaluó que esta estructura de depreciación deteriora aún más el ROI (retorno de la inversión)
Escepticismo sobre lograr AGI
- Krishna planteó una probabilidad de 0~1% de alcanzar AGI con la tecnología actual
- Dijo que es imposible sin “un nuevo salto técnico”
- Dijo que los LLM (modelos de lenguaje de gran escala) tienen límites y que se necesita su integración con conocimiento aplicado
- Elon Sutskever, de OpenAI, también dijo que “la era del escalado terminó” y enfatizó un giro hacia la investigación
Otras visiones escépticas en la industria
- Marc Benioff calificó la búsqueda de AGI como “hipnosis” y mantuvo una postura escéptica
- Andrew Ng dijo que AGI está “sobrevalorado”
- Arthur Mensch, CEO de Mistral, definió AGI como una “estrategia de marketing”
Evaluación final del CEO de IBM
- Krishna valora que las herramientas de IA actuales podrían crear valor de productividad empresarial de escala de varios billones de dólares
- Sin embargo, enfatiza que para lograr AGI se requiere avance técnico más allá de la ruta actual de LLM
- Aun así, mantiene una postura prudente al decir que “incluso entonces la posibilidad sería de ‘quizá’”
7 comentarios
Comparto la idea de que la magnitud actual de la inversión en centros de datos para IA y los planes existentes son excesivos, pero los planes no dejan de ser solo planes, y en una situación en la que nadie puede predecir con certeza la velocidad ni la dirección del desarrollo tecnológico, hacer una afirmación tajante es arriesgado y no me parece un buen juicio de parte de un CEO.
(En una entrevista) me llamó la atención la pregunta que le hicieron y la respuesta del presidente de SKT, Chey Tae-won, sobre si pensaba que la IA era una burbuja.
Qué sinceridad.
Si uno ve el dinero que está entrando, parece que la eficiencia va a llegar a todas las áreas donde se pueda optimizar.
[Costos de electricidad, eficiencia de parámetros en los LLM, caché, etc.] Creo que al final eso podría hacer que se necesite menos dinero de lo esperado. Mmm... la postura pesimista frente a la inteligencia artificial (~~ que absolutamente no va a funcionar) siempre termina rompiéndose.
Incluso viendo solo los LLM, a mí me parecen casi un milagro.
En términos numéricos, sí parece ser así...
Pero aparte de los LLM y los centros de datos, no creo que haya mucho más que pueda impulsar la economía de Estados Unidos.
Casi piensa igual que yo... al final, a nosotros nos basta con vender un montón de memoria.
Opiniones de Hacker News
Citan a Steve Jobs diciendo que en 1958 IBM dejó pasar la tecnología de xerography, 10 años después ignoró las minicomputadoras, y otros 10 años después subestimó a la Apple II
Viendo ahora al CEO de IBM decir que “la inversión en centros de datos para IA no deja ganancias”, parece que IBM todavía sigue sin leer bien el futuro
Material relacionado: Steve Jobs 1983 Keynote, Historia de la invención de Xerox
Después, la IBM PC (5150) bajó el precio usando componentes comerciales, y esa fue la clave de su éxito
IBM 5100 wiki
La Apple II también tuvo poca influencia en el mercado empresarial. Además, esto fue hace 50 años y es independiente del debate actual sobre el retorno de inversión (ROI) en IA
El CEO de IBM dijo que “los chips de IA hay que desecharlos después de 5 años”, pero eso parece una suposición demasiado categórica
Si el hardware sigue siendo estable después de 5 años, todavía hay margen para obtener ingresos haciendo correr modelos antiguos a bajo costo
Tuit de Burry
Al final, un ciclo de 5 años sí va a influir mucho en las decisiones de inversión
Me parece difícil que toda la inversión en centros de datos de IA llegue a materializarse. Solo la demanda eléctrica ya impone un límite
Gartner proyecta que el gasto mundial en IA llegará a 1.5 billones de dólares en 2025
Frente al PIB mundial (111 billones de dólares en 2024), no parece una cifra tan excesiva
Se estima que la vida útil de la inversión en IA es de 6 a 8 años, así que, salvo que uno sea demasiado pesimista, es una escala razonable
Informe de Gartner
Datos del PIB del Banco Mundial
Si los servicios de LLM usaran por defecto un modo de respuesta corta (menos de 200 tokens) y aplicaran caché de prompts junto con enrutamiento a modelos pequeños,
creen que el consumo de energía podría reducirse en más de 70%
A la escala de ChatGPT, la factura anual de electricidad sería de entre 50 y 100 millones de dólares, pero con este enfoque bajaría a entre 5 y 10 millones
Si la UE o California obligaran a usar este tipo de modo, la economía de los centros de datos también cambiaría mucho
Hace 10 años IBM impulsaba Watson con anuncios de cosas como “Cognitive Finance”, pero ahora ya nadie lo menciona
Da la impresión de que quizá simplemente les molesta que el boom actual de la IA lo estén liderando otros
Las demostraciones técnicas eran llamativas, pero no había un modelo real de ingresos
Recuerdo haber tenido que construir yo mismo una PoC para demostrar que no funcionaba
Aun así, considerando su posición en el mercado, no es una opinión que deba ignorarse por completo
Como dice el CEO de IBM, sí tiene algo de sentido la idea de que a la IA le cuesta generar ganancias
Según cifras de NVIDIA, con 1 GW de energía se pueden generar 6.29×10^16 tokens al año,
y si todo el texto de internet está en torno a 10^14 tokens, entonces los propios datos podrían convertirse en el límite
En la discusión actual sobre IA hay tres factores de miedo
IBM, más que tener una visión especialmente profunda, solo estaría reflejando una parte de esos miedos
La inversión en infraestructura de IA se parece a la sobreinversión en fibra óptica durante la burbuja puntocom
A largo plazo puede tener valor, pero las empresas individuales pueden fracasar estrepitosamente
Más importante que la cantidad de GPU es su tasa de utilización y el modelo de ingresos
IBM es una empresa que dejó pasar oportunidades en hardware de consumo, sistemas operativos y cloud
Puede que el CEO tenga razón, pero no parece una referencia adecuada para tomar como criterio sus predicciones sobre el futuro