- El consumo de energía por cada consulta de IA puede parecer mínimo, pero a escala global, con miles de millones de solicitudes acumuladas, alcanza un nivel que impacta de forma real a la red eléctrica
- Las principales empresas de IA están acelerando inversiones de decenas de billones de wones en centros de datos e infraestructura eléctrica, y algunas incluso planean construir centrales nucleares
- El consumo energético de las consultas de IA puede variar en cientos de veces o más según el tamaño y la complejidad del modelo, y en el caso de los modelos cerrados, casi no se conoce el consumo exacto
- La electricidad que usa la IA depende en su mayor parte de redes eléctricas basadas en combustibles fósiles, lo que hace que la intensidad de emisiones de carbono sea 48% más alta que el promedio
- Si el uso de la IA sigue expandiéndose de forma continua, para 2028 se prevé que más de la mitad de la electricidad de los centros de datos en EE. UU. se destine a la IA
Making the Model: el punto de partida del entrenamiento de modelos de IA
- Los modelos de IA se entrenan durante meses consumiendo decenas de gigavatios-hora de electricidad en centros de datos
- Solo el entrenamiento de GPT-4 requirió más de 50 millones de dólares y 50GWh de electricidad, suficiente como para abastecer a toda San Francisco durante 3 días
- La inferencia representa entre el 80~90% del consumo eléctrico total de la IA, y el papel de los centros de datos basados en GPU es clave
- La GPU H100 de NVIDIA ocupa una posición central en las tareas de inferencia de IA, operando en forma de clústeres conectados por miles de unidades
A Query: la energía que consume una sola pregunta
- Incluso con el mismo modelo de IA, el consumo de energía y las emisiones de carbono varían enormemente según el tipo de pregunta, la ubicación y la hora del día
- El modelo Llama 3.1 8B consume en promedio 114 julios (J), mientras que Llama 3.1 405B consume 6,706 julios
- Generar una sola imagen con Stable Diffusion 3 Medium consume 2,282 julios, y en el caso de imágenes de alta calidad o video, el consumo puede llegar a decenas o cientos de miles de julios
- La generación de video usa más de 700 veces la energía de una imagen, por lo que si la creación de video con IA se masifica, el consumo eléctrico podría dispararse
Fuel and Emissions: de dónde proviene la electricidad que usa la IA
- Los centros de datos de IA tienen dificultades para operar con energías intermitentes como la solar y la eólica, por lo que en promedio usan electricidad con mayor intensidad de carbono
- Ejemplo: en 2024, el 60% de la electricidad total de EE. UU. provenía de combustibles fósiles, la energía nuclear representaba el 20% y las renovables el 20% restante
- Como entre California y Virginia Occidental, existen diferencias de emisiones de carbono de casi el doble según la región
- A futuro, Meta, Google y Amazon, entre otras, anunciaron inversiones conjuntas para ampliar centrales nucleares, pero su finalización tomaría décadas
AI around the corner: la llegada de la IA masiva y el aumento del consumo energético
- ChatGPT es actualmente el quinto sitio más visitado del mundo, con más de mil millones de consultas al día
- Según estimaciones, cada consulta a GPT consume 1,080 julios de energía, lo que equivale a 1,090GWh al año = electricidad suficiente para abastecer a 10,400 hogares en EE. UU. durante 1 año
- Si se incluyen video e imágenes, se sumarían más de 35GWh anuales, y se espera que esto aumente aún más con la expansión de agentes de IA, modo de voz e IA basada en reconocimiento de video
- En un futuro donde la IA realiza tareas por sí sola y se personaliza con datos de los usuarios, no será posible explicar la demanda energética con predicciones por consulta individual
The Future Ahead: proyección de la demanda energética hasta 2028
- Los centros de datos para IA en EE. UU. usaron 76TWh en 2024, equivalente al consumo de 7.2 millones de hogares
- Para 2028, se prevé un consumo de 165~326TWh, comparable al 22% del consumo eléctrico de todos los hogares de EE. UU.
- Esto equivale a las emisiones de carbono de conducir 300 mil millones de millas, y se proyecta que la proporción del consumo eléctrico de los centros de datos se triplique de 4.4% a 12%
- SoftBank, OpenAI y otras están realizando inversiones de 500 billones de wones en centros de datos e infraestructura eléctrica, construyendo infraestructura del tamaño de campos de fútbol en distintas partes del mundo
Transparency Gap: ausencia de divulgación de cifras y carga para la ciudadanía
- La mayoría de las empresas de IA no divulga el consumo energético durante la inferencia de sus modelos, lo que lleva a una falta de previsibilidad pública
- Incluso la agencia energética del gobierno de EE. UU. (EIA) no trata a la IA como una industria separada, por lo que las estadísticas son insuficientes
- Según un informe del estado de Virginia, el costo energético de los centros de datos podría elevar la factura eléctrica de los hogares en 37.5 dólares al mes
- La ciudadanía podría terminar asumiendo el costo de la infraestructura de IA, por lo que se necesita un debate social al respecto
2 comentarios
Ahora me vuelve a parecer impresionante que Google Gemini corra en sus propios TPU...
Opinión de Hacker News
Comparten un enlace de http://archive.today/mnHb8
Mencionan la noticia de que empresas tecnológicas como Meta, Amazon y Google anunciaron objetivos para usar energía nuclear en respuesta al problema de los combustibles fósiles, y explican que las tres compañías se unieron a un compromiso para triplicar la capacidad mundial de energía nuclear para 2025; sin embargo, según un artículo de ayer, esa fecha se siente bastante extraña, y señalan que en realidad la meta es 2050. Aunque el artículo tiene rarezas de este tipo y abusa de fuentes de “expertos”, valoran positivamente que al menos alguien haya intentado cuantificar este tema.
Lo más raro de este artículo es que las grandes tecnológicas se niegan a publicar este tipo de datos; no debería dejarse a los expertos adivinar, la sociedad necesita acceso a la información para decisiones que afectan a todo el mundo.
Expresan curiosidad por saber si esas rarezas son simples errores tipográficos o si realmente las consideran extrañas.
Recuerdan que en la época de Usenet, al publicar un mensaje siempre aparecía una advertencia como: “Este programa enviará noticias a miles de computadoras en todo el mundo. Tu publicación generará costos de cientos o miles de dólares en la red. Por favor confirma cuidadosamente si de verdad quieres publicarla”. Imaginan si hoy no haría falta una advertencia similar en los clientes de LLM, por ejemplo calculando cuánto carbono en espera genera cada solicitud.
En algunos países existe la cultura del
rolling coal(emitir humo excesivo con automóviles), así que preocupa que una advertencia así incluso pueda provocar el efecto contrario.Dicen que la advertencia citada en realidad transmitía un significado opuesto; al final, probablemente desapareció porque el costo bajó muchísimo, y algo parecido podría aplicarse también a la IA.
Les recuerda a esos enormes mensajes al pie que piden considerar el impacto ambiental antes de imprimir un correo, y comparten la experiencia de que en la práctica eso solo consumía una página extra innecesariamente.
Les parece interesante ese mensaje de advertencia: el mensaje en sí no generaba un gran costo, sino las computadoras que lo transmitían; además, mencionan que mientras mayor sea la cantidad de mensajes enviados, menor es el costo por unidad.
Enfatizan que es injusto criticar solo a la IA por su uso de energía si no se pone una advertencia así en todas las demás cosas.
Creen que la clave es internalizar el costo de las emisiones en el precio de la electricidad; preocuparse a nivel de usuario individual es una distracción. Como de todos modos la demanda va a dispararse si se electrifican transporte, calefacción e industria, hace falta descarbonizar la electricidad rápidamente.
Están de acuerdo, pero dicen que reducir el consumo o mejorar la eficiencia también es una parte importante de la transición energética; si no se usa, no hace falta producirlo.
Para internalizar esos costos, primero la sociedad tendría que ponerse de acuerdo sobre qué significa exactamente el “costo” de las emisiones; en la práctica, sería más fácil lograr que la electricidad sea muy abundante y eficiente, porque a la sociedad en sí no se la puede mejorar tan fácilmente.
Opinan que decir “DeepSeek tiene 600 mil millones de parámetros, pero en realidad usa una arquitectura mixture-of-experts y solo aprovecha cerca del 12.5% por token (si recuerdan bien)” es algo que debería aclararse, porque de lo contrario baja la credibilidad del texto. Comparten el análisis más confiable que han visto sobre el consumo energético del texto (enlace a epoch.ai): una respuesta promedio a una pregunta normal consume unos 0.3Wh y hasta 40Wh en contexto máximo; la mayoría de los usos reales es mucho menor, así que el consumo energético del texto en sí es pequeño comparado con su utilidad. En cambio, la generación de video sí consume muchísima energía. También les gustaría ver este tipo de análisis para el uso de generación de código basada en LLM.
Les sorprende el contraste entre la cantidad de comentarios en este hilo que justifican un consumo de energía enorme y el hecho de que actualmente esta tecnología se usa muchísimo para cosas totalmente inútiles (spam de texto y visuales), en comparación con la polémica energética de la época del cripto. También parece haber un ambiente de tolerancia porque las grandes tecnológicas son empleadores importantes.
La IA al menos tiene beneficios teóricos, mientras que el cripto es derrochador por diseño; aun así, la relación costo-beneficio real de la IA sigue siendo una incógnita.
El consumo de energía de Bitcoin aumenta cuando sube el precio, pero el costo de inferencia de los LLM viene cayendo rápidamente (comparten un enlace de referencia). También señalan que empresas como Apple y Google intentan introducir IA en sus propios centros de datos y en dispositivos, mientras al mismo tiempo se siguen desarrollando algoritmos todavía más costosos. Puede que la mayoría de los usos llegue a ser lo bastante barata como para correr incluso en dispositivos limitados por batería como laptops y teléfonos.
Les parece interesante el punto de conexión con el boom del cripto: una vez que estas corrientes empiezan, por la naturaleza humana no es fácil revertirlas.
Comparten el recuerdo de que el ambiente de HN frente al cripto antes no era tan negativo como ahora.
Hacen la broma de que el uso energético del cripto (sobre todo el PoW de Bitcoin) sí es un desperdicio de verdad.
Señalan la ironía de estar leyendo sobre esto mientras esta página, por culpa de JavaScript de origen incierto, no hace nada útil y aun así pone su CPU al máximo.
Les gustaría que el navegador limitara estrictamente cuánta CPU puede usar cada página y que, si necesita más recursos, tenga que pedir permiso explícito como pasa con la cámara.
Dicen que pensaron algo parecido antes del almuerzo y comparten una entrada de blog sobre tabdouse; mencionan que existen trucos con cgroups y otros mecanismos, pero nada resulta completamente satisfactorio.
Dicen que ahora la IA se parece a la era inicial de las computadoras tipo “mainframe”: máquinas enormes que llenan una habitación, consumen cantidades inmensas de energía y aun así rinden menos que un smartphone actual. Creen que en adelante habrá una rápida mejora en eficiencia de modelos y especialización de hardware, y que la inferencia local mediante chips dedicados a IA reducirá mucho el gasto energético de la mayoría de las tareas. Les parece valioso que eso permitiría concentrar los grandes recursos de cómputo en problemas científicos complejos.
Señalan que a menudo se cita la curva de progreso de las CPU (crecimiento exponencial), pero en realidad casi nunca aplica a otras áreas; los semiconductores pudieron crecer gracias a condiciones extraordinariamente afortunadas, mientras que baterías, fusión nuclear o computación cuántica no han tenido lo mismo. En el ámbito de los semiconductores ya se recogieron casi todos los frutos al alcance de la mano, así que es poco probable que la eficiencia de la IA crezca tan rápido de un momento a otro. Lo más realista serían décadas de progreso lento y gradual, y no existe una forma mágica de hacer desaparecer de golpe la necesidad de miles de millones de parámetros y billones de operaciones. Quizá la computación fotónica tenga alguna posibilidad.
Dicen que personalmente no entienden muy bien la idea de los “chips dedicados a IA”: los LLM fueron diseñados desde el principio para encajar con las GPU, o sea que el hardware ya existe. El problema es que las GPU cada vez son más grandes, más calientes y consumen más energía. Si hubiera algo claramente mejor que una GPU, ya se habrían pasado a eso; y si hubiera una estructura que permitiera volver a la CPU con mejor eficiencia, eso ya habría ocurrido.
Les sorprende que incluso en su laptop vieja (de 7 años) pueden correr bastante fácilmente modelos pequeños de Gemma. Imaginan que se podría mejorar la eficiencia enviando solo algunas tareas al LLM y dejando el resto a programas tradicionales.
Dicen que es el mejor texto que han visto hasta ahora sobre el uso de energía de la IA, y les impresionó que las grandes tecnológicas sean reacias a dar los datos necesarios para la toma de decisiones sociales. Recomiendan la serie de pódcast Data Vampires, que profundiza bastante en el tema.
Les pareció interesante la afirmación del artículo de que, desde la adopción de IA en 2017, los centros de datos se construyeron con hardware intensivo en energía y para 2023 el consumo eléctrico se duplicó. Pero señalan que el auge real de la IA generativa empezó de lleno tras la aparición de ChatGPT en noviembre de 2022, así que gran parte del crecimiento de la IA entre 2017 y 2022 probablemente no fue IA generativa.
2017 fue el año posterior a la victoria de AlphaGo sobre Lee Sedol y también el año en que se publicó el paper “attention is all you need”; de hecho, en la industria ya había señales claras. OpenAI simplemente logró el encaje con el mercado en 2022, pero eso no significa que el sector hubiera estado dando tumbos sin rumbo.
Desde esa época empezó en serio el uso de GPU para machine learning.
Meta ya venía incorporando IA de forma agresiva en todas las áreas de sus servicios, como búsqueda, recomendaciones y grafos. Gracias a eso, incluso antes del boom de los LLM ya tenía preparadas decenas o cientos de miles de GPU, lo que la dejó en una posición ventajosa para impulsar proyectos importantes como Llama.