Un estudio ha estimado el coste energético de ChatGPT. Según sus conclusiones, no es tan apocalíptico como aparenta
ChatGPT a 3 Wh la consulta. En octubre de 2023 un estudio de Alex de Vries apuntó a que una consulta en ChatGPT tenía un coste energético estimado de 3 Wh. Su estimación provenía de comentarios de Google, cuyos responsables señalaron que el consumo de ChatGPT era «probablemente» 10 veces el de una búsqueda. Y la propia Google había revelado que en 2009 cada búsqueda suponía 0,3 Wh, y de ahí la cifra final. De Vries, por cierto, ya publicó anteriormente otro estudio en el que alertaba del preocupante consumo energétigo de la minería bitcoin. De Vries, eso sí, tomaba de referencia que las consultas medias eran de unas 4.000 tokens de entrada y 2.000 de salida, lo que equivaldría a preguntas y respuestas bastante largas, cuando lo normal es hacerlas más cortas.
La eficiencia gana enteros. Durante todo ese tiempo muchas cosas han cambiado, tanto para Google —cuyos resultados e infraestructura es muy distinta a la de hace 15 años— como para ChatGPT, que también ha ganado enteros en eficiencia. Es muy probable por tanto que las consultas de Google sean ahora más eficientes, pero a buen seguro las que también lo son son las de ChatGPT y otros chatbots.
Una nueva estimación. Epoch AI es una organización sin ánimo de lucro que entre otras cosas es la responsable de la creación del benchmark FrontierMath. Esta prueba trata de valorar la capacidad de cómputo matemático de los modelos de IA, y se ha convertido en una de las métricas más interesantes por su dificultad. Sus investigadores han publicado ahora un estudio en el que precisamente estiman el consumo energético de una consulta de ChatGPT.
ChatGPT consume diez veces menos de lo que se pensaba. Según sus conclusiones, las consultas de ChatGPT basadas en el LLM GPT-4o consumen unos 0,3 vatios-hora, lo que supone diez veces menos de lo que se consideraba anteriormente. Ese cálculo de 0,3 Wh «es de hecho relativamente pesimista, y es posible que muchas o la mayoría de las peticiones sean aún más baratas».
Cómo han realizado el cálculo. En Epoch se han basado en datos conocidos para sus cálculos. Así, señalan que según OpenAI un token equivale aproximadamente a 0,75 palabras y que generar un token cuesta aproximadamente 2 FLOPs. Teniendo en cuenta la capacidad de cálculo de las GPUs NVIDIA H100 (989 TFLOPS en operaciones TF32, 67 TLOPS en operaciones FP32) y su consumo (1500 W, aunque consideran que en realidad consumen un 70% de esa potencia de media), el resultado es el mencionado.
Todo ha mejorado. Como apuntábamos, en Epoch AI destacan que la diferencia entre esta estimación y la anterior es que ahora ChatGPT hace uso de modelos y de hardware mucho más efiente que los que había a principios de 2023. Hay formas hasta de multiplicar mejor. Además, en la estimación anterior «había un recuento excesivamente pesimista de los tokens necesarios».
¿Cuánto son 0,3 Wh? Equivalen a menos de la cantidad de electricidad que una bombilla LED o un portátil consumen «en unos pocos minutos». Según datos de la Energy Information Administration de EEUU, un hogar medio allí consume 10.500 kWh al año, es decir, unos 28.000 Wh al día. Incluso un uso intensivo de ChatGPT no parece influir excesivamente en ese consumo.
Razonar consume más. Aunque toman como referencia GPT-4o, dejan claro que usar modelos de razonamiento como o1 o o3-mini requiere más consumo energético, pero por el momento son menos populares.
Y entrenar los modelos, también. Estos investigadores han destacado también el coste energético de entrenar modelos como GPT-4o, que según sus estimaciones habría estado entre los 20 y los 25 MW en un periodo de tres meses. Eso equivaldría a unos 20.000 hogares medios en EEUU.
Los costes generales son preocupantes. Aunque los datos de este estudio revelan que usar ChatGPT no consume tanta energía como se había estimado previamente, el problema puede ser otro. Los costes energéticos generales de la IA son colosales y apuntan a ser mucho más altos a corto plazo: la fiebre de las Big Tech por invertir decenas de miles de millones de dólares para construir centros de datos así lo demuestra. Y lo hace porque todos esos centros de datos tendrán unas necesidades ingentes a nivel energético. Ojo: no nos olvidemos del aire acondicionado.
Imagen | Xataka con Freepik Pikaso
