De explosieve groei van kunstmatige intelligentie (AI) heeft de datacentergiganten, waaronder Google, Meta, Amazon en Microsoft (wiens datacenters de meeste AI-software draaien), ertoe aangezet om supergrote hyperscale datacenters te bouwen die veel meer vermogen nodig hebben: gigawatt in plaats van megawatt. Deze gigantische datacenters gebruiken bestaande halfgeleidertechnologie die de verouderde Amerikaanse elektriciteitsnetinfrastructuur uitdaagt om aan hun energieverbruik te voldoen, aldus analisten.

Goldman Sachs schat bijvoorbeeld dat één enkele query naar ChatGPT (generative pre-trained transformer chatbot) tien keer zoveel datacenterenergie verbruikt als traditionele AI-functies zoals spraakherkenning. Dat is de reden voor krachtigere hyperscale datacenters.

Tegenwoordig draait traditionele AI achter de schermen. Natuurlijke taalherkenning (zoals wanneer u tegen uw computer praat) is bijvoorbeeld een AI-functie die miljoenen (voor afzonderlijke woorden) tot miljarden (voor complete zinnen) verbindingen tussen virtuele neuronen en synapsen in een ‘lerend’ neuraal netwerk vereist. Tegenwoordig worden deze gesproken-woord-leerfuncties op de achtergrond uitgevoerd, tijdens datacenter-stiltes. Nadat het neurale netwerk elk woord in het woordenboek heeft leren herkennen, kan het worden gecomprimeerd tot een veel kleinere, snellere, runtime ‘inference engine’ voor realtime-reacties op gebruikers.

De nieuwe AI-functies, generatieve AI (GenAI) genoemd, gebruiken veel grotere neurale leernetwerken met biljoenen verbindingen om niet alleen de gesproken woorden in het woordenboek te verwerken, zoals de huidige spraakherkennings-AI’s, maar die ook hele bibliotheken met boeken (grote taalmodellen genoemd, LLM’s) of enorme sets visuele scènes (vision transformers genoemd, ViT’s) leren. Transformers kunnen echter niet tijdens de uitvoering worden gecomprimeerd tot dezelfde kleine, snelle inferentie-engines als bij woordherkenning. De reden hiervoor is dat ze geen eenvoudige woorden retourneren als reactie op uw invoer, maar in plaats daarvan uw zoekopdrachten vergelijken met biljoenen voorbeelden in hun gigantische neurale netwerken en deze – woord voor woord – transformeren in antwoorden die variëren in grootte van complete paragrafen tot een heel whitepaper, of zelfs tot een heel boek over het onderwerp van uw zoekopdracht.

Tegen het einde van het decennium zal er nog meer rekenkracht nodig zijn wanneer GenAI-toepassingen zich ontwikkelen tot het routinematig retourneren van hele kunstwerken of, laten we zeggen, videodocumentaires van query’s naar ViTs, zoals “het schilderen van landschappen in de stijl van Vincent van Gogh”, aldus Jim McGregor, oprichter en hoofdanalist bij Tirias Research.

“Zodra we de massale acceptatie van visuele-inhoudcreatie met GenAI bereiken, zal de vraag enorm zijn. We zullen de prestaties/het vermogen van datacenters exponentieel moeten vergroten”, aldus McGregor.

Om datacenters te ondersteunen die krachtig genoeg zijn om bestaande chat-kaliber GenAI te verwerken, voorspelt Tirias’ laatste rapport dat het energieverbruik van datacenters in de VS zal toenemen van ruim 1,4 tera-wattuur (TWh) vandaag de dag tot 67 TWh in 2028. Goldman Sachs schat dat wanneer u traditionele AI toevoegt aan GenAI, er in dezelfde periode ongeveer twee keer zoveel groei wordt verwacht, wat resulteert in AI die ongeveer 19% van de totale energie van datacenters verbruikt, of ongeveer 4% van de totale elektriciteitsopwekking van het elektriciteitsnet voor alle Amerikaanse

De manier waarop deze sterke groei van het energieverbruik van het net zal worden opgevangen, volgens het Goldman Sachs-rapport AI, Data Centers and the Coming US Power Demand Surge, is door de elektriciteitsopwekking voor het net te transformeren van op kolen gestookte elektriciteitsopwekking naar “60% (aard)gas en 40% hernieuwbare bronnen (voornamelijk zon en wind).” Daarnaast wijst Bloomberg erop dat de overstap naar gas en hernieuwbare bronnen zal inhouden dat de sluiting van enkele op kolen gestookte elektriciteitscentrales die het dichtst bij de nieuwste hyperscale datacenters liggen, zal worden uitgesteld.

Er is ook een trend om overbelasting van het net te voorkomen met nucleaire elektrische energiegeneratoren die zijn toegewijd aan individuele hyperscale datacenters, zogenaamde kleine modulaire reactoren (SMR’s), zei Rian Bahran, assistent-directeur van het White House Office of Science and Technology Policy in zijn keynote op Data Center World 2024. Bahran zei dat kernenergie moet worden toegevoegd aan de lijst van “schone” en “duurzame” energiebronnen om te voldoen aan de vraag naar energieverbruik van hyperscale datacenters. Amazon heeft zelfs al gekocht van Talen Energy, een bijna 1-gigaWatt-capabele kernenergie-aangedreven datacentercampus in Salem, PA, aangestuurd door de aangrenzende 2,5-gigaWatt Susquehanna-kerncentrale van Talen. Bahran onthulde ook dat er momenteel maar liefst twee dozijn SMR’s worden gebouwd, elk in staat om ongeveer 75 megawatt elektriciteit te genereren, op twee datacentercampussen in Ohio en Pennsylvania.

Tegelijkertijd probeert Microsoft kernsplijtingsreactoren zoals SMR’s te overtreffen door te investeren in fusiereactoren die geen kernafval produceren (in samenwerking met Helion).

“Er is geen enkele wonderoplossing die deze toenemende behoefte aan meer elektrische energiebronnen kan oplossen, maar het is niet zo erg als sommigen beweren, althans niet voor de volgende generatie na de huidige technologie datacenters,” zei McGregor. “Zoals ik het zie, is het als de wet van Moore (met betrekking tot de periodieke verdubbeling van de transistordichtheid); we bleven het einde ervan voorspellen, maar elke keer dat we dachten dat er een obstakel was, vonden we een innovatie die het wist te omzeilen.”

De hyperscale datacenters van vandaag de dag gebruiken de huidige halfgeleidertechnologieën en -architecturen, maar innovatie zal de ongebreidelde toename van het GenAI-stroomverbruik op de lange termijn tegenhouden, net zoals innovatie de Wet van Moore vooruit heeft geholpen, aldus McGregor. Dat wil zeggen, door nieuwe manieren te vinden om de prestaties te verhogen en tegelijkertijd het stroomverbruik te verlagen, met een nieuwe generatie hybride stacks van CPU’s, GPU’s en geheugenchips in hetzelfde pakket, met watergekoelde serverracks in plaats van luchtgekoelde, met volledig optische dataverbindingen, zelfs chip-to-chip, in plaats van de huidige mix van koper en glasvezel, en met grotere watergekoelde wafer-scale chips met biljoenen transistors.

“Het niveau van innovatie in vermogensreductie is fenomenaal. Dit niveau van innovatie evenaart het begin van de halfgeleiderindustrie en groeit in veel opzichten zelfs nog sneller. Als de technologie stil zou staan, zouden we tegen het einde van het decennium geen beschikbare energie meer hebben”, aldus McGregor. Toch zal volgens Tirias’ GenAI-voorspellingen het gebruik van low-power hybride CPU/GPU-gebaseerde AI-versnellers in datacenters groeien van 362.000 eenheden vandaag de dag tot 17,6 miljoen in 2028.

“Neem bijvoorbeeld de Cerebras Systems AI-chip die een hele wafer met vier biljoen transistors in beslag neemt”, aldus McGregor. De Cerebras next-generation watergekoelde wafer-scale chip verbruikt 50x minder stroom voor zijn vier biljoen transistors dan de huidige afzonderlijke CPU-chip- en GPU-chip-gebaseerde datacenterservers. De wafer-scale made-for-AI-chip wordt momenteel getest in samenwerking met onderzoekers van Sandia National Laboratories, Lawrence Livermore National Lab, Los Alamos National Laboratory en de National Nuclear Security Administration. Hij zal ook worden geïntegreerd in toekomstige Dell-servers voor grootschalige AI-implementatie.

De nieuwste hybride CPU/GPU-gebaseerde AI-accelerator van Nvidia, die meerdere traditionele servers voor AI-workloads kan vervangen, voor een fractie van hun huidige energieverbruik, is al beschikbaar en drijft vier van de top vijf posities op de Green 500 supercomputerlijst van 2024 aan. Deze kan meerdere traditionele servers voor AI-workloads vervangen, voor een fractie van hun huidige energieverbruik. Nvidia-gebruiker Pierre Spatz, hoofd kwantitatief onderzoek bij Murex (Parijs), meldt bijvoorbeeld in een blog dat Nvidia’s nieuwste AI-accelerator, de Grace Hopper Superchip, “niet alleen de snelste processor (vandaag beschikbaar) is, maar ook veel energiezuiniger is, waardoor groene IT werkelijkheid wordt.” Volgens Spatz verhoogt deze Nvidia Grace Hopper Superchip de financiële voorspellingssoftwareprestaties van Murex met 7x en biedt tegelijkertijd een 4x lagere energieconsumptie.

Innovatie om crises op te lossen