Efficiënte koeloplossingen voor high-performance computing
Al vele jaren is AI een integraal onderdeel van veel regel- en bewakingssystemen voor datacenters. Het helpt beheerders van datacenters om de energiezuinigheid te verhogen en dreigende storingen in een vroeg stadium te detecteren. Met alle aandacht voor ChatGPT ontwikkelt generatieve AI zich nu ook tot een internationale megatrend. Concepten, tekst, afbeeldingen, video's, tegenwoordig kan alles met behulp van generatieve AI worden bewerkt of veranderd. Met Copilot heeft Microsoft nu zelfs zijn GPT-4-taalmodel (dat ook de basis is voor ChatGPT) rechtstreeks geïntegreerd in Windows 11, zijn Office 365-producten en zijn Bing-zoekmachine. Deze ontwikkelingen vereisen data- en opslagcapaciteiten die een paar jaar geleden nog ondenkbaar waren.
Maar ook in de wetenschap, geneeskunde en toepassingen zoals autonoom rijden worden de eisen voor computerprestaties steeds hoger. Tel daarbij op dat de prestaties en energiebehoefte van servers die voor AI-toepassingen worden gebruikt, met elke nieuwe generatie vele malen hoger worden. Dit zorgt voor enorme vermogensdichtheden in de racks en vergt het uiterste van de luchtkoelingssystemen die doorgaans in datacenters worden gebruikt. Vloeistofkoeling is daarom de voor de hand liggende keuze om servers efficiënt en betrouwbaar te koelen, ondanks deze extra belasting.
De meest gebruikelijke methode om een datacenter te koelen is het traditioneel opdelen van het datacenter in warme en koude gangen. De koude lucht kan daarbij via de verhoogde vloer of rechtstreeks in de koude gangen worden geblazen. De koude lucht wordt aan de voorkant naar de servers gevoerd, deze geven hun warmte af aan de lucht die weer wordt uitgeblazen in de warme gangen aan de achterkant van het rack. Daar wordt de lucht via kanalen naar de airconditioningunits geleid en opnieuw gekoeld. Als alternatief kunnen serverracks ook van koude lucht worden voorzien door een koelingssysteem welke is opgenomen in het rack. Hierbij voeren koelsystemen aan de voorkant van het rack koude lucht naar de servers die na opwarming aan de achterkant weer wordt aangezogen om deze opnieuw af te koelen. Als een luchtstroom echter door IT-apparatuur wordt geleid, zal deze over het algemeen niet alle onderdelen gelijkmatig bereiken. Dit effect is met name sterk bij luchtkoeling in de ruimte, terwijl in de racks opgenomen koelsystemen, zoals de STULZ CyberRow, een veel lager risico hebben op de vorming van hotspots. Als alleen luchtkoeling wordt gebruikt, is de haalbare vermogensdichtheid per rack in de praktijk ruwweg 50 kW. Dit cijfer is meer dan voldoende voor veel IT-toepassingen, maar wordt al snel een beperkende factor als het gaat om uiterst krachtige AI-systemen.
Energiezuinige koeling, ook bij hoge vermogens: Vloeistofkoeling
Als vloeistofkoeling wordt gebruikt, zijn er in sommige gevallen geen warme en koude gangen nodig, omdat het grootste deel van de warmteoverdracht in een gesloten systeem zonder overgangsmedium plaatsvindt. Hier is alleen extra luchtkoeling nodig om bepaalde onderdelen te koelen, zoals voedingsunits en voor de warmtebelasting die door de tank zelf wordt gegenereerd als immersiekoeling wordt gebruikt. Toch moet er voldoende ruimte zijn tussen de racks of tanks, zodat er onderhoud kan worden uitgevoerd of apparatuur kan worden vervangen. Omdat er minder ruimte nodig is, is vloeistofkoeling ook ideaal voor moeilijke locaties met weinig ruimte en vaak veranderende omgevingstemperaturen. In het algemeen kan vloeistof meer warmte absorberen dan lucht. Dit betekent dat de vermogensdichtheid ook aanzienlijk kan worden verhoogd: met vloeistofkoeling kan probleemloos 120 kW per rack worden gehaald. Zelfs vermogensdichtheden van 250 kW zijn geen zeldzaamheid in de industrie. In de praktijk stelt dit extra eisen aan de elektriciteitsvoorziening en de hydraulica. Bij het terugwinnen van restwarmte heeft vloeistofkoeling voordelen ten opzichte van alleen luchtkoeling, omdat er een hogere temperatuur kan worden bereikt, wat een directe aansluiting op een warmtewisselaar eenvoudiger maakt.
Soorten vloeistofkoeling
Momenteel zijn er verschillende soorten vloeistofkoeling beschikbaar die in ontwerp en efficiëntie verschillen. Bij de ene soort komen de te koelen onderdelen direct in contact met de koelvloeistof (immersiekoeling); bij de andere soort zijn de onderdelen uitgerust met een koellichaam waardoor de koelvloeistof stroomt (direct-to-chip vloeistofkoeling).
Bij direct-to-chip vloeistofkoeling is het iets eenvoudiger om luchtgekoelde systemen om te bouwen, omdat het meestal niet nodig is om de servers of racks volledig te vervangen. In een ideaal scenario kunnen de bestaande servers gewoon worden voorzien van verschillende koellichamen en de racks met een distributiesysteem, waarop de leidingen van de afzonderlijke servers kunnen worden aangesloten. Van hieruit wordt dan een leiding uit het rek geleid en aangesloten op een koeldistributie-unit (CDU). De CDU wordt dan via een warmtewisselaar aangesloten op het watercircuit van het gebouw. De hiervoor benodigde leidingen, kunnen bijvoorbeeld in de bestaande verhoogde vloer worden gelegd. Direct-to-chip vloeistofkoeling werkt probleemloos met water en is niet afhankelijk van de relatief dure diëlektrische vloeistof. Bij lekkage bestaat er wel het gevaar dat er water ontsnapt. Als er daarentegen diëlektrische vloeistof wordt gebruikt, hebben lekken geen invloed op de operationele betrouwbaarheid van het IT-systeem.
Als er immersiekoeling wordt gebruikt, zijn de kosten voor het ombouwen van luchtgekoelde systemen relatief hoog. Meestal moeten de bestaande servers worden vervangen door servers die speciaal voor immersiekoeling zijn ontwikkeld. Deze worden dan in bakken of tanks met diëlektrische vloeistof geplaatst. Bestaande racks kunnen daarom niet meer worden gebruikt. Naast een volledig gelijkmatige warmteafvoer, zorgt de vloeistof er ook voor dat de moederborden geen stof meer opnemen en dus niet meer hoeven te worden schoongemaakt.
Immersiekoeling: Circulatie met of zonder pompen: 1-fase en 2-fasen vloeistofkoeling
Een ander verschil is de manier waarop de koelvloeistof circuleert. Bij 1-fase vloeistofkoeling wordt een diëlektrische vloeistof zo gekozen dat de geabsorbeerde warmte het vlampunt niet kan bereiken en altijd vloeibaar blijft. Om de warmte af te voeren, wordt de vloeistof constant door een externe warmtewisselaar gepompt.
Bij 2-fasen vloeistofkoeling verandert de vloeistof door temperatuurverschillen voortdurend van aggregatietoestand. Door warmteabsorptie overschrijdt de diëlektrische vloeistof het vlampunt bij een temperatuur afhankelijk van de specificatie, waarna het gasvormig wordt en opstijgt. In het bovenste deel van de tank bevindt zich een condensor die van buitenaf door een watercircuit wordt gekoeld. De gasvormige vloeistof koelt af wanneer het deze condensor bereikt, wordt vloeibaar en loopt weer naar beneden, waar het opnieuw warmte absorbeert. Het voordeel van de 2-fasen versie is dat deze volledig zonder pompen werkt en dus minder bewegende delen heeft. Anderzijds moet rekening worden gehouden met het hogere aardopwarmingsvermogen (GWP) van deze vloeistoffen.
Conclusie
De stijgende warmtebelasting per rack vraagt om nieuwe manieren van koeling voor datacenters. Bij vermogensdichtheden van meer dan 50 kW is vloeistofkoeling momenteel het enige alternatief. Als de direct-to-chip versie wordt gebruikt, kunnen bestaande servers en racks meestal worden omgebouwd en verder worden gebruikt. Er zijn echter verschillende ombouwmaatregelen nodig in de serverruimtes en er moeten extra onderdelen, zoals CDU's, worden aangeschaft. Als een volledig nieuw datacenter voor hoge prestaties wordt gebouwd, moet immersiekoeling in elk geval ook in de plannen worden meegenomen en moeten beide systemen in de planningsfase uitgebreid met elkaar worden vergeleken. Welk type ook wordt gebruikt, het is belangrijk om te onthouden dat er een bepaalde hoeveelheid luchtkoeling moet worden gebruikt (direct-to-chip: 20-30% en immersie 5-10%).