Vloeistofkoeling: de infrastructuur
Het gebouw en de benodigde aanpassingen
Om een luchtgekoeld datacenter om te bouwen naar vloeistofkoeling moet er met verschillende factoren rekening gehouden worden om onderdelen zoals CDU's, koude platen, tanks en leidingen correct te installeren. Racks en servers kunnen niet zonder de benodigde aanpassingen worden gebruikt, zelfs niet in het geval van direct-to-chip vloeistofkoeling. In het rack moet een spruitstuk voor de leidingen naar de afzonderlijke servers worden ingebouwd en het kan daarbij nodig zijn om extra gaten in het rack aan te brengen waar de leidingen het rack verlaten. Voor de servers geldt hetzelfde: ook hier moeten openingen zijn voor leidingen en omdat deze relatief dik zijn en er in de behuizing ook koude platen moeten worden geïntegreerd, kan er ruimtegebrek ontstaan, waardoor verdere aanpassingen nodig zijn.
Een andere belangrijke factor is de strengere veiligheidseisen die gelden bij het plaatsen van de leidingen voor de afzonderlijke vloeistofkoelcircuits - als deze werken op een water/glycolmengsel. De leidingen moeten zo worden geplaatst dat deze niet boven actieve onderdelen of servers lopen, om bij lekkage schade door binnendringend water te voorkomen. Idealiter worden deze leidingen in de verhoogde vloer gelegd die meestal al aanwezig is in luchtgekoelde installaties. Bovendien moeten de leidingen regelmatig worden gecontroleerd op corrosie en lekken. Leidingen voor diëlektrische vloeistoffen vormen daarentegen meestal geen probleem, omdat deze niet geleidend zijn en geen schade aan onderdelen veroorzaken als ze lekken.
Bij het ombouwen naar vloeistofkoeling moet ook rekening worden gehouden met de structuur van het gebouw. Bij direct-naar-chip vloeistofkoeling hoeft er over het algemeen geen actie ondernomen te worden, omdat het gewicht per vierkante meter niet significant verandert in vergelijking met luchtkoeling. Als er echter immersiekoeling wordt gebruikt, bestaat er in grotere installaties een risico op een zeer sterk verhoogde puntbelasting op het plafond vanwege de hogere dichtheid van de server en de grote hoeveelheden vloeistof. Het is daarom van essentieel belang dat bouwkundig ingenieurs vóór de verbouwing de potentiële plafondbelasting controleren en dat de benodigde structurele maatregelen worden getroffen om het draagvermogen te vergroten. Wanneer er daarnaast robotarmen worden gebruikt om de ondergedompelde servers te onderhouden, moet hier uiteraard tijdens de planning rekening mee worden gehouden, zodat de robotsystemen veilig en betrouwbaar kunnen worden gemonteerd en voldoende bewegingsvrijheid hebben.
Als de kosten van volledig ombouwen te hoog zijn, is het natuurlijk ook mogelijk slechts een gedeelte van het datacenteroppervlak om te bouwen naar vloeistofkoeling. In sommige gevallen kan het zelfs zinvoller zijn om een nieuw gebouw of uitbouw te maken die vanaf het begin voldoet aan de eisen voor vloeistofkoeling.
Bestaande airconditioning units voor ruimtekoeling kunnen in gebruik blijven voor het koelen van de restwarmte die in de ruimte wordt afgegeven door niet-vloeistofgekoelde onderdelen, zoals voedingsunits. Bij direct-to-chip vloeistofkoeling bedraagt de restwarmte ongeveer 20 procent van de totale warmtelast, terwijl dit bij immersiekoeling slechts ongeveer 5 procent is.
Koeldistributie-unit voor koelvloeistoffen(CDU) - een belangrijk onderdeel
Het basisontwerp van een vloeistofkoelsysteem in een datacenter is als volgt: bij direct-naar-chip vloeistofkoeling zijn de koude platen op de serverpanelen via flexibele leidingen verbonden met een spruitstuk in het rack. Dit spruitstuk is op zijn beurt via leidingen verbonden met een koeldistributie-unit (CDU). Als er in plaats van de direct-naar-chipmethode gebruik wordt gemaakt van dompelkoeling, dan wordt niet het rack maar de tank aangesloten op de CDU. De CDU scheidt het facilitair watersysteem (FWS - het koelcircuit van het gebouw) van het technologisch koelsysteem (TCS - het vloeistofkoelsysteem voor de servers) door middel van een warmtewisselaar. Daarnaast maakt de CDU gebruik van kleppen en pompen om het debiet en de temperatuur van de koelvloeistof te regelen.
Het is belangrijk om de circuits gescheiden te houden, aangezien er verschillende zuiverheidseisen gelden voor het koelcircuit en het facilitaire water. Bovendien kunnen er in het koelcircuit ook diëlektrische vloeistoffen worden gebruikt en niet uitsluitend water/glycolmengsels. De benodigde vloeistofkwaliteit in een dergelijk koelcircuit is onder andere afhankelijk van de materialen waarvan de warmtewisselaars en koude platen zijn gemaakt en de grootte van de geïntegreerde microkanalen. Als de microkanalen erg klein zijn, is de maximale deeltjesgrootte in de vloeistof een doorslaggevende factor voor de betrouwbare werking van een vloeistofkoelsysteem.
Wat zijn de normen en specificaties voor vloeistofkoeling?
De meeste normen voor datacenters bevatten momenteel geen specificaties of aanbevelingen voor het ontwerpen van geschikte systemen voor vloeistofkoeling. Momenteel is de enige uitzondering ASHRAE-richtlijn TC 9.9, die expliciet ingaat op vloeistofkoeling. In deze richtlijn worden twee aanbevolen ontwerpen genoemd die qua locatie en het aantal CDU's van elkaar verschillen. De eerste versie betreft een centrale CDU waarop verschillende racks kunnen worden aangesloten. Dit bespaart ruimte in het rack, maar neemt extra ruimte in beslag in de serverruimte. Als dit centrale CDU-ontwerp wordt gebruikt, moet bij voorkeur 2N-redundantie worden ingesteld om storingen te compenseren. Verder moet de CDU-capaciteit een reserve bieden voor opschaling, maar deze moet ook energiezuinig zijn, zelfs bij een lage belasting.
In de tweede versie is in elk rack een speciale CDU ingebouwd. Dit betekent dat de racks niet zo veel servers kunnen herbergen, maar dat er buiten de racks geen extra ruimte nodig is. Als er een CDU uitvalt, heeft dit slechts gevolgen voor één rack; alle andere servers kunnen gewoon blijven functioneren. Er kan ook eenvoudiger opgeschaald worden, want elke keer dat er een ander rack wordt toegevoegd, wordt er ook een geschikte CDU toegevoegd die is aangepast aan de vereiste koelcapaciteit. Met deze methode heeft het systeem echter meer warmtewisselaars, waardoor de hoeveelheid koude die aan het water van de faciliteit kan worden onttrokken iets lager is vanwege hogere overdrachtsverliezen ten opzichte van versies met een centrale CDU.
Op welke andere manieren kan vloeistofkoeling worden geïmplementeerd?
Sommige installaties hebben helemaal geen CDU nodig. Dit is echter alleen mogelijk bij immersiekoeling, omdat er dan al een warmtewisselaar op de tank aanwezig is om de circuits te scheiden. De temperatuur moet worden geregeld via het facilitaire water, wat minder flexibiliteit biedt dan wanneer er een CDU wordt gebruikt. Een ontwerp zonder CDU heeft echter ook voordelen, zoals een hoger rendement. Er hoeven geen warmtewisselaars te worden gebruikt voor de koppeling met het water van de faciliteit en daar treden dan dus geen overdrachtsverliezen op. Bovendien is er geen extra ruimte nodig voor de CDU's. Bij direct-to-chip vloeistofkoeling is daarentegen altijd een CDU nodig. Dit komt omdat de leidingen van de koude platen een kleine diameter hebben en er dus een hoge waterkwaliteit nodig is om de circuits schoon te houden. In de regel wegen de voordelen die aan het begin van dit artikel zijn genoemd - en de grotere flexibiliteit van de CDU-versie - zwaarder dan de voordelen van de versie zonder CDU en deze versie is dan ook de populairste keuze voor datacenters met vloeistofkoeling. Dit komt ook omdat er zonder systeemscheiding door een CDU glycol moet worden toegevoegd aan het facilitaire water, wat de efficiëntie verlaagt.
Naast de twee hierboven beschreven versies is er nog een andere methode voor het gebruik van vloeistofkoeling. Ook hier worden koude platen op de serverpanelen gemonteerd en worden leidingen uit de behuizing geleid en via een spruitstuk aangesloten op een CDU. Daarnaast is er een zogenaamde actieve achterdeur aan de achterkant van het rack, die eveneens kan worden aangesloten op een CDU. Deze versie bevat verder een lucht/water-warmtewisselaar die de restwarmte van niet-vloeistofgekoelde onderdelen in het rack uit de lucht in het koelcircuit brengt.
Hoe wordt het facilitaire water gekoeld?
Alle vloeistofkoeltechnieken zijn ontworpen om de temperatuur van het facilitaire water zo in te stellen dat er voldoende reserves beschikbaar zijn voor de koelcircuits. Om condensatie te voorkomen, mogen deze temperatuurvensters echter niet te dicht bij het dauwpunt van de ruimte komen. Bij alle soorten vloeistofkoeling wordt het facilitaire water op een vergelijkbare manier gekoeld als bij luchtkoeling, maar meestal bij hogere temperaturen. En afhankelijk van de vereiste temperatuur kunnen droge koelers, koeltorens en koelers worden gebruikt. Als richtlijn staan in ASHRAE TC 9.9 temperatuurklassen vermeld met aanbevelingen over welk type koeling voor welke temperatuur van het facilitaire water kan worden gebruikt. Als het datacenter vóór het ombouwen al was uitgerust met vrije of indirecte vrije koeling van het facilitaire water, kan dit - afhankelijk van de vereiste temperatuur - worden gebruikt om de CDU te voeden.
Nu we in dit artikel de benodigde infrastructuur voor vloeistofkoeling in een datacenter uitgebreid hebben bekeken, gaan we in het volgende deel onderzoeken hoe deze oplossingen in de praktijk met producten van STULZ kunnen worden geïmplementeerd, en met welke speciale factoren rekening moet worden gehouden.