Охлаждане с потапяне Vs. Директно-към-охлаждане на чипове: Какво означава това за вашите тръбопроводни спецификации

Въведение: Решението, което се случва твърде късно

Повечето инженери на центрове за данни правят своя избор на технология за охлаждане - потапяне или директно-към-чипа - въз основа на целите за гъстота на стелажа и капиталов бюджет. Спецификацията на тръбопровода идва по-късно, често се третира като детайл на изпълнението, а не като драйвер за проектиране. Тази последователност е грешка.

Флуидната система, която изграждате около избраната от вас охлаждаща архитектура, не е взаимозаменяема. Спецификация на тръбопровода, написана за директно{1}}към-чип (D2C) охлаждане-плоча ще се провали - буквално и оперативно - ако бъде преоборудвана до еднофазово-потапяне, и обратно. С гъстотите на стелажите на графичния процесор, които вече рутинно надвишават 50 kW, а работните натоварвания на AI, достигащи до 100 kW на стелаж, получаването на спецификацията на тръбата точно във фазата на схематичното проектиране вече не е задължително. Едно изтичане в D2C система може да свали цял стелаж от $400 000 в GPU хардуер за секунди.

Това ръководство е написано за механични и водопроводни инженери, които вече са взели (или вземат) решение за архитектурата на охлаждане и трябва да превърнат този избор в защитима спецификация на тръбопроводите, която -съвместима с ASHRAE.

 

 

Директно към чип течно охлаждане на център за данни GPU шкаф CDU

 

1. Две архитектури, две напълно различни логики на флуиден цикъл

Преди да се докоснете до тръбен график, разберете, че охлаждането чрез потапяне и D2C работят на коренно различни хидравлични принципи.

Директно-към-чип (D2C)циркулира течност - обикновено дейонизирана вода или смес от вода-гликол - през студени плочи, монтирани директно върху CPU, GPU и ASIC. Топлината се абсорбира от повърхността на чипа и се пренася към модул за разпределение на охлаждащата течност (CDU), който я обменя с водната система на съоръжението. Резултатът е гъста мрежа под налягане от тръби с малък-диаметър, колектори, фитинги за бързо-разединяване и студени плочи, всички от които трябва да работят в хидравличен баланс едновременно.

Еднофазно-охлаждане с потапянепотапя цели сървърни платки в диелектрична течност - обикновено синтетичен въглеводород или специално създадена течност - в резервоар. Топлината се предава от всички компоненти към течността, която след това се изпомпва през външен топлообменник. Външната тръбна мрежа е минимална: по същество две връзки на резервоар (захранване и връщане), преминаващи към CDU или охладителен контур на съоръжението.

Архитектурната разлика е огромна: D2C разпределя хидравличното предизвикателство между десетки точки на свързване на стелаж; потапянето го консолидира в прост външен контур с ниско{1}}налягане. Всичко надолу по веригата във вашите тръбопроводни спецификации произтича от това разграничение.

 

2. Избор на материал за тръба: където ASHRAE определя границата

ASHRAE TC 9.9 и TC 9.6 са изрични относно съвместимостта на материалите. За охлаждащи контури на водна -база D2C ръководството забранява цинк, алуминий и месинг, съдържащи повече от 15% цинк -, всички от които ускоряват галваничната корозия в присъствието на пречистена вода. На практика това изключва стандартните фитинги от жълт месинг и галванизирани стоманени тръби, които остават често срещани в хидравличните системи за ОВК.

За веригата на технологичната система за охлаждане (TCS) - вторичната верига, обслужваща директно студените плочи -304 или 316 неръждаема стоманае стандартната спецификация. TCS контурът обикновено работи с дейонизирана или силно пречистена вода, която всъщност е по-агресивна към корозия от общинската вода, тъй като няма почти никакъв буферен капацитет. Изолационен вентил на всяка стойка, оценен за работното налягане на системата и произведен от неръждаема стомана 316, е необходим както за рутинна поддръжка, така и за аварийно изолиране на течове.

За охлаждане чрез потапяне, материалното предизвикателство се измества изцяло. Диелектричната течност е химически инертна към повечето метали, но агресивно атакува еластомерите - стандартните EPDM и Buna-N уплътнения, използвани в HVAC приложения, ще набъбнат и ще се разградят в рамките на месеци след контакт с диелектрични течности на базата на въглеводороди-. Самият тръбопроводен материал (неръждаема, въглеродна стомана) обикновено е съвместим, но всяко уплътнение, О-пръстен и гъвкава връзка във външния контур трябва да бъдат определени като PTFE или флуорополимерен материал, класифициран за конкретната използвана течност.

 

3. Оразмеряване на тръбата, скорост на потока и спад на налягането

ASHRAE TC 9.6 задава максимална скорост на флуида от2,1 m/s за тръби с диаметър по-голям от 3 инчаза предотвратяване на ерозия при фитинги и завои. Под 3 инча практическата граница е по-близо до 1,5–1,8 m/s, преди шумът и рискът от ерозия да се увеличат неприемливо. Тези ограничения се прилагат и за двете охладителни архитектури, но създават много различни резултати от оразмеряването.

В системите D2C скоростта на потока се определя от топлинното натоварване на всяка студена плоча. С нарастването на TDP на чипа (Thermal Design Power) - съвременните графични процесори H100 работят при 700 W TDP, с ускорители от следващо-генерация, проектирани на 1000 W+ -, потреблението на поток за студена плоча нараства пропорционално. Стелаж с мощност 50 kW с D2C охлаждане може да изисква 8–12 литра охлаждаща течност в минута в колектора на стелажа, разпределен между 8 до 16 отделни студени плочи. Това води до необходимостта от внимателно хидравлично балансиране: паралелните студени плочи трябва да споделят потока равномерно, или най-горещите чипове - обикновено тези в края на разклонението на колектора - нямат капацитет за охлаждане.

В потопяемите системи външният тръбен контур носи цялото топлинно натоварване на резервоара, но при много по-ниска скорост и налягане, тъй като задвижващият механизъм вътре в резервоара е конвекция и ниско{0}}скоростно изпомпване, а не принудителен поток с високо-налягане. Потопяем резервоар с мощност 250 kW обикновено изисква само 20–30 литра в минута през контура на външния топлообменник, при налягане в системата, рядко надвишаващо 2–3 бара.

Решението за прокарване над главата спрямо пода също влияе върху размера. Ръководството на ASHRAE отбелязва, че тръбопроводите под пода трябва да отчитат дебелината на изолацията и хлабината на пресичане на тръбите - добавянето на 50 mm към диаметъра на тръбата при отчитане на изолационната обвивка е често срещана грешка при планиране, която създава конфликти на координация с повдигнати-подови плочки.

 

4. Изолационни вентили, филтри и контрол на течовете: детайлите на спецификацията, които предпазват времето за работа

Това е мястото, където спецификациите на тръбопроводите директно определят оперативната устойчивост и където повечето спецификационни документи са подписани.

За D2C системи, всяка стойка трябва да има изолиращ вентил както на подаващия, така и на връщащия крак, което позволява отделна стойка да бъде изолирана и източена за поддръжка, без да се изключват съседни стелажи. Предпочитаният тип вентил за това приложение е aСферичен кран с резба от 3 частиот неръждаема стомана 304 или 316. Конструкцията на тялото от три-части е от решаващо значение тук: за разлика от клапаните от една-части или от-части от две-части, тя може да бъде разглобена на място -, без да се срязва тръбата или да се премахва тялото на клапана от линията -, за да се сменят уплътненията или да се почисти седлото. В среда на жив център за данни, където минимизирането на времето за престой на стелажа е от първостепенно значение, тази-възможност за обслужване на линия е значимо оперативно предимство, а не лукс на спецификацията.

Преди всеки колектор на стелажа е необходим Y-цетка от неръждаема стомана за защита на микро-каналите на студената плоча от замърсяване с частици. Геометриите на студената плоча за-графични процесори с висока производителност използват тесни канали от 0,5–1,0 mm; частица от 200 микрона може частично да блокира канал и да създаде локализирана гореща точка, която топлинният мониторинг може да не улови, докато не започне дроселирането на чипа. Посочете цедки с размер на отворите от 50 микрона или по-фини на веригата TCS, съгласно насоките за качество на водата на ASHRAE TC 9.9.

На връщащия крак възвратен клапан от неръждаема стомана предотвратява обратния поток през топлообменника на CDU, когато стелажът е изолиран или помпата прекъсне - събитие на обратен поток, което може да въведе топла течност в захранващия колектор и да повиши температурите на охлаждащата течност в целия ред, преди контролите да реагират.

За връзки-към-колектор, посочете сухи-бързоразединяващи се-фитинги с максимално допустимо разливане от 1 кубичен сантиметър на цикъл на прекъсване, в съответствие със стандартите за свързване на OCP (Open Compute Project). Сегментите на гъвкавия маркуч при тези връзки трябва да бъдат закрепени с допълнителни скоби на интервали от 150 mm, за да се предотврати падане на налягането, предизвикано от провисване и напрежение върху фитинговите резби.

За потопяеми системи, спецификацията на изолацията е по-проста, но не е тривиална. Всеки резервоар се нуждае от спирателни клапани за подаване и връщане, оразмерени за целия поток на резервоара, плюс порт за вземане на проби за наблюдение на качеството на течността. Посочете връзките на външния контур в материал, съвместим с конкретния диелектричен флуид - потвърдете писмено съвместимостта с доставчика на флуида, преди да финализирате спецификацията, тъй като патентованите формули на флуида варират.

Кабелът за откриване на течове трябва да бъде прокаран по цялата дължина на всички канали на захранващия D2C тръбопровод, позициониран в най-ниската достъпна точка на всяка тръбна скарата или кабелната скарата. За потопяеми системи са достатъчни точкови-детектори за течове със сензори във всяка основа на резервоара и в CDU, като се има предвид, че външните тръбни връзки са малко и-видимостта е висока.

 

 

Сферичен кран с резба Leadtek от 3 части

 

5. Контролен списък с практически спецификации, преди да издадете за строителство

Преди вашата спецификация на тръбопровода да напусне инженерния екип, проверете следното спрямо избраната от вас охлаждаща архитектура:

Съответствие на материала: Потвърдено е, че всички намокрени метали не съдържат цинк и алуминиеви сплави (D2C); всички еластомери потвърдено съвместими с химия на диелектрични течности (потапяне)

Проверка на скоростта: Максимум 2,1 m/s при тръби с диаметър по-голям или равен на 3" според ASHRAE TC 9.6

Изолационни вентили: Един сферичен кран с резба от 3 части на стелаж, подаване и връщане, с възможност за-линейно обслужване (D2C)

Оценка на цедката: По-малко или равно на 50 микрона отвори при захранване с TCS, преди всеки колектор на стелаж (D2C)

Поставяне на възвратен клапан: обратен крак на CDU, всеки обратен клон на стелажа (D2C)

Спец. за бързо-изключване: Сухо-прекъсване, По-малко или равно на 1cc разлив, OCP-съвместим (D2C)

Откриване на течове: Непрекъснат кабел на всички захранващи линии (D2C); точкови сензори в основата на резервоара и CDU (потапяне)

Подово пространство: Външен диаметър на тръбата плюс изолация плюс 50 mm кръстосано разстояние, потвърдено в модел с празен под

План за пречистване на водата: Специфична за обект-програма за химия, включена преди запълване на системата, с посочен протокол за текущо наблюдение

 

Заключение: Посочете тръбната система, която да съответства на охлаждащата архитектура, а не обратното

Решението за технологията на охлаждане и спецификацията на тръбопровода не са последователни стъпки - те са едно интегрирано инженерно решение. Изборът между потапяне и D2C охлаждане определя хидравличната логика, материалните ограничения, стратегията за изолация и профила на риска от течове на цялата ви флуидна система. Опитът да се адаптира генерична спецификация на HVAC хидравлична тръба към която и да е архитектура ще доведе до система, която не работи добре оперативно и създава ненужно излагане на поддръжка.

Ангажирайте спецификацията на тръбопровода си в схематичния дизайн, заедно с избора на охлаждаща архитектура. Използвайте ASHRAE TC 9.6 и TC 9.9 като основна рамка за съответствие и проверете всеки избор на материал спрямо действителната химия на течността във вашата система - не е общо предположение за „вода“. 30-те минути, изразходвани за получаване на типа на изолационния вентил и оценката на мрежата на филтъра точно на етапа на спецификацията, ще спестят значително повече от 30 минути при бъдещ престой.

 

ЧЗВ

Въпрос: Мога ли да използвам стандартна тръба от въглеродна стомана за HVAC за директен{0}}към-охлаждащ контур на чипове?

Въглеродната стомана се използва в контурите на охладената вода (FWS) от страна на-съоръжението, но не е подходяща за контура на технологичната охладителна система (TCS), който директно обслужва студени плочи. TCS контурът работи с високо пречистена вода с ниско съдържание на йони, която е по-корозивна за въглеродната стомана от обработената HVAC вода. Посочете неръждаема стомана 304 или 316 за всички контурни тръбопроводи и фитинги на TCS.

Въпрос: Защо производителят на моя CDU определя различен размер на тръбната връзка от моя доставчик на студена плоча?

CDU и студените плочи често се доставят от различни производители и са проектирани за различни допускания за вътрешно съпротивление на потока. Несъответствието на размера на връзката е проблем с хидравличния баланс: ако CDU очаква 10 L/min при 2 бара, а студените плочи общо изискват 14 L/min, за да поддържат температурите на свързване на чипа, спецификациите на нито един от производителите не са грешни - дизайнът на системата не ги е съгласувал. Хидравличен модел на пълния контур на TCS, от изхода на CDU до всяка студена плоча и обратно, трябва да бъде завършен преди финализиране на оразмеряването на връзката.

В: Колко често трябва да се почистват Y цедките на охладителен контур D2C?

През първите 90 дни на работа проверявайте кошниците на цедките ежемесечно - новите тръбопроводни системи отделят частици, докато покритията на тръбите се втвърдяват и фитингите се утаяват. След периода на прекъсване-на тримесечна инспекция обикновено е достатъчна за затворени{4}}системи с постоянен мониторинг на качеството на водата. Ако вашият CDU включва сензор за диференциално налягане през цедката, задайте аларма на 0,3 бара делта-P като базова линия за чиста-кошница.

В: Потопяемите тръби за охлаждане по-лесни ли са за определяне от D2C?

Външната тръбна мрежа за потопяемо охлаждане е значително по-опростена - по-малко точки на свързване, по-ниско налягане и без разпределение на колектора-ниво на стелаж. Спецификацията на материала обаче е по-сложна, тъй като съвместимостта на диелектричната течност трябва да бъде проверена за всеки еластомер, уплътнение и гъвкав съединител в системата. Начинът на повреда при погрешна съвместимост на материала в потопяема система е бавен и труден за откриване: разграждане на уплътнението за 12–18 месеца, последвано от постепенна загуба на течност и замърсяване, вместо незабавно и видимо събитие на теч, което D2C системите произвеждат.

Въпрос: Каква е минималната височина на пода, необходима за D2C охлаждаща тръба, която минава под повдигнат под?

Ръководството на ASHRAE не определя универсален минимум, тъй като зависи от диаметъра на тръбата, спецификацията на изолацията и дали тръбите се пресичат една в друга. Практическо правило за планиране е да се даде възможност за най-големия OD на тръбата в цикъла, плюс 75 mm изолация от всички страни, плюс 50 mm разстояние отгоре за кръстосани тръби, плюс 25 mm отдолу за опори. За 4-инчова захранваща магистрала с 25 mm изолация, това дава минимална кухина в пода с приблизително 300 mm - по-голяма от 250 mm кухина, често срещана в старите центрове за данни с повдигнат под, което е ограничение за модернизиране, което си струва да се идентифицира рано.