Фраза «жидкостное охлаждение в ЦОД» все чаще появляется в заголовках статей и рейтингах поисковых систем. И если еще несколько лет назад эта тема воспринималась как нишевая, то сегодня, на фоне развития HPC- и AI-нагрузок, она выходит в центр внимания рынка.
Представитель компании ДАТАРК — руководитель направления климатических систем Александр Ежов — объясняет, какие технологии стоят за этим понятием и что они меняют для заказчиков.
Новый уровень нагрузок
Еще три года назад типовой уровень нагрузки на стойку в ЦОД находился в диапазоне 8–9 кВт. И классические системы контроля микроклимата, в которых теплоносителем на уровне машзала выступает воздух, успешно справлялись с отведением излишков тепла от вычислительного оборудования.
Для понимания, технология устроена следующим образом: оборудование остывает, воздух нагревается, далее он поступает в кондиционер, и тепло передается хладагенту (фреон — DX или водный раствор — CW), который в свою очередь отводит тепло в окружающую среду.
Думаю, у каждого из читателей рядом есть окно с стеклопакетом, который может быть как бескамерным (одинарное стекло), так и одно-, двух- и даже трехкамерным. Закономерность проста: чем больше камер (прослоек воздуха), тем лучше теплоизоляция, потому что воздух — прекрасный теплоизолятор. На этом фоне его использование в качестве теплоносителя выглядит не самым эффективным решением. Это подтверждает и классическое правило: до 40% потребления энергии в ЦОД приходится на системы контроля микроклимата.
Сейчас рынок все чаще приходит к нагрузкам 15–17 кВт, а в отдельных проектах под HPC и AI звучат уже совсем другие цифры — вплоть до 45 кВт на стойку. И становится еще более очевидно: возможности воздушного охлаждения не бесконечны. Именно в этот момент жидкостные технологии из чего-то нишевого превращается в реальную необходимость рынка.
Система жидкостного охлаждения: простой способ снизить PUE, а с ним и OPEX
Полное название данного направления в системах контроля микроклимата звучит как прямое жидкостное охлаждение: Direct Liquid Cooling (DLC). На данный момент наибольшее распространение в направлении DLC получили два подхода: технологии прямого жидкостного охлаждения чипов Direct-to-Chip Cooling (D2C) и погружного охлаждения Immersion Cooling (IC).
Системы DLC позволяют исключить воздух из схемы контроля микроклимата внутри машинного зала: отведение тепла производится с помощью прямого контакта нагревающихся элементов IТ-оборудования и жидкого теплоносителя. Это значительно повышает эффективность теплоотведения и уменьшает необходимую площадь теплообмена.
Звучит красиво, но ничего не понятно? Тогда расшифрую: больше не нужны объемные воздушные радиаторы на центральных процессорах и графических ускорителях, громоздкие испарители в кондиционерах и строгое поддержание температуры +22°С в холодном коридоре.
Кроме того, эффективность жидкостного охлаждения значительно выше воздушного, что позволяет снизить не только габариты, но и потери, а значит — энергопотребление системы контроля микроклимата. Вот он — простой способ значительно снизить PUE, а с ним и OPEX.
D2C — самый разумный сценарий для рынка
Теперь подробнее остановимся на Direct-to-Chip Cooling (D2C). Технология подразумевает гибридное охлаждение: «горячие» и требовательные к температуре компоненты, такие как центральные процессоры (CPU) и графические ускорители (GPU), охлаждаются жидкостью через специальные теплообменники, а остальные компоненты — воздухом, при этом объем тепловой нагрузки для воздушного охлаждения составляет, как правило, не более 20% от общего энергопотребления.
Важно, что требования к температуре воздуха и теплоносителя в D2C-системе зачастую находятся на уровне +30°С и выше, что позволяют использовать для охлаждения окружающий воздух без применения компрессорной группы (FreeCooling) почти круглый год. В качестве жидкого теплоносителя могут использоваться как растворы воды, так и специализированные хладагенты: первые — простые и дешевые, вторые — безопасны с точки зрения электричества.
Если говорить о ближайшей перспективе, это наиболее реалистичный сценарий развития рынка. Но и у него есть барьеры. Первый — высокая стоимость. Второй — зависимость от оборудования: оно должно быть изначально спроектировано под жидкостное охлаждение. Самостоятельная переделка серверов означает потерю гарантии и дополнительные риски, на которые в таких проектах идут редко. А покупка готовых зарубежных решений не всегда оптимальна: часть из них (например, китайские системы) не адаптирована под реалии российского рынка.
Тем не менее внедрение жидкостных технологий — вопрос ближайшего времени. Отечественных решений, адаптированных под локальный рынок, можно ожидать уже в горизонте одного года — и тогда интерес к D2C перейдет в практическую плоскость.
Перспективы погружного охлаждения
На этом фоне погружное охлаждение, или Immersion Cooling, выглядит более отдаленной историей. Как инженерная технология оно очень эффективное. Но между эффективностью на бумаге и массовым рыночным спросом — огромная дистанция.
Я бы сказал так: технология существует, но надо понимать, что реальный спрос на эти системы вряд ли появится в ближайшие три-четыре года.
IC подразумевает погружение вычислительного оборудования в специализированную емкость, заполненную жидким теплоносителем. Таким образом, жидкостью охлаждается все: от разъемов и портов до высоконагруженных чипов. Плюсы очевидны: система показывает наибольшую энергоэффективность и при этом позволяет добиться удивительной тишины в машинном зале.
Но есть и значительные минусы для бизнеса: сложность обслуживания как самой системы IC, так и вычислительной техники. Во-первых, надо строго следить за составом жидкого теплоносителя во избежание появления электропроводимости среды, во-вторых, необходимо также контролировать ее уровень, собирать испарения и конденсировать их, а в-третьих, каждое действие по установке и подключению любого вычислительного оборудования в IC связано с необходимостью контакта человека с жидкостью (риски поражения электрическим током) или изъятием стойки из емкости с хладагентом (необходимость остановки вычислений для избежания критического перегрева). Зато красиво и очень тихо.
Вместо резюме: D2C и IC
В целом, D2C сейчас получает наибольшее распространение, потому что при своей компактности она позволяет отводить до 120 кВт тепла с одной IТ-стойки, что более чем достаточно для современного ИИ-кластера. И, самое главное, данная технология позволяет эксплуатировать внутри одной IТ-стойки как оборудование для D2C, так и классическое с воздушным охлаждением.
Технология IC позволяет отводить значительно больше тепла: данные тестов показывают, что даже 250 кВт с одной стойки — не предел. Но такая система занимает больше места и гораздо требовательнее к эксплуатации, а также не совместима с IТ-оборудованием на воздушном охлаждении. Если переводить в мир автомобилестроения, то D2C — это ближе к электромобилям, а IC — это летающие авто со встроенным атомным реактором: футуристично , эффективно, но точно «не в этом году».