skip to Main Content

Выбор способа охлаждения машинных залов дата-центра – это всегда история про балансировку и комбинацию многих инженерных факторов. Размер зала, конфигурация и нагрузка стоек, место размещения, количество подведенной мощности и тип резервирования, наличие фальшпола и т.д. Всё это в совокупности влияет на решения, которые предоставляет оператор центра обработки данных, соотнося их с потребностями своих клиентов. В данном материале речь пойдёт о способе охлаждения, называемый «холодными стенами».

Чтобы понять, почему мы заговорили про них и в чем их неоспоримые преимущества для решения конкретных задач, сперва необходимо разобраться с историей охлаждения ЦОД в целом. Приготовьтесь, впереди технологический текст!

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодно

Как и многие инженерные решения, самая концепция «холодных стен» не является чем-то сверхновым. Что такое «холодная стена»? По своей сути – это когда охлажденный воздух поступает из фронтальной части прямиком в пространство помещения, заполняя его. Это кардинально иная концепция, предполагающая совершенно другой подход к охлаждению в целом, чем схемы с фальшполом.

Фальшпол в дата-центрах — это один из самых распространённых способов организации системы охлаждения. Оборудование стоит на специальных панелях, фальшполе, приподнятом примерно на 1 метр от «настоящего» пола. Пространство под фальшполом обычно используется для разводки инженерных коммуникаций, а в машинных зала ЦОД через него осуществляется подача и выдув охлажденного воздуха к клиентским стойкам.

Технология «фронтального вытеснения воздуха» (на ранних этапах это ещё нельзя было назвать «холодной стеной») была достаточно распространенной на заре индустрии дата-центров. Тогда серверных шкафов было мало, да и само оборудование зачастую размещалось хаотично, вперемешку с ИБП, на обычных этажерках, поэтому нужды делать фальшпол, как правило, не было. Достаточно было просто наполнять помещение холодным воздухом, а оборудование уже брало столько, сколько ему нужно. Запомним это.

Со временем, по мере роста количества и мощности стоек начали использовать технологию холодных и горячих коридоров. Это решение позволило доставлять поток холодного воздуха непосредственно к самим стойкам, которые уже стояли гораздо более организованно. С этого момента фальшпол становится самым распространённым способом организации охлаждения. В этой парадигме он играет центральную роль и проектируется заранее, поскольку служит «пленум боксом» т.е. местом, где происходят основные процессы по распределению охлажденного воздуха по стойкам. Выглядит это примерно так:

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодно

Схема эта построена следующим образом: горячий воздух от стоек поднимается наверх, забирается и прогоняется через охлаждающие установки (CRAC-юниты) под фальшпол. Там воздух нагнетается и под давлением выходит через приоткрытые решётки в полу прямиком фронтальной стороне стойки, которые ставятся рядами лицом друг другу, образуя те самые «холодные коридоры». Итак: горячий воздух забирается в подпотолочном пространстве, проходит через кондиционеры, охлаждается, выдувается под пол и поступает снизу к стойкам. Такой круговорот.

Долгое время эта технология была преобладающей и массовой, и до сих пор очень популярна. А теперь немного физики.

Воздух имеет определённую теплоёмкость. В современных стойках на каждый кВт мощности требуется порядка 5 м3 в минуту охлаждённого воздуха. Соответственно, для стандартной стойки на 3-5 кВт требуется 15-25 м3 в минуту.

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодно
Закрытый холодный коридор в дата-центре IXcellerate MOS2

А теперь посчитаем, сколько потребляет высоконагруженная стойка на 30 кВт: около 130 м3 в минуту. Немало! И тут важно понимать, что размер отверстий решётки для выдува холодного воздуха из-под фальшпола ограничен; она физически не в состоянии пропустить через себя такой поток. Эту проблему научились частично компенсировать, увеличивая скорость подачи воздуха, пока не поняли, что скорость выдува на выходе получилась настолько велика, что воздух просто пролетает мимо оборудования наверх, почти не попадая в стойку. Тогда придумали «закрытые холодные коридоры» – огороженное по типу теплицы сбоку и сверху пространство, которое является как бы продолжением пространства фальшпола и не даёт холодному воздуху уходить в пустоту. У этого решения, впрочем, есть свои нюансы. В ситуациях, когда необходимо проводить работы со стойкой, человек, стоя перед ней, может ограничить подачу холодного воздуха снизу.

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодноВ качестве альтернативного решения для отдельных ситуаций было изобретено межрядное охлаждение. Межрядное охлаждение – это промежуточная технология между стандартными холодными коридорами и холодными стенами (мы вот-вот дойдём до них, обещаю!). В этой технологии между стойками в ряд ставятся охладители, которые забирают горячий воздух сзади из горячего коридора, охлаждают его и подают прямо к оборудованию (конфигурации бывают разными, но общий принцип един). Такой способ отлично подходит для не слишком высоконагруженного оборудования, когда невозможно применить другой способ охлаждения. Однако кондиционеры увеличивают длину ряда и имеют сложности в обслуживании из-за наличия труднодоступных элементов. Реализовывать подобную схему не очень удобно, так как нужно проводить много дополнительных коммуникаций.

Дорогостоящая вариация этого – технология замкнутых систем, когда на одну стойку с боков приходится по целых два кондиционера, работающих в закрытом контуре. Это используется для самых высоконагруженных стоек, от 30 кВт и выше, и, думаю, не стоит говорить, насколько это ресурсозатратно.

Глядя на эту нескончаемую спираль «больше мощность → больше охлаждения → больше пространства → больше затрат → больше мощность → больше проблем», технологи центров обработки данных решили обратиться к своему прошлому.

Увеличить объём подаваемого воздуха не за счёт увеличения скорости потока, а за счёт увеличения площади теплового обмена и площади подачи воздуха обратно в зал.

Во всех перечисленных выше технологиях кондиционер подаёт воздух в фальшпол. Но что, если уйти от концепции фальшпола как такового и начать подавать воздух через передний фронт прямиком в зал, как в дата-центрах прошлого? Подобное решение позволило бы увеличить объёмы подаваемого воздуха за счёт прямого насыщения пространства воздухом. Плюсом является ещё и то, что нарастить такую «стену» в высоту можно без особых проблем, не занимая лишнюю площадь машзала. При правильной конфигурации холодная стена, занимая примерно ту же площадь, что и 10 стандартных кондиционеров, сможет подавать объём воздуха в несколько раз больше.

Но самое главное, что с такой площади подачи можно передавать ту же мощность холода при существенно меньших скоростях воздушного потока.

Давайте же остановимся на преимуществах подробнее.

Эффективное охлаждение

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодноВ «холодных стенах» холодоноситель показывает боле высокий EER (индекс энергетической эффективности), который непосредственно влияет на PUE. Тут работает много факторов сразу – внешняя температура, возможности теплообменников фрикулинга чиллера и необходимой температуры холодоносителя. Существует смешанный режим, когда чиллер задействует компрессор и контур фрикулинга, и полный фрикулинг, в зависимости от внешней температуры. Например, чиллера в дата-центре IXcellerate MOS5 могут переходить в смешанный режим (начало работы фрикулинга) при разнице между расчетной обратной температуры холодоносителя и уличной температуры в 2 градуса. К примеру, если расчетная обратная температура холодоносителя 28°C, а на улице 26°C градусов, при стабильной нагрузке чиллер запустить смешанный режим фрикулинг + работа компрессоров. И чем ниже будет уличная температура, тем больше производительность фрикулинга. При + 5 градусах наши чиллеры, при полной проектной нагрузке (т.е. иметь максимальную производительность) будут полностью использовать фрикулинг.

Экономическая выгода

Теперь давайте рассмотрим это в масштабе какого-нибудь небольшого машинного зала мощностью в 1 МВт. При PUE 1.5 мы тратим неэффективно около 500 кВт электроэнергии. При переходе на PUE 1.25 экономия составит 20% или 200 кВт. Неплохо, но в финансовом отношении эта разница на маленьких объёмах может быть незаметна.

Если же у вас стойки по 15 кВт (в 5 раз больше мощность), то экономия электроэнергии составит уже 1 МВт. А при тарифе, условно, 7 рублей за киловатт/час, выгода составит свыше 5 миллионов рублей экономии в месяц. И это только за одну электроэнергию. Для многих клиентов это переход в категорию сумм, которые требуют серьёзного переосмысления.

Выходит, что чем выше нагрузка на стойку и чем больше мощность зала, тем существеннее можно сэкономить с более эффективной организацией холодоснабжения.

Эксплуатация

Теперь давайте поговорим ещё про один немаловажный аспект — эксплуатация. Размещая «холодные стены» вдоль обеих сторон зала, мы, во-первых, гораздо грамотнее и эффективнее используем пространство, потенциально высвобождая место под дополнительные клиентские мощности.

Охлаждение ЦОД: что такое "холодные стены" и когда это выгодно

Во-вторых, мы подаем больший объем воздуха в зал при меньших скоростях, что позволяет серверному оборудованию более эффективно забирать его своими кулерами в зависимости от потребности. Мы создаём массивные потоки воздуха с двух сторон, которые ускоряют естественную конвекцию и быстрее «выталкивают» горячий воздух от стоек наверх, не позволяя ему задерживаться около оборудования.

Обслуживание стоек

Мы говорили о том, что во время обслуживания стоек, человек, стоя на фальшполе, закрывает часть отверстий для выдува, экранируя потоки воздуха. При длительном времени это может нарушать температурный баланс. Конфигурация же «холодных стен» доставляет воздух к стойке с двух сторон, минуя человека. Экранирующий эффект на стойку резко снижается и стойка свободнее дышит.

Выводы

  • «Холодные стены» наиболее эффективны для высоконагруженных размещений (но не только)
  • Уменьшение скорости потока воздуха при увеличенном объёме выдува
  • При правильной конфигурации они могут сэкономить полезное место в зале
  • Эффективность использования климата
Back To Top