Выбор способа охлаждения машинных залов дата-центра – это всегда история про балансировку и комбинацию многих инженерных факторов. Размер зала, конфигурация и нагрузка стоек, место размещения, количество подведенной мощности и тип резервирования, наличие фальшпола и т.д. Всё это в совокупности влияет на решения, которые предоставляет оператор центра обработки данных, соотнося их с потребностями своих клиентов. В данном материале речь пойдёт о способе охлаждения, называемый «холодными стенами».
Чтобы понять, почему мы заговорили про них и в чем их неоспоримые преимущества для решения конкретных задач, сперва необходимо разобраться с историей охлаждения ЦОД в целом. Приготовьтесь, впереди технологический текст!
Как и многие инженерные решения, самая концепция «холодных стен» не является чем-то сверхновым. Что такое «холодная стена»? По своей сути – это когда охлажденный воздух поступает из фронтальной части прямиком в пространство помещения, заполняя его. Это кардинально иная концепция, предполагающая совершенно другой подход к охлаждению в ЦОДе в целом, чем схемы с фальшполом.
Фальшпол в дата-центрах — это один из самых распространённых способов организации системы охлаждения. Оборудование стоит на специальных панелях, фальшполе, приподнятом примерно на 1 метр от «настоящего» пола. Пространство под фальшполом обычно используется для разводки инженерных коммуникаций, а в машинных зала ЦОД через него осуществляется подача и выдув охлажденного воздуха к клиентским стойкам.
Технология «фронтального вытеснения воздуха» (на ранних этапах это ещё нельзя было назвать «холодной стеной») была достаточно распространенной на заре индустрии дата-центров. Тогда серверных шкафов было мало, да и само оборудование зачастую размещалось хаотично, вперемешку с ИБП, на обычных этажерках, поэтому нужды делать фальшпол, как правило, не было. Достаточно было просто наполнять помещение холодным воздухом, а оборудование уже брало столько, сколько ему нужно. Запомним это.
Со временем, по мере роста количества и мощности стоек начали использовать технологию холодных и горячих коридоров. Это решение позволило доставлять поток холодного воздуха непосредственно к самим стойкам, которые уже стояли гораздо более организованно. С этого момента фальшпол становится самым распространённым способом организации охлаждения в дата-центре. В этой парадигме он играет центральную роль и проектируется заранее, поскольку служит «пленум боксом» т.е. местом, где происходят основные процессы по распределению охлажденного воздуха по стойкам. Выглядит это примерно так:
Схема эта построена следующим образом: горячий воздух от стоек поднимается наверх, забирается и прогоняется через охлаждающие установки (CRAC-юниты) под фальшпол. Там воздух нагнетается и под давлением выходит через приоткрытые решётки в полу прямиком фронтальной стороне стойки, которые ставятся рядами лицом друг другу, образуя те самые «холодные коридоры». Итак: горячий воздух забирается в подпотолочном пространстве, проходит через кондиционеры, охлаждается, выдувается под пол и поступает снизу к стойкам. Такой круговорот.
Долгое время эта технология была преобладающей и массовой, и до сих пор очень популярна. А теперь немного физики.
Воздух имеет определённую теплоёмкость. В современных стойках на каждый кВт мощности требуется порядка 5 м3 в минуту охлаждённого воздуха. Соответственно, для стандартной стойки на 3-5 кВт требуется 15-25 м3 в минуту.
А теперь посчитаем, сколько потребляет высоконагруженная стойка на 30 кВт: около 130 м3 в минуту. Немало! И тут важно понимать, что размер отверстий решётки для выдува холодного воздуха из-под фальшпола ограничен; она физически не в состоянии пропустить через себя такой поток. Эту проблему научились частично компенсировать, увеличивая скорость подачи воздуха, пока не поняли, что скорость выдува на выходе получилась настолько велика, что воздух просто пролетает мимо оборудования наверх, почти не попадая в стойку. Тогда придумали «закрытые холодные коридоры» – огороженное по типу теплицы сбоку и сверху пространство, которое является как бы продолжением пространства фальшпола и не даёт холодному воздуху уходить в пустоту. У этого решения, впрочем, есть свои нюансы. В ситуациях, когда необходимо проводить работы со стойкой, человек, стоя перед ней, может ограничить подачу холодного воздуха снизу.
В качестве альтернативного решения для отдельных ситуаций было изобретено межрядное охлаждение. Межрядное охлаждение – это промежуточная технология между стандартными холодными коридорами и холодными стенами (мы вот-вот дойдём до них, обещаю!). В этой технологии между стойками в ряд ставятся охладители, которые забирают горячий воздух сзади из горячего коридора, охлаждают его и подают прямо к оборудованию (конфигурации бывают разными, но общий принцип един). Такой способ отлично подходит для не слишком высоконагруженного оборудования, когда в центре обработки данных невозможно применить другой способ охлаждения. Однако кондиционеры увеличивают длину ряда и имеют сложности в обслуживании из-за наличия труднодоступных элементов. Реализовывать подобную схему не очень удобно, так как нужно проводить много дополнительных коммуникаций.
Дорогостоящая вариация этого – технология замкнутых систем, когда на одну стойку с боков приходится по целых два кондиционера, работающих в закрытом контуре. Это используется для самых высоконагруженных стоек, от 30 кВт и выше, и, думаю, не стоит говорить, насколько это ресурсозатратно.
Глядя на эту нескончаемую спираль «больше мощность → больше охлаждения → больше пространства → больше затрат → больше мощность → больше проблем», технологи центров обработки данных решили обратиться к своему прошлому.
Увеличить объём подаваемого воздуха не за счёт увеличения скорости потока, а за счёт увеличения площади теплового обмена и площади подачи воздуха обратно в зал.
Во всех перечисленных выше технологиях кондиционер подаёт воздух в фальшпол. Но что, если уйти от концепции фальшпола как такового и начать подавать воздух через передний фронт прямиком в зал, как в дата-центрах прошлого? Подобное решение позволило бы увеличить объёмы подаваемого воздуха за счёт прямого насыщения пространства воздухом. Плюсом является ещё и то, что нарастить такую «стену» в высоту можно без особых проблем, не занимая лишнюю площадь машзала. При правильной конфигурации холодная стена, занимая примерно ту же площадь, что и 10 стандартных кондиционеров, сможет подавать объём воздуха в несколько раз больше.
Но самое главное, что с такой площади подачи можно передавать ту же мощность холода при существенно меньших скоростях воздушного потока.
Давайте же остановимся на преимуществах подробнее.
Эффективное охлаждение ЦОД
В «холодных стенах» холодоноситель показывает боле высокий EER (индекс энергетической эффективности), который непосредственно влияет на PUE. Тут работает много факторов сразу – внешняя температура, возможности теплообменников фрикулинга чиллера и необходимой температуры холодоносителя. Существует смешанный режим, когда чиллер задействует компрессор и контур фрикулинга, и полный фрикулинг, в зависимости от внешней температуры. Например, чиллера в дата-центре IXcellerate MOS5 могут переходить в смешанный режим (начало работы фрикулинга) при разнице между расчетной обратной температуры холодоносителя и уличной температуры в 2 градуса. К примеру, если расчетная обратная температура холодоносителя 28°C, а на улице 26°C градусов, при стабильной нагрузке чиллер запустить смешанный режим фрикулинг + работа компрессоров. И чем ниже будет уличная температура, тем больше производительность фрикулинга. При + 5 градусах наши чиллеры, при полной проектной нагрузке (т.е. иметь максимальную производительность) будут полностью использовать фрикулинг.
Экономическая выгода
Теперь давайте рассмотрим это в масштабе какого-нибудь небольшого машинного зала мощностью в 1 МВт. При PUE 1.5 мы тратим неэффективно около 500 кВт электроэнергии. При переходе на PUE 1.25 экономия составит 20% или 200 кВт. Неплохо, но в финансовом отношении эта разница на маленьких объёмах может быть незаметна.
Если же у вас стойки по 15 кВт (в 5 раз больше мощность), то экономия электроэнергии составит уже 1 МВт. А при тарифе, условно, 7 рублей за киловатт/час, выгода составит свыше 5 миллионов рублей экономии в месяц. И это только за одну электроэнергию. Для многих клиентов это переход в категорию сумм, которые требуют серьёзного переосмысления.
Выходит, что чем выше нагрузка на стойку и чем больше мощность зала, тем существеннее можно сэкономить с более эффективной организацией холодоснабжения.
Эксплуатация
Теперь давайте поговорим ещё про один немаловажный аспект — эксплуатация. Размещая «холодные стены» вдоль обеих сторон зала, мы, во-первых, гораздо грамотнее и эффективнее используем пространство, потенциально высвобождая место под дополнительные клиентские мощности.
Во-вторых, мы подаем больший объем воздуха в зал при меньших скоростях, что позволяет серверному оборудованию более эффективно забирать его своими кулерами в зависимости от потребности. Мы создаём массивные потоки воздуха с двух сторон, которые ускоряют естественную конвекцию и быстрее «выталкивают» горячий воздух от стоек наверх, не позволяя ему задерживаться около оборудования.
Обслуживание стоек
Мы говорили о том, что во время обслуживания стоек, человек, стоя на фальшполе, закрывает часть отверстий для выдува, экранируя потоки воздуха. При длительном времени это может нарушать температурный баланс. Конфигурация же «холодных стен» доставляет воздух к стойке с двух сторон, минуя человека. Экранирующий эффект на стойку резко снижается и стойка свободнее дышит.
При построении системы охлаждения ЦОД нужно учитывать необходимость охлаждения не только машзалов с клиентским оборудованием, но и отведения тепла от инженерного оборудования (трансформаторы, ИБП и пр.). Для охлаждения разных видов оборудования могут применяться различные системы.
Способы организации воздушного охлаждения серверных стоек
Технология охлаждения ЦОД зависит от многих параметров: от размера машинных залов, от доступного пространства в здании, от типа и плотности размещаемой ИТ-инфраструктуры, от финансовых ограничений, а также от других параметров.
Центры обработки данных обычно проектируются с открытым пространством машинного зала и воздушным охлаждением стоек с ИТ-оборудованием. В рамках данного подхода один или несколько прецизионных кондиционеров размещаются по периметру машинного зала или за его пределами в непосредственно примыкающих к нему помещениях. Стойки располагаются с образованием холодных и горячих коридоров.
Кондиционеры подают охлажденный воздух в зону холодных коридоров. В качестве пространства для передачи воздушных потоков к стойкам могут использоваться как специально организованные воздушные каналы (в самом распространенном случае это пространство под фальшполом, из-под которого через вентилируемые плитки он подается к передней части стоек), так и само пространство машинного зала. Последнее используется при работе систем кондиционирования в режиме «холодная стена».
В целях предотвращения смешивания холодного и горячего воздуха, более эффективного охлаждения ИТ-оборудования холодные или горячие коридоры могут выполняться закрытого типа.
Схема охлаждения с открытым пространством машинного зала обычно подходит для стоек, потребляющих до 3–6 кВт мощности. Для стоек большей мощности изоляция холодного (горячего, в случае работы в режиме «холодная стена») является наиболее предпочтительным.
В качестве шкафных кондиционеров, могут использоваться автономные фреоновые кондиционеры CRAC (Cold Air Containment System) или внутренние блоки CRAH (Computer Room Air Handler) – элементы системы охлаждения на основе чиллеров, использующих в качестве холодоносителя воду или иную охлаждающую жидкость (кондиционеры CW - Chilled Water).
Принцип работы CRAC такой же, как бытового кондиционера: в нем применяется хладагент (фреон) и используется цикл охлаждения с прямым расширением. В случае CRAH (или фанкойла) основная часть инфраструктуры охлаждения располагается вне машинного зала. В качестве холодоносителя CRAН использует воду или раствор гликоля, которые охлаждаются в чиллерной системе за пределами здания, в таком случае тепло отводится от CRAH за счет использования холодильной машины (чиллера), а отвод тепла в атмосферу от градирни является последним этапом отвода тепла от ИТ-оборудования.
Обе прецизионные системы контроля микроклимата – CRAC и CRAH – подают охлажденный воздух обратно в ЦОД через систему воздуховодов. В литературе обе системы часто называют попросту кондиционерами, хотя разница между ними существует и состоит в том, что из блоков CRAC тепло выносится наружу фреоном, а из блоков CRAH – охлажденной (чиллерной) водой.
Фрикулинг
Под фрикулингом (естественным охлаждением) подразумевается метод охлаждения оборудования ЦОД за счет более низкой температуры внешней окружающей среды по сравнению с температурой в машинном зале. Фрикулинг является довольно распространенным подходом к охлаждению, поскольку такие системы являются сравнительно простыми и обеспечивают высокую энергоэффективность. Однако применимость такого подхода сильно зависит от географического региона размещения центра обработки данных. Фрикулинг целесообразен для регионов с низкими сезонными и среднегодовыми температурами окружающей среды.
Различают прямой и непрямой (косвенный) фрикулинг. Прямой фрикулинг, по сути, является свободным продувом машинного зала уличным воздухом, когда охлаждение достигается за счет того, что температура нагнетаемого в машзал уличного воздуха заметно ниже, нежели температура воздуха в самом машзале. При непрямом фрикулинге система охлаждения состоит из двух контуров. Во внутреннем контуре циркулирует воздух, проходя через стойки машзала. На выходе из машзала воздух проходит через теплообменник, охлаждаясь за счет воздуха внешнего контура, забираемого из окружающей среды. Такие системы могут использовать либо адиабатические охладители, либо воздушные экономайзеры, а также дополнительные CRAH (доводчики воздуха), доохлаждающие поступающий в машзал воздух.
При прямом адиабатическом охлаждении, забираемый внешний воздух охлаждается за счет увлажнения водой (ее испарения). При применении воздушного экономайзера температура воздуха в контуре регулируется за счет подмеса внешнего воздуха к циркулирующему в контуре. Применение воздушных экономайзеров может быть оправданно даже в жарком климате, при использовании внешнего воздуха в прохладный вечерний или зимний период. В гипермасштабируемых центрах обработки данных экономайзеры позволяют снизить затраты на энергопотребление системы кондиционирования на 50%.
Выводы
- «Холодные стены» наиболее эффективны для высоконагруженных размещений (но не только)
- Уменьшение скорости потока воздуха при увеличенном объёме выдува
- При правильной конфигурации они могут сэкономить полезное место в зале
- Эффективность использования климата