Интервью с техническим директором. Что помогает обеспечить стабильную работу в условиях высоких температур? Как вы обеспечиваете надежность самого оборудования? Советы и полезная информация в статье от экспертов «IXcellerate».
— Сергей, в последнее время погода преподносит нам испытания практически ежедневно: аномальная жара, ливни, ураганы. Как дата-центр справляется с такими вызовами?
С.В.: Вы правы, климатическая обстановка действительно становится все более сложной. Но у нас есть отработанные механизмы адаптации.
Что помогает обеспечить cтабильную работу в условиях высоких температур?
С.В.: Основу нашей устойчивости составляет строгое соблюдение регламентов технического обслуживания оборудования (ТО). ТО базируется на трех ключевых принципах: рекомендациях завода-производителя оборудования, на собственном опыте работы и эксплуатации, а также на опыте других производств.
Плановое выполнение ТО позволяет обеспечивать и поддерживать исправность и работоспособность оборудования, предотвращать поломки и отказы, которые могут случиться в самые неподходящие моменты. А когда эти неподходящие моменты наступают? Как раз тогда, когда оборудование работает на пределе своих возможностей.
Вот простой пример: не помыли вовремя теплообменник – он начинает «задыхаться», и компрессор отключается из-за высокого давления. Начинается дерейтинг: оборудование теряет мощность, увеличивается износ внутренних компонентов. То же самое и с кондиционерами: пропустили плановое обслуживание — и в самый жаркий день оборудование не справляется с нагрузкой. Регулярное обслуживание —гарантия бесперебойной работы.
Как вы обеспечиваете надежность самого оборудования?
С.В.: Начиная с правильного выбора. Мы используем только оборудование, доказавшее свою надежность годами работы у нас и на других объектах. Важно понимать, что все наши системы работают 24/7 без выходных, поэтому при проектировании мы особое внимание уделяем правильному определению номинальных требований к оборудованию.
И, что крайне важно, мы всегда учитываем климатические особенности места, где будет эксплуатироваться оборудование. Например, для наших условий мы закладываем рабочий диапазон температур от -40°C до +40°C.
Учитываете ли вы при выборе оборудования потенциальные изменения климата?
С.В.: Безусловно! Мы сознательно закладываем запас мощности оборудования с учетом климатических прогнозов. По нашим техническим заданиям устанавливается диапазон работы климатического оборудования в пределах от -40 до +40°С. Это означает, что мы используем оборудование с немного завышенной мощностью, но именно этот подход позволяет нам быть готовыми к любым сюрпризам погоды.
На практике мы видим, что даже при температуре воздуха окружающей среды около 35°С, в зоне работы чиллера температура может достигать 50°С. Если к оборудованию будет закрыт свободный приток воздуха и оно не будет эффективно продуваться, это также приведет к ненужному повышению температуры.
Не стоит забывать и о местоположении охлаждающего оборудования на объекте: например, если рядом с чиллером находится большое черное здание, оно станет огромным пятном нагретого воздуха. Много асфальтового покрытия – такой же эффект. Нужно максимально учесть все эти нюансы, ведь оборудование не находиться в чистом поле.
Были ли проблемы в последние аномально жаркие периоды?
С.В.: Нет, все оборудование работало стабильно. Мы строго придерживаемся графика планового обслуживания: регулярно проводим очистку теплообменников, мойку и другие профилактические мероприятия. Часть оборудования находится в процессе промывки, но мы справляемся в плановом режиме.
Как вы боретесь с тополиным пухом?
С.В.: Мы устанавливаем специальные сетки, как только пух заканчивается, снимаем и чистим их. Но мойка теплообменников — это отдельный сложный процесс. Нужно сделать так, чтобы грязь не попала внутрь и не закоксовалась, не запрессовалась. Чистка производится под определенным углом, с определенными добавками (если есть налет жиров, битума или сажи). Необходима специальная подготовка и опыт. Мы моем все оборудование летом, до заморозков. Иногда приходится мыть два раза в теплый период года.
Какое оборудование вы выбрали после того, как Vertiv стал недоступен?
С.В.: Мы долго выбирали замену. В итоге остановились на оборудовании китайского заводского производителя, который использует в своем оборудовании те же компоненты, что и Vertiv. Найдите 5 отличий: У Vertiv контроллер Carel, здесь контроллер Carel, там насосная станция Grundfos и здесь насосная станция Grundfos, Там компрессор основной, сердце чиллера — Bitzer, здесь Bitzer. Там установлены немецкие вентиляторы Ebmpapst, здесь такие же вентиляторы Ebmpapst, которые сделаны в Китае на заводе Ebmpapst. Когда говорят, что их делают в Германии, это не совсем так: оборудование, произведенное в Китае, везется из Китая через Европу, при такой схеме поставки оборудование считается произведенным в Германии. А то, что нам везется из Китая напрямую, считается уже китайского производства, хотя сделано оно на том же заводе, что и «европейское». Даже компрессоры и вентиляторы у нас от немецких производителей, но сделаны в Китае. Главное, что все работает надежно.
Были ли за 11 лет серьезные климатические инциденты в ваших ЦОД?
С.В.: Было несколько запоминающихся случаев. Например, в 2015 году, при плановых работах подрядчики ошибочно открыли байпасный кран контура охлаждения, что привело к резкому падению температуры в зале, но обошлось без нарушения SLA (качественных параметров услуги).
Был случай, проводились работы по мойке чиллера, подрядчик сломал трубку на одном из датчиков, сбежал никому не доложив об аварии, началась утечка охлаждающей жидкости из системы. Пока проводились работы по поиску места утечки и изоляции аварийного чиллера система подпитки стабильно держала давление в системе холодоснабжения и объема баков подпитки хватило чтобы в течении 5 минут локализовать аварию, за это время вылилось 1,5 м3 охлаждающей жидкости. Самым важным моментом в этом инциденте есть тот факт что АЛАРМ системы подпитки настроен не только на падение давления в контуре но и на длительность работы насоса подпитки. Нарушения SLA не произошло.
После каждого такого инцидента у нас проводится тщательный разбор, выявляются причины, составляется план по устранению в будущем таких ситуаций или минимизации их повторения, вносятся необходимые изменения в регламентные документы.
Как готовите команду к нештатным ситуациям?
С.В.: Мы постоянно тренируем персонал для работы в аварийных ситуациях, проводятся еженедельные тренинги по аварийным картам для того, чтобы каждый в команде знал, что делать в случае возникновения аварийной ситуации. Помимо внутреннего, мы проводим регулярно внешнее обучение персонала, командируем на заводы по производству оборудования, развиваем не только технические навыки, но и профессиональные (soft-skills).
Что бы вы посоветовали коллегам по отрасли?
С.В.: Главный совет — не экономить на этапе выбора оборудования и формирования требований к его характеристикам. Постоянное использование оборудования, работающего на пределе своих возможностей, неизбежно приведет к авариям.
В процессе проектирования и планирования бюджета необходимо учитывать естественный износ оборудования и трубопроводов. Несмотря на то, что многие специалисты считают, что клиенты никогда не выбирают оптимальную мощность оборудования, практика показывает, что это не так. В долгосрочной перспективе, даже при использовании оборудования с подобранного на работу при температуре 40°С, через 5 лет этот показатель может снизиться до 38°С, а ещё через 5 лет — до 36°С. Это связано с износом, загрязнениями, отложениями, коррозией, окислением и другими факторами.
Кроме того, необходимо учитывать внутреннее состояние труб и возможные отложения, которые могут привести к коррозии и потере гидравлической эффективности в контуре. Это особенно актуально для систем, использующих чёрные трубы, которые подвержены образованию отложений и коррозии. В результате увеличивается расход электроэнергии и снижается эффективность охлаждения.
Также стоит отметить важность доработки систем охлаждения.
В нашем случае, использование источников бесперебойного питания (ИБП) значительно улучшило работу системы охлаждения: чиллеры не реагируют на скачки напряжения в городской сети и работают стабильно без сбоев. Это позволяет повысить общую эффективность работы системы и снизить уровень стресса у дежурного персонала.
В наших ЦОД используются также адиабатические системы, в том числе для их работы собираем дождевую воду. В эти жаркие дни мы их использовали, что позволило сделать более эффективным охлаждение: наша мониторинговая система фиксировала температуру входящего воздуха в контур адиабатики на уровне 36-37 градусов, а на выходе из контура – входе в чиллер температура составляла уже 26 градусов. При таких показателях оборудование чувствовало себя прекрасно.
В заключение можно сказать, что сейчас наша система охлаждения работает стабильно, но мы продолжаем адаптацию к меняющимся климатическим условиям.
