Искусственный интеллект диктует новые требования к инфраструктуре. Как адаптировать дата-центры под нужды ИИ и решать задачи высокой энергетической плотности?
О том, какие технологические решения внедряет IXcellerate и каким будет первый коммерческий ЦОД для ИИ, рассказывает Сергей Вышемирский, технический директор компании.
ЦОД для ИИ: новая эра инфраструктуры.
Дата-центры для искусственного интеллекта требуют принципиально нового подхода. В отличие от стандартных ЦОДов, где стойки имеют среднюю нагрузку около 12 кВт, системы для ИИ требуют размещения с энергетической плотностью 40–45 кВт и более. Один модуль, состоящий из 12–16 таких стоек, может потреблять до 800 кВт мощности, а в одном зале может быть до 20 таких модулей. Это создает огромную нагрузку на энергосистему и требует внедрения высокоэффективных решений для охлаждения.
Попытки размещать ИИ-системы в стандартных дата-центрах, распределяя высоконагруженные серверы по площади или этажам, как это делается сейчас в большинстве российских ЦОД, имеют множество недостатков. Такие подходы приводят к огромным затратам на структурированные кабельные системы (СКС), увеличивают задержки сигналов и зачастую оказываются неэффективными.
В ЦОД для ИИ стойки должны размещаться максимально компактно: чем ближе они друг к другу, тем короче соединительные линии и быстрее вычисления. Для реализации этого подхода требуется высокая плотность размещения оборудования и специализированные технологии охлаждения, которые позволят обеспечить бесперебойную работу при экстремальных нагрузках.
Жидкостное охлаждение как ключевое решение.
Прямое жидкостное охлаждение (Direct Liquid Cooling, DLC) становится неотъемлемой частью инфраструктуры высоконагруженных систем, особенно в сфере искусственного интеллекта. Согласно данным Uptime Institute, мощность чипов для работы с ИИ продолжает расти и к 2025 году может превысить 500 Вт. Это неизбежно приведет к увеличению плотности и мощности серверов, делая воздушное охлаждение как технически, так и экономически нецелесообразным. Уже при нагрузке в 25–30 кВт доля энергии, потребляемой вентиляторами, резко возрастает, а при 50 кВт воздушное охлаждение становится неэффективным.
Среди двух типов DLC — погружного и контактного охлаждения — эксперты выделяют контактное как наиболее перспективное. Эта технология основана на циркуляции охлаждающей жидкости внутри пластин, которые напрямую контактируют с наиболее нагревающимися компонентами серверов, такими как процессоры и видеокарты. Однако даже контактное охлаждение пока не позволяет полностью отказаться от воздушного метода. Пластины охлаждают только основные источники тепла, тогда как оставшееся тепло, выделяемое другими элементами, например материнскими платами или блоками питания, требует отвода с помощью воздуха.
R&D-команда IXcellerate совместно с технологическими партнерами разработала уникальную гибридную систему, которая сочетает жидкостное и воздушное охлаждение в одной универсальной конструкции. Эта система не только адаптирована для работы с высоконагруженными серверами, но и оптимизирована для экономии пространства и ресурсов. Блоки распределения жидкости (CDU) и контроллеры устанавливаются не в каждой стойке, а на группу стоек, что снижает сложность и затраты на инфраструктуру.
Жидкостное охлаждение в этой системе применяется для ключевых источников тепла, таких как процессоры и видеокарты, а остаточное тепло — порядка 10 кВт на стойку — эффективно снимается воздухом. Такой подход позволяет отводить до 100 кВт тепла с одной стойки, обеспечивая стабильность работы оборудования даже при высокой плотности вычислений.
Для достижения таких показателей в IXcellerate была увеличена площадь теплообмена, что позволяет поддерживать эффективное охлаждение даже при температурной разнице воздуха на входе и выходе в диапазоне 16–20 °C. Для сравнения, традиционные системы охлаждения рассчитаны на разницу в 6–12 °C, что делает их непригодными для работы с высоконагруженными системами.
Однако для успешного массового внедрения DLC необходимо разработать общепринятые стандарты и протоколы, которые сделают эту технологию доступной для широкого применения. Гибкость, экономическая целесообразность и надежность станут решающими факторами интеграции этих систем в инфраструктуру дата-центров нового поколения.
Инновации и масштабирование.
Выбор системы охлаждения — это стратегически важное решение, определяющее не только эффективность работы дата-центра, но и его готовность справляться с вызовами будущего. Именно поэтому IXcellerate активно внедряет передовые технологии, тестирует инновационные подходы и разрабатывает решения, которые задают новые стандарты в отрасли.
Так, готовится к запуску экспериментальная лаборатория — машинный зал мощностью 1100 кВт, рассчитанный на размещение 12–16 стоек. Здесь будут тестироваться системы комбинированного водо-воздушного охлаждения под различными нагрузками, что позволит создавать и оптимизировать технологии для работы с высоконагруженными серверами.
Ключевые компоненты лаборатории — драйкулеры с адиабатическим предохлаждением и холодные стены с фреоновым контуром, обеспечивающие стабильное и эффективное охлаждение даже при экстремальной плотности вычислений.
Несмотря на экспериментальный статус проекта, некоторые наши клиенты уже проявили интерес к размещению в зале оборудования с нагрузкой 60 кВт и выше на одну стойку. Этот интерес подчеркивает важность подобных инициатив, так как спрос на системы с высокой энергетической плотностью продолжает расти. Экспериментальный зал станет важным этапом в создании инфраструктуры нового поколения.
Когда спрос на решения для высоконагруженных систем значительно вырастет, IXcellerate будет готов предложить рынку полноценный коммерческий дата-центр, разработанный специально для задач искусственного интеллекта. На основе технологий, протестированных в экспериментальной лаборатории, уже создан концептуальный проект ЦОД мощностью 100 МВт, строительство которого запланировано на 2026-2027 г.г.
Партнерство с научными кругами
Помимо совершенствования инфраструктуры для высокоплотных систем, IXcellerate активно развивает сотрудничество с научными и технологическими партнерами. Одним из ключевых направлений является партнерство с НИУ «МЭИ», которое охватывает разработку инновационных решений для строительства и эксплуатации энергоэффективных дата-центров, а также подготовку специалистов для российской индустрии ЦОД.
В рамках этого партнерства ведутся исследования, направленные на оптимизацию энергопотребления и улучшение систем электроснабжения и охлаждения инфраструктуры. Особое внимание уделяется повышению эффективности работы вентиляторов в системах воздушного охлаждения, снижению потерь воздушного тракта, а также совершенствованию теплообменников для жидкостного охлаждения серверов.
Среди приоритетных тем совместных проектов — моделирование режимов работы энергоустановок и водо-воздушного охлаждения, автоматизированное управление системами холодоснабжения, а также внедрение технологий утилизации избыточного тепла. Эти инициативы направлены на повышение производительности охлаждающих систем и создание новых стандартов, соответствующих современным требованиям дата-центров.
IXcellerate также поддерживает подготовку молодых специалистов: компания приглашает студентов технологических вузов на практику с перспективой трудоустройства и активно участвует в научных конференциях. Это сотрудничество не только способствует развитию инноваций в отрасли, но и помогает формировать профессиональные кадры, готовые решать самые сложные задачи в индустрии ЦОД.
Будущее начинается сегодня.
IXcellerate активно задает стандарты для индустрии дата-центров, адаптируясь к стремительно развивающимся технологиям и постоянно растущим требованиям рынка. Благодаря гибкости, масштабированию и внедрению инновационных решений наша компания может не только отвечать на вызовы текущего времени, но и предвосхищать будущие потребности клиентов.
