Ростом Маргиев присоединился к IXcellerate более десяти лет назад. Тогда компания эксплуатировала всего один машинный зала на двести стойко-мест в ЦОД МOS1. За 10 лет IXcellerate выросла до трех кампусов, пяти эксплуатируемых ЦОД и более 10 000 стойко-мест.
Ростом принимал непосредственное участие в развитии компании, он прошел профессиональный путь от стартовой позиции дежурного инженера ЦОД до директора по управлению инфраструктурой ЦОД, а затем возглавил новое направление компании по сервисному обслуживанию.
Как все начиналось
«В мае 2015 я пришел на должность дежурного инженера в ЦОД МOS1.
На тот момент в эксплуатации находился один машинный зал, фактически в нем работало меньше сотни стоек, а из инфраструктуры были лишь пара ИБП, ДГУ, несколько электрощитов и четыре небольших кондиционера.
Маршрутный обход действующей инфраструктуры и ЦОД в то время можно было выполнить всего за 5 минут, а сейчас и за час не успеть.
Второй машинный зал был на этапе завершения строительства. Нужно было провести большое количество пусконаладочных работ и испытаний. Так мне удалось ознакомиться со спецификой проектирования, монтажа и запуска в работу отказоустойчивых инженерных систем ЦОД. Участие в испытаниях дает более объемное и детальное представление об их работе в комплексе, что значительно облегчает дальнейшую эксплуатацию», – рассказывает Ростом.
«Мы одновременно занимались инфраструктурой: мониторингом изменений в работе оборудования, локализацией сбоев, и в то же время работали с клиентами: отвечали на тикеты, выполняли запросы remote hands. Объем работы был значительно меньше, чем сейчас, что позволяло объединять функционал разных направлений».
Ростом Маргиев, директор по сервису IXcellerate
Стремиться к бесперебойной эксплуатации
«Аварийные карты и противоаварийные тренировки дежурных — одна из основ бесперебойной эксплуатации ЦОД.
Сначала их было совсем небольшое количество, две-три штуки. Мы работали с новым оборудованием, неизвестным для нас, приходилось изучать его в процессе. И, накопив какое-то количество успешного опыта в отработке различных ситуаций и отказов, мы оптимизировали многие сценарии реагирования, а затем разработали новые аварийные карты.
Однако нужны не только сценарии и строгое соответствие действий. Нужно еще и понимание каждого участника, что именно он делает, зачем и к каким последствиям это приведет. В любой момент, даже когда следуешь аварийной карте, может возникнуть ситуация, которая потребует остановки процесса и отклонения от утвержденного порядка действий в зависимости от конкретных обстоятельств.
Принимать такие решения можно только тогда, когда ты достаточно хорошо ориентируешься в каждой системе и специфике работы каждой единицы оборудования, в том числе оценивая возможные риски и их вероятность. Это — один из самых сложных уровней вовлеченности и развития компетенций для любого сотрудника эксплуатации, не только дежурного инженера. Для меня он был и самым интересным!
Как мне кажется, именно накопленный опыт отработки инцидентов в сочетании с высокой квалификацией персонала дает возможность управлять оборудованием инфраструктуры в различных режимах и минимизирует риски возникновения критических последствий для клиентов ЦОД, в том числе downtime, перегрева как зоны, так и зала в целом, включая полный black out.
Здесь и возникает вовлеченность: когда ты не только отработал инцидент, но и после него продумываешь, что предпринять, чтобы он не повторился, пытаешься предотвратить возможные риски. Именно такой подход и гарантирует непрерывность основных сервисов для наших клиентов», — говорит Ростом.
Предиктивная аналитика
«Со временем количество клиентов и оборудования увеличилось. Возросла нагрузка на системы инфраструктуры ЦОД. При эксплуатации полностью нагруженных систем в машинных залах даже кратковременное отсутствие резерва особенно критично.
В таких условиях возрастает риск, что дежурные инженеры не справятся с отработкой инцидента только «ручным способом», так как время до наступления последствий, которые повлияют на оборудование клиентов, очень ограничено.
Это заставило нас тщательно анализировать инциденты, чтобы найти определенные комбинации различных событий, по которым можно заблаговременно предсказать наступление критических последствий. Такая практика позволяет выиграть дополнительное время и спокойно предпринять все необходимые действия для предотвращения инцидента.
Политика постоянного улучшения и проактивный подход к решению потенциальных проблем и снижению, а в идеале – исключению вероятности их наступления, ведет к успеху компании», – считает Ростом Маргиев.
Активный рост и развитие
По мере завершения работ в эксплуатацию была введена фаза два. Добавилось порядка пятисот стойко-мест в МOS1. В процессе строительства находилась фаза три, рассчитанная на более чем 1 000 стойко-мест. С развитием компании росли задачи и у Ростома Маргиева.
«Спустя где-то полтора года работы дежурным инженером, в конце 2016 года, я взял на себя дополнительно обязанности, которые теперь исполняют инженеры второй линии клиентского сервиса. В первую очередь это инсталляции, а также запросы на remote hands и прокладка кроссировок.
Как я говорил ранее, количество обслуживаемого оборудования увеличилось, увеличилось и количество дежурных в смене с одного человека до двух, появился старший смены. Я продолжал работать в дежурной службе до мая 2018 года, тогда с позиции начальника дежурной смены меня назначили заместителем технического директора.
На тот момент должность предполагала полную ответственность за бесперебойную работу МOS1 и руководство командой эксплуатации по всем направлениям инфраструктуры, включая команду дежурных инженеров.
Это был достаточно напряженный период, так как производилось значительное увеличение мощности, вводилось в работу дополнительное оборудование, и все переключения и операции было необходимо произвести «бесшовно», не повлияв на работу оборудования клиентов», – продолжает Ростом.
Команде приходилось даже перемещать работающие стойки с оборудованием, без отключения. Это была очень рискованная задача, успех которой зависел от слаженных действий всех участников из разных направлений. В такие моменты и создается настоящая команда. Она стала основой для формирования отделов и структурных подразделений в развивающейся компании.
Решение на перспективу
В 2018 году IXcellerate приобрел соседнюю с МOS1 территорию, на которой в октябре 2019 был запущен второй ЦОД – МOS2.
«С покупкой МOS2 стало понятно, что на мониторинг всей инфраструктуры дежурной смены с двумя людьми уже не хватит. Найти подходящих кандидатов на позицию дежурных непросто. Кроме того, требуется время на адаптацию, и это не неделя-две, а от полугода минимум. Тогда возможна самостоятельная работа.
Ситуация складывалась сложная, я это понимал, потому что сам отработал в команде дежурных три года. От качества их работы как в повседневном режиме, так и во время инцидентов зависит очень много. А когда людей на имеющийся объем задач объективно мало, то каждый дежурный вынужден отрабатывать вдвое.
Мы провели несколько встреч с высшим руководством, чтобы обсудить необходимость увеличения количества сотрудников в смене и разделения функциональных обязанностей. Принять это решение компании было непросто, так как требовалось значительное увеличение расходов, но именно оно позволило сохранить качество оказания услуг клиентам на высшем уровне и репутацию ЦОД с непрерывностью сервисов.
В результате в новой конфигурации дежурной смены стало возможным распределить загрузку персонала по функциональным направлениям: для части команды приоритетом была работа с инфраструктурой ЦОД, для другой работа с клиентами. Что впоследствии послужило основой для выделения самостоятельного департамента клиентского сервиса со своей дежурной службой.
Спустя пять лет, к 2024 году, на Северном кампусе были построены еще 2 ЦОД (MOS3 и MOS4), эксплуатация которых была возложена на те же самые команды дежурных инженеров. Увеличилось лишь их количество: до шести человек в смену в команде эксплуатации и двух в команде клиентского сервиса.
Сложившаяся конфигурация на практике доказала свою оптимальность и эффективность, и позволила закрыть все вопросы, даже с учетом значительного роста компании», – подчеркивает Ростом.
Запуск нового направления: изменения на рынке
На руководящих должностях службы эксплуатации технического департамента Ростом проработал более пяти лет, перейдя с позиции заместителя технического директора на позицию директора по управлению инфраструктурой ЦОД. С 2020 по март 2024 года он отвечал за эксплуатацию ЦОД MOS1 и MOS2 на Северном кампусе, а с сентября 2023 возглавлял эксплуатацию нового ЦОД MOS5 на Южном кампусе. За это время компания не только активно росла, увеличивая количество обслуживаемых стоек, но и адаптировала технические и стратегические решения под новые объемы и условия. Одним из важных, но неочевидных решений, стало создание собственной команды по сервисному обслуживанию.
«С момента запуска первого зала было принято концептуальное решение о передаче большинства работ по техническому обслуживанию и ремонту оборудования критической инфраструктуры на аутсорсинг. Это было достаточно удобно, особенно когда это было оборудование одного бренда, которое обслуживали сервисные инженеры производителя.
В то время мы были сосредоточены на запуске новых машинных залов, увеличении количества стойко-мест и подготовке инфраструктуры для новых клиентов.
Когда мы приобрели вторую площадку (Южный кампус) и ввели в эксплуатацию MOS5, это был 2022 год, количество стойко-мест превысило пять тысяч на обоих кампусах, что повлекло за собой кратное увеличение оборудования критической инфраструктуры с десятков единиц до сотен».
Ростом Маргиев, директор по сервису IXcellerate
В 2020 году из-за пандемии коронавируса начались первые затруднения с поставками нового оборудования и обслуживанием текущего, а в 2022 вендор (производитель) основной части оборудования окончательно покинул российский рынок.
«Это заставило нас заняться поиском альтернативных поставщиков оборудования и отойти от монобрендовой стратегии», – резюмирует Ростом.
Запуск нового направления: диверсификация парка оборудования
«Мы подобрали и начали закупать оборудование различных производителей. К тому моменту на рынке появились более современные и технологичные решения. Например, модульные ИБП, более отказоустойчивые и простые в обслуживании по сравнению с моноблочным моделями.
Постепенно парк оборудования инфраструктуры стал более диверсифицированным, что позволило решать стоящие перед нами задачи более эффективно, а также уйти от потенциальных проблем с наличием единой точки отказа в системах, построенных на однотипном и одинаковом оборудовании.
Но в процессе мы столкнулись и с трудностями такого решения. Далеко не каждый поставщик имеет возможность оказания качественной сервисной поддержки на территории России и необходимое количество квалифицированного персонала для этого. Мы поняли, что достигли точки, когда создание собственной команды сервисных инженеров становится оправданным и логичным решением», – комментирует Маргиев.
Запуск нового направления: взвешенное решение
«Это был довольно непростой выбор, потому что создание сервисного направления требует большого количества ресурсов: и содержания в штате высококвалифицированных специалистов, и закупки инструмента, материалов, запчастей. Многие ЦОД отказываются от подобных идей. Но мы учитывали как текущие масштабы IXcellerate (на 2024 год – это две площадки и пять эксплуатируемых ЦОД), так и планы на дальнейшее развитие. Среди множества факторов, которые повлияли на итоговое решение можно выделить три основных.
Во-первых, когда сервисные инженеры находятся каждый день на объекте, они наблюдают за работой оборудования регулярно, больше общаются с коллегами из эксплуатации и погружаются в детали каждой конкретной системы, что в конечном счете крайне положительно влияет на качество выполняемой работы.
Во-вторых, растет уровень вовлеченности сервисных инженеров, они могут работать с собственным оборудованием компании на перспективу, а не только в рамках вызова на разовые работы. Появляется возможность выстраивать работу с фокусом на предотвращении вероятных отказов. Появляется очень ценная возможность погрузиться в детали, что для меня остается одной из самых интересных частей работы.
В-третьих, при обслуживании большого количества оборудования собственная сервисная служба становится экономически эффективным решением. Появляется возможность выбирать в каждом конкретном случае, что выгоднее: обслужить оборудование своими силами или отдать эту работу на аутсорс подрядчику», – утверждает Ростом.
Запуск сервисной службы IXсellerate
Решение об открытии нового направления в рамках технического департамента было принято, и с марта 2024 в IXсellerate начала свою работу собственная команда сервисного обслуживания.
«После принятия решения о запуске сервисной службы возглавить команду сервисных инженеров предложили именно мне. Думаю, что мой подход к работе на предыдущих позициях и уровень вовлеченности как в технические детали работы оборудования, так и при работе с сотрудниками, сыграли в этом решении ключевую роль.
Когда я перешел на должность директора по сервису и стал собирать команду, в ней был один человек. На конец 2025 года нас уже более пятнадцати. Работу сервисная команда начала с минимального объема по обслуживанию новых ИБП, затем добавились кондиционеры, чиллеры, ДГУ. На данный момент мы обслуживаем не всю инфраструктуру, с определенным объемом продолжают работать подрядчики. Это позволяет нашей команде сосредоточиться на новом оборудовании, которое закупают для текущих и будущих машинных залов и ЦОД.
У нас команда крутых специалистов с очень высоким уровнем экспертности по каждому направлению, и она продолжает расти. Работа в сервисном направлении является, в том числе, возможностью для развития, особенно для сотрудников с большим опытом по направлению эксплуатации; для тех, кто перерос уровень своих позиций и ищет большего.
Лично для меня работа в нашей сервисной команде – это работа в коллективе единомышленников, экспертов и профессионалов, каждый из которых обладает максимальным уровнем вовлеченности в детали и ориентацией на результат. А результат для нас включает снижение вероятности отказов в работе оборудования инфраструктуры ЦОД до минимального уровня, поиск различных решений по предотвращению отказов, а в случае их возникновения – максимально оперативному восстановлению», – заключает Ростом.
