Цод в строительстве что это
Цод в строительстве что это
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ЦЕНТРЫ ОБРАБОТКИ ДАННЫХ
Инженерная инфраструктура. Стадии создания
Data centers. Facilities. Stages of development
ОКС 01.040.35, 01.040.93
Дата введения 2020-08-01
Предисловие
1 РАЗРАБОТАН Некоммерческой организацией «Ассоциация участников отрасли центров обработки данных».
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 120 «Центры обработки данных».
1 Область применения
Настоящий стандарт распространяется на инженерную инфраструктуру центров обработки данных различного назначения, создаваемых любыми организациями, действующими на территории Российской Федерации.
Стандарт устанавливает стадии создания инженерной инфраструктуры центров обработки данных, а также этапы внутри стадий и содержание работ на каждом этапе.
2 Нормативные ссылки
В настоящем стандарте использована нормативная ссылка на следующий документ:
СП 68.13330.2017 «СНиП 3.01.04-87 Приемка в эксплуатацию законченных строительством объектов. Основные положения»
3 Термины, определения и сокращения
3.1 В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1.1 процесс создания инженерной инфраструктуры центра обработки данных: Совокупность упорядоченных во времени, взаимосвязанных, объединенных в стадии и этапы работ, выполнение которых рекомендуется и достаточно для создания ИИ ЦОД, соответствующей заданным требованиям.
3.1.2 ввод в эксплуатацию: Процесс, во время которого системы (элементы) и оборудование ИИ ЦОД начинают функционировать и проверяется их соответствие проекту.
3.1.3 инженерная инфраструктура центра обработки данных: Комплекс систем и их оборудования, обеспечивающий бесперебойное функционирование систем и оборудования ИТ-инфраструктуры ЦОД.
3.1.4 информационно-технологическая инфраструктура центра обработки данных; ИТ-инфраструктура; инфраструктура ИТ ЦОД: Совокупность комплексов аппаратных, программных и телекоммуникационных средств автоматизированных информационных систем, размещенных в центре обработки данных и обеспечивающих предоставление информационных, вычислительных и телекоммуникационных ресурсов, возможностей и услуг потребителям.
3.1.5 исполнительная документация: Комплект рабочих чертежей с надписями о соответствии выполненных в натуре работ этим чертежам или о внесенных в них по согласованию с проектировщиком изменениях, сделанных лицами, ответственными за производство монтажных работ.
3.1.6 предварительные технические решения: Описания объекта проектирования или его частей, необходимые и достаточные для определения дальнейшего направления проектирования.
3.1.7 сервисное обслуживание ИИ ЦОД: Комплекс регламентированных работ по поддержанию работоспособности или исправности ИИ ЦОД, предусмотренными в нормативно-технической или эксплуатационной документации с периодичностью и в объеме, установленными в ней, независимо от технического состояния изделия в момент начала технического обслуживания и выполняемых по договору уполномоченными представителями (сервисными компаниями) производителей оборудования и систем.
3.1.8 служба эксплуатации центра обработки данных: Организация или ее подразделение, в обязанности которой вменяется проведение работ по эксплуатации систем и оборудования центра обработки данных.
3.1.9 техническая концепция: Основные принципы и подходы к созданию ЦОД, а также его общая архитектура с учетом данных предпроектного обследования.
3.1.10 техническое задание на создание инженерной инфраструктуры центра обработки данных: Исходный технический документ для создания инженерной инфраструктуры центра обработки данных и документации на нее.
3.1.11 техническое обслуживание ИИ ЦОД: Комплекс работ по поддержанию работоспособности или исправности ИИ ЦОД, выполняемых службой эксплуатации через установленные в эксплуатационной документации интервалы времени.
3.1.12 эксплуатация ИИ ЦОД: Комплекс работ по содержанию, обслуживанию и ремонту ИИ ЦОД для обеспечения нормального функционирования ИИ ЦОД в соответствии с функциональным назначением, запланированными эксплуатационными характеристиками в течение всего срока службы, без аварийной работы.
3.1.13 центр обработки данных; ЦОД: Специализированный объект, представляющий собой связанную систему ИТ-инфраструктуры и инженерной инфраструктуры, оборудование и части которых размещены в здании или помещении, подключенном к внешним сетям, как инженерным, так и телекоммуникационным.
3.2 В настоящем стандарте применены следующие сокращения:
«Хочу построить ЦОД». 10 откровений для начинающих
В качестве введения
И вот в таких разговорах из раза в раз приходится заниматься начальным стратегическим планированием, парировать «передовые» идеи и рацпредложения (надеюсь, все помнят недавнее предложение очередного депутата строить ЦОДы на Крайнем Севере). А сколько их остается без ответа и получает бестолковое воплощение. В итоге, было решено собрать часто встречающиеся вопросы-желания (их получилось красиво десять) и дать по ним развернутые комментарии. В надежде, что это позволит сэкономить время всех сторон, а может послужит толчком к развитию отрасли в правильном направлении.
Итак, ваше первое желание.
Желание №1. «У меня есть площадка с ресурсами, я её хочу выгодно пристроить»
Первое и самое частое желание. Закрывшихся заводов со свободными площадями и электрической мощностью пруд пруди, климат холодный. Вот и бегают понаслушавшиеся и поначитавшиеся горемыки-собственники с задачей как-то пристроить площадку. Чтобы приносила доход. Склады, производство – тема избитая, а вот цифровые технологии с точки зрения обывателя самое то. Но вот ведь какая штука. Потребность в стойках есть, это факт, а не маркетинговое утешение, как было несколько лет назад. Только общая «средняя температура по больнице» складывается из тех, чьи ЦОДы стоят полупустыми и тех, кто продает залы на этапе строительства. Успех последних заключается в правильно выбранной локации.
Принимать решение о строительстве ЦОД, только на основе возможностей по имеющимся площадям, электрической мощности или окружающему климату, в корне неверно. Исключение составляет случай, когда ресурсы имеют уникальные параметры. Есть и дисквалифицирующие места, в которых строить ЦОД нельзя ни при каких условиях, и лучше это осознать сразу. Гораздо большей ценностью для определения локации ЦОД является нахождение в месте сосредоточения потребителей с высоким уровнем цифровой культуры, а также показатели связности, то есть наличие большого количества независимых каналов связи.
Локация очень чувствительный показатель, даже проекты в близкой к Москве области либо заморожены, либо откровенно борются за клиента. А площадку в глухом месте лучше пристроить под что-то другое.
Желание №2. «Есть свободные деньги, хочу инвестировать»
Для начала, всегда следует рассматривать ЦОД как объект инвестиций, но не как средство вложения денег, а как объект, который при правильной реализации и успешности можно будет продать. Сам подход является мощным регулирующим фактором создания рентабельного предприятия. ЦОДы для финансовых организаций стали понятными объектами, да и рынок уже готов к купле-продаже, есть удачные примеры. Но… нужно понимать, что вложения это высоко рискованные, а возврат инвестиций имеет достаточно долгий срок. Если говорим про инвестирование вообще, то есть отрасли и поинтереснее.
Хотите войти в цодовское дело и попробовать? Не начинайте с нуля и не стройте сами. Вложитесь капиталом в существующего успешного игрока.
Желание №3. «На старте делаем только инфраструктуру»
Нам бы ЦОД построить, а потом посмотрим, как будем эксплуатировать и продавать. К сожалению, ЦОД не является объектом, который сам начинает жить после строительства, в отличии, например, от классических объектов недвижимости. Инфраструктура по умолчанию выручки не приносит, её делают люди и востребованные услуги. Озвученный «инфраструктурный» подход приводит к тому, что стоят пустые, никому не нужные машзалы, а владельцам при начале эксплуатации страшно включать рубильник эксплуатационных затрат, неподкрепленных кэш-флоу.
Здесь нужно вывернуть подход наизнанку, сначала определить, как ЦОД будет приносить деньги, а потом под эту задачу строить инфраструктуру (см. Желание №7). Очень печально, но озвученное желание очень популярно, когда речь идет о строительстве ЦОДов в рамках государственной политики. ЦОД – это инструмент и обеспечивающая база реализации задумок в ИТ-сфере. Вместо развития электронного бизнеса и стимуляции потребления услуг ЦОД (под которые инфраструктура вырастет сама собой) предпочитают строить коробки и отчитываться об «успехах по информатизации».
Любой проект нужно рассматривать как комплексный, от идеи до вывода из эксплуатации. Жизненный цикл ЦОДа на настоящий момент составляет минимум 10-12 лет.
Желание №4. «Скажите сколько будет стоить»
Дайте бюджетную оценку сразу, нужно вчера, ну вы же профессионалы… Инженеры – не волшебники, и рассказать сколько на выходе будет стоить проект могут при определенных условиях. Бюджет, при заданной модели, что считаем, что не считаем, и с кучей прочих оговорок. Делали когда-нибудь ремонт в квартире? Во сколько раз превышали запланированную сумму? Что уж говорить про более основательный проект. ЦОД – удовольствие дорогое. Финансовую оценку можно и нужно делать, но на этапе концепции (смотри следующее желание), уже есть понимание рисков, хоть какая-то детализация, время. Когда у проекта, вдруг, заканчиваются деньги, то это не риск упрощения проекта, это высокая вероятность реализации странного ЦОДа, построенного на энтузиазме.
Ну и совсем откровением для заказчика оказываются немалые затраты на постановку службы эксплуатации, сервисной команды, операционные расходы на год или два после старта, пока устойчиво не пойдут клиенты и не начнется выручка.
Желание №5. «Чего тянуть, начинаем сразу проектировать»
Пространство решений в ЦОД огромно, оно как клубок, цельное и частное, с внутренними и внешними связями. Разрывать его при проектировании себе дороже. Как же сделать так, чтобы с одной стороны соблюсти гибкость решений, в с другой стороны задать конкретику. Это можно сделать при вариативном укрупненном планировании, как раз на этапе концепции. Вариативное проектирование будет стоить кратно дороже и связи тогда уже более жесткие. В концепции можно «поиграть» с решениями, выбрать основные блоки, сформировать 2-3 варианта, как общих, так и частных.
Этап концепции является чуть ли не самым важным, это фундамент проекта, отвечает на многие технологические вопросы и позволяет сохранить преемственность и цельность проекта во времени.
Желание №6. «Есть у меня знакомые ребята, они серверные делали, привлечем»
Работать нужно с проверенными людьми, но не со случайными в теме ЦОД. Любимый мем от строителей: «Что мы серверные не делали что ли…». Со своей позиции технолога ЦОД скажу: «Да, не делали». Что такое ЦОД, как объект нужно понимать цельно, а не как набор помещений с набором инженерных систем. С пониманием, что бывает с ЦОДом после введения в эксплуатацию, и даже на этапах модернизации и вывода из эксплуатации, т.е. в горизонте 7 и более лет. Неплохо бы понимать и общее развитие рынка ЦОД, перспективных информационных технологий. Есть большое количество неочевидных вопросов, а так как тема ЦОД развивается прецедентным образом, то многолетний опыт является важным фактором при выборе исполнителя.
Выбирать команду проекта нужно по трем основным критериям: высокий профессионализм, лояльность и следование общим целям, оптимизация по затратам.
Желание №7. «Нужен универсальный ЦОД»
В этом желании скрывается страховка от неправильного позиционирования. Через реализацию универсальной инфраструктуры давайте дадим себе в будущем возможность подстроится под услуги, которые будет оказывать ЦОД. Идея интересная и в какой-то мере здравая, но… Хотим мы этого или не хотим, создание гибкого модифицируемого инфраструктурного решения возможно с ограничениями. ЦОД по коллокацию или под майнинг или под облачные сервисы, это совершенно разные ЦОД с точки зрения подходов и инженерных решений. Размер ЦОДа, размер типового блока и механизмы масштабирования, которое к слову может быть горизонтальным и вертикальным, также зависит от назначения и локации ЦОД.
Позиционирование ЦОДа с точки зрения услуг является отдельной темой. ЦОДы могут быть нейтральными с созданием экосистемы ИТ-партнеров или как альтернатива, самостоятельно оказывать сервисные ИТ, телеком и прочие услуги, а могут, например, выступать в качестве инструмента обеспечения маржинального бизнес-процесса или уникальной услуги.
Универсальный ЦОД будет более дорогим в реализации, а значит его окупаемость будет хуже. Сразу определяйте, какие задачи будет выполнять ЦОД и реализуйте соответствующую инфраструктуру.
Желание №8. «Все делаем по максимуму»
Амбиции… куда же без них. Наш проект будет самым-самым, мы выйдем на рынок и всех «порвем»… Знакомо? Всё очень хорошо, пока речь не заходит о деньгах. ЦОД – это вообще дорогое удовольствие, а если говорить об возможных уровнях реализации, то счет пойдет на разы. Не следует также забывать, что все затраты (если конечно вы не строите из любви к искусству на последний вагон денег), это тарифы и время окупаемости. Напомним, что на рынке есть наиболее популярный устоявшийся уровень «С возможностью параллельного проведения работ».
Правильная стратегия здесь, сразу определиться с достаточным уровнем реализации ЦОД и качественно оценить бюджет (см. Желание №4). Типовым сценарием при реализации, на основе неверно принятых исходных данных, будет урезание капитальных затрат. Только решения по ЦОДу уже были разработаны сквозным образом и сбалансированы между собой. И начинается резание по живому, разрывание «клубка» решений: на этом можно сэкономить, здесь профильный специалист защитил решение, а другое некому защищать и его ухнули вниз. Выйдет лоскутное одеяло, шитое белыми нитками, со всеми странностями, которые сразу бросаются в глаза. И это с новым объектом. Будет он продаваться?
Желание №9. «Будет многофункциональный комплекс»
Ещё одна популярная концепция. Сначала мы планируем построить ЦОД, но позвольте… а куда мы будем девать дармовое тепло, а где «если что» будут жить командированные специалисты? Так ЦОД начинает обрастать непрофильными с точки зрения деятельности теплицами, гостиницами и т.д. Позвольте, а не является ли данный подход демонстрацией недостатков исходной бизнес-модели ЦОД? Не означает ли, что есть неуверенность в доходности основного бизнеса и делается попытка диверсификации.
Если планирование стратегии ЦОД произведено качественно, то в конечном итоге он будет рентабельным. Рекуперацию тепла можно попробовать использовать для отопления сервисных помещений ЦОД (и это та ещё фикция), для аварийной смены сделать несколько комнат отдыха в АБК. Огурцы можно будет купить в магазине рядом, а остановиться в ближайшей гостинице.
Не уверены в ЦОД, стройте сразу гостиницу, а управление непрофильными активами в составе ЦОД распыляет силы и требует дополнительных средств.
Желание №10. «Обязательно нужна сертификация»
Ох уж эта сертификация… Вещь безусловно полезная, но автоматически не решает всех ваших вопросов и не отвечает на оные, если они возникли у клиентов. Вообще, людям свойственно идеализировать бумажки, иметь общий индикативный показатель (реальный или эмоциональный) для принятия быстрого решения о качестве. Проблема заключается в том, что некоторые безусловные категории начинают работать без обратной связи и слово сертификация уже воспринимается как мантра. Доходит до того, что некоторые пионеры-исследователи рынка ЦОД начинают декларировать, что только тот ЦОД самый лучший, у которого есть толстая пачка сертификатов, свидетельств и т.д. В принципе, не понимая про ограниченность модели, условность ответственности за каждый такой документ, забывая, что ЦОД это не только техника, но социальный и бизнес-климат, да и задачи и потребности у всех разные.
Как построить модульный ЦОД за три месяца и не наступить на грабли
Этот модульный ЦОД мы построили меньше, чем за три месяца. В первых числах ноября начали монтаж на площадке, а в конце декабря уже сдали его в эксплуатацию.
В общих чертах запрос от заказчика именно таким и был: очень быстро нарастить вычислительные мощности под свой ИТ-проект там, где дополнительного места совсем нет. Решено было построить модульный ЦОД. И сделать это недорого. Спустя год готов рассказать, как это было. Как мы делали полную предварительную сборку и разборку ЦОДа на площадке в Сибири. Как поливали его водой из мойки «Керхер» и разогревали, как духовку.
Заодно поделюсь нашим опытом обхода граблей при строительстве модульных дата-центров. А также расскажу о некоторых граблях, на которые мы все-таки наступили, но в каске.
Суровая правда жизни: начало подготовительных работ
Для тех, кто не особо следит за строительными технологиями ЦОД, краткая справка о модульных решениях:
а) для них не требуется разрешение на капитальное строительство;
б) их можно быстро поставить где угодно, хоть посреди леса, лишь бы было электричество и каналы связи;
в) они как конструктор лего — можно разобрать и перевезти на новое место дислокации. И относительно легко, при необходимости, нарастить.
Что касается именно этого проекта, то основные критичные характеристики для заказчика — обоснование «некапитальности» сооружения и демонстрация возможности неоднократной сборки и разборки. Плюс возможность наращивания ИТ-мощностей в дальнейшем.
Кроме того, в проекте требовалось выполнить монтаж внешних инженерных сетей (КЛ-0,4кВ, сети связи, водоснабжение, водоотведение) и модернизировать существующую электрощитовую. Она находилась в административном здании, от которой выполнялось подключение МЦОД.
Когда начали работу, выяснилось, что на площадке под асфальтом «захоронен» цокольный этаж старого здания, о котором никто, включая заказчика, не знал. В итоге спроектировали бетонную площадку, взяв категорию грунта «Строительный мусор». Разработали котлован, выполнили отсыпку щебнем и песчаной подушкой. Дополнительно залили 300 мм армированного бетона. Таким образом исключили риски перепада плотности грунта под модульным зданием.
Бетонное основание под МЦОД
Внешние сети — как это было
Первые «грабли» состояли в том, что у заказчика не оказалось актуальной версии геоподосновы. Нашелся только архивный файл. Более того, отсканирован он был не в масштабе, и нам было сложно понять привязку коммуникаций и самого модульного ЦОДа. В итоге в наши расчеты все же закралась ошибка в 2,5-3 метра. Из-за нее пришлось сначала убрать одно крытое парковочное место на территории, а потом его восстанавливать.
Работы по устройству внешних коммуникаций шли параллельно с подготовкой бетонного основания. Одновременно заказчик совместно с МОЭСК модернизировал трансформаторную подстанцию РУ-0,4кВ. Это все, конечно, добавило нам головной боли.
Прокладка коммуникаций
Электрощитовую в административном здании мы реконструировали ночью. Требовалось поэтапное отключение линий электропитания всего административного здания, а в нем — потребители I особой категории. Например, в этом же здании находились серверы одной довольно крупной авиакомпании. Естественно, подключали резервный источник питания — мобильный ДГУ — на случай форс-мажорной ситуации. Успели, кстати, за одну ночь все сделать.
Когда закончили работы с коммуникациями, встал вопрос о восстановлении асфальта на парковке. Начали этот вопрос прорабатывать и поняли, что «старый» асфальт положен на все тот же строительный мусор, а мы-то свои траншеи засыпали по правилам! Что произойдет, если положим асфальт? Правильно, в лучшем случае он начнет трескаться на границах разных зон. Посоветовались со специалистами и сделали решение по легкому бетону. Забетонировали тонким слоем площадку, и уже на бетон положили новый асфальт.
Примерно вот так шли работы
Испытание водой и жарой
Одним из ключевых требований заказчика было провести предварительные испытания МЦОД на производстве и показать, что модульное здание соответствует основным требованиям. Пока мы занимались подведением коммуникаций, модульная конструкция уже была в производстве в Новосибирске. Дальше нам нужно было продемонстрировать заказчику возможность сборки и разборки ЦОДа. И вот тут началось самое интересное.
Обычно бывает предсборка модульных ЦОД на производстве, но это не наш случай. Заказчик требовал, чтобы модульное здание было собрано полностью — с фальшполом, с освещением, с общей электрикой и даже с пандусом. План был такой: полностью собрать модульное здание, провести предварительные испытания, разобрать здание, привезти в Москву и затем собрать еще раз.
Для того, чтобы все это провернуть, разместили модуль в огромном крытом цехе на площадке производителя.
Оба снимка сделаны на площадке производителя 3 октября
Приехала целая делегация — и наши инженеры, и представители заказчика. Многочасовые испытания шли два дня. Проводили проверку геометрических параметров модульного здания и помещений, отсутствия возможных «мостиков холода», отклонений высот фальшпола. Контролировали степень освещенности машинного зала на соответствие ТЗ. Еще была проверка на герметичность — поливали ЦОД водой из мойки «Керхер» под давлением.
Но самое необычное испытание — на теплопотери. Для этого мы арендовали тепловые пушки, и с утра в ЦОДе их запустили. Нагрев шел около двух с половиной часов. Температура внутри здания была на 50 градусов выше, чем снаружи. Жара стояла такая, что зайти в ЦОД было тяжело. Представители заказчика с тепловизором проходили вдоль стен и смотрели, нет ли тех самых «мостиков холода» — мест, где теряется тепло. Это было… эпично. Но зато мы точно были уверены, что нагрев и охлаждение ЦОД будет полностью предсказуем в «боевых» условиях.
История с фальшполом
После того, как испытания успешно прошли, примерно за неделю модульное здание было разобрано. Подрядчик погрузил его в фуры, и часть из них сразу выехала в Москву. Выезжали фуры по очереди, чтобы мы могли сразу с колес выгружать и начинать монтаж. Так мы избежали аренды склада. Можно сказать, это грабли, на которые мы не наступили.
Модульная конструкция готовится к отправке из Новосибирска в Москву. 29 октября
Интересная история была с фальшполом. Если кто не в курсе, фальшпол — важная подсистема в ЦОД. Он держит все технологическое оборудование, и от его качества сборки и жесткости во многом зависит надежность ЦОДа.
В проекте у нас были предусмотрены ИБП весом под тонну, да еще и кондиционеры по 900 кг каждый. Подрядчик посчитал нагрузки и попытался убедить нас в том, что, мол, «не извольте сумлеваться, выдержит!»
Но слова «должен выдержать» нас не убедили.
Что мы сделали? Разработали рамы, усиливающие фальшпол под кондиционерами и ИБП. Для бесперебойников это была одна длинная мощная конструкция. Под фальшпол ее опускало человек пять или шесть.
Рамы для ИБП
А под кондиционеры мы сделали раму с ножками. Ножки эти вставали в паз — в существующие металлические фермы основания модульного ЦОДа.
И тут снова «грабли» — из-за спешки ребята-сварщики приварили ноги от другой рамы. Ноги получились короткими, и рама оказалась не на уровне фальшпола. А на следующий день уже все расписано — кондиционеры приезжают, заключен договор на такелажные работы… Звоним нашему инженеру (не просто инженеру, а с большой буквы «И» который). Пара звонков «мужикам» — и за ночь вопрос удалось решить.
Переварили ножки, и раму мы установили. И так как все считали наши ребята, мы спокойны — двукратный запас по прочности там точно есть.
Заказчику все тоже понравилось, кстати.
ДГУ заказывали?
Самое большое зло в этом проекте — сжатые сроки. ЦОД и так сложное сооружение, а тут нужно было уложиться в считанные недели. На сборке работало две смены. Одни люди выходили, другие заходили на объект. И так семь дней в неделю.
Конечно, не обходилось без накладок. Например, лежит материал в доступе у монтажников. Они его берут, но об экономии думать уже некогда. В итоге нашим инженерам-проектировщикам приходилось с ходу определять потребности и докупать расходники. Каждый день и час был на счету.
При сборке кондиционеров был вопрос в качестве пайки медных труб. Когда мы уже подключили кондиционеры и начали испытания, обнаружилось несколько утечек в фреонопроводе. Отдельная история была — найти места этих утечек. Они ведь часто микроскопические.
Или, вот, например, дизель-генераторная установка (ДГУ). Заказчик говорит: у нас установка есть, привезем. Привозят и тут же выясняется, что ДГУ не соответствует их же собственным требованиям! Наигрались мы с ней в итоге: дорабатывали и в части хранения топлива, в части конструкции модуля. Ставили шумопоглощающие маркизы, которые направляют звук в землю, катализатор и глушитель.
Каждый день было перепланирование работ — если что-то успевали быстрее сделать, план сразу переигрывали. Честно говоря, заказчик, да и мы сами, не до конца верили, что успеем за 3 месяца. Но все получилось, успели. Чистая стройка заняла вообще около месяца. Перед самым Новым годом ЦОД запустили.
И напоследок вот, как это было, — три месяца работы в одном видео: