Целью данного документа является
определение последовательных инструкций для проведения тестирования основных систем обеспечения бесперебойной работы инженерной инфраструктуры ЦОД.
Как правило, параметры эффективности работы инженерных компонентов заявлены в технических спецификациях заводов-изготовителей для условий номинальных нагрузок, которые, в большинстве случаев, не в полной мере удовлетворяют реальным рабочим условиям.
Методология позволяет описать перечень проверочных работ, а также формы отчетов и актов, которые могут служить основанием для выявления "слабых зон" инженерной инфраструктуры ЦОД, а также подтверждением технической корректности монтажа компонентов инженерной инфраструктуры для последующего ввода в эксплуатацию.
Мировой опыт показывает, что процент возврата инвестиций, вложенных в строительство ЦОД, может вырасти для компании-владельца на 5-10% при условии проведения тщательной процедуры предварительного тестирования.
Основания для проведения тестирования
Вот наиболее актуальные выдержки из стандарт IEC 6240-3 для обоснования необходимости проведения тестирования работы оборудования перед вводом в промышленную эксплуатацию.
Раздел 6.1.1, IEC 6240-3 - Испытания должны быть выполнены, чтобы убедиться, что конфигурация оборудования подходит для удовлетворения требований, указанных в настоящем стандарте и/или указанных отдельно производителя или покупателя для специальных применений.
Раздел 6.1.2, IEC 6240-3 - Периодические тесты должны быть осуществлены на каждой единице оборудования, в случае раздельной поставки и дальнейшего монтажа, в целях достоверности соответствия всем заявленным ранее стандартам.
Раздел 6.6, IEC 6240-3 - Тест заводской проверки или OnSite-тест. Это должно быть предметом соглашения между производителем, поставщиком и покупателем, какие тесты должны являться частью договора купли-продажи, так как это будет зависеть от степени, в которой компонент инженерной инфраструктуры или его функциональные блоки могут быть проверены заводом-изготовителем до стадии продажи.
Раздел 6.6.11, IEC 6240-3 - Тест эффективности ИБП. Эффективность оборудования может быть оценена посредством сопоставления входных и выходных активных мощностей в нормальном режиме работы и доступным уровнем типовой нагрузки. В дополнение к общим правилам, описанным в данном стандарте IEC-стандарте, тестирование с применением поэтапного добавления нагрузки, обеспечивают более детализированный анализ установленного оборудования перед окончательным запуском в работу.
Вводные данные для запуска процедуры тестирования ЦОД
Процедура тестирования инженерной инфраструктуры ЦОД - это комплекс разрозненных проверок различных процессов, которые включают в себя следующее:
Первое: Данные о подготовке площадки и монтажно-инсталляционных работах:
Общая координация данных работ выявляет, что все системные установки соответствуют заявленных ранее требованиям, анализ соответствия монтажных работ по системам обеспечения электропитанием, охлаждению. Также, к данным видам работ относится и проверка соответствия расставленного оборудования запроектированным ранее схемам. А также остальные виды работ, непосредственно относящиеся к физическим компонентам инженерной инфраструктуры.
Второе: Данные о запуске компонентов инженерной инфраструктуры:
Генеральный подрядчик, а также поставщик оборудования несут полную ответственность за первоначальный запуск компонентов системы. Все результаты процедур запуска должны фиксироваться в соответствующих формах для последующей передачи их ответственной проверочной комиссии. Виды стартапов и отчетов по ним отражены в следующей таблице:
Тест мощности | Тест охлаждения | Тест безопасности и пожаробезопасности | Тест систем мониторинга и управления |
| Системы заземления | Чиллеры | Трубная обвязка | Система мониторинга электропитания |
| ДГУ | Насосная группа | Противопожарная система | Система мониторинга охлаждения |
| ИБП | Резервные емкости | Датчики | Датчики влажности |
| Система ввода резерва | Системы откачки конденсата | Насосная группа | Датчики обнаружения движения |
| Системы аварийного обесточивания | Трубные обвязки | Система аварийного оповещения | Датчики температуры |
| Системы распределения питания | Теплообменники | Системы обнаружения дыма | BMS (Building Management System) |
| Системы воздухопотока | Системы аварийного блокирования дверей | ||
| Внутренние системы охлаждения | Видеобезопасность |
Параметры проектирования ЦОД
Как правило, дизайн проекта проходит несколько стадий от начального проектирования, до проверки на техническую корректность и полное соответствие заявленным ранее требованиям и, затем, после выявления ошибок, их полное устранение и окончательное согласование. Процесс проектирования может включать в себя стадию общего оценивания проекта и составления сметы.
В современных же условиях, стадия проектирования - это сложный процесс, включающий в себя такие виды, как проектирование плотности мощности потребления, уровней критичности (на примере TIER-уровней), планирование охлаждающих мощностей и общий рост потребления активной мощности в ЦОД. Базовой основой для проектирования является схема расположения оборудования, как инженерной инфраструктуры, так и активного оборудования (машинного зала). В дальнейшем, данный документа будет являться неотъемлемой частью для проверочной комиссии, при разработке стратегии тестирования компонентов инженерной инфраструктуры.
Процесс тестирования инженерной инфраструктуры ЦОД
Ключевыми аспектами процедуры тестирования являются следующие:
Планирование - Процесс тестирования начинается за месяц до физической установки инженерного оборудования в помещении ЦОД. Проводятся регулярные совещания комиссии. Поставщики оборудования должны своевременно предоставить документы по запуску, как неотъемлемую часть процедуры планирования тестирования ЦОД. Целью ответственной комиссии на данной стадии должно быть определение как можно большего количества «точек отказа», которые могут возникнуть в ходе дальнейшей эксплуатации.
Утверждение состава комиссии - Практика формирования составов комиссии показывает, что наибольшего результата тестирования комиссия добивается, в случае присутствия одного или двух независимых членов. В том числе, состав комиссии должен включать в себя представителей всех заинтересованных структур, таких как финансовый департамент (который также, в свою очередь, может привлекать сторонних аудиторов). После того, как окончательный состав комиссии будет утвержден всеми вовлеченными сторонами, задача ее членов начать процедуры изучения проекта на самых ранних стадиях, так как это – наиболее эффективный способ выявления максимально возможного количества «точек отказа» и своевременного их устранения. Это также позволит избежать значительного перерасхода бюджетных средств, выделенных под данный проект.
Протоколирование - Основываясь на интеграционном тестировании всего оборудования, важной составляющей является всеохватывающее протоколирование всех стадий процесса. Протоколирование также важно вследствие формирования графика и «дорожной карты» реализации всех стадий проекта. Начальная стадия протоколирования начинается с доскональной проверки всех подсистем, основываясь при этом на формы запуска, предоставленные компаниями-производителями оборудования. Вендоры должны предоставить подобную информацию. Все протокола должны освещаться на регулярных заседаниях комиссии. По завершении стадии проверки подсистем, на его основе необходимо реализовать процесс комплексного протоколирования инженерной инфраструктуры.
Тестирование - Каждая единица оборудования должна быть протестирована в соответствующей процедуре, основанной на рестарте и возврате в нормальный режим работы. На этой стадии возможно определение взаимосвязанных «точек отказа» (к примеру – ДГУ), которые могут повлиять на каскадное возникновение множества остальных непредвиденных поломок (к примеру – питание насосной группы системы охлаждения). Игнорирование этого может повлечь за собой окончательное отключение электропитания без своевременного ввода резерва, либо непредвиденный автоматический рестарт.
Электропитание: На данной стадии процесса ввода в эксплуатацию, проверяются высоковольтные электрические ввода. Затем процесс продвигается вперед на среднее напряжение основной системы распределения электроэнергии, в том числе параллельных распределительных устройств, передача выключателей, аварийного генератора, системы ИБП, система контроля центра обработки данных, и стоечное распределение электропитания. Все системы освещения и системы безопасности жизнедеятельности, включая аварийное отключение питания системы (EPO) также должны быть исчерпывающе протестированы.
Охлаждение: Процесс тестирования компонентов системы охлаждения начинается на стадии закачки охлаждающей жидкости в чиллеры, затем идет тестирование трубопроводов, насосов, приводов переменной скорости, химических или других систем очистки воды, а также системы фильтрации. Это также включает в себя тестирование систем увлажнения воздуха, вентиляции, отопления.
Пожаротушение: Здесь процесс тестирования начинается с анализа поступающей воды и индикаторов клапанов сообщения (PIVS), также тестирование сигнализации и автоматических систем отчетности, и заканчивая непосредственно анализом газа для системы пожаротушения.
Системы мониторинга и управления: Ввод в эксплуатацию и управление зданием энергии. Мониторинг систем управления и контроля объединена с каждой первичной тестовой системе. Каждый сигнал тревоги должны быть проверены.
Физические системы безопасности: Здесь реализуется тестирование систем центральной безопасности, в том числе и видеонаблюдение, физических устройств безопасности (таких как устройства для чтения карт памяти), а также центральной системой оповещения. Все места проникновения коммуникационных каналов должны пройти двойную проверку, чтобы определить уровень безопасности при случае проникновения злоумышленников внутрь ЦОД по воздуховодам.
Склад запасных частей: В случае применения современных модульных и масштабируемых систем ИБП или другого подобного оборудования, должен быть заранее определен пул запасных частей, таких как, резервные силовые модули, которые являются неотъемлемой частью процесса ввода в эксплуатацию. Необходимо обеспечить правильное хранение всех запасных модулей, к примеру, в герметичных пластиковых упаковках для предотвращения попадания внутрь пыли до момента, пока он не будет готов к развертыванию в качестве замены вышедшего из строя оборудования.
Документирование - Все данные, полученные в ходе тщательного тестирования компонентов инженерной инфраструктуры должны быть должным образом задокументированы и согласованы комиссией, а затем и всеми остальными заинтересованными лицами. В качестве форм документирования могут выступать самые различные протокола, акты, отчеты, которые будут отражать реальное состояние инженерной инфраструктуры и послужат основой для окончательного решения ввода системы в промышленную эксплуатацию. Формы отчетов и актов могут быть произвольными, но по содержанию своему должны удовлетворять обе стороны представителей. К финальному документированию также должны быть приложены все логи и записи, которые фиксировались на всех стадиях реализации проекта. Данные документы послужат в дальнейшем созданию так называемой «базы знаний» которая позволит беспрепятственную передачу всего накопленного опыта эксплуатации ЦОД.