1 задание. Вадим Алджанов итархитектура от а до Я Теоретические основы. Первое
 Скачать 8 Mb.
|
|
Европейские стандарты ETSI ETSI ES 205200 определяет так называемые Global KPIs (Глобальные ключевые показатели эффективности), обеспечивая контроль энерго-управления информационно коммуникационных технологий (ИКТ). Этот стандарт предлагает единый глобальный KPI – энергетическое управление обработки данных и коммуникаций – , который определяет четыре целевых KPI: потребление энергии, эффективность выполнения задач, использование возобновляемых источников энергии и повторное использование энергии. Это позволяет определять энергетическую эффективность ИКТ всего предприятия. Международные стандарты DIS ISO/IEC 30134 DIS ISO/IEC 30134, описывающие KPI дата центра, и отражают стандарты JTC 1/SC 39 WG 1 – новая работа от CENELEC. Во избежание дублирования документов рассматривается их включение в Европейский набор стандартов. Международная электротехническая комиссия IEC также рассматривает разработку технического отчета, который бы содержал рекомендации по проектированию дата центров применительно к управлению ресурсами. Стандарт энергетического управления ISO 50001:2011 Стандарт энергетического управления ISO 50001:2011 предоставляет организациям концепцию для интеграции энерго-эффективности в процесс управления. Среди прочего, он включает в себя установку базовых линий, которые измеряются, контролируются и корректируются для обеспечения контроля управления, используя эти данные в качестве базы для текущего прогнозирования, улучшения операций по энерго-эффективности, приобретения и повсеместного размещения эффективного низкоэнергетического оборудования. Стандарт экологического управления ISO 14001:2004 Стандарт экологического управления ISO 14001:2004 предлагает концепцию обеспечения тщательного контроля интерфейса, чтобы избежать или минимизировать какой-либо негативный экологический эффект. По стандарту ISO 14001 требуется инициативное управление экологическими рисками для поддержки долгосрочных экологических и экономических целей. Следующая редакция – ISO 14001:2015. Стандарты ITU-TL.1300 от «ITU-T Study Group 5» ITU-TL.1300 от «ITU-T Study Group 5» в значительной степени основан на инициативе ЕС по уменьшению воздействия на ЦОДы (EU CoC Best Practices V4.0.5) и включает 23 дополнительных пункта. Различия касаются, в частности, предпочтением «ITU-T» ссылаться на диапазон изменения окружающей среды, поддержанный серией стандартов ETSI EN 300 019, нежели на диапазон, указанный в документе Евросоюза. Стандарты TÜV Süd Немецкая экспертная организация, один из лидеров в области экспертизы, испытаний и сертификации. Аббревиатура TÜV («Technische Überwachungs-Verein») в переводе с немецкого означает «Объединение Технического надзора». Как одно из направлений деятельности организации разработка стандартов и сертификации дата-центров в Германии. ГОСТы серии 34 ГОСТ 34. ххх (Единый комплекс стандартов и руководящих документов на автоматизированные системы, ЕКС АС) – комплекс государственных стандартов СССР, межотраслевых руководящих документов и методических материалов, задуманный в конце 80х годов. Вопросы, связанные с Дата центрами Положения стандартов UI, BCSI, TIA/EIA—942, EN 50173—5 и ISO/IEC 24764 во многом похожи, однако имеются и различия. Наличие возможности экстренного отключения нагрузки (англ. Emergency Power-Off, сокращённо EPO) является одной из наиболее обсуждаемых проблем, связанных с проектированием и строительством дата-центрах. В разных стандартах она трактуется по-разному. Согласно стандартам Uptime Institute, возможность экстренного отключения питания в дата-центре не рекомендуется, и нужна лишь в случаях, когда это предписано в местных законодательных актах. Это связано с тем, что экстренное отключение питания нередко становится причиной Даун таймов (например, если кто-то активирует соответствующую функцию по ошибке или невнимательности). В стандарте TIA-942-2 прямо указано: «Не устанавливать кнопку экстренного отключения питания, если этого не требуют местные власти». В стандарте BCSI отмечено, что возможность экстренного отключения питания в дата-центре влечёт за собой огромные риски, но в то же время не содержится никаких прямых указаний и рекомендаций; указано, что функция экстренного отключения питания может быть реализована по усмотрению владельцев дата-центра. Наряду с уровнем доступности и надёжностью важной характеристикой современного дата-центра является энерго-эффективность. Исследованиями эффективного использования ресурсов дата-центрами занимается консорциум Green Grid. Коэффициент энергоэффективности (PUE) вычисляется как отношение общий объём потребляемой энергии (Total Facility Energy) на объём энергии потребляемый IT-инфраструктурой (IT Equipment Energy). Кроме этого в последнее время появляется довольно публикаций по вопросам экологичности эксплуатации дата центров. Системы обеспечения можно условно разделить на две подгруппы: Инженерные системы и Системы Безопасности. Инженерные системы К данной категории можно отнести следующие решения и системы: Физическая инфраструктура Структурированная Кабельная Система (СКС) Система Основного Электропитания Система Резервного / Аварийного Электропитания Система Бесперебойного Электропитания Система Основного Освещения Система Аварийного Освещения Система Охлаждения и Вентиляции Система Управления Зданием Инженерная инфраструктура составляет большую часть стоимости ЦОД, и нередко доходит до 70%. Распределение затрат на подсистемы дата центров неравномерны. Наибольшая доля, около трети всех потраченных финансовых ресурсов, приходится на стоимость системы гарантированного электропитания (34%). Также значительные траты предусматривают организация кондиционирования (21%) и архитектура самого здания (23%). На коммуникационные сети приходится 7% плюс еще около 9% на оборудование газового пожаротушения, систем управления доступом и видеонаблюдения. Кроме этого имеет значение уровень отказоустойчивости ЦОД. Стоимость инженерных систем обеспечения ЦОДа может варьироваться в широких пределах и часто зависит от уровня отказоустойчивости. Расчетные расходы можно принять как 22,000—35,000 долларов на 1 м2 для дата-центра уровня TIER III, а для уровня TIER IV доходить до 45,000—65,000 долларов на 1 м2. В среднем, для дата-центра TIER II+ колеблется в пределах 12,000—33,000 долларов на 1 м2. Физическая инфраструктура Физическая инфраструктура представляет из себя помещение, здание или пространство для расположения инженерных систем и вычислительных ресурсов. По стандартам построения ЦОД различают помещения ЦОД по их назначению: •Машинный зал, •Помещения для коммуникации •Технические помещения для ИБП и т п. Кроме этого вводятся понятия: •Площадь Стойки (Rack Area) •Количество Вмещаемых Стоек (Rack Yield) •Единица Эквивалента Стойки (REU) По размерам ЦОДы можно разделить по размеру площади серверного зала (машинного зала) и ассоциируется с количеством вмещаемых стоек. Так для примера: Кроме этого физическая инфраструктура должна предусматривать возможность установки коммутационных комнат и узлов распределения, прокладку кабеля между ними. Для помещений предоставлять возможность установки точек подключения. При ведении проекта необходимо наличия: •План здания и расположением шахт •Общий план инженерных систем Необходимо определить: •Количество, расположение и размер помещения ЦОД •Количество, расположение и размер помещений коммутационных помещений •Количество и расположение отдельно расположенных коммутационных шкафов •Количество, расположение и размер шахт и их назначение •Количество, расположение и размер технических помещений Структурированная Кабельная Система (СКС) При проектировании СКС здания или дата центра необходимо руководствоваться, но не ограничиваться требованиями общих стандартов TIA-EIA-569-A и TIA-942, а также стандартами СКС: •EIA/TIA-568С Commercial Building Telecommunications Wiring Standard – американский стандарт; •ISO/IEC IS 11801—2002 Information Technology. Generic cabling for customer premises – международный стандарт; •CENELEC EN 50173 Information Technology. Generic cabling systems – европейский стандарт. Структурированная Кабельная Система (СКС) представляет из себя набор пассивных компонентов компьютерной сети. В качестве элементов СКС можно выделить следующие: •Коммуникационные шкафы •Патч-панели – Панели для терминирования кабеля в шкафах •Кабель •Кабельные органайзеры •Кабелеводы, короба для прокладки кабеля •Модули и розетки рабочих точек •Коннекторы (RJ-45) кабеля, в случае прямого включения устройств, таких, например, как IP камеры •Пач-корды для подключения рабочих точек и розеток, активного оборудования и патч-панелей или активного оборудования между собой Условно СКС можно разделить на две составляющие: •вертикальная – обеспечивает коммуникацию между этажами, отдельными объектами, центрами распределения, коммуникационными стойками и шкафами. •горизонтальная – обеспечивает коммуникацию рабочих точек. Горизонтальная составляющая СКС включает в себя: •Центры распределения – узлы агрегирования кабеля. •Рабочие точки – места подключения конечного оборудования. Рабочие точки могут представлять из себя набор розеток для подключения конечного оборудования. Например, одна рабочая точка может включать в себя одну розетку ИБП и одну розетку RJ-45. По возможности всегда обеспечивайте избыточность рабочих точек, как правило порядка 30 процентов и более. Гораздо проще и дешевле обеспечить их прокладку сейчас, чем после введения здания в эксплуатацию. Как правило в качестве основной среды передачи данных для вертикальной составляющей используется оптический кабель, а для горизонтальной составляющей – «витая пара». Кабель «витая пара» представляет из себя проводники скрученные попарно и между собой и различается по категориям, определяющим в основном полосу пропускания сигнала и как следствие скорость передачи данных. На данный момент является основным средством (средой) для построения СКС организации. В таблице представлены основные типы кабеля «витая пара» Кроме этого кабель «витая пара» различается по категориям в соответствии с характеристиками. Таблица основных значений различных категорий указан в таблице ниже. В качестве разъема «витой пары» используется RJ-45 (8P8C) – восьми-контактный компьютерный разъем как наиболее распространённый. В качестве разъема оптического кабеля используется LC. Наиболее часто используемый кабель на данный момент Cat6, который заменил Cat5e, в виду относительно низкой стоимость. Помимо кабеля «витая пара» в ряде случаев может использоваться оптический или коаксиальный кабель, или беспроводные соединения. Необходимо соблюдать ограничения среды передачи и протоколов связи: •витая пара – 100 м (между активными устройствами) •коаксиальный кабель – до 500 м •оптический мультимодовый кабель – до 500 м •оптический одномодовый кабель – до 10 км •беспроводная среда (ненаправленная антенна при условии прямой видимости) – до 300 м Относительно скорости передачи данных по СКС можно придерживаться: Для базовых решений: •От компьютера к коммутатору доступа – 100 Мбит/сек •От коммутатора доступа к ядру – 1000 Мбит/сек Для продвинутых решений: •От компьютера к коммутатору доступа – 1 Гбит/сек •От коммутатора доступа к ядру – 10 Гбит/сек При ведении проекта необходимо наличия: •План здания и расположением шахт •План помещений здания •Дизайнерский план помещений (для определения рабочих точек) •Детальные план инженерных систем Необходимо определить: •Количество и расположение шкафов в помещении ЦОД •Количество и расположение шкафов в коммутационных помещений •Количество, расположение и размер отдельно расположенных коммутационных шкафов •Количество, расположение и размер шахт и их назначение •Количество, расположение и размер технических помещений •Количество, расположение и тип рабочих точек Для обеспечения мониторинга СКС на физическом уровне (правильность подключения, отслеживание состояния и т п) может применятся специализированное решение (например, AMP TRAC). В этом случае стоимость построения СКС может вырасти на 30%. Система Основного Электропитания ЦОДы можно разделить по плотности энергопотребления стоек. Так для примера: Плотность стойки для разных этапов вычисляется по-разному: •для этапа проектирования определяется как максимальная (пиковая) нагрузка в кВт на стойку, а плотность серверного зала является средней пиковой плотностью на стойку по всему серверному залу. •для этапа эксплуатации определяется как измеряемая средняя нагрузка в кВт на стойку, а плотность серверного зала является средней плотностью на стойку по всему серверному залу. Некоторое активное ИТ оборудование может потребовать отдельные линии питания. Так коммутаторы ядра или шасси «лезвий» может потребовать источники электропитания от четырех до тридцати кВт. Система Резервного / Аварийного Электропитания Система резервного электроснабжения используется при выходе из строя или отключения основной линии электропитания. Системы аварийного электроснабжения подразумевают включение на случай аварии или выхода из строя основного и резервного источников питания. В общем случае, генераторы можно принять как систему резервного и аварийного электропитания. Система Бесперебойного Электропитания ИБП – Источник Бесперебойного Питания, обеспечивает защиту настольного компьютера, сервера и прочего активного ИТ оборудования от кратковременных сбоев в электроснабжении или на момент переключения с основного электропитания на резервный. Может иметь полное или частичное резервирование. При определённых условиях может является долгосрочной резервной системой бесперебойного электропитания, когда нет возможности установки дизель генератора. Схема установки и включения источника бесперебойного питания в ЦОД может иметь вид, представленный на диаграмме. В данной реализации, к каждой стойке подводится питание от центрального ИБП (синие линии), а также в каждой стойке локально установлены один или два ИБП в качестве резерва, которые питаются от городского питания. Данная схема достаточно распространена. Если организация следует рекомендациям стандартов и имеет достаточно средств, то желательно не устанавливать резервные ИБП в стойки. Схема бесперебойного электропитания активного оборудования стойки может иметь следующий вид. Каждое активное оборудование имеет два блока питания (1+1), подключенных к различным источникам бесперебойного питания. Для устройств, имеющих один блок питания можно использовать специализированное оборудование, показанное на схеме. К ним можно отнести Redundant Power Supply (RPS) или Automated Power Switch (APS). Система Основного Освещения Со стороны ИТ к системе основного освещения как правило не предъявляются дополнительные требования. Система Аварийного Освещения Со стороны ИТ к системе аварийного освещения обычно не предъявляются дополнительные требования. Основное требование, если оно не регламентируется контролирующими органами, обеспечение минимального освещения в случае аварии, пожара и т п. Возможно использование двух вариантов: •Отдельная линия с ИБП с переключением •Использование светильников с автономными источниками питания Второй вариант позволяет использовать аварийное совместно с основным. В нормальном режиме светильники питаются от основной линии и резервной линии, как и основное освещение. При сбоях или авариях, при отключении основного электропитания и полном обесточивании, аварийные светильники автоматически переходят на внутренние батареи. Недостатком данного решения может служить относительно высокая стоимость решения. Примеры комплексной системы электроснабжения Комплексная система электроснабжения призвана обеспечить защиту оборудования от угроз, представленных на диаграмме. Диаграмма: угрозы электропитания Схема электроснабжения в комплексе, может включать в себя следующие компоненты и их возможные варианты включения: Схема включения вариант А – обеспечивает: •Стабилизацию напряжения потребителей (В) и (С), •Защиту входного напряжения автоматики генератора. •Аварийным или резервным электроснабжением потребителей (В) и (С) от генератора •Центральный ИБП обеспечен аварийным или резервным электроснабжением от генератора •Бесперебойным электропитанием потребителей (С) Схема включения вариант В – характеризуется: •Стабилизацию напряжения потребителей (А), (В) и (С), •Защита входного напряжения автоматики генератора. •Не обеспечивает аварийного или резервного электроснабжения от генератора потребителей (А). •Обеспечение аварийным или резервным электроснабжением от генератора потребителей (В) и (С). •Центральный ИБП обеспечен аварийным или резервным электроснабжением от генератора •Обеспечение потребителей (С) бесперебойным напряжением Схема включения вариант С – обладает следующими характеристиками: •Отсутствие стабилизации напряжения потребителей (А), •Обеспечение аварийным или резервным электроснабжением от генератора потребителей (А). •Отсутствие защиты входного напряжения автоматики генератора. •Обеспечение стабилизации напряжения потребителей (В) и (С), •Обеспечения аварийным или резервным электроснабжением от генератора потребителей (В) и (С). •Центральный ИБП обеспечен аварийным или резервным электроснабжением от генератора •Обеспечение потребителей (С) бесперебойным напряжением Выбор схемы электроснабжения зависит от требований и финансовых возможностей бизнеса. На схеме показаны участок сети после входного городского электропитания или трансформатора. Система Охлаждения и Вентиляции Системы охлаждения могут различаться по следующим характеристикам: •По типу (естественное охлаждение, классические, сплит, прецизионные или экзотические как «Адиабатическое» охлаждение) •По элементу охлаждения (газовые или водяные) •По конструктивным особенностям (напольные, потолочные, настенные) •По направлению воздушного потока (наддув под фальшпол, прямого надува и т п) При проектировании систем охлаждения необходимо определиться со схемой размещения стоек с активным оборудованием, схемой организации охлаждения и воздушных потоков. В качестве схем охлаждения могут рассматриваться следующие: •Охлаждение всего помещения •Схема «Горячего» коридора •Схема «Холодного» коридора •Охлаждение стоек Система охлаждения должна рассчитываться на полную мощность активного оборудования ЦОД. Кроме того, крайне важно иметь резервирование компонентов (N+1, N+M или N+N). Так для примера, при размещении в ЦОД четырех стоек с рабочей нагрузкой порядка 3 кВт на стойку, что составляет порядка 10 кВт максимальной нагрузки, потребует мощность системы охлаждения порядка 40 кВт. При расчете тепловыделения можно использовать следующие приближенные формулы и особенности использования активного оборудования: •Мощность резервного блока питания не учитывается •Мощность тепловыделения устройства принимается как мощность блока питания •Рабочая мощность тепловыделения устройства принимается как 20—30% мощности блока питания •Для высоко нагруженных систем можно принимать как 60% мощности блока питания •Рабочая мощность тепловыделения ИБП принимается как 15% от мощности ИБП (имеется сложная и точная схема расчета) |