Опыт разработки концепции цод в городе Астана
 Скачать 2.64 Mb.
|
|
Опыт разработки концепции ЦОД в городе Астана Этапы разработки концепции: Этап 1 Подготовка к подбору площадок для размещения ЦОД Этап 2 Подбор площадок для размещения ЦОД Этап 3 Разработка технической концепции ЦОД как инженерного объекта • Формализация методологии проведения обследования и экспертизы и плана работ и их согласование с Заказчиком; • Определение и согласование последовательности действий при формировании требований к ЦОД и площадке, поиску, подбору и обследованию площадок, определение перечня запрашиваемых документов у владельцев потенциальных площадок; • Определение и согласование формата экспертного заключения, его состава и параметров оценки найденных площадок. Этап 1. Подготовка к подбору площадок Запрос информации о наличии площадок, удовлетворяющих требованиям разработанной методологии в Акимате города Астана. Привлечение риэлтерских агентств г. Астана к поиску площадок, удовлетворяющих требованиям разработанной методологии. Консультации с представителями Генплана о наличии перспективных площадок на территории г. Астана; Консультации с представителями АстанаЭнерго о наличии свободных мощностей в выбранных районах и перспективного развития электрических сетей. Консультации с представителями инженерных инфраструктур города Астана о наличии существующих сетей и развитии сетей в выбранных районах. Этап 1. Подготовка к подбору площадок • Отбор площадок и существующих строений; • Сбор документации и материалов по площадкам / строениям; • Визуальный осмотр отобранных площадок; • Предварительная оценка рисков при реальной возможности строительства ЦОД или реконструкции существующих строений. • Анализ предварительно отобранных площадок / строений и подготовка экспертного заключения. Этап 2. Подбор площадок для размещения ЦОД Этап 2. Выбор площадок. Вновь разрабатываемые. Участки от 0,5 до 1 гектара. Перспективные районы развития. Разрабатываемая новая инфраструктура. Возможность проектирования объекта по рекомендациям стандартов TIA 942, Uptime и требованиям ГОСТ и СНиП РК. Возможность капитального строительства или легко возводимых конструкций. Этап 2. Выбор площадок. Промышленные здания. Существующие капитальные строения. Существующая инженерная инфраструктура. Крупногабаритные проемы и большие расстояния между колонн и несущих конструкций. Возможность установки вспомогательного оборудования под крышу. Готовые подъездные пути. Этап 2. Выбор площадок. Легкие строения и ангары. Участки от 0,5 до 1 гектара. Перспективные районы развития. Возможность проектирования объекта по рекомендациям стандартов TIA 942, Uptime и требованиям ГОСТ и СНиП РК. Крупногабаритные проемы и большие расстояния между колонн и несущих конструкций. Возможность установки вспомогательного оборудования под крышу. Готовые подъездные пути. Этап 2. Возможные риски. 1. Выбор площадки. • Увеличение стоимости на момент решения о покупке. • Отсутствие площадки на момент решения о покупке. • Отсутствие полного пакета документов на предлагаемый участок. • Изменение собственников соседних участков. 2. Инженерные изыскания. • Изменение геологии района. Некорректное проведение исследований. • Наличие неучтенных (неотраженных) инженерных коммуникаций. • Запрет на прокладку инженерных коммуникаций до участка. • Отказ о выдаче технических условий на подключение к инженерным коммуникациям. Этап 3. Разработка технической концепции • Выбор и обоснование типа ЦОД. • Выбор, анализ и обоснование концептуальных технических решений для инженерно-технических систем ЦОД. • Разработка планировочных решений будущего ЦОД. • Подготовка оценки бюджета строительства и эксплуатации ЦОД, расчет совокупной стоимости владения ЦОД. • Количество стоек: 150 серверных стоек и 15 пассивных; • Уровень надежности Uptime Institute: не ниже Tier III. • Масштабируемость: три этапа по 50 активных стоек. • Требуемые площади под вспомогательные помещения: не менее 400 кв. м. • Среднее энергопотребление ИТ-оборудования: 7 кВт на стойку. • Максимальное полное энергопотребление ЦОД: не более 1800 кВт. • Энергоэффективность ЦОД: PUE не выше 1,55. Техническая концепция: Требования к ЦОД Уровень ЦОД Параметр Tier I Tier II Tier III Tier IV Активные системы поддержки IT N N+1 N+1 N после любого отказа Каналы коммуникаций 1 1 1 рабочий и 1 резервный 2 рабочих Одновременное обслуживание Нет Нет Да Да Отказоустойчивость Нет Нет Нет Да Физическое разделение основного и резервного Нет Нет Нет Да Непрерывное охлаждение Нет Нет Нет Да Техническая концепция: Требования надежности • Стальной каркас здания, создается из жестких поперечных рам. Колоны из стали в поперечном сечении изготовлены из различных прокатных профилей, уголков, швеллеров, стальных листов. Возможно использовать как болтовые соединения, так и электросварку. • Машинные залы также предполагается изготовить из легковозводимых металлоконструкций, обшитых сэндвич-панелями, по технологии «здание в здании». Тип ЦОД: капитальное строительство Тип ЦОД: модульный/контейнерный Преимущества: • Сроки установки; • Заводское качество сборки; • Отсутствие капитального строительства; • Мобильность Недостатки: • Негабаритная логистика; • Стесненные условия; • Сложность зимней эксплуатации; • Более высокая стоимость. Выбор решений: Перечень инженерных систем ЦОД • Система электроснабжения и электроосвещения: Система общего электроснабжения; Системы гарантированного и бесперебойного энергоснабжения; Система наружного освещения. • Системы кондиционирования и вентиляции: Система технологического кондиционирования; Система противодымной вентиляции; Система комфортного кондиционирования; Система общеобменной и технологической приточно-вытяжной вентиляции; Система фальшполов. • Системы безопасности: Система автоматического газового пожаротушения и пожарной сигнализации; Система водяного пожаротушения и противопожарного водопровода; Система голосового оповещения о пожаре; Охранно-тревожная сигнализация; Система контроля и управления доступом и охраны внешнего периметра; Система телевизионного видеонаблюдения. • Вспомогательные системы: Система отопления и теплоснабжения; Система горячего и холодного водоснабжения; Система бытовой и ливневой канализации; Система диспетчеризации и мониторинга инженерных систем. • Системы связи: Система СКС и ЛВС. DX-охлаждение CW-охлаждение GE-охлаждение Система служит для поддержания параметров температуры и влажности воздуха, требуемых размещаемой в ЦОД вычислительной техникой. • DX-охлаждение – происходит при помощи компрессора и испарителя прямого действия с выносным конденсатором, устанавливаемым на улице. • CW-охлаждение – внутренние блоки работают на жидком хладоносителе, охлаждаемом в чиллере уличной установки. Зимой компрессоры не работают. • GE-охлаждение – аналог CW, но у каждого внутреннего блока собственная градирня. Не требуется резервирование трубных коллекторов. Резервирование на уровне машин. Выбор решений: Система кондиционирования. Технологии • Каждый из 3 машинных залов будет оснащаться автономной системой кондиционирования, состоящий из 5 гибридных кондиционеров мощностью 96,5 кВт, работающих по схеме N+1, с резервом не менее 10%. • Помещение ИБП каждого машинного зала будет оснащено двумя гибридными шкафными кондиционерами мощностью 50 кВт, работающих по схеме 1+1 (резерв 100%). Наименование Фреоновая система, долл. США Чиллерная система, долл. США Гибридная система, долл. США CAPEX* 1 300 000,00 2 200 000,00 1 800 000,00 OPEX** 300 000,00 200 000,00 200 000,00 ТСО 1 год 1 600 000,00 2 400 000,00 2 000 000,00 ТСО 5 лет 2 800 000,00 3 200 000,00 2 800 000,00 ТСО 6 лет 3 100 000,00 3 400 000,00 3 000 000,00 ТСО 10 лет 4 300 000,00 4 200 000,00 3 800 000,00 Выбор решений: Система кондиционирования. ТСО V S ИБП + ДГУ ДИБП Системы гарантированного и бесперебойного энергоснабжения необходимы для поддержания требуемых вычислительной техникой, размещаемой в ЦОД, качественных параметров электроэнергии и уровня надежности. • ИБП поддерживает бесперебойное энергоснабжение оборудования без разрыва синусоиды в течении 15 минут (в зависимости от объема батарей). • ДГУ обеспечивает резервирование городских вводов в случае их пропадания на срок до 12 и более часов. Подключение ДГУ происходит с перерывом питания. • ДИБП совмещает в себе синхронный генератор, использующий кинетическую энергию маховика, при пропадании входного напряжения до 2 минут и дизельную электростанцию, которые позволяют продолжить электроснабжение потребителей при пропадании входного напряжения на срок от 2 минут и более. Выбор решений: Система энергоснабжения. Технологии Выбрана схема со 100% резервированием. Сбои отдельных единиц оборудования или перебои в работе резервного канала не окажут влияния на работу ЦОД. Каждый элемент, необходимый для поддержки ИТ-процесса, может быть отключен и отремонтирован без влияния на работу дата-центра. Выбор решений: Система энергоснабжения. Схема Наименование ИБП + ДГУ, долл. США ДИБП, долл. США CAPEX* 3 800 000,00 4 000 000,00 OPEX** ежегодно 50 000,00 100 000,00 Доп. ОРЕХ** 7 год 600 000,00 350 000,00 ТСО 1 год 3 850 000,00 4 450 000,00 ТСО 5 лет 4 050 000,00 4 500 000,00 ТСО 10 лет 4 900 000,00 5 350 000,00 • В качестве СБЭ выбраны 6 источников бесперебойного питания, единичной мощностью 400 кВА с комплектом аккумуляторных батарей на 15 минут автономной работы. • В качестве СБЭ выбраны 2 автономные дизельные электростанции уличного исполнения, единичной мощностью 2450 кВА. Выбор решений: Система энергоснабжения. ТСО Планировочные решения: Генеральный план Площадь участка – 0,43 га Включает: • Здание ЦОД, включая АБК; • КПП; • Парковку; • Периметр безопасности; • Зоны технологического оборудования Характеристики ЦОД: • ЦОД размещен в ангаре 1190 кв. м.; • Три машинных зала по 50 активных и 3 телекоммуникационных стоек; • У каждого зала собственная аккумуляторная и коммутационная (до 2 стоек); • Все технологических помещений расположены в ангаре в двухэтажной зоне; • Внешние блоки системы кондиционирования – по фасаду здания; • Рядом со зданием расположено два ДГУ. 1-й этаж офисной части Планировочные решения: План здания ТП Внешние блоки кондиционеров Планировочные решения: План машинного зала Планировочные решения: 3D-модель / разрез Планировочные решения: 3D-модель / фасад Статья расхода электроэнергии Мощность, кВт Примечание Потребление IT-системы 1050 150 стоек по 7 кВт Потери на ИБП 52 КПД 95% Потери в электрораспределительной сети 16 экспертно 1% Среднее потребление системы кондиционирования 289 п.7.1.4.2 Концепции Потребление остальных инженерных систем 30 экспертно ИТОГО среднее (максимальное) потребление: 1437 Расчет общего энергопотребления ЦОД: PUE =1437/1050 = 1,37 Расчёт PUE № № Название системы Покупка участка у собственника, 0,5 га, долл. США, вкл. НДС 12%* Покупка здания, 1 га, долл. США, вкл. НДС 12%* Получение участка в акимате, 0,5 га, долл. США, вкл. НДС 12%* 1 Проектирование 1 000 000,00 1 700 000,00 900 000,00 2 Покупка земли 3 Предпроектные изыскания 4 Строительство ангара (1000 кв. м.) 5 Строительство АБК (600 кв. м.) 6 Строительство машинных залов (540 кв. м.) 400 000,00 400 000,00 500 000,00 7 Благоустройство участка 8 Получение и реализация Технических Условий 1 500 000,00 1 300 000,00 1 500 000,00 ИТОГО: 2 900 000,00 3 400 000,00 2 900 000,00 минус 3-4 месяца Затраты на покупку участка и кап.строй Затраты на создание инженерных систем. №№ Название системы Стоимость, долл. США, вкл. НДС 12% 1 Системы вентиляции и кондиционирования ЦОД и АБК 2 300 000,00 2 Система электроснабжения ЦОД и АБК 4 400 000,00 3 Системы пожаротушения ЦОД и АБК 600 000,00 4 Система безопасности ЦОД и АБК 400 000,00 5 Вспомогательные системы ЦОД и АБК 300 000,00 6 Система СКС 1 000 000,00 7 Система диспетчеризации и мониторинга инженерных систем 500 000,00 ИТОГО: 9 500 000,00 Статья расходов Ежегодные затраты, долл. США, вкл. НДС 12% Примечания Фонд оплаты труда 250 000,00 П. 8.4.3 Концепции Обучение 5% ФОТ, экспертно Профилактические и аварийные ремонты 900 000,00 Экспертно П. 8.3 Концепции Сервисные подрядчики Электроэнергия 200 000,00 Экспертно Хозяйственные расходы Экспертно ИТОГО: 1 300 000,00 Операционные расходы ЦОД. CAPEX, долл. США, не вкл. НДС OPEX, долл. США, не вкл. НДС TCO, долл. США, не вкл. НДС TCO/стойку, долл. США, не вкл. НДС 1 год 11 070 000,00 1 160 000,00 12 230 000,00 81 533,00 2 год 1 160 000,00 13 390 000,00 89 267,00 3 год 1 160 000,00 14 550 000,00 97 000,00 4 год 1 160 000,00 15 710 000,00 104 733,00 5 год 1 160 000,00 16 870 000,00 112 467,00 6 год 1 160 000,00 18 030 000,00 120 200,00 7 год 1 700 000,00 * 19 730 000,00 131 533,00 8 год 1 160 000,00 20 890 000,00 139 267,00 9 год 1 160 000,00 22 050 000,00 147 000,00 10 год 1 160 000,00 23 210 000,00 154 733,00 * Проведение планового профилактического ремонта Расчет совокупной стоимости владения ЦОД. |