Технологии. Проектирование инфраструктуры и реализация распределенного информационновычислительного кластера на базе персональных компьютеров
 Скачать 0.59 Mb.
|
|
Министерство образования и науки Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ» Институт Кибернетики Направление подготовки 09.04.01 Информатика и вычислительная техника Кафедра Информационных систем и технологий МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ Тема работы Проектирование инфраструктуры и реализация распределенного информационно-вычислительного кластера на базе персональных компьютеров УДК 004.75.032.24:004.382.7 Студент Группа ФИО Подпись Дата 8ВМ5Б Скопченко А. Руководитель Должность ФИО Ученая степень, звание Подпись Дата Доцент Ботыгин И.А к.т.н. КОНСУЛЬТАНТЫ: По разделу «Финансовый менеджмент, ресурсоэффективность и ресурсосбережение» Должность ФИО Ученая степень, звание Подпись Дата Доцент Конотопский В.Ю. к.э.н. По разделу «Социальная ответственность» Должность ФИО Ученая степень, звание Подпись Дата Ассистент Акулов П.А. ДОПУСТИТЬ К ЗАЩИТЕ: Зав. кафедрой ФИО Ученая степень, звание Подпись Дата ИСТ Мальчуков А.Н. к.т.н. Томск – 2017 г. ПЛАНИРУЕМЫЕ РЕЗУЛЬТАТЫ ОБУЧЕНИЯ ПО ООП Код результатов Результат обучения (выпускник должен быть готов) Общепрофессиональные компетенции Р1 Воспринимать и самостоятельно приобретать, развивать и применять математические, естественнонаучные, социально-экономические и профессиональные знания для решения нестандартных задач, в том числе в новой или незнакомой среде и в междисциплинарном контексте. Р2 Владеть и применять методы и средства получения, хранения, переработки и трансляции информации посредством современных компьютерных технологий, в том числе в глобальных компьютерных сетях. Р3 Демонстрировать культуру мышления, способность выстраивать логику рассуждений и высказываний, основанных на интерпретации данных, интегрированных из разных областей науки и техники, выносить суждения на основании неполных данных, анализировать профессиональную информацию, выделять в ней главное, структурировать, оформлять и представлять в виде аналитических обзоров с обоснованными выводами и рекомендациями. Р4 Анализировать и оценивать уровни своих компетенций в сочетании со способностью и готовностью к саморегулированию дальнейшего образования и профессиональной мобильности. Владеть, по крайней мере, одним из иностранных языков на уровне социального и профессионального общения, применять специальную лексику и профессиональную терминологию языка. Профессиональные компетенции Р5 Выполнять инновационные инженерные проекты по разработке аппаратных и программных средств автоматизированных систем различного назначения с использованием современных методов проектирования, систем автоматизированного проектирования, передового опыта разработки конкурентно способных изделий. Р6 Планировать и проводить теоретические и экспериментальные исследования в области проектирования аппаратных и программных средств автоматизированных систем с использованием новейших достижений науки и техники, передового отечественного и зарубежного опыта. Критически оценивать полученные данные и делать выводы. Р7 Осуществлять авторское сопровождение процессов проектирования, внедрения и эксплуатации аппаратных и программных средств автоматизированных систем различного назначения. Общекультурные компетенции Р8 Использовать на практике умения и навыки в организации исследовательских, проектных работ и профессиональной эксплуатации современного оборудования и приборов, в управлении коллективом. Р9 Осуществлять коммуникации в профессиональной среде и в обществе в целом, активно владеть иностранным языком, разрабатывать документацию, презентовать и защищать результаты инновационной инженерной деятельности, в том числе на иностранном языке. Р10 Совершенствовать и развивать свой интеллектуальный и общекультурный уровень. Проявлять инициативу, в том числе в ситуациях риска, брать на себя всю полноту ответственности. Р11 Демонстрировать способность к самостоятельному обучению новым методам исследования, к изменению научного и научно-производственного 3 Код результатов Результат обучения (выпускник должен быть готов) профиля своей профессиональной деятельности, способность самостоятельно приобретать с помощью информационных технологий и использовать в практической деятельности новые знания и умения, в том числе в новых областях знаний, непосредственно не связанных со сферой деятельности, способность к педагогической деятельности. 4 Министерство образования и науки Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ» Институт кибернетики Направление подготовки 09.04.01 Информатика и вычислительная техника Кафедра Информационных систем и технологий УТВЕРЖДАЮ: Зав. Кафедрой _____ _______ ____________ (Подпись) (Дата) (Ф.И.О.) ЗАДАНИЕ на выполнение выпускной квалификационной работы В форме: Магистерской диссертации (бакалаврской работы, дипломного проекта/работы, магистерской диссертации) Студенту: Группа ФИО 8ВМ5Б Скопченко Антон Тема работы: Проектирование инфраструктуры и реализация распределенного информационно- вычислительного кластера на базе персональных компьютеров. Утверждена приказом директора (дата, номер) Срок сдачи студентом выполненной работы: ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Исходные данные к работе (наименование объекта исследования или проектирования; производительность или нагрузка; режим работы (непрерывный, периодический, циклический и т. д.); вид сырья или материал изделия; требования к продукту, изделию или процессу; особые требования к особенностям функционирования (эксплуатации) объекта или изделия в плане безопасности эксплуатации, влияния на окружающую среду, энергозатратам; экономический анализ и т. д.). Язык программирования: Java и комплект разработчика: Java Development Kit 8. Среда разработки: NetBeans IDE 8.2. 5 Перечень подлежащих исследованию, проектированию и разработке вопросов (аналитический обзор по литературным источникам с целью выяснения достижений мировой науки техники в рассматриваемой области; постановка задачи исследования, проектирования, конструирования; содержание процедуры исследования, проектирования, конструирования; обсуждение результатов выполненной работы; наименование дополнительных разделов, подлежащих разработке; заключение по работе). 1. Аналитический обзор программного обеспечения для организации распределенных вычислительных систем. 2. Тестирование производительности кластера. 3. Разработка функциональной структуры распределенной вычислительной системы. 4. Разработка модулей и алгоритмов распределенной вычислительной системы. 5. Организация распределенного файлового хранилища данных на кластере из персональных компьютеров. 6. Технологическая схема реализации и использования информационно- вычислительного кластера на базе персональных компьютеров. 7. Обсуждение результатов выполненной работы. 8. Финансовый менеджмент, ресурсоэффективность и ресурсосбережение. 9. Социальная ответственность. Перечень графического материала (с точным указанием обязательных чертежей) 1. Схема передачи файла в кластер. 2. Схема возврата файла агенту. 3. Архитектура информационно- вычислительного кластера 4. Схема коммуникаций в распределенной вычислительной системе. 5. Архитектура BOINC. Консультанты по разделам выпускной квалификационной работы Раздел Консультант Финансовый менеджмент, ресурсоэффективность и ресурсосбережение Доцент Конотопский В.Ю. Социальная ответственность Ассистент Акулов П.А. Раздел на иностранном языке Старший преподаватель Кудряшова А.В. Названия разделов, которые должны быть написаны на русском и иностранном языках: Исследование эффективности информационно-вычислительного кластера на базе персональных компьютеров. Разработка архитектуры распределенной вычислительной 6 системы на базе персональных компьютеров. Дата выдачи задания на выполнение выпускной квалификационной работы по линейному графику Задание выдал руководитель: Должность ФИО Ученая степень, звание Подпись Дата Доцент Ботыгин И.А. к.т.н. Задание принял к исполнению студент: Группа ФИО Подпись Дата 8ВМ5Б Скопченко Антон 11 Реферат Выпускная квалификационная работа содержит 111 с., 49 рис., 28 табл Ключевые слова: Распределенные вычислительные системы, GRID- системы, параллельные вычисления, кластерные вычислительные системы, сетевое администрирование, распределенное хранение данных. Объект исследования: распределенные вычислительные системы и технологии. Цель работы: разработка программного инструментария для формирования информационно-вычислительных кластеров на базе персональных компьютеров. В процессе исследования проводились работы по анализу программного обеспечения для организации распределенных вычислительных систем, тестированию производительности кластера, разработки функциональной структуры распределенной вычислительной системы и технологической схема реализации и использования информационно-вычислительного кластера на базе персональных компьютеров. В результате исследования была сформирована концепция распределенного вычислительного кластера на базе персональных компьютеров, спроектирована архитектура гетерогенной распределенной информационно-вычислительной системы на базе персональных компьютеров, разработано программное обеспечение всех основных компонентов вычислительного кластера. Для иллюстрации функциональных возможностей спроектированного информационно-вычислительного кластера на его инфраструктуре было развернуто распределенное хранилище данных. Основные конструктивные, технологические и технико-эксплуатационные характеристики: платформонезависимость, горизонтальная масштабируемость. Степень внедрения: находится в опытной эксплуатации. 12 Область применения: Корпорации с целью динамического создания конфигурации распределенных информационно-вычислительных кластеров для решения различных вычислительно-емких задач, не требующих работы в режиме реального времени или распределенного хранения больших данных. Экономическая эффективность проекта обусловлена необходимостью ускорить расчеты вычислительно емких задач, не требующих обработки в режиме реального времени. Конечная система позволит на основе имеющихся персональных компьютерах, развернуть распределенный информационно- вычислительный кластер, что позволит без особых затрат получить необходимую вычислительную мощь, не арендую при этом суперкомпьютер. Использование подобной системы в научной сфере, позволит повысить эффективность исследований, так как пользователю будет требоваться меньше времени на ожидание результата. Подводя итог вышесказанному, отметим, что экономический эффект от реализации проекта, может быть выражен в отказе от затрат на аренду или покупку мощных суперкомпьютеров, повышении оперативности вычислений. В будущем планируется улучшить протокол взаимодействия основных компонентов информационно-вычислительного кластера за счет использования коммуникационного сервера с целью обеспечения подключения любых компьютеров, имеющих выход в интернет. 13 Определения Распределенные вычислительные системы – это системы, состоящие из физических компьютеров или программных средств, реализующих параллельную обработку на множестве вычислительных узлов. GRID системы – это вид распределенных вычислений, в котором суперкомпьютер представлен в виде кластера. В данной системе все узлы соединены с помощью сети слабосвязных гетерогенных связей, узлы которого работают вместе над выполнением различных заданий. Кластер – это некоторое количество компьютеров, которые объединены высокоскоростными каналами связи. Ethernet – семейство технологий пакетной передачи данных для компьютерных сетей. TCP/IP – набор сетевых протоколов передачи данных, используемые в сетях. Поток данных – абстракция, используемая для чтения или записи файлов, сокетов и др. Параллельные вычисления – организация компьютерных вычислений, в которых при разработке программ учитывается, что программы должны работать как набор взаимодействующих вычислительных процессов работающих параллельно. Узел – аппаратное устройство в РВС. P2P – (англ. Peer-to-peer) – одноранговая сеть, основанная на равноправие участников. MapReduce – это модель распределенных вычислений от компании Google. Используется для параллельных вычислений при работе над очень большими данными в компьютерных кластерах. Суперкомпьютер - вычислительная машина, которая значительно превосходит по своим техническим параметрам большинство существующих компьютеров [15]. 14 Обозначения и сокращения ОС – Операционная система. ЦП - Центральный процессор. ПО – Программное обеспечение. БД – База данных. ООП – Объектно-ориентированное программирование TCP (англ. Transmission control protocol) – Протокол управления передачей. IP (англ. Internet Protocol) – Межсетевой протокол. Поток – Поток данных. РВС – Распределенная вычислительная система. НИИ – Научно исследовательский институт. P2P (англ. Peer-to-peer) – одноранговая сеть. ЦОД – Центр Обработки Данных. 15 Оглавление Введение ..................................................................................................................... 18 1. Обзор и анализ программного обеспечения для организации распределенных вычислительных систем. ............................................................. 21 1.1. Фреймворк Apache Hadoop .......................................................................... 23 1.2. Программная платформа BOINC ................................................................. 30 1.3. Программное обеспечение HTCondor ......................................................... 33 1.4. Инструментарий Globus Toolkit ................................................................... 35 1.5. Платформа Unicore ........................................................................................ 36 2. Исследование эффективности информационно-вычислительного кластера на базе персональных компьютеров ............................................................................ 40 3. Разработка архитектуры распределенной вычислительной системы на базе персональных компьютеров ..................................................................................... 45 3.1. Основные компоненты распределенной вычислительной системы на базе ПК 45 3.2. Модули распределенной вычислительной системы .................................. 46 3.2.1. Модуль сбора информации ...................................................................... 47 3.2.2. Модуль сохранения собранной информации, ....................................... 47 3.2.3. Модуль разбиения и сборки файлов, ...................................................... 47 3.2.4. Модуль тестирования ............................................................................... 48 3.2.5. Модуль получения и отправки данных ................................................... 48 3.2.6. Модуль взаимодействия ........................................................................... 49 3.3. Схема основных взаимодействий в распределённом вычислительном кластере ................................................................................................................... 50 3.4. Организация распределенного файлового хранилища данных ............... 52 4. Технологическая схема реализации и использования информационно- вычислительного кластера на базе персональных компьютеров ......................... 56 5. Финансовый менеджмент, ресурсоэффективность и ресурсосбережение .... 65 5.1. Организация и планирование работ ............................................................ 65 5.1.1. Продолжительность этапов работ ........................................................... 66 16 5.1.2. Расчет нарастания технической готовности работ ................................ 69 5.2. Расчет сметы затрат на разработку ПО и проведение эксперимента ...... 71 5.2.1. Расчет затрат на материалы ..................................................................... 71 5.2.2. Расчет основной заработной платы ......................................................... 71 5.2.3. Расчет отчислений от заработной платы ................................................ 72 5.2.4. Расчет затрат на электроэнергию ............................................................ 73 5.2.5. Расчет амортизационных расходов ......................................................... 73 5.2.6. Расчет прочих расходов ............................................................................ 74 5.2.7. Расчет общей себестоимости разработки ............................................... 74 5.2.8. Прибыль ..................................................................................................... 75 5.2.9. НДС ............................................................................................................. 75 5.2.10. Цена разработки НИР ........................................................................... 75 5.3. Оценка экономической эффективности проекта ....................................... 75 5.4. Оценка научно-технического уровня НИР ................................................. 76 6. Социальная ответственность .............................................................................. 79 6.1. Введение ......................................................................................................... 79 6.2. Производственная безопасность ................................................................. 79 6.2.1. Вредные производственные факторы ..................................................... 80 6.2.1.1. Микроклимат рабочей среды ............................................................... 80 6.2.1.2. Недостаточная освещенность рабочей зоны ...................................... 82 6.2.2. Опасные производственные факторы ..................................................... 83 6.2.2.1. Опасность поражения электрическим током ..................................... 83 6.2.2.2. Опасность возникновения пожара ...................................................... 84 6.2.3. Мероприятия и рекомендации по устранению и минимизации .......... 84 6.3. Экологическая безопасность ........................................................................ 86 6.4. Безопасность в чрезвычайных ситуациях ................................................... 87 6.5. Правовые и организационные вопросы обеспечения безопасности ....... 89 6.5.1. Правовые нормы трудового законодательства для рабочей зоны пользователя персонального компьютера ........................................................ 89 6.5.2. Организационные мероприятия при компоновке рабочей зоны ......... 91 17 7. Заключение ........................................................................................................... 92 Список используемых источников .......................................................................... 93 ПРИЛОЖЕНИЕ А ..................................................................................................... 97 18 |