архитектура параллельных вычислений. АПВ УМКД+++. Учебнометодический комплекс дисциплины csse 43057 Паралелльные и облачные вычисления
 Скачать 1 Mb.
|
|
4. Краткая организационно-методическая характеристика дисциплины Планируется проведение текущего контроля в ходе аудиторных занятий, контроль качества выполнения СРС; два рубежных контроля в форме коллоквиума и тестирования; промежуточная аттестация в форме тестирования. Текущий контроль - 20% Контроль СРСП И СРС - 20% Рубежный контроль: Коллоквиум -10% Тестирование - 10% Текущий и рубежные контроли не менее - 60% Итоговый контроль не менее- - 30% Политика и процедуры курса Вписываются конкретные требования, которые преподаватель выдвигает к обучающимся при изучении данной учебной дисциплины Система оценки результатов учебных достижений обучающихся Знания, умения и навыки студентов оцениваются по следующей системе
При заполнении данного раздела необходимо подробно расписывать требования, предъявляемые к каждой из оценок, чтобы обучающийся имел четкое представление о получаемой им оценке. Примерные критерии оценок представлены в таблице 1. Таблица 1
* В зависимости от содержания и форм контроля критерии могут быть дополнены. Учебно-методическая обеспеченность дисциплины
В перечень основной литературы включаются основные учебники и пособия (как правило, три - четыре наименования) по дисциплинам социально-гуманитарного профиля за последние 5 лет, по другим направлениям – за последние 10 лет. Дополнительная литература должна включать не более 10 наименований. Тезисы лекции Лекция №1 Классификация параллельных вычислительных систем Таксономия Флинна. Архитектура систем параллельных вычислений. Одиночный поток команд, множественный поток данных (SIMD). Множественный поток команд, множественный поток данных (MIMD). План лекции: Классификация параллель вычислительных систем Архитектура систем параллельных вычислений Множественный поток команд, множественный поток данных Параллельные вычислительные системы — это физические компьютерные, а также программные системы, реализующие тем или иным способом параллельную обработку данных на многих вычислительных узлах. Идея распараллеливания вычислений основана на том, что большинство задач может быть разделено на набор меньших задач, которые могут быть решены одновременно. Обычно параллельные вычисления требуют координации действий. Параллельные вычисления существуют в нескольких формах: параллелизм на уровне битов, параллелизм на уровне инструкций, параллелизм данных, параллелизм задач. Параллельные вычисления использовались много лет в основном в высокопроизводительных вычислениях, но в последнее время к ним возрос интерес вследствие существования физических ограничений на рост тактовой частоты процессоров. Параллельные вычисления стали доминирующей парадигмой в архитектуре компьютеров, в основном в форме многоядерных процессоров. Параллелизм на уровне битов: Эта форма параллелизма основана на увеличении размера машинного слова. Увеличение размера машинного слова уменьшает количество операций, необходимых процессору для выполнения действий над переменными, чей размер превышает размер машинного слова. Параллелизм на уровне инструкций: Компьютерная программа — это, по существу, поток инструкций, выполняемых процессором. Но можно изменить порядок этих инструкций, распределить их по группам, которые будут выполняться параллельно, без изменения результата работы всей программы. Параллелизм данных: Основная идея подхода, основанного на параллелизме данных, заключается в том, что одна операция выполняется сразу над всеми элементами массива данных. Различные фрагменты такого массива обрабатываются на векторном процессоре или на разных процессорах параллельной машины. Распределением данных между процессорами занимается программа. Векторизация или распараллеливание в этом случае чаще всего выполняется уже на этапе компиляции — перевода исходного текста программы в машинные команды. Роль программиста в этом случае обычно сводится к заданию настроек векторной или параллельной оптимизации компилятору, директив параллельной компиляции, использованию специализированных языков для параллельных вычислений. Параллелизм задач (многопоточность): Стиль программирования, основанный на параллелизме задач, подразумевает, что вычислительная задача разбивается на несколько относительно самостоятельных подзадач и каждый процессор загружается своей собственной подзадачей. Классификация параллельных вычислительных систем Общая классификация архитектур ЭВМ по признакам наличия параллелизма в потоках команд и данных. Была предложена в 70-е годы Майклом Флинном (Michael Flynn). Все разнообразие архитектур ЭВМ в этой таксономии Флинна сводится к четырем классам:  Расширенная классификация Флинна может быть представлена так: Машины SIMD представлены двумя подгруппами. В первую попадают многочисленные суперкомпьютеры и другие машины, которые оперируют векторами, выполняя одну и ту же операцию над каждым элементом вектора. Во вторую подгруппу попадают машины (типа ILLIAC IV), в которых главный блок управления посылает команды нескольким независимым АЛУ. Категория MIMD распалась на мультипроцессоры (машины с памятью совместного использования) и мультикомпьютеры (машины с передачей сообщений). Существует три типа мультипроцессоров, отличающихся друг от друга по способу реализации памяти совместного использования: o UMA (Uniform Memory Access) – архитектура с однородным доступом к памяти; o NUMA (NonUniform Memory Access) – архитектура с неоднородным доступом к памяти; o СОМА (Cache Only Memory Access) – архитектура с доступом только к кэш-памяти. В машинах UMА (еще одно название – симметричное мультипроцессирование, SMP) каждый процессор имеет одно и то же время доступа к любому модулю памяти. Т.е. каждое слово памяти можно считать с той же скоростью, что и любое другое слово памяти. Если это технически невозможно, самые быстрые обращения замедляются, чтобы соответствовать самым медленным. При этом программист не видит никакой разницы . Это и значит «однородный». Мультипроцессор NUMA не обладает свойством однородности. Обычно есть модули памяти, которые расположены близко к каждому процессору, и доступ к этим модулям происходит гораздо быстрее, чем к другим. С точки зрения производительности очень важно, куда помещаются программа и данные. Машины СОМА тоже с неоднородным доступом. Мультикомпьютеры не имеют памяти совместного использования на архитектурном уровне. При выполнении команды LOAD для доступа к «чужим» областям памяти работает не аппаратное обеспечение, а операционная система, которая отправляет сообщение и ждет ответа. Так как мультикомпьютеры не имеют прямого доступа к отдаленным модулям памяти, они иногда называются машинами NORMA (NO Remote Memory Access – без доступа к отдаленным модулям памяти). Мультикомпьютеры можно разделить на две категории: o МРР (Massively Parallel Processors) – процессоры с массовым параллелизмом или массивно параллельные системы. МРР состоит из однородных вычислительных узлов, включающих один или несколько центральных процессоров, локальную память (прямой доступ к памяти других узлов невозможен), коммуникационный процессор, специальные узлы ввода-вывода и управляющие узлы. Связь элементов реализуется на основе высокоскоростной коммуникационной сети. o NOW (Network of Workstations) – сеть рабочих станций и COW (Cluster of Workstattions) – кластер рабочих станций. Контрольные вопросы: Параллельные вычислительные системы? Параллелизм на уровне битов? Параллелизм данных? Параллелизм задач (многопоточность)? Классификация параллельных вычислительных систем? Литература: Кудин А.В., Линёв А.В., Архитектура и операционные системы параллельных вычислительных систем. Нижний Новогород, 2007. 73с. El-Rewini H. Abd-El-Barr M. Advanced Computer Architecture and Parallel Proccesing. Wiley-Interscience, 2005. Dubois M., Annavaram M., Stenstrom P. Parallel Computer Organization and Design, Cambridge University Press, UK, 2010. Xingfu Wu, Performance Evaluation, Prediction and Visualization of Parallel Systems, Springer Science & Business Media, 2012. 319 c. Сергеев С.Л., Архитектура вычислительных систем: учебник, БХВ- Петербург, 2010. 240с. Лекция №2 Сети межсоединений для мультипроцессорных систем. Системные конфигурации для мультипроцессорных систем. Динамические и статические схемы присоединения. Динамические взаимосвязи. План лекции: Сети межсоединений Динамические и статические схемы присоединения Основная причина сходства коммуникационных связей в мультипроцессоре и мультикомпьютере заключается в том, что в обоих случаях применяется передача сообщений. Даже в однопроцессорной машине, когда процессору нужно считать или записать слово, он устанавливает определенные линии на шине и ждет ответа. Это действие представляет собой то же самое, что и передача сообщений: инициатор посылает запрос и ждет ответа. В больших мультипроцессорах взаимодействие между процессорами и удаленной памятью почти всегда состоит в том, что процессор посылает в память сообщение, так называемый пакет, который запрашивает определенные данные, а память посылает процессору ответный пакет. Сети межсоединений могут состоять максимум из пяти компонентов: 1. Центральные процессоры. 2. Модули памяти. 3. Интерфейсы. 4. Каналы связи. 5. Коммутаторы. Процессоры и модули памяти мы уже рассматривали в этой книге и больше не будем к этому возвращаться. Интерфейсы -- это устройства, которые вводят и выводят сообщения из центральных процессоров и модулей памяти. Во многих разработках интерфейс представляет собой микросхему или плату, к которой подсоединяется локальная шина каждого процессора и которая может передавать сигналы процессору и локальной памяти (если таковая есть). Часто внутри интерфейса содержится программируемый процессор со своим собственным ПЗУ, которое принадлежит только этому процессору. Обычно интерфейс способен считывать и записывать информацию в различные модули памяти, что позволяет ему перемещать блоки данных. Каналы связи -- это каналы, по которым перемещаются биты. Каналы могут быть электрическими или оптико-волоконными, последовательными (шириной 1 бит) или параллельными (шириной более 1 бита). Каждый канал связи характеризуется максимальной пропускной способностью (это максимальное число битов, которое он способен передавать в секунду). Каналы могут быть симплексными (передавать биты только в одном направлении), полудуплексными (передавать информацию в обоих направлениях, но не одновременно) и дуплексными (передавать биты в обоих направлениях одновременно). Коммутаторы -- это устройства с несколькими входными и несколькими выходными портами. Когда на входной порт приходит пакет, некоторые биты в этом пакете используются для выбора выходного порта, в который посылается пакет. Размер пакета может составлять 2 или 4 байта, но может быть и значительно больше (например, 8 Кбайт). Сети межсоединений можно сравнить с улицами города. Улицы похожи на каналы связи. Каждая улица может быть с односторонним и двусторонним движением, она характеризуется определенной «скоростью передачи данных» (имеется в виду ограничение скорости движения) и имеет определенную ширину (число рядов). Перекрестки похожи на коммутаторы. На каждом перекрестке прибывающий пакет (пешеход или машина) выбирает, в какой выходной порт (улицу) поступить дальше в зависимости от того, каков конечный пункт назначения. При разработке и анализе сети межсоединений важно учитывать несколько ключевых моментов. Во-первых, это топология (то есть способ расположения компонентов). Во-вторых, это то, как работает система переключения и как осуществляется связь между ресурсами. В-третьих, какой алгоритм выбора маршрута используется для доставки сообщений в пункт назначения. Ниже мы рассмотрим каждый из этих пунктов. Топология сети межсоединений определяет, как расположены каналы связи и коммутаторы (это, например, может быть кольцо или решетка). Топологии можно изображать в виде графов, в которых дуги соответствуют каналам связи, а узлы -- коммутаторам (рис.4). С каждым узлом в сети (или в соответствующем графе) связан определенный ряд каналов связи. Математики называют число каналов степенью узла, инженеры -- коэффициентом разветвления. Чем больше степень, тем больше вариантов маршрута и тем выше отказоустойчивость. Если каждый узел содержит к дуг и соединение сделано правильно, то можно построить сеть межсоединений так, чтобы она оставалась полносвязной, даже если к-1 каналов повреждены. Следующее свойство сети межсоединений -- это ее диаметр. Если расстоянием между двумя узлами мы будем считать число дуг, которые нужно пройти, чтобы попасть из одного узла в другой, то диаметром графа будет расстояние между двумя узлами, которые расположены дальше всех друг от друга. Диаметр сети определяет самую большую задержку при передаче пакетов от одного процессора к другому или от процессора к памяти, поскольку каждая пересылка через канал связи занимает определенное количество времени. Чем меньше диаметр, тем выше производительность. Также имеет большое значение среднее расстояние между двумя узлами, поскольку от него зависит среднее время передачи пакета. Еще одно важное свойство сети межсоединений -- это ее пропускная способность, то есть количество данных, которое она способна передавать в секунду. Очень важная характеристика -- бисекционная пропускная способность. Чтобы вычислить это число, нужно мысленно разделить сеть межсоединений на две равные (с точки зрения числа узлов) несвязанные части путем удаления ряда дуг из графа. Затем нужно вычислить общую пропускную способность дуг, которые мы удалили. Существует множество способов разделения сети межсоединений на две равные части. Бисекционная пропускная способность -- минимальная из всех возможных. Предположим, что бисекционная пропускная способность составляет 800 бит/с. Тогда если между двумя частями много взаимодействий, то общую пропускную способность в худшем случае можно сократить до 800 бит/с. По мнению многих разработчиков, бисекционная пропускная способность -- это самая важная характеристика сети межсоединений. Часто основная цель при разработке сети межсоединений -- сделать бисекционную пропускную способность максимальной. Сети межсоединений можно характеризовать по их размерности. Размерность определяется по числу возможных вариантов перехода из исходного пункта в пункт назначения. Если выбора нет (то есть существует только один путь из каждого исходного пункта в каждый конечный пункт), то сеть нульмерная. Если есть два возможных варианта (например, если можно пойти либо направо, либо налево), то сеть одномерна. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||