Апраратное резервирование. Аппаратное резервирование. Httpbookasutp ruChapter8 aspx Аппаратное резервирование Страница 1 Аппаратное резервирование
 Скачать 1.3 Mb.
|
|
http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 25 второго процессора - в режим 1оо1 и только после отказа третьего перевести свои выходы в безопасные состояния. В системах с голосованием непрерывная синхронизация процессоров не требуется, поскольку при идентичных входных и выходных сигналах внутренние состояния процессоров оказываются также идентичны. Однако синхронизация необходима после горячей замены процессора, когда новый процессор должен получить стартовую информацию для своего функционирования синхронно с остальными процессорами. Отсутствие общего аппаратного и программного обеспечения, выполняющего функции перехода на резерв, повышает отказоустойчивость всей резервированной системы. Несмотря на отсутствие необходимости в синхронизации, между процессорами выполняется обмен диагностическими данными и статусом. Данные, доступные всем элементам системы, называются глобальными и передаются от каждого процессора двум другим. Эти данные используются прикладными и системными программами, в частности, для реализации схемы деградации при появлении отказов. Для голосования по схеме 2оо3 в качестве третьего "голоса" каждый процессор использует свои собственные данные. Тестирование процессорного модуля Тестирование необходимо для своевременного перехода на резерв в системах с резервированием замещением, а также для информирования обслуживающего персонала о необходимости ручной замены отказавшего процессора. Поэтому каждый процессор постоянно исполняет программу самотестирования для обнаружения неисправностей. Обычно тестируются следующие компоненты и функции: скоростной канал связи между процессорами; ядро центрального процессора; внутренние ОЗУ центрального процессора; флэш-память; шины ввода-вывода. Каждый процессор выполняет также сравнение контрольной суммы своей программы с другими процессорами в резервированной группе и если возникает различие, то сигнализирует об ошибке. Ошибки памяти обнаруживаются в процессе чтения-записи с помощью анализа паритета или контрольной суммы. "Зависание" обнаруживается с помощью сторожевого таймера и обработки нештатных состояний процессора. Поскольку объем тестирования существенно зависит от отведенного для него времени, постоянно исполняемый тест является достаточно сокращенным. Поэтому может быть предусмотрен второй, более полный тест, который занимает несколько минут времени и выполняется только при включении системы, до начала ее функционирования, или по инициативе оператора. Каждый процессор получает информацию об ошибках в других процессорах и ошибках голосования. В системах с голосованием результаты тестирования могут быть использованы как дополнительные условия при голосовании. Например, выдача сигнала управления на исполнительный механизм может быть разрешена только при условии, что http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 26 результат диагностики процессоров положительный. В противном случае реализуется схема деградации при отказах. 8.2.5. Резервирование источников питания Соединение источников питания с целью горячего резервирования замещением выполняется через диоды, как и соединение дискретных выходов (см. рис. 9 -а). Поскольку падение напряжение на кремниевых диодах составляет около 1 В, напряжение источников питания следует выбирать на 1 В больше, чем требуемое напряжение на нагрузке. При падении напряжения основного источника соединенный с ним диод запирается и питание нагрузки осуществляется от резервного источника. Однако такая схема не может быть использована при отказах, когда напряжение основного источника становится больше допустимого. Эта проблема решается применением внутри источника питания резервированных элементов, снижающих вероятность отказа такого типа. Если в качестве резервного источника используется батарея, которая не должна разряжаться, пока она находится в резерве, то напряжение основного источника должно быть больше напряжения батареи на величину разброса напряжений открытых диодов. Для уменьшения потерь энергии используют германиевые диоды или диоды Шоттки, которые имеют меньшее напряжение в открытом состоянии по сравнению с кремниевыми. Информация об отказе источника питания индицируется на его передней панели и пересылается на пульт оператора для принятия решения о замене. 8.3. Резервирование промышленных сетей В состав промышленной сети входят линии связи, коммутаторы, сетевые мосты, маршрутизаторы, сетевые контролеры, преобразователи интерфейсов и источники питания. Однако чаще всего резервируются только линии связи, как наименее надежные элементы. Основной характеристикой метода резервирования промышленных сетей является длительность перехода на резерв. 8.3.1. Сети Profibus, Modbus, CAN Резервирование промышленных сетей выполняется обычно одновременно с резервированием контроллеров (см. раздел "Процессорные модули" ). Для этого в каждом ПЛК используют два (реже - три) сетевых порта, к одному из них подключают основную промышленную сеть, к другому - резервную ( Bertocco ). Каждый контроллер имеет средства контроля работоспособности сети и в случае ее отказа переключает свой порт на резервную сеть. В системах с голосованием резервирование выполняется проще: исходящий поток сообщений посылается во все сети одновременно, а входящие потоки из всех сетей проходят через схему голосования (см. раздел "Общие принципы резервирования" ). Для контроллеров, имеющих один сетевой порт и не предназначенных для работы в резервированных сетях, выпускаются специальные модули резервирования (см. www.abb.com), которые имеют один разъем ( на рис. 17 ) для подключения к порту http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 27 оконечного устройства, например, ПЛК, и два разъема ( и ) для подключения к основной и резервной сети ( рис. 17 ). Модули могут работать в многомастерных сетях как с ведущими, так и с ведомыми устройствами. Ведомых устройств, подключаемых к одному модулю резервирования, может быть несколько ( на рис. 17 ). Модуль работает как коммутируемый повторитель интерфейса, одновременно контролируя исправность сети. Отказ обнаруживается по первому символу в передаваемом сообщении и при его появлении модуль переключается на резервный порт. Основной проблемой резервирования сетей методом замещения является обнаружение отказа. Поскольку после отказа (например, обрыва) сети на некотором участке доставка сообщений к отсоединенной части сети невозможна, обнаружение отказа должно выполняться каждым участником сети автономно. Но это возможно только в многомастерных сетях или в сетях, имеющих специальные аппаратные средства контроля. Протоколы резервирования промышленных сетей являются узкоспециализированными закрытыми разработками фирм-производителей контроллеров и в общедоступной литературе не описаны. Рис. 17. Резервирование промышленной сети с помощью коммутации портов; - оконечные устройства, - модули резервирования сети 8.3.2. Сети Ethernet Резервированию в промышленных сетях Ethernet с коммутаторами посвящена серия стандартов IEEE [ IEEE , IEEE ]. Однако первоначально они были предназначены только для исключения замкнутых контуров в сетях, поэтому требования к быстродействию алгоритмов учтены не были. В связи с резким ростом спроса на промышленный Ethernet (рост около 50% в год c 2004 г. [ Prytz ]) возросли требования ко времени переключения на резерв. Поэтому в 2005 г. началась работа над новым стандартом IEC 62439 “ High Availability Automation Networks” ("Сети промышленной автоматизации с высокой готовностью"), которая была инициирована комитетом IEC по цифровой коммуникации TC65C. Основной проблемой при резервировании сетей Ethernet с коммутаторами является устранение замкнутых логических контуров (петель, циклов). Логические петли не допускаются потому, что при их наличии коммуникационные пакеты могли бы вечно путешествовать по сети, ограничивая ее пропускную способность. При возрастании трафика был бы возможен также отказ в обслуживании из-за превышения пропускной http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 28 способности сети. Кроме того, в таблице MAC-адресов коммутаторов появились бы одни и те же адреса для разных портов. Для исключения логических петель служит стандартизованный алгоритм STP [ IEEE ], который выполняет блокировку портов коммутатора, через которые петли замыкаются. После появления промышленного Ethernet оказалось, что алгоритм STP позволяет искусственно вводить в сеть резервные ветви, которые, однако, не создают логических петель благодаря STP-алгоритму. При отказе некоторых ветвей протокол STP выбирает новые сетевые маршруты, в которых участвуют зарезервированные ранее связи. Существует несколько методов резервирования промышленного Ethernet: агрегирование линий связи; резервирование на основе STP и RSTP протоколов; организация в сети физического кольца; полное резервирование всей сети. Первые два метода стандартизованы, вторые два являются нестандартными разработками фирм-производителей и многие из них защищены патентами. Метод агрегирования Метод агрегирования линий связи описан в стандарте IEEE 802.3ad "Aggregation of Multiple Link Segments", который является разделом общего стандарта IEEE 802.3 [ IEEE ]. Этот метод использует два и более параллельных кабелей и портов для каждой линии связи. Объединение нескольких физических линий связи в один логический канал осуществляется с помощью протокола Link Aggregation Control Protocol (LACP). При этом группа (агрегат) линий связи и портов представляется одним логическим сервисным интерфейсом с одним MAC-адресом. В протоколе LACP полные Ethernet фреймы попеременно отсылаются по параллельным линиям связи и объединяются в приемнике. Пропускная способность такого агрегированного канала оказывается прямо пропорциональна количеству физических линий. При отказе одной линии данные пересылаются по другой. Этот стандарт поддерживается многими производителями Ethernet коммутаторов. Метод резервирования, изложенный в стандарте IEEE 802.3ad, предполагает, что все агрегированные линии связи должны исходить из одного и того же коммутатора, т.е. сеть должна иметь топологию звезды. Для устранения этого ограничения фирмой Nortel были предложены три модификации метода агрегирования: SMLT ("Split Multi-Link Trunking"), DSMLT (Distributed Split Multi-Link Trunking) и R-SMLT ("Routed-SMLT) (см. www.nortel.com ). Модификации этого метода предложены также фирмами Cisco и Adaptec, однако они несовместимы между собой и со стандартом. http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 29 Рис. 18. Резервирование в сети Ethernet методом агрегирования линий связи Метод агрегирования используется для резервирования соединений между коммутаторами, между коммутатором и сервером, а также между двумя компьютерами. Для дублирования связи между ПЛК и коммутатором ПЛК должен иметь два Ethernet- порта и драйвер, поддерживающий протокол LACP (IEEE 802.3ad), который предоставляет операционной системе один сетевой порт, физически состоящий из двух линий связи ( рис. 18 ). При использовании 4-кратного резервирования связи между сервером и коммутатором ( рис. 18 ) в сервер вставляется специальная 4-портовая Ethernet- карта с соответствующим драйвером, который заменяет 4 физических Ethernet порта одним логическим. Достоинством метода является увеличение пропускной способности сети, возможность добавления произвольного количества линий связи для согласования пропускной способности разных каналов, малое время восстановления после отказа. Однако для резервирования сети в целом необходимо удвоенное количество кабелей и коммутаторов, что может быть неоправданно дорого. Кроме того, практически используемые схемы агрегирования часто не соответствуют стандартам IEEE, а оборудование разных производителей может быть несовместимым. Метод агрегирования в соответствии с IEEE 802.3ad обеспечивает резервирование только линий связи; коммутаторы или сетевые контроллеры подключенного к сети оборудования остаются нерезервированными. Однако некоторые фирмы (см., например, www.syskonnect.com) предлагают дополнительное программное обеспечение, позволяющее объединять в один логический порт несколько каналов, проходящих через разные коммутаторы, которые, таким образом, оказываются резервированными. Протокол STP и его модификации Базовый Ethernet протокол STP (Spanning Tree Protocol), переводимый как "протокол остового дерева" или "протокол связующего дерева", является протоколом 2-го уровня модели OSI и описан в стандарте IEEE 802.1D [ IEEE ], который был принят в 1990 г. Первоначально протокол был использован для того, чтобы избежать петель в больших и сложных офисных сетях с мостами, которые могли иметь сложную запутанную http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 30 топологию. С появлением промышленного Ethernet этот протокол стал использоваться для горячего резервирования сетей с коммутаторами. Цель STP протокола состоит в том, чтобы сконфигурировать сеть в виде дерева (т. е. без циклов) таким образом, чтобы каждый узел сети (лист дерева) был связан с корнем по пути с наименьшим временем доставки сообщений. Дерево формируется путем отключения ветвей, которые могут образовывать физические (не логические) петли в сети. Таким образом, при проектировании сети в нее могут быть добавлены избыточные ветви с целью резервирования, которые будут логически отключены протоколом STP при формировании дерева сети. STP-протокол выполняет постоянный мониторинг сети с целью обнаружения происходящих в ней изменений. Если такие изменения выявлены, (например, если одна ветвь стала неработоспособной), то STP протокол автоматически выполняет перестроение дерева, включая в него при необходимости резервные ветви. Таким образом, после отказа ветви сеть оказывается вновь работоспособной через время, необходимое для выполнения STP алгоритма. Работоспособность сети сохраняется до тех пор, пока количество отказавших ветвей не станет настолько большим, что протокол не сможет построить дерево, используя все резервные ветви. Для формирования дерева с минимальным временем доставки сообщений используются сообщения BPDU (Bridge Protocol Data Unit), встроенные в стандартный (IEEE 802.3) Ethernet-фрейм. Протокол BPDU использует два таймера для оценки времени доставки сообщений, которое по умолчанию не может превышать 20 с. Время построения дерева при использовании STP алгоритма может доходить до 30 секунд и даже единиц минут [ Prytz ], что для многих приложений недопустимо много. Поэтому в 1998 году был разработан и закреплен стандартом IEEE 802.1w [ IEEE ], а позже стандартом IEEE 802.1D-2004 [ IEEE ] более быстрый алгоритм RSTP (Rapid Spanning Tree Protocol), который строит дерево за время не более 2 с. Протоколы STP и RSTP поддерживаются большинством производителей сетевых коммутаторов. Для виртуальных сетей, граф которых представляется несколькими деревьями, был разработан протокол MSTP (Multiple Spanning Tree Protocol), который является расширением протокола STP и описан в стандартах IEEE 802.1s и IEEE 802.1Q-2003 [ IEEE ]. Недостатком STP и RSTP протоколов является часто недопустимо большое время перехода на резерв, а также невозможность резервирования связей между коммутатором и устройством, которое является участником сети. http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 31 Метод физического кольца а) б) Рис. 19. Метод физического кольца для резервирования линии передачи (а) и линии передачи с коммутатором (б); - коммутаторы, - оконечные устройства (компьютеры, серверы, ПЛК) Методы резервирования, основанные даже на усовершенствованном протоколе RSTP, имеют слишком большое время переключения на резерв (до 2 сек. [ Prytz ]). В то же время ряд приложений требует сокращения этого времени до единиц миллисекунд (как, например, в робототехнике) или до долей секунды (во многих химических технологических процессах). Поэтому некоторые фирмы разработали собственные нестандартные методы резервирования, которых в настоящее время насчитывается более 15 [ Prytz ]. В основе этих методов лежит использование сети с кольцевой физической топологией. Одна из ветвей сети блокируется коммутатором (мастером на рис. 19 -а) и поэтому в режиме нормального функционирования сеть приобретает логическую шинную топологию. В случае отказа одной из ветвей мастер включает резервный порт. При этом подключается резервная ветвь и граф сети вновь становится связным, т. е. работоспособность сети оказывается полностью восстановленной. Существует два метода обнаружения отказа в сети: циклический опрос и отправка уведомления об отказе. При циклическом опросе мастер периодически посылает в сеть специальный тестирующий пакет через свой основной порт. При нормальном функционировании сети пакет проходит по кольцу и возвращается к мастеру через его резервный порт. Если пакет не приходит за время таймаута, мастер считает, что в сети произошел отказ и немедленно включает резервный порт, затем очищает свою таблицу адресов и рассылает всем коммутаторам инструкцию сделать то же самое. После очистки таблиц адресов все коммутаторы автоматически выполняют "обучение" (обновление таблицы адресов). В результате сеть вновь становится полнофункциональной, но уже с новой ветвью и новыми http://bookasutp.ru/Chapter8_1.aspx Аппаратное резервирование Страница 32 таблицами адресов в коммутаторах. Разрыв 1 на рис. 19 -а остается в сети до тех пор, пока не будет выполнен ремонт отказавшей ветви. В методе уведомления об отказе циклический опрос не выполняется. Вместо этого каждый коммутатор самостоятельно контролирует целостность примыкающих к нему связей и при обнаружении отказа сообщает об этом мастеру с помощью уведомления. Далее мастер поступает точно так, как в методе циклического опроса. После ремонта или замены отказавшей ветви она обнаруживается тем же методом тестирования кольца. Если связь по кольцу восстановлена, то мастер сразу же блокирует свой резервный порт (который был задействован на время выполнения ремонта), сбрасывает таблицу адресов и инструктирует оставшиеся коммутаторы сделать то же самое. В результате все коммутаторы обновляют таблицы адресов для сети с восстановленной ветвью. Табл. 8.43. Параметры некоторых методов резервирования сетей Ethernet [ Prytz ] |