Учебник ИИ. _Учебник ИНС_2014_Э4743. Учебник рекомендовано Ученым советом Вятгу в качестве учебного пособия Киров 2014
 Скачать 3.7 Mb.
|
|
Автоматизация производства: оптимизация режимов производственного процесса, комплексная диагностика качества продукции (ультразвук, оптика, гамма-излучение), мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций, робототехника. Ford Motors Company внедрила у себя нейросистему для диагностики двигателей после неудачных попыток построить экспертную систему, т.к. хотя опытный механик и может диагностировать неисправности он не в состоянии описать алгоритм такого распознавания. На вход нейро-системы подаются данные от 31 датчика. Нейросеть обучалась различным видам неисправностей по 868 примерам. "После полного цикла обучения качество диагностирования неисправностей сетью достигло уровня наших лучших экспертов, и значительно превосходило их в скорости (Marko K, et. 24 al., Ford Motors Company, Automative Control Systems Diagnostics, IJCNN 1989). Политические технологии: анализ и обобщение социологических опросов, предсказание динамики рейтингов, выявление значимых факторов, объективная кластеризация электората, визуализация социальной динамики населения. Уже упоминавшаяся ранее группа НейроКомп из Красноярска довольно уверенно предсказывает результаты президентских выборов в США на основании анкеты из 12 вопросов. Причем, анализ обученной нейросети позволил выявить пять ключевых вопросов, ответы на которых формируют два главных фактора, определяющих успех президентской кампании. Этот пример будет рассмотрен более подробно в главе, посвященной извлечению знаний с помощью нейросетей. Безопасность и охранные системы: системы идентификации личности, распознавание голоса, лиц в толпе, распознавание автомобильных номеров, анализ аэрокосмических снимков, мониторинг информационных потоков, обнаружение подделок. Многие банки используют нейросети для обнаружения подделок чеков. Корпорация Nestor (Providence, Rhode Island) установила подобную систему в Mellon Bank, что по оценкам должно сэкономить последнему $500,000 в год. Нейросеть обнаруживает в 20 раз больше подделок, чем установленная до нее экспертная система. Ввод и обработка информации: Обработка рукописных чеков, распознавание подписей, отпечатков пальцев и голоса. Ввод в компьютер финансовых и налоговых документов. Разработанные итальянской фирмой RES Informatica нейросетевые пакеты серии FlexRead, используются для распознавания и автоматического ввода рукописных платежных документов и налоговых деклараций. В первом случае они применяются для распознавания не 25 только количества товаров и их стоимости, но также и формата документа. В случае налоговых деклараций распознаются фискальные коды и суммы налогов. Геологоразведка: анализ сейсмических данных, ассоциативные методики поиска полезных ископаемых, оценка ресурсов месторождений. Нейросети используются фирмой Amoco для выделения характерных пиков в показаниях сейсмических датчиков. Надежность распознавания пиков - 95% по каждой сейсмо-линии. По сравнению с ручной обработкой скорость анализа данных увеличилась в 8 раз. (J.Veezhinathan & D.Wadner, Amoco, First Break Picking, IJCNN, 1990) Обилие приведенных выше применений нейросетей - не рекламный трюк. Просто нейросети - это не что иное, как новый инструмент анализа данных. И лучше других им может воспользоваться именно специалист в своей предметной области. Основные трудности на пути еще более широкого распространения нейротехнологий - в неумении широкого круга профессионалов формулировать свои проблемы в терминах, допускающих простое нейросетевое решение. Данное учебное пособие призвано помочь усвоить типовые постановки задач для нейросетей. Для этого, прежде всего, нужно четко представлять себе основные особенности нейросетевой обработки информации - парадигмы нейрокомпьютинга. 1.5. Классификация нейронных сетей К настоящему времени разработано несколько типов нейросетей, используемых для решения практических задач обработки данных. 26 Нейронные сети различают по структуре (рис.1.1) на неполносвязные, полносвязные, со случайными и регулярными связями, с симметричными и несимметричными связями. Неполносвязные нейронные сети описываются неполносвязным ориентированным графом и разделяются на однослойные и многослойные (слоистые) с прямыми, перекрёстными и обратными связями. В полносвязных нейронных сетях каждый нейрон передаёт свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В сетях с обратными связями информация с последующих слоёв передаётся на предыдущие слои. Нейронные сети Полносвязные Неполносвязные Однослойные Многослойные С прямыми связями С обратными связями С перекрёстными связями Рис. 1.1. Классификация нейронных сетей 27 По способу подачи информации на входы нейронные сети разделяют: подачу сигналов на синапсы входных нейронов; подачу сигналов на выходы входных нейронов; подачу сигналов в виде весов синапсов входных нейронов. По способу съёма информации с выходов нейронные сети разделяют: – съём с выходов выходных нейронов; – съём с синапсов выходных нейронов; – съём в виде весов синапсов выходных нейронов. Нейронные сети классифицируются также по виду функций активации, которые могут быть разрывными, ступенчатыми и непрерывными и от наличия обратных связей (табл.1.1). Таблица 1.1. Сравнение архитектур нейронных сетей Сравнение сетей Без обратных связей (многослойные) С обратными связями Преимущества Простота реализации. Гарантированное получение ответа после прохождения данных по слоям Минимизация размеров сети - нейроны многократно участвуют в обработке данных. Меньший объем сети облегчает процесс обучения Недостатки Требуется большее число нейронов для алгоритмов одного и того же уровня сложности. Следствие - большая сложность обучения Требуются специальные условия, гарантирующие сходимость вычислений 28 В последнее время большое распространение получили так называемые радиальные сети, у которых функция активации позволяет определять близость исследуемого образа (точки пространства) к группе других точек, объединенных в кластер. В простейшем случае мера близости равна расстоянию от центра масс выделенного кластера. Нейронные сети классифицируются по характеру входных/выходных сигналов (информации, циркулирующей между узлами). Различают бинарные, k-арные сети, сети с данными и весами произвольного типа. Время в сетях может быть дискретным и непрерывным, соответственно говорят о непрерывных и дискретных сетях. Классификация по типу связей и типу обучения (Encoding-Decoding) представлена в табл. 1.2. Таблица 1.2. Классификация по типу связей и типу обучения (Encoding-Decoding) Тип связей Принцип обучения нейронной сети с "учителем" без "учителя" Без обратных связей Многослойные персептроны (аппроксимация функций, классификация) Соревновательные сети, карты Кохонена (сжатие данных, выделение признаков) С обратными связями Рекуррентные аппроксиматоры (предсказание временных рядов, обучение в режиме on-line) Сеть Хопфилда (ассоциативная память, кластеризация данных, оптимизация) 29 1.6. Элементная база для аппаратной реализации нейрокомпьютеров В мире имеется несколько десятков специализированных фирм, выпускающих продукцию в области нейроинформатики и, кроме того, многие гиганты индустрии (IBM, Siemens Nixdorf, Mitsubishi и др.) ведут исследования и разработки в этой области [4,11-14,22]. То есть намерения здесь в настоящее время серьезные. Каковы же достигнутые результаты? Что такое нейрокомпьютер? На самом деле сейчас между понятиями компьютер и нейрокомпьютер примерно такое же соотношение как между понятиями государь и милостивый государь. То есть сейчас любой нейрокомпьютер не претендует на звание компьютера, но создается для решения какого-то фиксированного круга задач. Похоже, что широкие приложения получат устройства, основанные на комбинированных технологиях, включающие по мере необходимости те или иные нейропроцессорные устройства. Некоторую рекламу и, соответственно, некоторые средства в Японии получили приборы бытовой техники: пылесосы, кондиционеры, электропечки и стиральные машины, использующие нейропроцессоры в устройствах управления. Появилась мода на применения искусственных нейронных сетей в финансово-экономических приложениях. Причиной появления моды стали успехи нейросетевых систем в области предсказания будущего. В этой и других задачах такого рода речь идет о том, чтобы по имеющемуся числовому и событийному ряду предсказать следующие его члены. Нейросетевые конструкции порой решают эту задачу лучше, чем изощренные статистические методики. В чем здесь дело, пока непонятно, но финансистам это не важно. 30 Традиционной областью применения нейропроцессоров остаются задачи узнавания изображений, речи, радарных сигналов. Одно из новых, но впечатляющих приложений - физика высоких энергий (элементарных частиц). В задачах этой науки необходимо в огромном потоке данных от многочисленных датчиков сигналов, от элементарных частиц в детекторах ускорителей разного рода, найти комбинации данных, означающих наличие определенных известных или предполагаемых событий. Предварительная обработка информации в этих случаях может быть выполнена нейропроцессорами, "натренированными" методами численного моделирования соответствующих процессов на поиск заданных событий. И все же основной областью применения нейропроцессоров, скорее всего, станет использование в системах управления и поведения роботами. Глава фирмы, занимающей бесспорно первое место в мире по приложениям нейросетевых систем, автор термина NEUROCOMPUTER, американский профессор из калифорнийского города Сан-Диего Роберт Хехт-Нильсен полагает, что основной продукцией, производимой промышленными фирмами через 10 лет, станут "нейровычислительные роботы" (НВР). В частности, появятся разнообразные работы для выполнения домашней работы (няньки, прачки, кухарки...). Производство НВР быстро превзойдет по объему производство автомобилей и перейдет во все подавляющее производство роботов, производящих роботов... При реализации базового элемента НК – формального нейрона, способа соединения и обучения сети разработчик может выбрать одно из трёх направлений [4]: – программное – все элементы НК реализуются на программном уровне в универсальных ЭВМ с архитектурой фон Неймана; –аппаратно-программное – часть элементов реализуется на аппаратном уровне, а часть – на программном уровне; 31 – аппаратное – все элементы НК выполнены на аппаратном уровне кроме специфических программ формирования синаптических коэффициентов. Программные системы, реализующие первое направление, даже если для них требуется многопроцессорная система или многомашинная аппаратная поддержка получили название нейроэмуляторы, нейроимитаторы. Второе и третье направления на аппаратном уровне реализуются на заказных кристаллах (ЗК – ASIC), встраиваемых микроконтроллерах, процессорах общего назначения, программируемых логических интегральных схемах (ПЛИС), транспьютерах, цифровых сигнальных процессорах(ЦПС) и нейрочипах [4]. Предпочтение в реализации отдается ЦПС, ПЛИС и нейрочипам. Второе направление характеризуется тем, что аппаратная часть НК выполняется в виде платы расширения для универсальных ЭВМ. Например, реализуются операции взвешенного суммирования, нелинейного преобразования. Такие платы получили название нейроускорители. Третье направление характеризуется тем, что вся аппаратная часть НК реализована на аппаратном уровне. Например, ПЛИС фирмы XILINX типа FPGA представляет собой массив конфигурируемых логических блоков (КЛБ) с полностью конфигурируемыми высокоскоростными межсоединениями. ПЛИС серии ХС4000 расположена на одном кристалле и включает: конфигурируемых логических блоков (КЛБ) с полностью конфигурируемыми высокоскоростными межсоединениями; по периферии кристалла расположены блоки ввода-вывода, из которых каждый содержит два триггера (один для ввода и один для вывода); логика дешифрации; цепи контроля высокоомных состояний. 32 Время распространения сигналов через КЛБ составляет 0,5 нс, через блок ускоренного переноса - 0,1нс, время переключения триггера – не более 0,5 нс. Внутренние межсоединения конфигурируются пользователем и задают задержку до 5 нс. Каскадное соединение двухразрядных сумматоров позволяет построить 16-разрядный сумматор с временем суммирования двух 16-разрядных чисел в пределах 5 нс при тактовой частоте 200МГц. Каждый КБЛ серии ХС4000 позволяет создать блок ОЗУ или двухпортовое ОЗУ, что позволяет строить высокопроизводительные системы. Многоуровневая конвейерная структура НС на базе ПЛИС серии ХС4000 обеспечивает время вычисления одного нейрона 6 нс (для нейрона с 8 входами и 8 разрядными кодами). Особенности ЦПС как элементной базы нейрокомпьютеров. Цифровые сигнальные процессоры (ЦПС) – DSP-Digital Signal Processor) появились в конце 70-х годов. Важным преимуществом ЦПС как элементной базы нейровычислителей перед универсальными микропроцессорами является возможность работы на максимальных частотах, а также возможность выполнять операции алгоритма НС на аппаратном уровне. Это обеспечивает высокую производительность нейровычислителей. ЦПС имеют ряд архитектурных особенностей. Например реализована операция умножения с накоплением МАС (D: =A*B+D) Эта команда соответствует операции взвешенного суммирования в адаптивном сумматоре нейрона. Большинство ЦПС построено по Гарвардской архитектуре, которая предполагает наличие двух физически разделенных шин: шины команд и шины данных. Архитектура с кэш-памятью называется расширенной Гарвардской архитектурой. Перспективным является построение нейровычислителей по новой архитектуре TrigerSHARC, сочетающей в себе высокую степень 33 конвейеризации и программируемость RISC –процессоров. Архитектура TrigerSHARC предполагает 3 независимых блока памяти, каждый из которых имеет 128-разрядную шину данных. Адрес доступа к данным может состоять из одного, двух, трех и четырех слов, что позволяет пользователю отказаться от сегментации памяти на память программ и память данных. Для оценки производительности нейровычислителей используются следующие показатели: CUPS- число изменений значений весов в секунду (оценка скорости обучения); CPS- число соединений в секунду; CPSPW=CPS/Nw –число соединений на один синапс (Nw –число синапсов в нейроне); CPPS – число соединений примитивов в секунду; CPPS=CPU*Bw*Bs (Bw - разрядность весов, Bs - разрядность синапсов); MMAC- миллион умножений с накоплением в секунду. Нейрочипы. Нейрочипом принято называть специализированную сверхбольшую интегральную схему (СБИС), ориентированную на реализацию нейросетевых алгоритмов. Нейрочипы можно разделить по классификации на 3 класса: аналоговые; цифровые; гибридные. Нейропроцессор Л1879ВМ1 (NeuroMatrix NM6403), разработанный научно-техническом центре «Модуль» (РФ, Москва). Он предназначен для аппаратной эмуляции разнообразных НС [4,22]. NeuroMatrix NM6403 предназначен для обработки 32-разрядных скалярных данных и данных программируемой разрядности, упакованных в 64-разрядные слова. Основой нейрочипа является RISC – процессор для выполнения арифметических и логических операций, операций сдвига над 34 32-разрядными скалярными данными. Основные функции структурных блоков NeuroMatrix NM6403: VCP –векторный сопроцессор, предназначенный для выполнения арифметических и логических операций над 64-разрядными векторами данных программируемой разрядности; LMI, GMI – два одинаковых блока программируемого интерфейса с локальной и глобальной 64-разрядными шинами данных. К каждой из шин может быть подключена внешняя память объёмом 2 31 32 –разрядных ячеек. Обмен может выполняться как 32, так и 64 –разрядными данными. Перспективы аппаратной реализации нейрокомпьютеров. Современные возможности аппаратной реализации НПС можно обобщенно оценить следующим образом: число моделируемых нейронов — до 5 млн.; число моделируемых связей — до 5 млн.; скорость моделирования — до 500 млн. переключений связей/с. Для аппаратной реализации НПС в настоящее время широко используются процессорные СБИС, обладающие максимальными коммуникационными возможностями и ориентированные на быстрое выполнение векторных операций. К таким СБИС относятся транспьютеры фирмы INMOS (Т414, Т800, А100), сигнальные процессоры фирм Texas Instruments (TMS 320С40, TMS 320C80), Motorola, Analog Device. Отечественная элементная база представлена нейрочипами на базе БМК «Исполин». На современном этапе развития технологии микроэлектроники и других смежных областей нейронная технология стала адекватна не только различным типам микроэлектронной полупроводниковой технологии, но и оптической, оптоэлектронной, молекулярной, квантовой и некоторым другим. 35 Необходимо отметить, что рождение технологии систем на пластине и нанотехнологии приведет к рождению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине. Поэтому любые попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, адекватной однопроцессорным машинам, должны окончиться неудачей. Современные технологии достигли того рубежа, когда стало возможным изготовление технической системы из 3...4 млрд. нейронов (именно такое количество их в мозгу человека). Однако их соединение продолжает оставаться проблемой. Перечислим основные направления вычислительной техники: – однопроцессорные ЭВМ (персональные ЭВМ, ЭВМ среднего класса); – малопроцессорные ЭВМ; – многопроцессорные ЭВМ (ЭВМ с массовым параллелизмом, транспьютерная ЭВМ, псевдотранспьютерная ЭВМ, ЭВМ с транспьютерным ядром и периферийными процессорами типа i860, Power PC, Alfa); – нейрокомпьютеры. Приоритет российской вычислительной науки и техники в указанных направлениях в ближайшие годы максимально может быть проявлен именно в области НК, поскольку она является максимально наукоемкой и менее других зависит от технологического уровня. В России высок уровень теоретических работ и экспериментальных исследований по нейросистемам и нейроинформатике. Реальность создания нейрокомпьютерных средств уже сегодня не вызывает сомнений. Это кредиторам дает дополнительный стимул для вложения средств в развитие теоретических исследований, направленных на поиск решений широкого круга практических задач на основе нейросетевых технологий. |