Учебник ИИ. _Учебник ИНС_2014_Э4743. Учебник рекомендовано Ученым советом Вятгу в качестве учебного пособия Киров 2014
 Скачать 3.7 Mb.
|
Искусственные нейронные сети набор математических и алгоритмических методов для решения широкого круга задач. Преимущества ИНС заключаются, во-первых, за счёт распараллеливания обработки информации; во-вторых, из способности самообучаться, т. е. создавать обобщения. Под термином обобщения понимается способность получать обоснованный результат на основании данных, которые не участвовали в процессе обучения [1–6]. Использование нейронных сетей обеспечивает следующие полезные свойства систем. 1. Нелинейность (nonlinearity). Искусственные нейроны могут быть линейными и нелинейными. Нейронные сети из нелинейных элементов являются нелинейными и могут решать более сложные задачи. 2. Отображение входной информации в выходную (input-output mapping). Одной из популярных парадигм обучения является обучение с учителем (supervised learning). Это предполагает изменение синаптических весов на основе учебных примеров, каждый из которых состоит из входных сигналов и соответствующего ему желаемого отклика нейросети. 13 Обучение проводится до тех пор, пока изменения синаптических весов не станут незначительными. 3. Адаптивность (adaptivity). ИНС обладают способностью адаптировать свои синаптические веса к изменениям окружающей среды. 4. Очевидность ответа (evidential response). При решении задачи классификации образов можно разработать нейронную сеть, которая повышает достоверность принимаемых решений и обеспечивает исключение сомнительных решений. 5. Контекстная информация (contextual information). Каждый нейрон сети потенциально может быть подвержен влиянию всех остальных её нейронов. Как следствие, существование нейронной сети непосредственно связано с контекстной информацией. 6. Отказоустойчивость (fault tolerance). При повреждении нейрона или его связи извлечение запомненной информации осуществляется с затруднением и потерей точности. 7. Масштабируемость (VLSI Implementability). Параллельная структура нейронной сети потенциально ускоряет решение некоторых задач и обеспечивает масштабируемость нейронных сетей в рамках технологии VLSI (very-large- scale-integrated), одним из преимуществ которой является возможность представить сложное поведение с помощью иерархической структуры. 8. Единообразие анализа и проектирования (Uniformaty of analysis and desing). Нейронные сети являются универсальным механизмом обработки информации. Одно и то же проектное решение нейронной сети может использоваться во многих предметных областях. 9. Аналогия с нейробиологией (Neurobiological analogy). Строение нейронных сетей определяется аналогией с человеческим мозгом, который демонстрирует отказоустойчивые параллельные вычисления для решения сложных задач. 14 К важнейшим свойствам биологических нейронных сетей относятся следующие: 1. Параллельность обработки информации. Каждый нейрон формирует свой выход только на основе своих входов и собственного внутреннего состояния под воздействием общих механизмов регуляции нервной системы. 2. Способность к полной обработке информации. Все известные человеку задачи решаются нейронными сетями. К этой группе свойств относятся ассоциативность (сеть может восстанавливать полный образ по его части), способность к классификации, обобщению, абстрагированию и множество других. Они до конца не систематизированы. 3. Самоорганизация. В процессе работы биологические НС самостоятельно, под воздействием внешней среды, обучаются решению разнообразных задач. Неизвестно никаких принципиальных ограничений на сложность задач, решаемых биологическими нейронными сетями. Нервная система сама формирует алгоритмы своей деятельности, уточняя и усложняя их в течение жизни. Человек пока не сумел создать систем, обладающих самоорганизацией и самоусложнением. Это свойство НС рождает множество вопросов. Ведь каждая замкнутая система в процессе развития упрощается, деградирует. Следовательно, подвод энергии к нейронной сети имеет принципиальное значение. Почему же среди всех диссипативных (рассеивающих энергию) нелинейных динамических систем только у живых существ, и, в частности, биологических нейросетей проявляется способность к усложнению? Какое принципиальное условие упущено человеком в попытках создать самоусложняющиеся системы? 4. Биологические НС являются аналоговыми системами. Информация поступает в сеть по большому количеству каналов и кодируется по пространственному принципу: вид информации определяется номером нервного волокна, по которому она передается. 15 Амплитуда входного воздействия кодируется плотностью нервных импульсов, передаваемых по волокну. 5. Надежность. Биологические НС обладают фантастической надежностью: выход из строя даже 10 процентов нейронов в нервной системе не прерывает ее работы. По сравнению с последовательными ЭВМ, основанными на принципах фон Неймана, где сбой одной ячейки памяти или одного узла в аппаратуре приводит к краху системы. Современные искусственные НС по сложности и "интеллекту" приближаются к нервной системе таракана, но уже сейчас демонстрируют ценные свойства: 1. Обучаемость. Выбрав одну из моделей НС, создав сеть и выполнив алгоритм обучения, мы можем обучить сеть решению задачи, которая ей по силам. Нет никаких гарантий, что это удастся сделать при выбранных сети, алгоритме и задаче, но если все сделано правильно, то обучение бывает успешным. 2. Способность к обобщению. После обучения сеть становится нечувствительной к малым изменениям входных сигналов (шуму или вариациям входных образов) и дает правильный результат на выходе. 3. Способность к абстрагированию. Если предъявить сети несколько искаженных вариантов входного образа, то сеть сама может создать на выходе идеальный образ, с которым она никогда не встречалась. Доступность и возросшие вычислительные возможности современных компьютеров привели к широкому распространению программ, использующих принципы нейросетевой обработки данных, о которых мы поговорим подробнее в следующих разделах, но исполняемых на последовательных компьютерах. Этот подход не использует преимуществ присущего нейро-вычислениям параллелизма, ориентируясь исключительно на способность нейросетей решать не формализуемые задачи. 16 1.3. История развития нейрокомпьютерных вычислений Первые работы по формальному анализу математических моделей нейронных сетей относятся к 1943 г., имеется в виду работа Мак-Каллока и Вальтера Питтса “Логическое исчисление идей, относящихся к нервной активности“ (Mc Culloch V. S., Pitts W. H. A logical calculus of ideas immanent in nervous activity. Bull. Math. Biophysics, 1943, v. 2, p548–558). На русский язык эта работа была переведена в 1956 г. Авторы предложили простейшую модель работы нейрона, структура этой модели сохранилась и по сей день. Ее усовершенствование шло за счет усложнения функций активации, способов объединения нейронов в нейронные сети и динамики их работы, развития методов обучения нейронных сетей. Фундаментальный анализ математической модели нейронной сети был проведен известнейшим специалистом в области математической логики С. К. Клини в работе “Представление событий в нервных сетях и конечных автоматах” (Труды корпорации RAND, 1951 г.). Следующим важным шагом в развитии идей нейрокомпьютинга следует считать модель персептрона Розенблатта, которая была предложена в 1962 г. для решения некоторых задач распознавания образов (Розенблатт Ф. Принципы нейродинамики. М., 1965). Модель персептрона Розенблатта была подвергнута всестороннему математическому анализу в работе М Минского, и С. Пейперта («Персептроны» М., 1971), которые доказали невозможность использования персептрона для решения некоторых простых задач 17 распознавания геометрических объектов, в частности невозможность распознать геометрически подобные образы. В ответ на это были предложены усовершенствованные варианты нейросетей, которые снимали ряд ограничений персептрона и расширяли круг решаемых задач. Но одновременно было установлено, что мощностей существовавшей в тот период вычислительной техники явно недостаточно для решения многих реальных задач распознавания и классификации. Электроника того времени не позволяла также создать приемлемый по быстродействию и стоимости нейрокомпьютер 2 Попытки моделирования нейросетей электрическими схемами были предприняты в начале 50-х годов. После этого остался только один шаг в направлении использования электронных моделей в качестве приборов для решения математических задач, не имевших прямого отношения к анализу работы мозга, т. е. в качестве счетно-решающих устройств. Этому шагу предшествовали многочисленные теоретические исследования принципиальных возможностей нейросетей (НС) по обработке данных. Исследовались также классы задач, которые могли бы быть решены с использованием нейросетевого подхода. Сложность и необычность этих исследований заключалась в том, что нейросети по своей сути являются устройствами сугубо параллельного действия, в которых все узлы (нейроны) работают одновременно и одновременно обмениваются информацией между собой. Строго формализовать процессы, происходящие в нейронных сетях, оказалось не столь простым делом. При этом цель адекватного отражения процессов, которые происходят в биологической нейронной сети головного мозга, в исследованиях по созданию вычислительных устройств нейросетевого типа была отодвинута на второй план или полностью игнорировалась. 2 Обзор Кузнецова А.В. Нейрокомпьютинг: история, состояние, перспективы. – www.uran.donets.ua 18 Главной целью становится максимальное использование параллелизма в обработке данных в нейроподобных электронных системах. Во имя достижения этой цели изобретаются модели сетей различной топологии, с различными способами формирования порога возбудимости, различными способами синхронизации. Замечательным свойством нейроподобных вычислительных систем является их способность к обучению и самообучению. В обычных универсальных вычислительных машинах в качестве параметров для управления аппаратурой компьютера, решающего те или иные задачи, выступает код программы, реализующий алгоритм. Алгоритм задается человеком, специалистом в конкретной области знаний. Процесс настройки компьютера сводится к составлению программы, ее отладке, к подгонке параметров программы с целью достижения правильной ее работы. В процессе обучения происходит автоматическая настройка параметров нейросети, ее весовых коэффициентов. При этом не задается перечень тех арифметических и логических операций, которые будут выполняться в сети в процессе решения задачи, как это делается при обычном программировании. Обучение, как правило, производится с использованием известных результатов решения аналогичных задач. Реальные задачи требовали для своего решения построения нейросетей, содержащих тысячи узлов – нейронов и многие тысячи связей между ними. Процесс обучения требовал настройки нескольких тысяч весовых коэффициентов. Средствами существовавшей в то время вычислительной техники этого сделать практически было невозможно. Интерес к использованию нейросетевых вычислений упал. Последовало сокращение инвестиций в это направление исследований. Эти обстоятельства затормозили развитие идей нейровычислений до той поры, пока не появилась вычислительная техника 80-х годов, 19 основанная на использовании больших интегральных схем и микропроцессоров. К этому следует добавить, что в 70–80 годы начался бурный расцвет экспертных систем, также способных решать некоторые плохо формализуемые задачи. На экспертные системы возлагались очень большие надежды, что также повлияло на ослабление интереса к работам в области нейронных сетей. 1.4. Области применения искусственных нейронных сетей Нейросети пригодны для решения широкого круга задач, связанных с обработкой образов. Вот список типичных постановок задач для нейросетей 3 : аппроксимация функций по набору точек (регрессия); классификация данных по заданному набору классов; кластеризация данных с выявлением заранее неизвестных классов-прототипов; сжатие информации; восстановление утраченных данных; ассоциативная память; оптимизация, оптимальное управление. Этот список можно было бы продолжить и дальше. Заметим, однако, что между всеми этими внешне различными постановками задач существует глубокое родство. За ними просматривается некий единый 3 Обзор Кузнецова А.В. Нейрокомпьютинг: история, состояние, перспективы. – www.uran.donets.ua 20 прототип, позволяющий при известной доле воображения сводить их друг к другу. Рассмотрим, например, задачу аппроксимации функции по набору точек. Это типичный пример некорректной задачи, т. е. задачи, не имеющей единственного решения. Чтобы добиться единственности, такие задачи надо регуляризировать – дополнить требованием минимизации некоторого регуляризирующего функционала. Минимизация такого функционала и является целью обучения нейронной сети. Задачи оптимизации также сводятся к минимизации целевых функций при заданном наборе ограничений. С другой стороны, классификация – это ни что иное, как аппроксимация функции с дискретными значениями (идентификаторами классов), хотя ее можно рассматривать и как частный случай заполнения пропусков в базах данных, в данном случае - в колонке идентификаторов класса. Задача восстановления утраченных данных, в свою очередь - это ассоциативная память, восстанавливающая прообраз по его части. Такими прообразами в задаче кластеризации выступают центры кластеров. Наконец, если информацию удается восстановить по какой-нибудь ее части, значит мы добились сжатия этой информации, и т.д. Многие представители разных наук, занимающихся перечисленными выше задачами и уже накопившими изрядный опыт их решения, видят в нейросетях лишь перепев уже известных им мотивов. Каждый полагает, что перевод его методов на новый язык нейросетевых схем ничего принципиально нового не дает. Статистики говорят, что нейросети - это всего лишь частный способ статистической обработки данных, специалисты по оптимизации - что методы обучения нейросетей давно известны в их области, теория аппроксимации функций рассматривает нейросети наряду с другими методами многомерной аппроксимации. Нам же представляется, что именно синтез различных методов и идей в едином 21 нейросетевом подходе и является неоценимым достоинством нейрокомпьютинга. Нейрокомпьютинг предоставляет единую методологию решения очень широкого круга практически интересных задач. Это, как правило, ускоряет и удешевляет разработку приложений. Причем, что обычно забывают за неразвитостью соответствующего hardware, но что, видимо, в конце концов сыграет решающую роль, нейросетевые алгоритмы решения всех перечисленных выше задач заведомо параллельны. Следовательно, все можно реализовать быстрее и дешевле. Практически в каждой предметной области можно найти постановки нейросетевых задач [17-21]. Экономика и бизнес: предсказание рынков, оценка риска невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление пере- и недооцененных компаний, автоматическое рейтингование, оптимизация портфелей, оптимизация товарных и денежных потоков, автоматическое считывание чеков и форм, безопасность транзакций по пластиковым карточкам. Программное обеспечение компании RETEK, дочерней фирмы HNC Software, - лидер среди крупных ритейлоров с оборотом свыше $1 млрд. Ее последний продукт января 1998 года Retek Predictive Enterprise Solution включает развитые средства нейросетевого анализа больших потоков данных, характерных для крупной розничной торговли. Он также содержит прогнозный блок, чтобы можно было заранее просчитать последствия тех или иных решений. ( http://www.retek.com ) Медицина: обработка медицинских изображений, мониторинг состояния пациентов, диагностика, факторный анализ эффективности лечения, очистка показаний приборов от шумов. Группа НейроКомп из Красноярска (под руководством Александра Николаевича Горбаня) совместно с Красноярским межобластном 22 офтальмологическом центром им. Макарова разработали систему ранней диагностики меланомы сосудистой оболочки глаза. Этот вид рака составляют почти 90% всех внутриглазных опухолей и легко диагностируется лишь на поздней стадии. Метод основан на косвенном измерении содержания меланина в ресницах. Полученные данные спектрофотометрии, а также общие характеристики обследуемого (пол, возраст и др.) подаются на входные синапсы 43-нейронного классификатора. Нейросеть решает, имеется ли у пациента опухоль, и если да, то определяет ее стадию, выдавая, кроме этого, процентную вероятность своей уверенности ( http://www.chat.ru/neurocom/ ). Авионика: обучаемые автопилоты, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета. Компания McDonnell Douglas Electronic Systems разработала автоматический переключатель режимов полета в реальном масштабе времени в зависимости от вида повреждения самолета. Данные от 20 сенсорных датчиков и сигналов от пилота используются нейросетью для выработки около 100 аэродинамических параметров полета. Сильной стороной является возможность сети адаптироваться к непредсказуемым аэродинамическим режимам, таким как потеря части крыла и т.д. Связь: сжатие видеоинформации, быстрое кодирование- декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов. Нейросети уже продемонстрировали коэффициент сжатия 120:1 для черно-белого видео. Цветное видео допускает примерно вдвое большую степень сжатия 240:1 за счет специальной схемы кодирования цветов. ( http://www.ee.duke.edu/cec/JPL/paper.html ) Интернет: ассоциативный поиск информации, электронные секретари и агенты пользователя в сети, фильтрация информации в push- 23 системах, коллаборативная фильтрация, рубрикация новостных лент, адресная реклама, адресный маркетинг для электронной торговли. Фирма Autonomy отделилась от родительской фирмы Neurodynamics в июне 1996 года с уставным капиталом $45 млн и идеей продвижения на рынок Internet электронных нейросетевых агентов. Согласно ее пресс- релизу, первоначальные вложения окупились уже через год. Компания производит семейство продуктов AGENTWARE, создающих и использующих профили интересов пользователей в виде персональных автономных нейро-агентов. Такие компактные нейро-агенты (<1 Кб) могут представлять пользователя в любом из продуктов компании. Например, агенты могут служить в качестве нейро-секретарей, фильтруя поступающую по информационным каналам информацию. Они также могут постоянно находиться на сервере провайдера, или посылаться для поиска в удаленных базах данных, осуществляя отбор данных на месте. В будущем, когда эта технология получит достаточное распространение, она позволит снизить нагрузку на трафик Сети. ( http://www.agentware.com ) |