Нейронные сети Любушкин Т. Базовые принципы технологии искусственных нейронных сетей
 Скачать 0.92 Mb.
|
|
Технология искусственных нейронных сетей. Любушкин Тимофей Андреевич Студент 721 ИС группы Базовые принципы технологии искусственных нейронных сетей Математическое моделирование низкоуровневой структуры биологических нейронных систем Система преобразует входной информационный поток в некий ответный образ, интерпретация которого является решением поставленной задачи ИНС Inputs outputs Inputs outputs Биологический нейрон Биологический нейрон – базовая структурно-функциональная единица нервной системы. Клетка имеет сложное строение (ядро, тело, отростки). Каждый нейрон принимает сигналы от многих нейронов и в свою очередь посылает импульсы ко многим другим. Главная задача нейрона – получить информацию, «осмыслить» ее и передать дальше. Электронно-микроскопическая фотография нейрона головного мозга человека и схематическое изображение связи соседних нейронов Биологическая нейронная сеть Головной мозг содержит 30 миллиардов нейронов в коре. В слое площадью один квадратный миллиметр содержится 50 тысяч нейронов. В среднем, на каждый нейрон приходится 10 см нервных волокон. При этом каждый нейрон может иметь до 40 тысяч соединений. Электронно-микроскопическая фотография фрагмента биологической нейронной сети мозга взрослого человека Вычислительные возможности Сильноразветвленная сеть как мощная распараллеленная система реализует вычислительные возможности, превосходящие производительность самых быстрых современных компьютеров. Пример: распознавание образов через зрение (отождествление знакомого лица в незнакомом окружении). Взаимодействие и обмен информацией между рецепторами и нейронами головного мозга. Обработка мозгом менее чем за 0,1 сек Мозг на протяжении всей жизни находится в динамическом состоянии. Он строит и разрушает миллионы связей между своими нейронами по собственным правилам на основании предшествующего опыта, непрерывно корректируя индивидуальные особенности личности. Развитие теории нейросетей Изучение строения мозга и мозговой активности в начале ХХ века - фундамент вычислительных экспериментов с привлечением математического аппарата Цель - воспроизвести способность нервных биологических систем обучаться и исправлять ошибки Попытки смоделировать лишь низкоуровневую нейронную структуру, т.к. было понятно, что мозг человека представляет собой исключительно сложную, нелинейную систему обработки информации 1943 г. американский математик и философ Норберт Винер (Norbert Wiener) - идея о представлении сложных биологических процессов простыми математическими моделями 1943 г. американский нейропсихолог Уоррен МакКаллок (Warren Sturgis McCulloch) и Уолтер Питтс (Walter Pitts) предложили первую модель нейрона и сформулировали основные положения теории функционирования головного мозга. 1949 г. канадский физиолог и нейропсихолог Дональд Хэбб (Donald Olding Hebb) - первый алгоритм обучения искусственных нейронных сетей 1957 г. Фрэнк Розенблатт (Frank Rosenblatt) Основы искусственного интеллекта Первый нейрокомпьютер «Марк-1» (1960 г.), способный обучаться и решать простейшие задачи. Особенность – алгоритм перцептрона (персептрона). Персептрон – математическая модель восприятия информации мозгом, кибернетическая модель мозга. Персептроны позволяют создать набор ассоциаций между входными стимулами и необходимой реакцией на выходе. В биологическом плане это соответствует преобразованию, например, зрительной информации в физиологический ответ от двигательных нейронов. 1982 г. Теуво Кохонен (Teuvo Kohonen) Теория ассоциативной памяти Модели самообучающихся нейросетей (нейронная сеть/слой Кохонена) Решение нестандартных задач кластеризации и визуализации данных (самоорганизующаяся карта Кохонена) Оригинальные алгоритмы обработки символьной информации Самоорганизующаяся карта 1990 г. Джефри Элман (Jeffrey Elman) Рекуррентные нейронные сети Разработка высокоэффективных нейросетевых систем для распознавания речи и «запоминания» последовательностей Реализация внутренней памяти нейросети, путем введения петель обратной связи в скрытых слоях Архитектура ИНС позволяет учесть предысторию наблюдаемых процессов и накопить информацию для выработки правильной стратегии управления/прогнозирования ИНС с петлей обратной связи Простая модель синаптической связи Искусственная нейронная сеть (ИНС) - система соединённых и взаимодействующих простых процессоров – искусственных нейронов. Процессоры-нейроны предельно просты. Каждый из них имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. Соединённые в сеть с управляемым взаимодействием, такие локально простые вычислительные единицы вместе способны решать довольно сложные задачи. Персептрон Ассоциативный A-элемент активизируется, как только количество сигналов от S-элементов на его входе превысило некоторую пороговую величину θ. Сигналы от «возбудившихся» A-элементов, в свою очередь, передаются в сумматор R, причём сигнал от i-го ассоциативного элемента передаётся с коэффициентом wi (вес A-R связи). R-элемент подсчитывает сумму значений входных сигналов, помноженных на веса. R-элемент (персептрон), выдаёт «1», если превышен порог θ, иначе на выходе будет «−1». Процесс обучения состоит в изменении весовых коэффициентов wi связей A-R. Логическая схема элементарного персептрона. Веса S-A связей могут иметь значения −1, +1 или 0 (то есть отсутствие связи). Веса A-R связей W могут быть любыми. На современном этапе однослойный персептрон представляет скорее исторический интерес, однако на его примере могут быть изучены основные понятия и простые алгоритмы обучения нейронных сетей. Математическая модель нейрона Математически нейрон представляет собой взвешенный сумматор, единственный выход которого определяется через его входы и матрицу весов: . xi и wi – соответственно сигналы на входах нейрона и веса входов, функция s называется индуцированным локальным полем, а f(s) – передаточной функцией. Дополнительный вход x0 и соответствующий ему вес w0 используется для инициализации нейрона. Величина b (коэффициент смещения) формирует порог чувствительности нейрона. Принципы функционирования ИНС Действующие параллельно и соединенные последовательно искусственные нейроны составляют основу нейронной сети. Как и в природе, функция нейронной сети в значительной степени определяется связями между элементами. Регулируя значения коэффициентов (весов) связи нейронную сеть можно настраивать (обучать) для выполнения конкретной функции. Искусственные нейронные сети настраиваются или обучаются так, чтобы конкретные входы преобразовывались в заданный целевой выход. Сеть обучается, основываясь на сравнении сигналов выхода и цели до тех пор, пока выход сети не будет соответствовать, т.е. близок к цели. Чтобы обучить сеть при таком управляемом обучении, как правило, используется много пар значений сигналов вход/цель. . Преимущества нейросетевого подхода Решение задач, не поддающихся адекватной формализации традиционными аналитическими методами, поскольку невозможно учесть все особенности описываемого процесса. Решение формализуемых задач, для которых в настоящее время отсутствует математический аппарат решения. Решение формализуемых задач с существующим математическим аппаратом для их решения, но реализация вычислений с его помощью не удовлетворяет требованиям по затрачиваемым вычислительным ресурсам. Получение неявной модели системы без построения ее конкретного физического представления, используя только достаточно большие массивы экспериментальных данных. Создание ИНС с учетом физических представлений об изучаемых причинно-следственных связях в рассматриваемом процессе. Сочетание корреляционной обработки изучаемых сигналов с их нелинейным преобразованием. . Области применения ИНС Прогнозирование и восстановление числовых рядов Кластерный анализ Классификация и распознавание образов Обработка изображений Нелинейное управление процессами Адаптивная фильтрация Финансовое прогнозирование Сжатие и шифрование информации Параллельные вычисления на суперкомпьютерах (Blue Brain Project, Blue Gene) В настоящее время метод ИНС активно применяется в гелиогеофизике для решения задач прогноза параметров солнечно-земных связей и различных геофизических явлений. |