кр. Ю. Ю. Громов, О. Г. Иванова, В. В. Алексеев, М. П. Беляев, Д. П. Швец, аи. Елисеев интеллектуальные информационные системы и технологии
 Скачать 2.03 Mb.
|
|
48 Maker фирмы CSS (California Scientific Software). Первоначально разработанный фирмой Loral Space Systems no заказу NASA и Johnson’s Space Center пакет Brain Maker был вскоре адаптирован для коммерческих приложений и сегодня используется несколькими тысячами финансовых и промышленных компаний, а также оборонными ведомствами США для решения задач прогнозирования, оптимизации и моделирования ситуаций. Назначение пакета Brain Maker – решение задач, для которых пока не найдены формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся прогнозирование курсов валют и акций на биржах, моделирование кризисных ситуаций, распознавание образов и многие другие. Brain Maker решает поставленную задачу, используя математический аппарат теории нейронных сетей (более конкретно – сеть Хопфилда с обучением по методу обратного распространения ошибки. В оперативной памяти строится модель многослойной нейронной сети, которая обладает свойством обучаться на множестве примеров, оптимизируя свою внутреннюю структуру. При правильном выборе структуры сети после её обучения на достаточно большом количестве примеров можно добиться высокой достоверности результатов (97% и выше. Существуют версии Brain Maker для MS DOS и MS Windows, а также для Apple Macintosh. Кроме базовой версии пакета в семейство Brain Maker входят следующие дополнения − Brain Maker Student – версия пакета для университетов. Она особенно популярна у небольших фирм, специализирующихся на создании приложений для не очень сложных задач. − Toolkit Option – набор из трёх дополнительных программ, увеличивающих возможности Brain Maker. Binary, которая переводит обучающую информацию в двоичный формат для ускорения обучения Hypersonic Training, где используется высокоскоростной алгоритм обучения Plotting, которая отображает факты, статистику и другие данные в графическом виде. − Brain Maker Professional – профессиональная версия пакета Brain Maker с расширенными функциональными возможностями включает в себя все опции Toolkit. − Genetic Training Option (для Brain Maker Pro) – программа автоматической оптимизации нейронной сети для решения заданного класса задач, использующая генетические алгоритмы для селекции наилучших решений. − Data Maker Editor – специализированный редактор для автоматизации подготовки данных при настройке и использовании нейронной сети. 49 − Training Financial Data – специализированные наборы данных для настройки нейронной сети на различные виды аналитических, коммерческих и финансовых операций, которые включают реальные значения макроэкономических показателей NYSE, NADDAW, ASE, OEX, DOW и др, индексы инфляции, статистические данные биржевых сводок по различным видам продукции, а также информацию по фьючерсным контрактами многое другое. − Brain Maker Accelerator – специализированная нейроплата– акселератор на базе сигнальных процессоров TMS320C25 фирмы Texas Instruments. Вставленная в персональный компьютер, она вне- сколько раз ускоряет работу пакета Brain Maker. − Brain Maker Accelerator Pro – профессиональная многопроцессорная нейронная плата. Она содержит пять сигнальных процессоров TMS320C30 и 32 Мбайт оперативной памяти. В настоящее время на рынке программных средств имеется большое количество разнообразных пакетов для конструирования нейронных сетей и решения различных задач. Пакет Brain Maker можно назвать ветераном рынка. Кроме представителей этого семейства, к хорошо известными распространённым программным средствам можно отнести Neuro Shell (Ward System's Group), Neural Works (Neural Ware Inc.) и Neuro Solutions (Neuro Dimension Inc.). Объектно- ориентированные программные среды семейства Neuro Solutions предназначены для моделирования ИНС произвольной структуры. Пользователю систем Neuro Solutions предоставлены возможности исследования и диалогового управления. Все данные в сети доступны для просмотра в процессе обучения посредством разнообразных инструментов визуализации. Проектирование ИНС в системе Neuro Solutions основано на модульном принципе, который позволяет моделировать стандартные и новые топологии. Важным преимуществом системы является наличие специальных инструментов, позволяющих моделировать динамические процессы в ИНС. 2.6. Практическое применение нейросетевых технологий Применение нейросетевых технологий целесообразно при решении задач, имеющих следующие признаки отсутствие алгоритмов решения задач при наличии достаточно большого числа примеров наличие большого объёма входной информации, характеризующей исследуемую проблему − зашумлённость, частичная противоречивость, неполнота или избыточность исходных данных. 50 Нейросетевые технологии нашли широкое применение в таких направлениях, как распознавание печатного текста, контроль качества продукции на производстве, идентификация событий в ускорителях частиц, разведка нефти, борьба с наркотиками, медицинские и военные приложения, управление и оптимизация, финансовый анализ, прогнозирование и др. В сфере экономики нейросетевые технологии могут использоваться для классификации и анализа временных рядов путём аппроксимации сложных нелинейных функций. Экспериментально установлено, что модели нейронных сетей обеспечивают большую точность при выявлении нелинейных закономерностей на фондовом рынке по сравнению с регрессионными моделями [13]. Рассмотрим решение задачи прогнозирования цены закрытия назавтра по акциям некоторого предприятия X. Для моделирования воспользуемся данными наблюдений за месяц. В качестве исходных данных можно использовать индикаторы Dow Jones, NIKKEI, FTSE100, индексы и акции российских компаний, сезонные переменные и др. Относительный показатель однодневной доходности предприятия можно определить из соотношений где i P ∆ – оценка операции вчера купил, сегодня продал i P ∆ − – оценка операции вчера продал, сегодня купил i P – значение выбранного показателя доходности в й день 1 − i P – значение показателя в (i – й день. Итоговая доходность за установленный интервал времени (n дней) рассчитывается по формуле ∑ = − ∆ + = n i i P R 1 Результаты оценки доходности предприятия задней с использованием различных моделей ИНС, а также доходов идеального трейдера приведены ниже. Стандартная трёхслойная сеть ................................................. 0,1919 Стандартная четырёхслойная сеть .......................................... 0,1182 Рекуррентная сеть с обратной отрицательной связью от скрытого слоя ....................................................................... 0,1378 51 Рекуррентная сеть с отрицательной обратной связью .......... 0,4545 Сеть Ворда: стремя скрытыми блоками, с разными передаточными функциями ................................... 0,2656 Трёхслойная сеть с обходным соединением .......................... 0,1889 Четырёхслойная сеть с обходными соединениями ............... 0,0003 Сеть с общей регрессией .......................................................... 0,3835 Сеть метода группового учёта аргументов ............................ 0,1065 Сеть Ворда: стремя скрытыми блоками, с разными передаточными функциями, с обходным соединением ..….. 0,1166 Идеальный трейдер ............................................................... 1,1448 Идеальный трейдер знает цену закрытия наследующий день и поэтому получает максимально возможную прибыль. Трейдер пользуется значением нейросетевого индикатора следующим образом на основе прогнозируемого в (i – й день значения i P ∆ , (величина относительно изменения цены закрытия по акциям рассматриваемого предприятия на завтрашний й день) трейдер принимает решение о покупке) или продаже ( i P ∆ < 0) акций. Анализ результатов моделирования показывает, что лучшую доходность обеспечила рекуррентная сеть с отрицательной обратной связью задней. Динамика изменения однодневных показателей доходности, полученных с помощью этой ИНС, приведена на рис. 2.5. Рис. 2.5. Динамика изменения доходности (R i ) и цен закрытия (P i ) за 30 торговых дней, полученная на рекуррентной сети с отрицательной обратной связью Торговые дни P i 52 Нейросетевые технологии активно используются в маркетинге для моделирования поведения клиентов и распределения долей рынка. Нейросетевые технологии позволяют отыскивать в маркетинговых базах данных скрытые закономерности. Моделирование поведения клиентов позволяет определить характеристики людей, которые будут нужным образом реагировать нарек- ламу и совершать покупки определённого товара или услуги. Сегментирование и моделирование рынков на основе нейросете- вых технологий даёт возможность построения гибких классификационных систем, способных осуществлять сегментирование рынков с учётом многообразия факторов и особенностей каждого клиента. Технологии ИНС имеют хорошие перспективы при решении задач имитации и предсказания поведенческих характеристик менеджеров и задач прогнозирования рисков при выдаче кредитов. Не менее актуально применение ИНС при выборе клиентов для ипотечного кредитования, предсказания банкротства клиентов банка, определения мошеннических сделок при использовании кредитных карточек, составления рейтингов клиентов при займах с фиксированными платежами и т.п. Следует помнить о том, что применение нейросетевых технологий не всегда возможно и сопряжено с определёнными проблемами и недостатками. Необходимо как минимума лучше 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных и они далеко не всегда доступны. Например, при производстве сезонного товара истории предыдущих сезонов недостаточно для прогноза на текущий сезон из-за изменения стиля продукта политики продажи т.д. Даже при прогнозировании спроса на достаточно стабильный продукт на основе информации о ежемесячных продажах трудно накопить исторические данные за период от 50 до 100 месяцев. Для сезонных товаров проблема ещё более сложна, так как каждый сезон фактически представляет собой одно наблюдение. При дефиците информации модели ИНС строят в условиях неполных данных, а затем проводят их последовательное уточнение. Построение нейронных сетей требует значительных затрат труда и времени для получения удовлетворительной модели. Необходимо учитывать, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке – в этом случае происходит переобучение сети. Чем лучше система адаптирована к конкретным условиям, тем меньше она способна к обобщению и экстраполяции и тем скорее может оказаться неработоспособной при изменении этих условий. Расширение 53 объёма обучающей выборки позволяет добиться большей устойчивости, но за счёт увеличения времени обучения. При обучении нейронных сетей могут возникать ловушки, связанные с попаданием в локальные минимумы. Детерминированный алгоритм обучения не в силах обнаружить глобальный экстремум или покинуть локальный минимум. Одним из приёмов, который позволяет обходить ловушки, является расширение размерности пространства весов за счёт увеличения числа нейронов скрытых слов. Некоторые возможности для решения этой проблемы открывают стохастические методы обучения. При модификации весов сети только на основе информации о направлении вектора градиента целевой функции в пространстве весов можно достичь локального минимума, но невозможно выйти из него, поскольку в точке экстремума движущая сила (градиент) обращается в нуль и причина движения исчезает. Чтобы покинуть локальный экстремум и перейти к поиску глобального, нужно создать дополнительную силу, которая будет зависеть не от градиента целевой функции, а от каких-то других факторов. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить её к детерминистической. 4. Сигмоидальный характер передаточной функции нейрона является причиной того, что если в процессе обучения несколько весовых коэффициентов стали слишком большими, то нейрон попадает на горизонтальный участок функции в область насыщения. При этом изменения других весов, даже достаточно большие, практически не сказываются на величине выходного сигнала такого нейрона, а значит, и на величине целевой функции. Неудачный выбор диапазона входных переменных – достаточно элементарная, но часто совершаемая ошибка. Если х – двоичная переменная со значениями 0 и 1, то примерно в половине случаев она будет иметь нулевое значение х = 0. Поскольку х входит в выражение для модификации веса в виде сомножителя, то эффект будет тот же, что и при насыщении модификация соответствующих весов будет блокирована. Правильный диапазон для входных переменных должен быть симметричным, например от +1 до –1 [2, 12]. Процесс решения задач нейронной сетью является непрозрачным для пользователя, что может вызывать сего стороны недоверие к прогнозирующим способностям сети. Предсказывающая способность сети существенно снижается, если поступающие на вход факты (данные) имеют значительные отличия от примеров, на которых обучалась сеть. Этот недостаток ярко проявляется при решении задач экономического прогнозирования, в 54 частности, при определении тенденций котировок ценных бумаги стоимости валют на фондовых и финансовых рынках. Отсутствуют теоретически обоснованные правила конструирования и эффективного обучения нейронных сетей. Этот недостаток приводит, в частности, к потере нейронными сетями способности обобщать данные предметной области в состояниях переобучения (пе- ретренировки). 2.7. Контрольные вопросы и задания 1. Опишите модель искусственного нейрона. Приведите примеры передаточных функций. 2. Сравните свойства биологических и искусственных нейронных сетей. 3. Проведите сравнение однослойных и многослойных ИНС. 4. Раскройте особенности рекуррентных и самоорганизующихся сетей. 5. Расскажите о моделях сетей Хопфилда и Кохонена. 6. Дайте характеристику основных этапов построения нейронной сети. 7. Расскажите о методах обучения ИНС (коррекция по ошибке, обучение Хебба, соревновательное обучение, метод обратного распространения ошибки. 8. Опишите алгоритм обратного распространения ошибки. Сформулируйте его достоинства и недостатки. 9. Назовите и охарактеризуйте парадигмы обучения нейронной сети. 10. Расскажите об известных вам способах реализации ИНС. 11. Поясните условия применимости ИНС. Сформулируйте основные проблемы, возникающие при применении нейронных сетей. 12. Назовите негативные последствия переобучения нейронной сети. 13. Подготовьте набор содержательных примеров для обучения нейронной сети с заданной целью. 14. Изобразите наиболее известные функции активации и дайте им характеристику. 15. Сформулируйте постановку прикладной задачи, для решения которой возможно и целесообразно применить нейронную сеть. Опишите, как это можно сделать. 16. Сформулируйте постановку содержательной задачи для решения методами нейронных сетей. Подготовьте обучающую и тестирующую выборки примеров. 55 17. Сформулируйте постановку задачи извлечения знаний для решения с помощью технологии нейронных сетей. Подготовьте необходимые данные. 18. Составьте задачу классификации (диагностики) для решения с помощью технологии нейронных сетей. Подготовьте необходимые данные, выберите топологию сети. 19. Сформулируйте задачу прогнозирования для решения с помощью технологии нейронных сетей. Подготовьте необходимые данные, выберите топологию сети. 20. Аргументировано выберете случай, в котором целесообразно применение ИНС: а) выявление тенденций, взаимосвязей в больших объёмах данных, искажённых шумами б) построение аппроксимации функции по результатам эксперимента, когда количество опытов невелико. 21. Расскажите про выбор архитектуры и настройку многослойной нейронной сети. 22. Расскажите о задачах, решаемых при помощи самоорганизующихся карт Кохонена. 23. Назовите достоинства и недостатки алгоритма обратного распространения ошибки. 24. Назовите и дайте краткую характеристику базовым архитек- турам нейронных сетей. 25. Расскажите о проблемах практического использования искусственных нейронных сетей. 2.8. Список литературы 1. Барцев, СИ. Адаптивные сети обработки информации / СИ. Барцев, В.А. Охонин. – Красноярск : Институт физики СО АН СССР, 1986. 2. Галушкин, АИ. Нейронные сети. Основы теории / АИ. Га- лушкин. – М. : Горячая Линия-Телеком, 2012. – 496 с. 3. Комьютер обретает разум / под ред. В.А. Стефанюк. – М. : Мир, 1990. – 240 с. 4. Осовский, С. Нейронные сети для обработки информации / С. Осовский ; перс польс. И.Д. Рудинского. – М. : Финансы и статистика. 5. Лозин, Н.В. Моделирование нейронных структур / Н.В. Ло- зин. – М. : Наука, 1970. 6. Розенблат, Ф. Принципы нейродинамики / Ф. Розенблат. – М. : Мир, 1965. 56 7. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. – М. : Горячая Линия-Телеком, 2007. Соколов, Е.Н. Нейроинтеллект: от нейрона к нейрокомпьюте- ру / Е.Н. Соколов, Г.Г. Вайтнявичус. – М. : Наука, 1989. 9. Толкачев, С. Нейронное программирование диалоговых систем С. Толкачев. – М. : Корона-Век, 2011. 10. Трикоз, Д.В. Нейронные сети как это делается / Д.В. Трикоз // Компьютеры + программы. – 1992. – № 4, 5. 11. Уоссермен, Ф. Нейрокомпьютерная техника Теория и практика Ф. Уоссермен. – М. : Мир, 1992. 12. Фролов, Ю.В. Интеллектуальные системы и управленческие решения / Ю.В. Фролов. – М. : Изд-во МГПУ, 2000. 13. Хинтон, Дж.Е. Как обучаются нейронные сети / Дж.Е. Хинтон // В мире науки. – 1992.– № 11, 12. Элементарное введение в технологию нейронных сетей с примерами программ / Р.Тадеусевич и др. – М. : Горячая Линия- Телеком, 2011. 15. Kohonen, Т. Self-organization and associative memory / Т. Koho- nen. – New York : Springer, 1984. |