|
|
Модели нейтроных сетей. модели нейронных сетей атакже нейроные сети1-2. Другие модели нейронных сетей атакже нейроные сети12
Другие модели нейронных сетей атакже нейроные сети1-2
Интеллектуальные системы на основе искусственных нейронных сетей позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной памяти и управления. Известны и иные, более традиционные подходы к решению этих проблем, однако они не обладают необходимой гибкостью за пределами ограниченных условий. ИНС дают многообещающие альтернативные решения, и многие приложения выигрывают от их использования.
Интеллектуальные системы на основе искусственных нейронных сетей (ИНС) позволяют с успехом решать проблемы распознавания образов, выполнения прогнозов, оптимизации, ассоциативной памяти и управления. Известны и иные, более традиционные подходы к решению этих проблем, однако они не обладают необходимой гибкостью за пределами ограниченных условий. ИНС дают многообещающие альтернативные решения, и многие приложения выигрывают от их использования
Легке запаминать и учить
- Дональд Хебб Канадский психолог Канадский физиолог и нейропсихолог. Известен работами, приведшими к пониманию значения нейронов для процесса обучения. Его также называют одним из создателей теории искусственных нейронных сетей, так как он предложил первый работающий алгоритм обучения искусственных нейронных сетей. Родился: 22 июля 1904 г. Умер: 20 августа 1985 г. (81 год), Chester В браке с: Маргарет Дорин Райт (1966-1983 гг.), Елизабет Николс Донован (1937-1962 гг.), Марион Изабель Кларк (1931-1933 гг.) Чем известен: синапс Хебба, обучение Хебба
|
Машина фон Неймана
|
<>Биологическая нейронная система
|
Процессор
|
Сложный
|
Простой
| | |
Высокоскоростной
|
Низкоскоростной
| | |
Один или несколько
|
Большое количество
|
Память
|
Отделена от процессора
|
Интегрирована в процессор
| | |
Локализована
|
Распределенная
| | |
Адресация не по содержанию
|
Адресация по содержанию
|
Вычисления
|
Централизованные
|
Распределенные
| | |
Последовательные
|
Параллельные
| | |
Хранимые программы
|
Самообучение
|
Надежность
|
Высокая уязвимость
|
Живучесть
|
Специализация
|
Численные и символьные oперации
|
Проблемы восприятия
|
Среда функционирования
|
Строго определенная
|
Плохо определенная
| | |
Строго ограниченная
|
Без ограничений
| Память, адресуемая по содержанию Андерсон и Розенфельд - Биологические нейронные сети
- Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (рис. 1). Она состоит из тела клетки (cell body), или сомы (soma), и двух типов внешних древоподобных ветвей: аксона (axon) и дендритов (dendrites). Тело клетки включает ядро (nucleus), которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна (strands). На окончаниях этих волокон находятся синапсы (synapses).
- Рис. 1. Схема биологического нейрона
- Синапс является элементарной структурой и функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, высвобождаются определенные химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через синаптическую щель, возбуждая или затормаживая, в зависимости от типа синапса, способность нейрона-приемника генерировать электрические импульсы. Результативность синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.
- Кора головного мозга человека является протяженной, образованной нейронами поверхностью толщиной от 2 до 3 мм с площадью около 2200 см2, что вдвое превышает площадь поверхности стандартной клавиатуры. Кора головного мозга содержит около 1011 нейронов, что приблизительно равно числу звезд Млечного пути [11]. Каждый нейрон связан с 103 - 104 другими нейронами. В целом мозг человека содержит приблизительно от 1014 до 1015 взаимосвязей.
- Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько мсек. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем самые быстродействующие переключательные электронные схемы. Тем не менее сложные решения по восприятию информации, как, например, распознавание лица, человек принимает за несколько сотен мс. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько мс. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг "запускает" параллельные программы, содержащие около 100 шагов. Это известно как правило ста шагов [12]
- образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень маленьким (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами. Этим объясняется такое название, как коннекционистская модель, применяемое к ИНС.
- Основные понятия
Основные понятия Модель технического нейрона - МакКаллок и Питтс [4] предложили использовать бинарный пороговый элемент в качестве модели искусственного нейрона. Этот математический нейрон вычисляет взвешенную сумму n входных сигналов xj, j = 1, 2... n, и формирует на выходе сигнал величины 1, если эта сумма превышает определенный порог u, и 0 - в противном случае.
- Часто удобно рассматривать u как весовой коэффициент, связанный с постоянным входом x0 = 1. Положительные веса соответствуют возбуждающим связям, а отрицательные - тормозным. МакКаллок и Питтс доказали, что при соответствующим образом подобранных весах совокупность параллельно функционирующих нейронов подобного типа способна выполнять универсальные вычисления. Здесь наблюдается определенная аналогия с биологическим нейроном: передачу сигнала и взаимосвязи имитируют аксоны и дендриты, веса связей соответствуют синапсам, а пороговая функция отражает активность сомы.
Архитектура нейронной сети - ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 2): сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.
Обучение Конструирования процесса Правило коррекции по ошибке Обучение Больцмана Дональд Хебб Канадский психолог Канадский физиолог и нейропсихолог. Известен работами, приведшими к пониманию значения нейронов для процесса обучения. Его также называют одним из создателей теории искусственных нейронных сетей, так как он предложил первый работающий алгоритм обучения искусственных нейронных сетей. Родился: 22 июля 1904 г. Умер: 20 августа 1985 г. (81 год), Chester В браке с: Маргарет Дорин Райт (1966-1983 гг.), Елизабет Николс Донован (1937-1962 гг.), Марион Изабель Кларк (1931-1933 гг.) Чем известен: синапс Хебба, обучение Хебба Смотрите также - Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба [13]. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.
- Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило "победитель берет все". Подобное обучение имеет место в биологических нейронных сетях
|
|
|
Скачать 1.84 Mb.