Анатомия искусственных нейронных сетей. Лекция Естественный нейрон Особенности естественных нс
Скачать 2.46 Mb.
|
Анатомия искусственных нейронных сетейОткрытая лекцияЕстественный нейронОсобенности естественных НСмассовый параллелизм; распределенное представление информации и вычисления; способность к обучению и способность к обобщению; адаптивность; свойство контекстуальной обработки информации; толерантность к ошибкам; низкое энергопотребление. Идея нейронных сетейУоррен Мак-Каллок (1943) Первое устройствоНейрофизиолог Фрэнк Розенблатт создал персептрон, Компьютер Марк-1 (1960) Искусственный нейронАктивационная функцияНейрон со смещениемЧто может один нейронИ ИЛИ Исключающее илиXOR ПерсептронОднослойный персептрон Многослойный персептрон Обучение нейронных сетейЗадача обучения – подбор весов нейронной сети. Виды обучения:
Обучение без учителя Обучение с подкреплением Метод был предложен в 1986 г. Румельхартом, Макклеландом и Вильямсом (метод градиентного спуска) Основные понятия:
Скорость обучения Алгоритм распространения ошибки сводится к следующим этапам:
вычисление значения ошибки δ для выходного слоя; обратное распространение: последовательно от конца к началу для всех скрытых слоев вычисляем δ; обновление весов сети на вычисленную ранее δ ошибки. Архитектура ИНСПерцептроны (perceptrons, P), Нейронные сети прямого распространения (feed forward neural networks, FF или FFNN), Сети радиально-базисных функций (radial basis function, RBF) — это FFNN, Нейронная сеть Хопфилда (Hopfield network, HN) Автокодировщик (autoencoder, AE) Сеть типа «deep belief» (deep belief networks, DBN) Свёрточные нейронные сети (convolutional neural networks, CNN) и глубинные свёрточные нейронные сети (deep convolutional neural networks, DCNN) Развёртывающие нейронные сети (deconvolutional networks, DN) Архитектуры НСЗадачи ИНСраспознавание образов, классификация, прогноз, оптимизации, ассоциативная память, управление Направления развития НСРост точности сетей Направления развития НСРост сложности:
2014 году больше 20 слоев, в 2015 — около 150. В 2017 - более 200. Направления развития НСРост объемов данных
Рост вычислительных мощностей: За эти 14 лет процессоры стали условно в 1000 раз быстрее. GPUs, которые сейчас доминируют в области Deep Learning. Практически все считается на графических ускорителях. |