Главная страница
Навигация по странице:

  • Идея нейронных сетей

  • Искусственный нейрон

  • Архитектура ИНС

  • Сеть типа «deep belief»

  • Развёртывающие нейронные сети

  • Направления развития НС

  • Анатомия искусственных нейронных сетей. Лекция Естественный нейрон Особенности естественных нс


    Скачать 2.46 Mb.
    НазваниеЛекция Естественный нейрон Особенности естественных нс
    АнкорАнатомия искусственных нейронных сетей
    Дата20.01.2023
    Размер2.46 Mb.
    Формат файлаpptx
    Имя файлаАнатомия искусственных нейронных сетей.pptx
    ТипЛекция
    #896093

    Анатомия искусственных нейронных сетей

    Открытая лекция

    Естественный нейрон

    Особенности естественных НС


    массовый параллелизм;
    распределенное представление информации и вычисления;
    способность к обучению и способность к обобщению;
    адаптивность;
    свойство контекстуальной обработки информации;
    толерантность к ошибкам;
    низкое энергопотребление.

    Идея нейронных сетей


    Уоррен Мак-Каллок (1943)

    Первое устройство


    Нейрофизиолог Фрэнк Розенблатт создал персептрон,
    Компьютер Марк-1 (1960)

    Искусственный нейрон

    Активационная функция

    Нейрон со смещением

    Что может один нейрон


    И

    ИЛИ

    Исключающее или


    XOR

    Персептрон


    Однослойный персептрон

    Многослойный персептрон

    Обучение нейронных сетей


    Задача обучения – подбор весов нейронной сети.
    Виды обучения:

    Метод был предложен в 1986 г. Румельхартом, Макклеландом и Вильямсом (метод градиентного спуска)
    Основные понятия:
      Функция ошибки,
      Скорость обучения


    Алгоритм распространения ошибки сводится к следующим этапам:
      прямое распространение сигнала по сети, вычисления состояния нейронов;
      вычисление значения ошибки δ для выходного слоя;
      обратное распространение: последовательно от конца к началу для всех скрытых слоев вычисляем δ;
      обновление весов сети на вычисленную ранее δ ошибки.

    Архитектура ИНС


    Перцептроны (perceptrons, P),
    Нейронные сети прямого распространения (feed forward neural networks, FF или FFNN),
    Сети радиально-базисных функций (radial basis function, RBF) — это FFNN, 
    Нейронная сеть Хопфилда (Hopfield network, HN)
    Автокодировщик (autoencoder, AE) 
    Сеть типа «deep belief» (deep belief networks, DBN)
    Свёрточные нейронные сети (convolutional neural networks, CNN) и глубинные свёрточные нейронные сети (deep convolutional neural networks, DCNN)
    Развёртывающие нейронные сети (deconvolutional networks, DN)

    Архитектуры НС

    Задачи ИНС


    распознавание образов, классификация, прогноз, оптимизации, ассоциативная память, управление

    Направления развития НС


    Рост точности сетей

    Направления развития НС


    Рост сложности:
      Победитель 2012 года на ImageNet — сеть AlexNet — меньше 10 слоев,
      2014 году больше 20 слоев, в 2015 — около 150.
      В 2017 - более 200.

    Направления развития НС


    Рост объемов данных
      В 1998 году для обучения сверточной нейросети, которая распознавала рукописные чеки, было использовано 10 7 пикселей, в 2012 году (IMAGENET) — 10 14.

      Рост вычислительных мощностей:

      За эти 14 лет процессоры стали условно в 1000 раз быстрее.
      GPUs, которые сейчас доминируют в области Deep Learning. Практически все считается на графических ускорителях.



    написать администратору сайта