Анализ и визуализация нейронных сетей с внешней памятью. Анализ и визуализация нейронных сетей с внешней памятью-6-8. Были предложены четыре модификации для работы этой модели нейронный компьютер
 Скачать 104.73 Kb.
|
|
В 2018-ом году в работе [29] были предложены четыре модификации для работы этой модели. нейронный компьютер. В ней также было лишь краткое описание принципов дель нейронной сети с внешней памятью под названием дифференцируемый В 2016-ом году в работе [2] была предложена усовершенствованная мо- 36]. является изобретение дифференцируемых механизмов внимания [33, 34, 35, Основным фактором появления нейронных сетей с внешней памятью предоставление детального описания работы нейронной машины Тьюринга. вой модели. Одной из задач выпускной квалификационной работы является работе не описаны подробно детали функционирования данной нейросете- Модель NTM была предложена в 2014-ом году в работе [1]. В этой мерах. RMSProp), что дает практический механизм для обучения программ на при- может быть обучена модификациями метода градиентного спуска (например, Тьюринга (NTM) является полностью дифференцируемой моделью, которая мяти большого размера. В отличие от машины Тьюринга, нейронная машина успешного решения алгоритмических задач является введение адресной па- Одним из способов улучшения стандартных рекуррентных сетей для памяти. в течение длинных временных промежутков из-за отсутствия долгосрочной работой со структурами данных и переменными, а также хранением данных нием, но очень ограничены в возможностях для решения задач, связанных с ния на последовательностных данных и с задачами обучения с подкрепле- Рекуррентные нейронные сети хорошо справляются с задачами обуче- ные процедуры. Но на практике это не всегда просто сделать. [4, 5], и поэтому имеют возможность имитировать произвольные программ- и др [19]. Кроме того, известно, что RNN являются полными по Тьюрингу мер: распознавание рукописного текста, анализ текстов, распознавание речи довательностей разной длины. RNN применимы в таких задачах как, напри- ные сети могут использовать свою внутреннюю память для обработки после- времени или последовательные логические цепочки. Рекуррентные нейрон- машинного обучения тем, что они способны обрабатывать серии событий во Рекуррентные нейронные сети (RNN) отличаются от других методов Введение 6 успешной модели LSTM на примере двух задач: копирования последо- – сравнить качество работы этих моделей по отношению к более ранней – отметить преимущества и недостатки этих моделей; строить необходимые схемы; емого нейронного компьютера (DNC), модификаций DNC, а также про- – подробно описать работу нейронной машины Тьюринга, дифференциру- В работе были поставлены следующие задачи: нейронного компьютера. ка приложения для визуализации внутренних процессов дифференцируемого ное исследование вышеуказанных нейросетевых моделей, а также разработ- Целью работы является подробное теоретическое и эксперименталь- ных с построением вопросно-ответных систем. нейросетевых моделей, а также их применимость к решению задач, связан- Предметом исследования является подробный анализ вышеуказанных нейронный компьютер. ней памятью, а именно нейронная машина Тьюринга и дифференцируемый Объектом исследования данной работы являются нейронные сети с внеш- (например, с графами), решать алгоритмические задачи. – способность работать с переменными, а также со структурами данных мых параметров; – модель должна содержать относительно небольшое количество обучае- – способность решать QA-задачи; нейронной сети (попытка уйти от концепции «черного ящика»); – прозрачность принятия решений моделью и интерпретируемость работы но зависеть от начальной инициализации); – устойчивость процесса обучения (процесс обучения не должен существен- – высокая скорость обучения; – наличие «долгосрочной» обучаемой памяти; К таким нейросетевым моделям предъявляются следующие требования: системам (QA-задачи). ных, а также успешно решать задачи, предъявляемые к вопросно-ответным куррентных нейросетевых моделей, способных хранить большие объёмы дан- На сегодняшний день очень высока актуальность создания новых ре- tasks). Эти модификации были основаны на работах [31, 32]. качество решения задач, связанных с вопросно-ответными системами (QA- дифференцируемого нейронного компьютера, которые позволяли улучшить 7 вательностей битовых векторов и bAbi-task (базовые навыки вопросно- ответных систем); – разработать приложение для визуализации внутренних процессов модели дифференцируемого нейронного компьютера; В первом разделе предоставляются общие сведения по теме рекуррент- ных нейронных сетей. Во втором разделе даётся подробное описание структуры и процесса обучения нейронной машины Тьюринга, перечисляются сферы применимо- сти, достоинства и недостатки данной модели. В третьем разделе даётся подробное описание структуры и процесса обучения дифференцируемого нейронного компьютера, перечисляются до- стоинства и недостатки данной модели. В четвертом разделе описываются результаты вычислительных экспе- риментов для задач копирования битовых векторов и bAbi-task. Даётся срав- нительный анализ работы моделей LSTM, NTM и DNC. В разделе 5 описывается программное средство для визуализации DNC. В разделе 6 перечисляются недостатки DNC. В разделе 7 описываются модификации DNC. 8 |