Нейронные сети. Исследовательская работаНейронные сети 1. Исследовательская работа Нейронные сети
 Скачать 1.09 Mb.
|
|
Учебно-научная конференция школьников «В науку первые шаги» ------------------------ Исследовательская работа «Нейронные сети» Выполнил: ученик 8 «в» класса МОУ «СОШ №1 г. Новоузенск Саратовской области» Соловьёв Артём Руководитель: Шигербаева С.И.- учитель информатики г. Новоузенск 2020 Содержание Введение…………………………………………………………………………….. 3 I . Нейронные сети 1.1. Что такое нейронные сети?......................................................................4-5 .Как работают нейронные сети?................................................................5-6 1.3.Преимущества нейронных сетей………………………………………....6-8 1.4 Применение ИНС…………………………………………………………..9-12 II . Практическое создание и обучение ИНС посредством языка программирования python…………………………………………………………12-15 Заключение…………………………………………………………………………..15-16 Список литературы……………………………………………………………………16 Введение На сегодняшний момент искусственный интеллект прочно вошел в нашу жизнь и помогает в решении большого числа задач. Поэтому эта тема чрезвычайно популярна в наше время. Это легко можно увидеть, наблюдая за новостями на различных IT порталах. Подтверждает это и статистика. На графике ниже представлены данные сервиса Google Trends с 2019 по настоящее время.(рис.1)  Искусственный интеллект Рис.1. Данные сервиса Google Trends Одно из самых перспективных направлений искусственного интеллекта, приближающего будущее из фантастических фильмов, являются нейронные сети. Нейронные сети на глазах меняют наш мир. И надо знать их и уметь ими пользоваться! Поэтому темой нашей исследовательской работы стало исследование: «Нейронной сети». Объект исследования: нейронные сети. Предмет: принцип работы и применение искусственных нейронных сетей. Цель работы: Создать собственную нейронную сеть. Для достижения поставленной цели обозначим следующие задачи: Узнать что такое нейронная сеть. Понять как работают нейронные сети. Изучить примеры нейронных сетей и области их применения. Создать простую нейросеть на языке программирования Python, посредством среды разработки Python 3.6 I ГЛАВА. Нейронные сети. 1.1 Что такое нейронные сети? Зададимся вопросом. А что такое биологические нейронные сети?  Н Рис.2.Нейронная сеть головного мозга аш мозг представляет собой сложнейшую биологическую нейронную сеть, которая принимает информацию от органов чувств и каким-то образом ее обрабатывает (узнавание лиц, возникновение ощущений и т.д.). А из чего состоит нервная система или мозг? Ответ очевиден — из нейронов. Наш мозг, как и любая биологическая нейронная сеть, состоит из совокупности нейронов.(рис.2) Как можно заметить, биологический нейрон — чрезвычайно сложная система. Во многом это объясняется тем, что нейрон, помимо обработки сигнала (основное его назначение), вынужден еще выполнять кучу других функций, поддерживающих его жизнь. Более того, сам механизм передачи сигнала от нейрона к нейрону тоже очень сложный с биологической и химической точки зрения. Если мы уберём все, что с этим связно: ядро, мембраны, рибосомы и т.д..То мы получим гипотетическую структуру, которая принимает сигнал, преобразует его (примерно так, как это делают настоящие нейроны), и передает другим нейронам (которые делают тоже самое). Такую гипотетическую структуру и называют искусственным нейроном. Отсюда следует, что искусственная нейронная сеть (ИНС)- это совокупность взаимодействующих между собой искусственных нейронов (простых процессоров). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи. С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п. С математической точки зрения, обучение нейронных сетей это многопараметрическая задача нелинейной оптимизации. С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники. С точки зрения развития вычислительной техники и программирования, нейронная сеть — способ решения проблемы эффективного параллелизма[2]. С точки зрения искусственного интеллекта, ИНС является основой философского течения коннекционизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искажённых данных. 1.2 Как работают нейронные сети? Вот вы идете по улице. Вокруг вас много прохожих. Вы смотрите на них и моментально распознаете лица. Этот процесс не вызывает у вас никаких вопросов. Вы просто очень хорошо натренировались его совершать. А теперь вы поставили себе задачу — написать компьютерную программу, которая по данной картинке распознает лица. Можно даже проще. Попробуйте накидать приблизительный алгоритм распознавания лиц на бумаге. У вас ничего не выйдет. И все потому, что вы на бессознательном уровне распознаете лица, а бессознательное вы контролировать не можете. Делаете, но не знаете как. Помимо распознавания лиц существует еще куча других задач, которые просто непонятно, как решать. И тут на помощь приходят нейронные сети. Являясь моделью биологических нейросетей, они могут решать подобные задачи. Нейронные сети применяют для решения задач, алгоритм решения которых неизвестен. Эта способность нейросетей и сделала их такими популярными. Нейросети можно обучить играть в игры, узнавать голос, прогнозировать рост/падение цен. Их можно научить всему, что мы делаем бессознательно! Схема нейронной сети. Перед вами схема простейшей нейронной сети: Каждый кружок здесь – это нейрон, а вся эта система – нейронная сеть. Каждый нейрон получает информацию, производит над ней простые вычисления и передает её дальше. Нейроны делятся на три типа: синие – входные, красные – скрытые и зеленые – выходные. Но это не все. Данные стрелки между нейронами – это синапсы. У синапсов есть всего один параметр – вес. Благодаря ему, входная информация изменяется, когда передается от одного нейрона к другому. Допустим, есть 3 нейрона, которые передают информацию следующему. Тогда у нас есть 3 веса, соответствующие каждому из этих нейронов. У того нейрона, у которого вес будет больше, та информация и будет доминирующей в следующем нейроне (пример — смешение цветов). На самом деле, совокупность весов нейронной сети или матрица весов — это своеобразный мозг всей системы. Именно благодаря этим весам, входная информация обрабатывается и превращается в результат. 1.3 Преимущества нейронных сетей Помимо возможности решать новый класс задач нейросети обладают рядом значительных достоинств. 1.Устойчивость к шумам входных данных.  П Рис.3.Устойчивость к шумам. редставьте себе людей на пешеходном переходе.(рис.3) Вы без труда окидываете всех их взглядом и легко различаете лица. Однако рассмотрим эту картину подробнее. Помимо непосредственно лиц на изображении есть еще и асфальт, одежда людей, машины, светофор, сумки. И вся это ненужная (шумовая) информация тоже попадается нам в глаза! Но мы абсолютно не обращаем на нее внимания, мастерски различая лица. Как я уже говорил выше, мы просто натренировались их различать. Важная часть тренировки — игнорирование шумовых сигналов. Это качество есть и у искусственных нейронных сетей. После тренировки они способны не обращать внимание на входы, на которые подаются шумовые данные. Нейронные сети способны корректно функционировать, даже если на входе данные зашумлены. 2.Нейронные сети могут подстраиваться под изменяющуюся окружающую обстановку. Представьте, что вы математик. Вы решаете уравнения с помощью каких-то компьютерных программ. Сегодня утром ваша программа обновилась: в нее был добавлен новый функционал, а интерфейс немного изменился. Вам потребуется совсем немного времени, чтобы самостоятельно разобраться в изменениях, а после этого вы все также продолжите решать уравнения, но уже используя добавленный функционал. Этот пример показывает, что при небольших изменениях среды вы способны адаптироваться (если бы программа полностью изменилась, сами вы бы уже не разобрались). Опять же это свойство биологических нейросетей распространяется и на ИНС. Пусть у вас есть нейронная сеть, которая прогнозирует рост/падение цен на бирже. Однако постепенно, день за днем, ситуация на рынке меняется. Если бы ваша сеть не адаптировалась к этим изменениям, то она перестала бы давать правильные ответы уже через неделю. Но искусственные нейронные сети, обучаясь на данных, каждый раз подстраиваются под среду. 3.Отказоустойчивость  И Рис.4 Отказоустойчивость ногда случается, так, что в результате наследственных заболеваний или других проблем человеку приходится удалять половину головного мозга (рис4.) Такие случаи действительно бывают. Поразительно то, что за определенное время оставшееся полушарие берет на себя функции исчезнувшего. Может быть не в полной мере, однако система (человек) продолжает функционировать. Это свойство проявляется и у искусственных нейронных сетей. Они могут выдавать корректные результаты даже при значительном повреждении составляющих их компонентов. Нейронные сети способны нормально функционировать даже при достаточно серьезных повреждениях. 4.Сверхвысокое быстродействие Компьютер выполняет команды последовательно. Однако в голове человека каждый нейрон является маленьким процессором (который принимает сигнал, преобразует его, и подает на выход). И таких процессоров у нас в голове миллиарды. Получаем гигантскую сеть распределенных вычислений. Сигнал обрабатывается нейронами одновременно. Это свойство потенциально проявляется и в искусственных нейронных сетях. Если у вас многоядерный компьютер, то это свойство будет выполняться. Для одноядерных компьютеров никакой разницы заметно не будет. Нейронные сети решают задачи быстрее большей части других алгоритмов. 1.4 Применение ИНС. Интеллектуальные системы. Несмотря на некоторую фрагментацию области искусственного интеллекта, развитие науки продолжилось в том же темпе, и даже ускорилось. Успехи предшественников вдохновили Аллена Ньюэлла, Джона Лэрда и Пола Розенбаума на создание полной архитектуры интеллектуального агента, проект получил имя Soar. Интеллектуальный агент – комбинация инструкций компьютеру, выполняющая задания пользователя (оператора) в течение длительных промежутков времени. Часто интеллектуальные агенты используются для сбора и систематизации информации. К интеллектуальным агентам можно отнести боты (bot сокр. от robot), вредоносные программы (вирусы), поисковые системы (search engine). Средой для интеллектуальных агентов служит сеть Internet. Системы искусственного интеллекта стали очень распространены в приложениях для Web (англ. «паутина») и лежат в основе инструментальных средств Internet, таких как машины поиска, системы, предназначенные для разработки рекомендаций, и системы создания Web-узлов. Интеллектуальные системы на сегодняшний день представлены довольно широко в IT-сфере и робототехнике. Приведём несколько знаменательных их применений: 1.Роботизированные платформы. Роботизированный автомобиль c автопилотом “Stanley” пересёк сложную местность пустыни Мохаве со скоростью 22 , преодолев 132-мильный курс первым и победив в 2005 г. на соревновании роботов-автомобилей DAPRA Grand Challenge. Stanley – автомобиль Volkswagen Touareg, оборудованный камерами, радарами и лазерными дальномерами для распознавания окружающей среды и со встроенным программным обеспечением (ПО) для командования рулевым управлением, торможением, ускорением. Робот был разработан Себастьяном Труном, профессором компьютерных наук Стэндфордского университета. В 2006 году, победу в DAPRA Urban Challenge одержал разработанный в Университете Карнеги – Меллон (Carnegie Mellon University – CMU) роботизированный автомобиль “Boss”, он аккуратно и безопасно передвигался в автомобильных потоках через улицы закрытой авиационной базы, следуя правилам дорожного движения и избегая пешеходов и других автомобилей. Распознавание речи. Путешественник, позвонивший в United Airlines, например, чтобы забронировать авиабилет, может осуществить это с помощью системы распознавания речи и управления диалогом. Автономное планирование и составление расписаний. Отдаленная на сотни миллионы миль от Земли программа Remote Agent агентства NASA стала первой бортовой автономной программой планирования, её предназначение – управление процессами составления расписаний операций для космического аппарата (2000). Remote Agent генерировал планы на основе целей высокого уровня, задаваемых с Земли, а также контролировала работу космического аппарата в ходе выполнения планов: обнаруживала, диагностировала и устраняла неполадки по мере их возникновения. Эта программа совершала планирование миссии (научное и логистическое) для проекта Марс-экспресс, созданный Европейским космическим агентством в 2008. Ведение игр. Программа Deep Blue, созданная компанией IBM стала первой компьютерной программой, победившей чемпиона мира в шахматном матче, после того, как она обыграла Гарри Каспарова со счетом 3,5:2,5 в показательном матче. Чемпионы мира изучали поражение Каспарова и смогли одержать победу в нескольких матчах в последующие годы, но гораздо позже компьютеры одерживали убедительную победу в матчах с человеком. Борьба со спамом. Каждый день обучающиеся алгоритмы классифицируют более миллиарда полученных пользователями электронной почты сообщений как спам (от англ. electronic spamming – система отправки нежелательных сообщений, особенно рекламы). Это экономит время пользователя, ведь для многих пользователей спам может составить 80% или 90% всех сообщений, если бы они не были отсортированы алгоритмами. Поскольку спамеры постоянно совершенствуют свою тактику, поддерживать порядок в сообщениях становится трудно для статического программного похода, поэтому обучающиеся алгоритмы также совершенствуются. Планирование снабжения. Во время кризиса в Персидском заливе в 1991 году в США была развёрнута система DART (Dynamic Analysis and Replanning) для обеспечения автоматизированного планирования и составления графиков перевозок. Работа этой система охватывала одновременно до 50 000 автомобилей, единиц груза и людей; в ней учитывались пункты отправления и назначения, маршруты, а также устранение конфликтов между всеми параметрами. Методы искусственного интеллекта позволяли обрабатывать в течение считанных часов такие планы, для составления которых обычными методами потребовались бы недели. 3.Робототехника. Корпорация iRobot продала более двух миллионов роботизированных пылесосов для домашнего использования Roomba. Также компания поставляет более прочный PackBot в Афганистан и Ирак, где он используется для обработки опасных материалов, очищает территорию от взрывчатых веществ и даже идентифицирует нахождение снайперов. В 2015 году был впервые активирован антропоморфный робот Sophia, сконструированный компанией Hanson Robotics, стоит отметить, один из лучших в своём роде. «Мозг» робота составляют искусственные нейронные сети, его интеллект децентрализован. Робот понимает человеческую речь, способен выражать эмоции посредством мимики, в зрачки вмонтированы камеры, благодаря которым «София» может осуществлять зрительный контакт. Не так давно Sophia была включена в проект по интеграции искусственного интеллекта в единую сеть – SingularityNET. А именно в связанный проект – Open Cog, который представляет из себя разработку платформы с открытым исходным кодом для структуры ИИ. Машинный перевод. Компьютерная программа автоматически переводит с арабского языка на английский, позволяя англоязычному пользователю видеть бегущую строку. Программа используют статистическую модель, построенную на примерах арабско-английского перевода и на примерах английского текста, состоящего в общей сложности из двух триллионов слов (2007). Никто из команды разработчиков данной программы не знает арабского языка, но они понимают статистику и алгоритмы машинного обучения. В 2017 году компания Google внедрила нейронную сеть в свой переводчик Google Translate, в отличие от обычной программы, нейросеть обрабатывает не каждое слово по отдельности, а предложение целиком, учитывая контекст. Качество перевода улучшилось, хотя с нейронными сетями связывают некоторые особенности перевода, например, пользователи Google Translate заметили, что при переводе с монгольского или киргизского языков на русский язык бессмысленных сочетаний некоторых гласных и согласных кириллических букв, переводчик выдает вполне осмысленное слово или фразу (рис. 5). Вероятно, такая особенность стала результатом машинного обучения.  Рис. 5. Снимок экрана перевода с монгольского языка на русский Нейронные сети обучаются и, как известно, призваны решать нерешаемые простой программой задачи, именно такой задачей является перевод бессмысленного набора букв. Стоит также отметить, что слова и фразы русского перевода имеют конечное число вариантов и часто повторяются. Также нейронные сети были внедрены в популярный видеохостинг2 YouTube, «Яндекс» представили новый алгоритм поиска с использованием нейронных сетей. Всё вышеперечисленное лишь небольшая часть примеров систем искусственного интеллекта, существующих сейчас. Всё это не является магией или научной фантастикой, это лишь наука, инженерия и математика. Глава 2. Практическое создание и обучение ИНС посредством языка программирования python. Итак, мы знаем как они работают и некоторые примеры программ, а теперь можно сделать и свою собственную. Обычно в самых простых нейронных сетях для примера используют данную таблицу: Если немного подумать, то можно заметить закономерность. В выводе будет еденица, если в первом столбе будет единица. Попытаемся заставить нейронную сеть определять вероятность правильности ответа. Библиотеки обучения нейронных сетей языка Python Библиотека (от англ. library) в программировании – набор подпрограмм или объектов, используемых для разработки программного обеспечения (ПО). Иными словами, библиотеки представляют собой программный код (для каждого языка программирования – свои библиотеки), который был создан специализированными коммерческими компаниями (например, TensorFlow от Google, CNTK от Microsoft) или университетами, занимающимися разработкой нейронных сетей. Также существуют библиотеки, которые позволяют запускать обучение нейронной сети на графических процессорах (GPU – graphic processing unit), к таким относятся библиотеки cuDNN от Nvidia. В настоящее время, графические процессоры предоставляют больше вычислительных мощностей, чем центральные процессоры (CPU – central processing unit). Как правило, библиотеки «подключаются» к коду программы, и затем этот код или его фрагмент используется уже в самой создаваемой программе. Это значительно облегчает и ускоряет процесс создания программ, а также делает код значительно менее объемным. В данной работе используется язык программирования Python. Выбор этого языка программирования обусловлен рядом его преимуществ, а именно: эффективность – при меньшем объёме кода, программа, написанная на Python, более функциональна и выполняет больше различных операций; возможность интеграции с оптимизированными математическими библиотеками, также возможно использовать динамические библиотеки генерации кода на C, который выполняется быстрее кода Python; простой и понятный синтаксис; многофункциональность – Python используется для создания игра, построения веб-приложений, решений бизнес-задач и разработки внутренних инструментов для различных проектов. 3.4. Реализация и обучение искусственной нейронной сети посредством библиотеки Keras Для реализации данной сети необходимо запустить командную строку Anaconda Prompt. Затем, введением команд, выполнить импорт необходимых компонентов в библиотеке. После подготовки данных для работы с нейронной сетью можно приступить к её созданию и обучению. Для описания нейронной сети Python использует модель: Model = Sequential() В данной работе используется модель типа Sequential, в которой слои упорядочены и следуют друг за другом. В модель необходимо добавить уровни (слои) сети, для этого используются команды: model.ad(Dense(800, input_dim=784, activation=”relu”, kernel_initializer=”normal”)) model.add(Dense(10, activation=”softmax”, kernel_initializer=”normal”)) Эти команды означают, что добавлены два слоя нейронной сети, на первом (входном) слое – 800 нейронов и у каждого из этих нейронов по 784 входа (количество пикселей в распознаваемых изображениях). Значения весов инициализируются случайно с помощью нормального распределения. В качестве функции активации используется Rectifier. Второй слой состоит из 10 нейронов, входные веса которых также инициализируются с помощью нормального распределения случайными значениями. Функция активации для нейронов второго слоя – Softmax. После всех пройденных этапов можно перейти к обучению сети. Обучение производится по методу fit, в этом методе необходимо указать данные, с использованием которых сеть будет обучаться (изображения с рукописными цифрами), а также правильные ответы для каждого из изображений: model.fit(X-train, y_train, batch_size=200, epochs=25, validation_split=0.2, verbose=2) После выполнения данной команды, консоль выводит числовое значение точности работы нейронной сети, основываясь на обработке тестовых данных. Таким образом, использую программные средства и готовые библиотеки можно быстро и качественно создать свою искусственную нейронную сеть (назначить её параметры) и обучить её на основе готовых тестовых данных. Существуют и более сложный способ создания и обучения искусственных нейронных сетей, а именно самостоятельное написание программного кода и создание собственных научных, в частности математических, библиотек. В этом способе кроется масса преимуществ, во-первых, перед пользователем открыт гораздо более широкий спектр языков программирования, во-вторых, пользователь может оперировать более тонкой настройкой своей нейронной сети, в-третьих, процесс самостоятельного написаний программного когда нейронных сетей – весьма творческий процесс, и позволяет пользователю действовать практически без ограничений. Недостаток у этого способа лишь один – сложность и трудоёмкость. Заключение В моей работе вы узнали все о структуре искусственного нейрона, а также получили полное представление о том, как он работает (и о его математической модели).Более того, вы теперь знаете о различных видах искусственных нейронных Было проведено исследование сложной инновационной темы «Нейронные сети». Основываясь на проведённом метаанализе литературы по данной теме, после практического создания и обучения собственной нейронной сети, можно сделать следующие выводы: тема «Нейронные сети», несмотря на скачок популярности в настоящее время недостаточно разработана, данные по этой теме имеют фрагментарный характер, также отсутствует унифицированная система обозначений для величин, измеряющих те или иные математические данные, используемые в нейронных сетях; на настоящий момент существует разнообразное программное обеспечение для реализации нейронных сетей; возможности нейронных сетей намного выше обычных программ, кроме того, нейронные сети обладают более богатым функционалом, по сравнению с обычной программой; искусственные нейронные сети обладают относительно простым математическим аппаратом; искусственные нейронные сети имеют невысокие требования к вычислительным мощностям аппаратного обеспечения; искусственные нейронные сети на данный момент – это зачатки новой научной дисциплины, вероятно в обозримом будущем, они станут отождествлением с понятием «искусственный интеллект», впрочем, уже сейчас нейронные сети являются разделом дисциплины ИИ; искусственные нейронные сети предоставляют человечеству удивительные возможности, реализация которых до нынешнего времени казалась фантастикой; создание искусственных нейронных сетей не требуют специальных знаний из области компьютерной науки и инженерии. В ходе работы возникали сложности с объединением информации от разных авторов и некоторые сложности с реализацией нейронной сети в среде Windows. Поставленные цели можно считать достигнутыми. Список использованных источников информации 1. Барский, А. Б. Нейронные сети: распознавание, управление принятие решений [Текст] / А. Б. Барский. – М.: Финансы и статистика, 2004. – 176 с. 2. Джонс, М. Т. Программирование искусственного интеллекта в приложениях [Текст]: Пер. с англ. Осипов А. И. / М. Тим, Джонс. – М.: ДМК Пресс, 2004. – 312 с. 3. Евменов, В. П. Интеллектуальные системы управления [Текст]: Учебное пособие / В. П. Евменов. – М.: Книжный дом «ЛИБРОКОМ», 2009. – 304 с. 4. Козадаев А. С. Техническая реализация искусственного нейрона и искусственной нейронной сети [Электронный ресурс]. – Режим доступа: URL: https://cyberleninka.ru/article/v/tehnicheskaya-realizatsiya-iskusstvennogo-neyrona-i-iskusstvennoy-neyronnoy-seti (03.12.2017) 5. Kriesel, D. (2011, November 21). A Brief Introduction to Neural Networks. Retrieved from http://www.dkriesel.com/_media/science/neuronalenetze-en-zeta2-2col-dkrieselcom.pdf |