Компьютерные инструменты в образовании, 2017 6 2531 удк искусственные нейросети в контексте науки и образования
 Скачать 202.2 Kb.
|
|
Компьютерные инструменты в образовании, 2017 № 6: 25–31 УДК: ИСКУССТВЕННЫЕ НЕЙРОСЕТИ В КОНТЕКСТЕ НАУКИ И ОБРАЗОВАНИЯ Павлов ДА Институт прикладной астрономии РАН, Санкт-Петербург, Россия Аннотация Возросшая популярность искусственных нейросетей (ИНС) в образовании, науке и бизнесе может создать впечатление свершившейся революции в компьютерном моделировании и алгоритмах оптимизации. Данный короткий обзор призван обратить внимание на фундаментальные ограничения ИНС и потенциальный вред, который может нанести поощрение изучения ИНС в ущерб строгим математическим методам. Ключевые слова нейронные сети, нелинейная оптимизация, алгоритмы искусственного интеллекта. Цитирование: Павлов ДА. Искусственные нейросети в контексте науки и образования Компьютерные инструменты в образовании. 2017. № 6. С. 25–30. 1. ВВЕДЕНИЕ В июне 2017 г. автор присутствовал на защитах дипломов бакалавров и магистров кафедры прикладной математики ИПММ СПбПУ, а в феврале 2018 — на Балтийском научно-инженерном конкурсе для школьников. Из 40 студенческих работ две были посвящены нейросетевым методам. Среди школьников популярность нейросетей выше работ изв секции программирования. Если предположить, что возникший тренд сохранится, то через 5–10 лет четверть работ студентов, обучающихся по специальности «Прикладная математика, будут посвящены нейросетям. Хорошо ли это? Совершим краткий экскурс в прошлое. Идея ИНС возникла вначале хи получила первые практические воплощения в конце х в США [ 1 , 2 ]. Вначале х ней- росети пришли ив СССР. Далее в течение полувека популярность этой технологии попеременно угасала и вспыхивала вновь. Энтузиасты в академической среде сочиняли различные усложнения, доказывали теоремы, строили планы светлого будущего искусственного интеллекта (ИИ). Периодически изобретались новые виды ИНС. Примечателен пример ИНС с обратным распространением ошибки, которые привлекали внимание и предавались забвению дважды (первый разв х, второй разв х годах, прежде чем захватили мир в х (об этом чуть позже). В основе ИНС лежала следующая красивая идея есть мозг, в нём есть нейроны, как мозг работает — непонятно, но, сделав компьютерную модель с нейронами, мы получим 1 Ранние (да и многие нынешние) эксперименты в области ИНС относились к компьютерному зрению, что не противоречит мозговой аналогии сетчатка состоит из нейронов, и с определённой точки зрения её можно считать частью мозга, вынесенной наружу. ИНФОРМАТИКА 25 Павлов Д. А. компьютерный мозг. Это одна из таких вещей, которые должны решать задачи, традиционно сложные для компьютера, но лёгкие для человека. То есть задачи ИИ. Тем не менее, долгое время ИНС не давали результатов, применимых для серьёзных практических задач из области ИИ. В начале х появились графические ускорители (Graphics Processing Unit, с особой архитектурой, существенно превосходящей архитектуру обычных процессоров для задач типа вычисления освещённости при рендеринге картинки. Пришло осознание, что GPU можно использовать не только для 3D. В 2007 году возникла Nvidia CUDA позволяющая писать программы для GPU практически на обычном Си. Незадолго до этого был предложен особый вид нейросетей и соответствующая методика их обучения под названием глубокое обучение (deep learning, DL) [ 4 , 5 ]. Совмещение глубокого обучения и CUDA привело к ошеломляющему результату впервые в истории ИНС оказались более выгодными в массовой практике, чем конкурирующие методы ИИ. В последующие годы возник взрыв интереса к DL, как в бизнесе, таки в науке. Новости о новых барьерах, взятых глубоким обучением, появляются с устрашающей частотой. Для DL есть современные средства на языке Питон, доступные даже школьникам, что приносит свои плоды ИНС проникают ив образовательную среду. Не исключено, что следующее поколение программистов будет считать DL ив целом ИНС передовой технологией, а другие математические методы — нишевыми инструментами вчерашнего дня. Оправдан ли этот ажиотаж. НЕЙРОСЕТЬ НЕ МОЖЕТ ПОБЕДИТЬ ДРУГИЕ АЛГОРИТМЫ Точнее, может — если эти алгоритмы такие же глупые, как она. Генетические алгоритмы, например. Ноне о них речь. Нейросети уместны там, где не придумано алгоритмов, использующих специфику задачи. Нейросети не используют специфику задачи и поэтому могут решить любую задачу. В этом сила нейросетей и одновременно их слабость. Никакую задачу нейросети не могут решить хорошо и математически доказуемо. Нейросеть — это абстрактная модель, под которую можно подогнать любые данные. Размер модели (и, соответственное дискриминирующие свойства) можно настраивать путём добавления нейронов или целых слов. Нейросеть обучается аппроксимировать некоторую функцию, которая якобы имеет какое-то отношение к требуемому результату (на самом деле не имеет, так как никакие свойства предметной области не находят прямого отражения в получившейся функции). Заметим, что нейросеть — не единственный подход такого рода. Можно назвать метод опорных векторов (Support Vector Machine, SVM), метод Монте-Карло с цепями Мар- кова (Markov chain Monte Carlo, MCMC), кластерный анализ. Все эти вещи в принципе не хуже нейросетей и друг друга. На этот счёт есть известная теорема об отсутствии бесплатных завтраков (No free lunch) [ 6 ]. Вкратце эта теорема звучит так все методы оптимизации в среднем одинаково вычислительно (неэффективны по всем возможным входным данным. То есть метод, одинаково подходящий для любых задач оптимизации, подходит для всех задач одинаково и уступает методам, предназначенным для конкретной задачи и неприменимым к другим. Оговоримся, что в некоторых случаях специфика задачи всё же используется, например свёрточные (convolutional) нейронные сети рассчитаны на то, что исходные данные являются двумерным изображением. Также в ряде алгоритмов исходные данные подвергаются специально придуманному препроцессингу перед передачей их в нейросеть. 26 © КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ. №6, 2017 г Искусственные нейросети в контексте науки и образования С каждым таким шагом алгоритм становится дальше от нейросетей и ближе к задаче. Можно предположить, что через многие годы дальнейшего развития нейросеть окажется вовсе ненужна Машинное обучение на нейросетях вырвалось вперёд по сравнению с другими глупыми методами по одной основной причине те самые GPU. Оказалось, что нейросетевые вычисления хорошо параллелятся и позволяют максимально эффективно использовать вычислительные ресурсы. Победа нейросетей — это победа видеокарт. Этот факт не противоречит теореме об отсутствии бесплатных завтраков речь в этой теореме идёто вычислительной эффективности. Если один алгоритм по техническим причинам имеет доступ к большему количеству вычислительных ресурсов, то теорема не запрещает ему быть более успешным на практике, чем другие. ПОЛЬЗА НЕЙРОСЕТЕЙ ПРЕУВЕЛИЧИВАЕТСЯ Большая часть задач оптимизации решается более адекватными средствами, чем ИНС: хоть линейная регрессия, хоть теорема Байеса, хоть алгоритм Дейкстры для поиска кратчайшего пути. Нейросеть, как правило, на таких задачах с треском проваливается. Если можно применить математически обоснованный метод, его нужно применять, ион будет выгоднее нейросети. Использование нейросети равнозначно печальному признанию в том, что приличного алгоритма придумать не получилось. В задачах с динамикой процессов ИНС бесполезны. Нейросеть не знает, что такое время и динамическая модель Классификацию или дорисовывание изображений давно можно было успешно делать и без ИНС методами математической статистики, которые применяются для этих задачи сейчас Неиспользование специфики задачи приводит к тому, что ИНС распознаёт изображения не хуже человека лишь на данных, похожих на обучающее множество. На изображениях, непохожих на обучающее множество, нейросеть ошибается. Более того, известны специальные процедуры формирования изображения для одурачивания ИНС, с которыми крайне сложно бороться [ 10 ]. В работе [ 11 ] показано, что для изображений размером 32x32 в большинстве случаев достаточно изменить цвет лишь одного пикселя, чтобы заставить нейросеть выдать неверный результат классификации. Произвели фурор достижения самообучаемых ИНС в области игры в Го и шахматы, превосходящие способности всех других известных программа также людей Автор не пытается умалить эти достижения (хотя известны осторожные вопросы к научной обоснованности заявляемых результатов [ 14 ]), но всё же выражает сомнение в том, что алгоритмы для настольных игр имеют практическую ценность и относятся к ИИ. Распространено мнение, что современная робототехника не обходится без ИНС. Это далеко не так например, алгоритмы управления известного робота Atlas, созданного в компании Boston Dynamics, используют развитие традиционных методов нелинейной оптимизации, а не ИНС Увлечение ИНС проникло даже в такую консервативную область, как астрономия. Публикуются результаты экспериментов по поиску экзопланет [ 16 ] и резонансов в движении астероидов [ 17 ] с помощью ИНС. В сопутствующем информационном шуме зачастую теряется информация о том, сколько экзопланет и резонансов было открыто тради- 2 См. русскую народную сказку Каша из топора». ИНФОРМАТИКА 27 Павлов Д. А. ционными более специфичными методами (подавляющее большинство. Налицо пример захвата течения научной мысли вихрем моды. НЕЙРОСЕТИ И МОЗГ Изначальная идея о том, что ИНС может каким-то образом симулировать мозг, абсолютно несостоятельна. Мозг — это не нейросеть, а, выражаясь простым языком, неизвестно что. Наука до сих пор открывала лишь то, чем мозг не является. В III веке до н.э. люди изобрели гидравлику и предположили, что мозг — это гидравлическое устройство. В XVI–XVII веках с развитием механизмов появились фантазии на тему мозга как механизма. Электричество, телеграф, первые вычислительные машины — всё находило место в гипотезах о происхождении мысли [ 18 ]. Сейчас настал черёд нейросетей. А мозг всё так же непостижим. Швейцарский профессор Генри Маркрам в 2013 г. получил от Евросоюза 1.3 миллиарда долларов на проект, посвящённый симуляции мозга человека (!) на компьютере. В2015 г. профессора исключили из проекта в связи с сомнительностью его научной базы, завышенными амбициями и управленческими проблемами. Сам проект не был закрыт, видимо, из-за репутационных рисков. Маркрам успел симулировать часть неокортекса крысы объёмом 0, мм. Ещё одним выдающимся проектом в этой области является симуляция нервной системы червя-нематоды [ 20 ]. 5. НЕЙРОСЕТИ В ОБРАЗОВАНИИ Все школьные и студенческие работы, известные автору, в которых результаты получены с помощью ИНС, звучат так мы взяли фреймворк, выбрали и настроили вручную какие-то параметры, достали где-то обучающее и тестовое множества, и что-то получилось. Наиболее продвинутые работы включают сравнение различных ИНС между собой или результаты внедрения. Фактически студенты и школьники отчитываются неона- учном исследовании (даже самом простом, не об изобретении какого-либо алгоритма и даже не о собственной реализации известного алгоритма. Работы посвящены играм с инструментами. Почему это считается стоящим занятием Потому что конфигуриро- вание и запуск фреймворков — большая работа, есть над чем потрудиться и испытать гордость за хорошо сделанное дело. Но инструменты — вещь преходящая (особенно в области ИНС). В интересах профессионального будущего учащихся хотелось бы, чтобы они изучали фундаментальные особенности задачи алгоритмов, безотносительно реализации. И с этим в ИНС есть большая проблема. Любая попытка изучения особенностей ИНС блокируется тем обстоятельством, что алгоритм работы ИНС не имеет отображения в предметной области решаемой задачи. Фактически на вопрос почему ИНС неправильно решила данный экземпляр задачи возможные ответы таковы) не повезло, но 85,7 % экземпляров из тестового множества решаются успешно) слишком маленькое обучающее множество) неудачная конфигурация ИНС, но достаточно добавить ещё пять ничего незначащих слови тогда данный экземпляр будет решён верно, и общая успешность повысится до 85,8 %. 28 © КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ. №6, 2017 г Искусственные нейросети в контексте науки и образования. ЗАКЛЮЧЕНИЕ Применение ИНС обосновано для решения узкого круга задачи для ещё более узкого круга практически полезных задач. Фактическое применение ИНС далеко выходит за рациональные рамки, а информационный шум вокруг этого применения вовсе неадекватен. Набирающая обороты популярность ИНС в школах и вузах вряд ли окажет благотворный образовательный эффект. В поддержке популярности нейросетей есть существенная экономическая подоплё- ка продажи GPU, продажи обучающих и тестовых множеств, продажи обученных моделей. Не исключено, что рынок продуктов, относящихся к ИНС, переоценён в глазах инвесторов, как и истинные возможности ИНС. В области ИИ такое случается не впервые: ещё в х нагрянула зима искусственного интеллекта (AI Winter), в результате которой было практически прекращено финансирование языка программирования Лисп и экспертных систем. (В то время всем казалось, что за этими технологиями будущее.) Придёт ли вторая зима, после которой упадёт популярность языка Питон и нейросетей на Список литературы B. An Adaptive “Adaline” Neuron Using Chemical “Memistors”. TR № дата обращения 22.12.2017). 2. Rosenblatt F. Perceptron Simulation Experiments // Proceedings of the IRE. 1960. Vol. 48. Issue 3. P. 301–309. 3. Nickolls J., Buck I., Garland M., Skadron K. Scalable Parallel Programming with CUDA. Queue // GPU Computing. 2008. Vol. 6. Issue. 2. P. 40–53. 4. Hinton G. E., Osindero S., Teh Y. A fast learning algorithm for deep belief nets // Neural Computation. 2006. № 18. P. 1527–1554. 5. Hinton G. E., Salakhutdinov R. R. Reducing the dimensionality of data with neural networks // Science. 2006. Vol. 313. P. 504–507. 6. Wolpert D. H., Macready W. G. No Free Lunch Theorems for Search, Technical Report SFI-TR-95-02- 010. Santa Fe Institute. USA, 1995. 7. Rackauckas C. Algorithm efficiency comes from problem information. 2018. дата обращения N., Korobeynikov A., Shlemov A., Usevich K. Multivariate and 2D Extensions of Singular Spectrum Analysis with the Rssa Package // Journal of Statistical Software. 2015. Vol. 67. Is. 2. P. 1–78. 9. Jin K. H., Ye J. C. Annihilating Filter-Based Low-Rank Hankel Matrix Approach for Image Inpainting // IEEE Transactions on Image Processing. 2015. Vol. 24. Issue 11. P. 3498–3511. 10. Simonite T. AI Has a Hallucination Problem that’s Proving Hard to Fix. WIRED (2018). дата обращения. дата обращения 22.12.2017). 12. Silver D. et al. Mastering the game of Go without human knowledge // Nature. 2017. № 550. P. 354– 359. 13. Silver D. et al. Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (2017). дата обращения 22.12.2017). 14. Collados J. C. Is AlphaZero really a scientific breakthrough in AI? Medium (2017). URL: https://medium.com/@josecamachocollados/is-alphazero-really-a-scientific-breakthrough-in-ai- дата обращения 22.12.2017). 15. Kuindersma S. et al. Optimization-based locomotion planning, estimation, and control design for the atlas humanoid robot // Autonomous Robots. 2016. Vol. 40. Issue 3. P. ИНФОРМАТИКА Павлов ДА (2017). дата обращения 22.12.2017). 17. Smirnov E. A., Markov A. B. Identification of asteroids trapped inside three-body mean motion resonances: a machine-learning approach // Monthly Notices of the Royal Astronomical Society. 2017. Vol. 469. Issue 2. P. 2024–2031. 18. Epstein R. The empty brain. Aeon (2016). URL: https://aeon.co/essays/your-brain-does-not-process- дата обращения 22.12.2017). 19. Markram H. et al. Reconstruction and Simulation of Neocortical MicrocircuitryMicrocircuitry // Cell, 2015. Vol. 163 (2), P. 456–492. 20. Szigeti B. OpenWorm: an open-science approach to modeling Caenorhabditis elegans // Frontiers in Computational Neuroscience, 2014. Vol. 8. P. Поступила в редакцию 16.11.2017, окончательный вариант — 22.12.2017. 30 © КОМПЬЮТЕРНЫЕ ИНСТРУМЕНТЫ В ОБРАЗОВАНИИ. №6, 2017 г Artificial Neural Networks in the Context of Science and Education Computer tools in education, 2017 № 6: 25–31 http://ipo.spb.ru/journal ARTIFICIAL NEURAL NETWORKS IN THE CONTEXT OF SCIENCE AND EDUCATION Pavlov D. A. 1 1 Institute of Applied Astronomy RAS, Saint Petersburg, Russia Abstract The increasing popularity of artificial neural networks (ANNs) in education, science, and commerce may give the impression of a revolution that has taken place in computer modeling and optimization algorithms. This short review highlights the fundamental shortcomings of ANNs and the potential harm that can be caused by encouraging the study of ANNs to the detriment of strict mathematical methods. Keywords: neural networks, nonlinear optimization, algorithms of artificial intelligence. Citation: D. A. Pavlov "Artificial Neural Networks in the Context of Science and Educati- on," Computer tools in education, no 6, pp. 25–30, 2017 (in Russian). Received 16.11.2017, the final version — 22.12.2017. Dmitry A. Pavlov, Senior researcher at the Laboratory of Ehemeris Astronomy, Institute of Applied Astronomy RAS; 191187 Russia, St. Petersburg, Kutuzova Embankment 10, Institute of Applied Astronomy Павлов Дмитрий Алексеевич, кандидат физико-математических наук, старший научный сотрудник Лаборатории эфемеридной астрономии Института прикладной астрономии РАН 191187 Санкт-Петербург, наб. Кутузова Институт прикладной астрономии РАН dpavlov@iaaras.ru © Наши авторы, 2017. Our authors, ИНФОРМАТИКА |