Главная страница
Навигация по странице:

  • Нейросети обратного распространения.

  • Основные принципы применения искусственных нейронных сетей для прогнозирования свойств химических соединений.

  • Ограничения искусственных нейронных сетей.

    		•

    Отчет по работе. Зимний отчет. Отчет по нир в осеннем семестре 201920 учебного года Графовые алгоритмы обучения нейронных сетей в задаче предсказания свойств молекул


    Скачать 181.87 Kb.
    НазваниеОтчет по нир в осеннем семестре 201920 учебного года Графовые алгоритмы обучения нейронных сетей в задаче предсказания свойств молекул
    АнкорОтчет по работе
    Дата07.01.2020
    Размер181.87 Kb.
    Формат файлаdocx
    Имя файлаЗимний отчет.docx
    ТипОтчет
    #102984
    страница2 из 2
    1   2

    Содержание



    Содержание 3

    Введение 4

    1.Литературный обзор 6

    1.1.Основные принципы нейросетевого моделирования. 6

    Введение


    На современном этапе развития химии, когда накоплен и организован в виде электронных баз данных огромный объем экспериментальных данных, особое внимание уделяется компьютерным методам обработки характеристик уже исследованных веществ с целью предсказания свойств, которыми обладают еще не исследованные соединения либо которыми будут обладать новые, еще не синтезированные вещества. Это, в свою очередь, открывает большие перспективы в решении одной из главных задач химической науки - целенаправленной разработке новых веществ и материалов с заранее заданными свойствами.

    В последнее десятилетие отмечен значительный успех в использовании глубоких нейронных сетей для понимания и перевода естественного языка, генерации и декодирования сложных аудиосигналов, а также для вывода features из реальных изображения мира и видео. Однако прогнозирование свойств молекул и материалов с помощью машинного обучения, и особенно глубокого обучения, все еще находится в зачаточном состоянии. На сегодняшний день большинство исследований, применяющих машинное обучение к задачам химии, находится на этапе разработки features. Хотя нейронные сети применяются в различных задачах, они еще не получили широкого распространения.

    В последнее время крупномасштабные квантово-химические расчеты и моделирование молекулярной динамики в сочетании с достижениями в экспериментах с высокой пропускной способностью начали генерировать данные с беспрецедентной скоростью. Большинство классических методов не позволяют эффективно использовать большие объемы данных, которые сейчас доступны. Поэтому появилась необходимость применить более мощные и гибкие методы машинного обучения к этим проблемам. Симметрии атомных систем предполагают, что нейронные сети, которые работают с структурированными графами и инвариантными к изоморфизму графами, могут также подходить для молекул. Такие модели могут когда-нибудь помочь автоматизировать сложные проблемы химического поиска в области поиска лекарств или материаловедения. Основной целью этой работы – поиск и разработка архитектуры нейросети для предсказания энтальпии и плотности веществ.

    1. Литературный обзор

      1. Основные принципы нейросетевого моделирования.


    Все нейросетевые методы имеют в своей основе определенные идеи, отражающие те или иные аспекты обработки информации в человеческом мозгу.

    Искусственные нейронные сети (или просто нейросети) состоят из определенного количества «искусственных нейронов», являющихся упрощенной математической моделью биологических нейронов, и связей между ними, соответствующих контактам через синапсы между аксонами и дендритами биологических нейронов (см. Рис. 1). В процессе работы нейросети осуществляется преобразование сигналов (кодирующих обрабатываемые данные) внутри нейронов



    Рис. 1. Биологические нейроны

    Архитектура нейронной сети определяется топологией соединений нейронов между собой. Нейроны внутри сети, как правило, организованы в группы, называемые слоями. Для всех нейронов, принадлежащих одному слою, характерно одинаковое число входных связей, соединяющих нейрон с предыдущим слоем или с внешними устройствами ввода и вывода данных. Нейроны, принимающие внешние данные для последующей обработки, называются входными; нейроны, выводящие уже обработанные данные, называются выходными. Остальные же нейроны, участвующие в промежуточной обработке данных, называются скрытыми. В соответствии с типом нейронов, их слои также называются входными, выходными либо скрытыми.

    Впервые математическая модель искусственного нейрона была предложена в 1943 г. У.С.Мак-Каллоком и В.Питтсом [4]. Подобно тому, как биологические нейроны, вследствие наступающей под действием нейромедиаторов деполяризации мембраны, способны возбуждаться и проявлять спайковую активность, так и их искусственные аналоги (т.н. нейроны Мак-Каллока-Питса) характеризуются определенным уровнем активности (обычно в интервале от 0,

    соответствующего нейрону в состоянии покоя, до 1, что соответствует возбужденному нейрону). Этот уровень активности передается в виде сигнала на соседние искусственные нейроны, что имитирует биологический процесс распространения деполяризации мембраны по аксону, выделения молекул нейромедиатора, их диффузии через синаптические щели и воздействия на рецепторы,

    расположенные на мембранах дендритов соседних нейронов. Весь этот сложный процесс передачи сигнала от одного нейрона к другому описывается в методологии искусственных нейронных сетей одним числом, называемым «весом

    связи», которое является аналогом понятия синаптической проводимости биологических нейронов. Обычно считается, что степень воздействия искусственного нейрона j на другой нейрон i равна произведению уровня активности первого нейрона oj на вес связи (синаптическую проводимость) ωji между ними.

    Положительное значение синаптической проводимости соответствует прохождению через синаптические контакты возбуждающих нейромедиаторов, например, глутамата или ацетилхолина, а отрицательное – тормозящих, например, гамма-аминомасляной кислоты.



    Рис. 2. Нейрон МакКаллока-Питтса

    В то же время абсолютная величина этого числа отражает легкость передачи сигнала, что в случае биологических нейронов определяется количеством и разветвленностью синаптических контактов, уровнем экспрессии и активности постсинаптических рецепторов, легкостью выделения нейромедиаторов и многими другими факторами, управляемыми как генетически, так и при помощи разнообразных сигнальных систем. В рамках методологии искусственных нейронных сетей функционирование отдельного нейрона обычно описывается уравнением (см. Рис. 2):

    (1)

    где: ai – общий сетевой вход нейрона i; oj – выходной сигнал нейрона j; wji– вес связи (синаптическая проводимость) между нейронами j и i; ti – порог активации нейрона i (превышение этого порога суммой воздействий со стороны соседних нейронов приводит его в возбужденное состояние); oi – результирующий выходной сигнал, равный уровню активности данного нейрона i; f(x)– т.н. функция активации нейрона (или передаточная функция), которая в простейшем случае, к примеру, может быть определена как пороговая:(2)

    Таким образом, уравнение (1) в сочетании с определением функции (2) упрощенно описывает функционирование биологического нейрона, находящегося, в частности, в коре головного мозга человека. Подобно своему биологическому прототипу, нейроны МакКаллока-Питтса способны обучаться путем настройки параметров w, описывающих синаптическую проводимость. Как правило, вместо использования пороговых величин ti в нейросеть добавляют так называемые «псевдонейроны смещения» (bias pseudoneurons) с постоянным выходным сигналом, равным 1.

      1. Нейросети обратного распространения.

    К середине 80-ых годов стало ясно, что одна из причин неудач кроется в

    конкретном виде пороговой функции активации (2). Оказалось, что замена пороговой функции (2) на непрерывную, ограниченную и монотонновозрастающую, например, сигмоидную функцию (3), способна привести к построению многослойных персептронов, все веса связей которых способны эффективно обучаться при помощи алгоритма обратного распространения ошибок (error backpropagation) [41, 42]. Именно благодаря открытию (точнее, переоткрытию) этого алгоритма, с конца 80-ых годов начался этап активного развития и использования аппарата искусственных нейронных сетей в разных областях науки и техники (см. книги и учебные пособия [10-24]), а с начала 90-ых – в различных областях химии (см. [30-34]) и, в частности, в области исследования зависимости структура-свойство для органических соединений [35-39].

    (3)

    Кроме чисто математических причин, переход к подобным непрерывным дифференцируемым функциям имеет и определенное нейрофизиологическое обоснование. С точки зрения способа передачи информации, сигнал реальных биологических нейронов модулирован не по амплитуде, а по частоте, и, к тому же, является стохастическим, что вполне согласуется с уравнениями (1) и (3) при условии, что уровень сигнала (активации) oi показывает, с какой вероятностью нейрон i переходит в возбужденное состояние. Алгоритм обратного распространения ошибки (см. ниже) сыграл настолько важную роль в истории становления многослойных персептронов, что сами нейросети этого типа часто стали называть нейросетями с обратным распространением (backpropagation neural networks). К основным достоинствам таких нейросетей можно отнести их способность находить нелинейные и многопараметрические линейные зависимости, характеризующиеся высокой точностью интерполяции, даже в тех случаях, когда экспериментальные данные сильно зашумлены. Для многослойных персептронов характерна послойная передача сигнала, от входа нейросети к ее выходу. В то же время при обучении нейросетей этого типа настройка весовых коэффициентов связей проводится последовательно, начиная со связей выходного слоя, поэтому методы обучения таких нейросетей носят название методов обратного распространения ошибки [41, 42].

    Суть обучения нейросети заключается в минимизации функционала ошибки для выборки E(w) в пространстве ее настроечных параметров, каковыми являются веса связей (пороги нейрона здесь тоже рассматриваются как веса связей, ведущих от псевдонейронов смещения с постоянным значением выхода, равным единице, к этому нейрону):

    (4)

    где: νp – вес p-ого объекта (например, химического соединения) из обучающей выборки; P – количество объектов в обучающей выборке; wE )( p - индивидуальный функционал ошибки для p-ого объекта из обучающей выборки, который обычно (но не всегда!) представляют как взвешенную сумму значений функции потерь l(·,·) для каждого из выходных нейронов (т.е. для каждого из одновременно прогнозируемых свойств):

    (5)

    где: νk – вес k-ого выходного нейрона; K – количество выходных нейронов (равное числу одновременно прогнозируемых свойств химических соединений). В большинстве случаев (но не всегда) используется квадратичная функция потерь, что превращает нейронную сеть в вариант метода наименьших квадратов:

    (6)

    Значения весов объектов νp, отличные от единицы, берутся, главным образом, тогда, когда нейросеть обучается классифицировать объекты для придания большего веса тем из них, которые принадлежат к классам с меньшим числом представителей. В остальных же случаях (т.е. практически всегда) веса объектов считаются одинаковыми и равны единице. Аналогично, значения весов выходных нейронов νk, отличные от единицы, берутся лишь в редких случаях многозадачного обучения, в остальных же случаях они принимаются равными единице. С учетом вышесказанного, индивидуальный функционал ошибки для p-ого объекта из обучающей выборки обычно имеет вид:

    (7)

    где: p dk - желаемый выход для k-ого выходного нейрона p-ого объекта (экспериментальное значение k-ого свойства для p-ого соединения) из обучающей выборки; okp[N] - вычисленный выход для k-ого выходного нейрона p-ого объекта (спрогнозированное значение k-ого свойства для p-ого соединения) из обучающей выборки; N – номер выходного слоя; K – число выходов нейросети, равное числу одновременно прогнозируемых свойств химических соединений. Функционал ошибки для всей выборки в этом случае имеет вид:

    (8)

      1. Основные принципы применения искусственных нейронных сетей для прогнозирования свойств химических соединений.

    В большинстве работ по применению нейросетей обратного распространения (многослойных персептронов) для поиска зависимостей структурасвойство используется следующая методология. Прежде всего, подготавливается база данных, содержащая структуры химических соединений и известные значения тех свойств, которые в дальнейшем предполагается при помощи обученной нейросети прогнозировать. Как правило, эта база разбивается на две части, по первой из которых, называемой обучающей выборкой, путем многократного ее предъявления нейросети производится обучение последней, а по второй, называемой контрольной выборкой, производится контроль прогнозирующей способности обученной нейросети. В качестве вариантов иногда используются две контрольные выборки, а также процедура скользящего контроля, при которой каждое из соединений при одной из разбивок попадает в контрольную выборку. На следующем этапе для всех химических соединений из выборок производится расчет дескрипторов, т.е. чисел, описывающих структуру химического соединения. Как правило, эти числа инвариантны к перенумерации вершин молекулярного графа, которым может быть описана структура химического соединения, т.е. являются инвариантами графов. Дескрипторы могут быть фрагментными (подструктурными), топологическими индексами, физико-химическими, квантово-химическими, характеристиками пространственных структур и т.д.

    Далее, после необязательной стадии предварительного отбора либо преобразования дескрипторов следует этап построения нейронной сети. Число нейронов входного слоя обычно берется равным числу дескрипторов, и уровень выходного сигнала каждого из них устанавливается равным значению соответствующего дескриптора после его нормализации или масштабирования). Число выходных нейронов равно числу одновременно прогнозируемых свойств, при чем в качестве прогнозируемого значения каждого из свойств берется выходное значение соответствующего выходного нейрона (обычно после денормализации или демасштабирования). Скрытые нейроны служат для промежуточных вычислений, и их число часто подбирается, исходя из критерия максимизации прогнозирующей способности нейросети, а псевдонейроны смещения выполняют служебные функции и обладают постоянным выходным значением, равным единице. В процессе обучения нейросети обучающая выборка предъявляется ей определенное число раз (обычно довольно большое). В процессе предъявления выборки значения дескрипторов каждого из соединений последовательно вводятся (обычно после нормализации или масштабирования) в качестве активности соответствующих входных нейронов. Далее запускается нейросеть на счет, и с выходных нейронов снимаются прогнозируемые значения свойств, которые (после денормализации или демасштабирования) сравниваются с экспериментальными. На основании найденной разницы по определенным алгоритма производится подстройка весов связей между нейронами с целью уменьшение этой разницы. Таким образом, в процессе обучения происходит постепенное уменьшение ошибок прогнозирования свойств химических соединений, входящих в обучающую выборку.

      1. Ограничения искусственных нейронных сетей.

    Как и любой метод машинного обучения, искусственные нейронные сети имеют свои ограничения, которых, однако, по мере развития теории нейросетевого моделирования и общей теории обучающихся систем, становится все меньше и меньше. В начале 90-ых годов прошлого века, т.е. на момент появления первых работ по их применению для прогнозирования свойств химических соединений, такими ограничениями или даже недостатками считались следующие:

    • нейросеть – это «черный ящик», т.е. нейросетевые модели не поддаются интерпретации;

    • нейросетевые модели не могут быть точно воспроизведены ввиду инициализации весов связей перед обучением случайными числами;

    • нейронные сети не работают с большим числом дескрипторов;

    • нейросети легко «переучиваются», и тогда они хорошо воспроизводят свойства соединений, содержащихся в обучающей выборке, но при этом плохо прогнозируют свойства любых других соединений;

    • с помощью нейросетей ничего нельзя сделать такого, на что бы не были способны стандартные методы статистического анализа данных.

    Хотя перечисленные выше утверждения не всегда справедливы, они, тем не менее, указывают на реальные проблемы, с которыми столкнулись исследователи в ходе первых работ по применению нейронных сетей для прогнозирования свойств химических соединений. Без их решения нейросети не могли бы быть использованы как составная часть универсальной методологии прогнозирования свойств химических соединений.

    ЛИТЕРАТУРА

    1. Гиллер С.А.; Глаз А.Б.; Растригин Л.А.; Розенблит А.Б. Распознавание физиологической активности химических соединений на перцептроне со случайной адаптацией структуры. // ДАН СССР. - 1971. - Т. 199, № 4. - С. 851-853.

    2. Hiller S.A.; Golender V.E.; Rosenblit A.B.; Rastrigin L.A.; Glaz A.B. Cybernetic methods of drug design. I. Statement of the problem--the perceptron approach. // Comput. Biomed. Res. - 1973. - V. 6, № 5. - P. 411-421.

    3. Zupan J.; Gasteiger J. Neural networks: a new method for solving chemical problems or just a passing phase? // Anal. Chim. Acta. - 1991. - V. 248, № 1. - С. 1-30.

    4. McCulloch W.S.; Pitts W. A logical calculus of the ideas immanent in nervous activity. // Bull. Math. Biophys. - 1943. - V. 5. - P. 115-133.

    5. Розенблатт Ф. Принципы нейродинамики. - Мир: М. - 1964. - 480 c.

    6. Нильсен Н. Обучающиеся машины. - Мир: М. - 1967. - 506 c.

    7. Минский М.; Пейперт С. Персептроны. - Мир: М. - 1971. - 261 c.

    8. Мкртчян С.О. Нейроны и нейронные сети (Введение в теорию формальных нейронов и нейронных сетей). - Энергия: М. - 1971. - 232 c.

    9. Галушкин А.И. Синтез многослойных систем распознавания образов. -Энергия: М. - 1974. - 376 c.

    10. Rumelhart D.E.; McClelland J.L. Parallel Distributed Processing. - MIT Press: Cambridge, MA. - 1986. - Vol. 1,2.

    11. Горбань А.Н. Обучение нейронных сетей. - ПараГраф: М. - 1990. - 160 c.

    12. Freeman J.A.; Skapura D.M. Neural networks: algorithms, applications, and programming techniques. - Addison-Wesley Publishing Company: Menlo Park, CA -1991. - 414 p.

    13. Уоссерман Ф. Нейрокомпьютерная техника. - Мир: М. - 1992. - 240 c.

    14. Ritter H.; Martinetz T.; Schulten K. Neural Computation and Self-Organizing Maps – An Introduction. - Addison-Wesley: New York. - 1992. - 293 p.

    15. Veelenturf L.P.J. Analysis and Applications of Artificial Neural Networks. Prentice Hall: NY - 1995. - 242 p.

    1   2

    написать администратору сайта