уир. 2 Необходимость предобучения возникает в связи с 2мя проблемами
 Скачать 13.95 Kb.
|
|
1)Предобучение нейронной сети глубокого доверия методом послойного обучения.Данный метод осуществляется с первого слоя (pre-traning) без использования учителя. Ключевым этапом обучения нейронных сетей глубокого доверия, определяющим их преимущества перед поверхностными моделями, является предобучение. Один из основных подходов к предобучению – метод, базирующийся на представлении каждого слоя нейронной сети в виде ограниченной машины Больцмана (RBM), а всей сети – в виде стека таких машин. В методе предобучения автоассоциативных сетей выполняются действия, аналогичные производимым при предобучении обычных глубоких сетей с той лишь разницей, что предобучаются лишь те слои, которые производят кодирование информации. 2)Необходимость предобучения возникает в связи с 2-мя проблемами 1:Градиентный спуск не гарантирует достижения глобального минимума и результат обучения зависит от значения начальных весов 2:Слои, расположенные близко к входу, практически не обучаются Эти проблемы решаются обучением слоев по-отдельности эффективно извлекать свойства из входных данных. Вводят автоэнкодер(однослойный персептрон). В процессе его обучения достигаются значения весов скрытого слоя, обеспечивающее наиболее эффективное извлечение информации из входа. Предобучение автоэнкодерами обеспечивает для каждого слоя высокую эффективность извлечения информации из входных данных, решая, тем самым, задачу предобучения. 3)Обучение глубокой нейронной сети для распознования речи. При анализе фонемной покадровой разметки фонограмм из обучающего корпуса английской спонтанной речи Switchboard1, оказалось, что около 25% кадров в разметке составляют неречевые фонемы (пауза, шум). По этой причине при обучении глубокой нейронной сети по критерию минимизации взаимной энтропии может возникать ситуация, когда качество классификации неречевых фонем улучшается в ущерб качеству классификации речевых фонем и, следовательно, в ущерб качеству распознавания речи. Предложенный алгоритм направлен на уменьшение влияния этого эффекта и состоит из двух этапов. Осуществляется предобучение глубокой нейронной сети одним из следующих способов: при помощи ограниченных машин Больцмана , автоэнкодеров или дискриминативного алгоритма предобучения. |