Тема 6 (2). Лекции Технологии машинного обучения Технологии Nosql data Mining Глубокое обучение

• Название: Лекции Технологии машинного обучения Технологии Nosql data Mining Глубокое обучение
• Дата: 01.03.2023
• Размер: 31.09 Kb.
• Имя файла: Тема 6 (2).docx
• Тип: Лекции; #962965
• страница: 4 из 5

Разновидности Data Mining

В качестве подразделов Data Mining можно выделять так называемые Web Mining, Call Mining и Text Mining. Системы Web Mining призваны помочь в определении, например, потенциальных клиентов интернет- магазина, групп клиентов интернет-магазина, приносящих наибольший доход, а также интересы определенного посетителя или группы посетителей. Технологии Text Mining охватывают методы семантического анализа текстов, информационного поиска и управления. Системы Call Mining могут заниматься распознаванием речи, обнаруживать недостатки в системе обслуживания клиентов, находить пути увеличения продаж, выявлять тенденции в обращениях клиентов.

В настоящее время в литературе описано много прикладных задач, решаемых с помощью анализа текстовых документов, к которым относятся задачи Data Mining: классификация, кластеризация текстовых документов.

В результате классификация текстовых документов производится автоматическое отнесение каждого документа к заранее заданной категории, например, тематики документа. Решается данная задача с использованием обучающих и тестовых примеров, т.е. с учителем.

В ходе кластеризации текстовых документов производится автоматическое деление документов на группы (кластеров), близкие по семантической нагрузке. Эти группы выделяются согласно некоторой метрике близости (мера близости) попарной схожести описаний документов.

Таким образом, при кластеризации текстовых документов отсутствуют обучающие и тестовые примеры, т.е. обучение производится без учителя.

Автоматическое аннотирование направлено на сокращение объема текстового документа с сохранением его смыслового содержания. Для этого в алгоритмах задается количество извлекаемых из текста предложений или процент извлекаемого текста.

Извлечение из текста ключевых понятий направлено на автоматическое выделение в документе наиболее значимых слов, а также фактов. Например, имена существительные, нарицательные. Алгоритмы обработки используют словари данных, содержащие термины, лингвистические шаблоны и др. Это позволяет пользователю перемешаться до документу, проводить поиск, редактирование понятий. Разработаны алгоритмы для выявления ассоциаций между ключевыми понятиями.

4. Глубокое обучение

Классификация больших данных успешно решается с помощью методов обучения глубоких нейронных сетей (Deep Learning). В настоящее время понятие термина окончательно не сформировалось. Под глубоким обучением часто понимают машинное обучение (или отдельный вид машинного обучения), наделяющий компьютеры способностью учиться на опыте. Известные методы глубокого обучения основаны на глубоких нейронных сетях прямого распространения, сетях регуляризации, сверточных нейронных сетях и т.д. Особенности каждого из видов этих сетей раскрываются в задании параметров (гиперпараметров) сети, а также в использовании обучающих и тестовых данных. Область практического применения Deep Learning разнообразна и связана с разработкой различных программ автоматической обработки естественных языков, распознаванием речи, космических снимков, компьютерным зрением, биоинформатикой, видеоиграми, разработкой «умных» гаджетов, «умного» дома, нейронечетких контроллеров и др.