нейросети. Протокол 6 Заведующий кафедрой Е. А. Деменкова (подпись)
 Скачать 50.8 Kb.
|
|
Министерство науки И ВЫСШЕГО ОБРАЗОВАНИЯ Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «Северный (Арктический) федеральный университет имени М.В. Ломоносова» Кафедра информационных систем и технологий
ФОНД ОЦЕНОЧНЫХ СРЕДСТВ ПО УЧЕБНОЙ ДИСЦИПЛИНЕ Машинное обучение ________09.04.02 Информационные системы и технологии _________ (код и наименование направления подготовки ) Магистерская программа «Геоинформационные технологии» (наименование профиля подготовки /специализации) __________________магистр_____________________ (квалификация выпускника) Составитель ________________________ И.С. Васендина (подпись) «14» января 2019 г. Согласовано: Председатель УМК ВШ ИТАС _______________ _Р.П. Овчинникова_. (подпись) (расшифровка подписи) «29» января 2019 г. Паспорт фонда оценочных средств 09.04.02 Информационные системы и технологии Магистерская программа Геоинформационные технологии по дисциплине «Машинное обучение»
Министерство НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «Северный (Арктический) федеральный университет имени М.В. Ломоносова»
Комплект примерных тем для собеседования по дисциплине«Машинное обучение» 4 семестр Раздел 1. Основные понятия, принципы и задачи машинного обучения. Библиотеки и инструменты для машинного обучения. Основные понятия машинного обучения. Задачи, которые можно решать с помощью машинного обучения. Основные библиотеки и инструменты. Преимущества машинного обучения по сравнению с традиционным подходом. Сбор и подготовка данных. Обучение модели на данных. Оценка производительности модели. Оптимизация производительности модели. Усовершенствованные способы повышения эффективности. Раздел 2. Методы машинного обучения с учителем. Классификация. .Регрессия. Обобщающая способность, переобучение и недообучение. Зависимость между сложностью модели и размером набора данных. Известные набора данных. Метод k ближайших соседей. Линейные модели. Наивные байесовские классификаторы. Деревья решений. Ансамбли деревьев решений. Ядерный метод опорных векторов. Нейронные сети. Оценки неопределнности для классификаторов. Раздел 3. Методы машинного обучения без учителя и предварительная обработка данных. Типы машинного обучения без учителя. Проблемы машинного обучения без учителя. Виды предварительной обработки данных. Применение преобразований данных. Масштабирование обучающего и тестового набора данных. Снижение размерности, выделение признаков и множественное обучение. Кластеризация k-средних. Агломеративная кластеризация. DBSCAN. Сравнение методов кластеризации. Раздел 4. Типы данных и конструирование признаков Решение проблемы пропущенных данных. Категориальные переменные. Кодирование. Биннинг, дискретизация, линейные модели и деревья. Одномерные нелинейные преобразования для конструирования признаков. Автоматический отбор признаков. Одномерные статистики. Отбор признаков на основе модели. Итеративный отбор признаков. Применение экспертных знаний при отборе признаков. Раздел 5. Оценка и улучшение качества модели. Перекрестная проверка модели в scikit-learn. Преимущества перекрестной проверки. Стратифицированная k-блочная перекрестная проверка и другие стратегии Простой решетчатый поиск. Опасность переобучения параметров и проверочный набор данных. Решетчатный поиск с перекрестной проверкой. Метрики качества модели и их вычисление. Описание и назначение. Метрики для бинарной классификации. Метрики для мультиклассовой классификации. Метрики регрессии. Использование метрик оценки для отбора модели. Критерии оценки: - оценка «отлично» выставляется студенту, если студент демонстрирует уверенные знания по теме собеседования, ответил на все вопросы без замечаний; - оценка «хорошо» выставляется студенту, если он демонстрирует уверенные знания по теме собеседования, ответил на все вопросы, допустил одну ошибку. - оценка «удовлетворительно» выставляется студенту, если он при ответе допустил две ошибки; - оценка «неудовлетворительно» выставляется студенту, если он не имеет представлений по теме собеседования. Уровень освоения компетенций: ПК-1, ПК-5– повышенный. Составитель: И.С. Васендина «___» _____________ 20__ г. Министерство НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «Северный (Арктический) федеральный университет имени М.В. Ломоносова»
Комплект примерных заданий для решения проблемных задач по дисциплине«Машинное обучение» 4 семестр на тему «Основные понятия, принципы и задачи машинного обучения. Библиотеки и инструменты для машинного обучения.» Задание: 1 Настройте программное окружение для работы с машинным обучением. Необходимо установить Python 3, Jupyter Notebook, NumPy, SciPy, matplotlib, pandas. Установка других библиотек по мере требования. 2. Необходимо простроить простую модель машинного обучения, которая сможет обучиться на основе характеристик ирисов, уже классифицированных по сортам, и затем предскажет сорт для нового цветка ириса. Для этого загрузить набор данных Iris, просмотреть признаки, метки классов, форматы данных, разделить набор на обучающий и тестовый, построить матрицу рассеяния для признаков. Построить модель по методу k ближайших соседей. Обучить, сделать прогноз, интерпретировать результат. на тему «Методы машинного обучения с учителем.» Задание: 1. Изучить синтетические наборы данных forge для классификации и wave для регрессии, построить диаграмму рассеяния. Проанализировать признаки наборов данных и распределение в наборе. 2. Исследовать наборы данных по раку молочной железы cancer(для классификации) и набор данных о стоимости недвижимости Boston Housing (для регрессии). Сделать выводы о распределениях признаков в наборах. 3. Разделить данные из наборов п.2 на обучающее и тестовое множество. 4. Построить классификатор на наборе данных cancer по методы k ближайших соседей, обучите модель, проведите предсказание на тестовом наборе. Постройте границу приняти решений для разного числа соседей. Проанализируйте результат, сделайте выводы. 5. Проделайте действия п.4 для задачи регрессии на наборе Boston Housing. 6. Примените метод линейной регрессии для предсказания стоимости недвижимости на наборе Boston Housing. Сделайте предсказания, сравните разные методы машинного обучения. 7. Рассмотрите подобным образом метод гребневой регрессии, лассо. Сравните, сделайте выводы. 8. Приметите методы логистической регрессии, опорных векторов для задачи классификации. Сравните, сделайте выводы. 9. Примените различные методы наивного байесовского классификатора. Сравните, сделайте выводы. 10. Решите задачи классификации и регрессии с помощью деревьев решений, варьируя параметры. Сравните с другими методами, сделайте выводы. 11. Проделайте п.10 с использованием случайного леса, сравните результаты. 12. Проделайте п.10 с использованием градиентного бустинга, сравните результаты. 13. Проделайте п.10 с использованием ядерного метода опорных векторов, сравните результаты. 14. Проделайте п.10 с использованием многослойного персептрона, сравните результаты на тему «Методы машинного обучения без учителя и предварительная обработка данных.» Задание: 1. Рассмотреть различные виды преобразования данных в библиотеке scikit-learn, примените к набору cancer. 2. Снизьте размерность признаков в наборе с использованием PCA. 3. Используя make_blobs создайте набор, решите задачу кластеризации методом k-средних. Проанализируйте результат, сделайте выводы. 4. Выполните п.3, используя метод алгомеративной кластеризациии и иерархической кластеризации. Визуализируйте результат, сравните и сделайте выводы. 5. Выполните п.3, используя алгоритм DBSCAN. Сравните все алгоритмы кластеризации. 6. Оцените качество кластеризации без использования метрик, предполагающих знание истинной кластеризации. на тему «Типы данных и конструирование признаков» Задание: 1. Рассмотрите набор данных adult, проанализируйте признаки. 2. Закодируйте категориальные признаки методом прямого кодирования. 3. Решите задачу методом логистической регрессии. 4. Проанализируйте какие из числовых признаков можно закодировать как категориальные. Вновь решите задачу методом логистической регрессии. Сравните результат. 5. На наборе данных wave отработать приемы биннинга, дискретизации, линейных моделей и деревьев для конструирования признаков. Сделать вывод о возможности применения. 6. Обогатите пространство признаков с использованием добавления взаимодействий признаков и полиномиальных признаков. 7. На наборе Boston Housing продемонстируйте автоматический отбор признаков. на тему «Оценка и улучшение качества модели» Задание: 1. Для задачи классификации провести оценку построенной модели методом перекрестной проверки. 2. На наборе данных iris продемонстрировать стратифицированную k-блочную перекрестную проверку и другие стратегии. Сделать выводы о достоинствах и недостатках способов оценки модели. 3. Улучшите качество модели методом решетчатого поиска (grid search). Предусмотрите опасность переобучения параметров и введите проверочный набор данных. 4. Улучшите качество модели методом решетчатого поиска с перекрестной проверкой. Проанализируйте полученный результат. 5. Оцените качество модели, подберите необходимые метрики для оценки. Обоснуйте выбор. Критерии оценки: - оценка «отлично» выставляется студенту, если студент решил проблемную задачу без замечаний; - оценка «хорошо» выставляется студенту, если студент решил проблемную задачу, допустил незначительные ошибки. - оценка «удовлетворительно» выставляется студенту, если он решил проблемную задачу, допустил две ошибки, но понимает как их исправить; - оценка «неудовлетворительно» выставляется студенту, если он не решил проблемную задачу. Уровень освоения компетенций: ПК-1, ПК-5– повышенный. Составитель: И.С. Васендина «___» _____________ 20__ г. Министерство НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «Северный (Арктический) федеральный университет имени М.В. Ломоносова»
Задания для выполнения курсового проекта по дисциплине«Машинное обучение» на тему «Применение машинного обучения для решения прикладной задачи» Задания: 1. Описать проблемную задачу. В рамках курсового проекта по дисциплине «Машинное обучение» необходимо описать проблемную задачу, определить входные и выходные данные, обосновать возможность решения данной задачи методами машинного обучения. Для задач классификации определить и охарактеризовать классы, для задачи регрессии – диапазон возможных получаемых значений. 2. Определить обучающую выборку. Разработать или найти в сети Internet готовый набор данных. Если датасет создавался студентом, то описать процесс сбора данных. Для набора данных описать каждую характеристику, тип данных, возможные принимаемые значения. Провести исследование значений признаков и, исходя из анализа, заполнить пропуски. 3. Анализ типов данных и конструирование признаков. Предусмотрите разделение всей выборки на обучающую, валидационную и тестовую. Проанализировать типы данных признаков, выделить категориальные и числовые признаки. Исследовать распределения каждого признака в наборе данных, кореляции признаков между собой и целевой переменной. Проанализировать возможность переопределения категориальных и числовых признаков. Провести дальнейшее исследование признаков на возможность создания новых признаков из уже имеющихся или удаления из рассмотрения части признаков, вносящих дополнительный шум в данные. Обосновать выбор каждого действия. Провести предобработку значений признаков. Если есть необходимость, попробовать снизить пространство признаков. 4. Определение модели машинного обучения и подбор её параметров. В зависимости от решаемой задачи, подобрать вид классификатора, возможно исследовать несколько разных классификаторов для данной задачи. Провести обучение моделей, собрать статистику результатов обучения, подобрать параметры модели, чтобы улучшить качество результата. Проанализируйте результаты, сделайте выводы. Попробуйте улучшиьт результат проработав ещё раз этап исследования и конструирования признаков. 5. Оценка модели машинного обучения. Получить предсказания модели на тестовой выборке. Провести тестирование обученной модели на примерах, не присутствующих в датасете. Охарактеризовать результат, сделать выводы о широте применения полученной модели. Описать, какие дальше можно делать шаги, чтобы получить выше точность. Пояснительная записка должна состоять из следующих структурных элементов: Титульный лист Лист задания Лист для замечаний Содержание Введение Глава 1. Описание проблемной задачи. Глава 2. Описание обучающей выборки. Глава 3. Анализ типов данных и конструирование признаков. Глава 4. Определение модели машинного обучения и подбор её параметров. Глава 5. Оценка модели машинного обучения. Заключение (выводы, рекомендации). Список использованных источников (не менее 5 источников). Приложение А. Пример тренировочного и тестового датасета. Подготовить выступление в форме презентации PowerPoint и выступить с этим докладом перед аудиторией по результатам проведенного исследования. Критерии оценки: Студенту ставится оценка «отлично», если при решении поставленной задачи проведен анализ предметной области, верно определен и обоснован тип решаемой задачи, проведен расширенный анализ признаков,предложены подходы к конструированию новых признаков, исследовано несколько моделей машинного обучения, проведено исследование при подборе параметров модели, точность выше 75%, при защите свободно владеет материалом и готов предложить пути повышения точности и усовершенствования при решении подобной задачи. Пояснительная записка оформлена в соответствие с правилами оформления студенческих работ, сдана в срок, работа защищена преподавателю. Подготовлено выступление и сделан доклад. Студенту ставится оценка «хорошо», если при решении поставленной задачи проведен анализ предметной области, верно определен тип решаемой задачи, выполнена предобработка данных, проведены исследования при подборе параметров модели, проведена некоторая работа по конструированию признаков, точность не менее 70%. Пояснительная записка оформлена в соответствие с правилами оформления студенческих работ, сдана в срок, работа защищена преподавателю. Подготовлено выступление и сделан доклад. Были допущены незначительные замечания. Студенту ставится оценка «удовлетворительно», если при решении поставленной задачи проведен анализ предметной области и поставлена корректно задача, применен один из классификаторов без обоснования выбора, выполнена не в достаточном объеме предобработка данных, слабо проработан подбор параметров модели, точность ниже 60%. Пояснительная записка оформлена в соответствие с правилами оформления студенческих работ, работа сдана не в срок, защищена преподавателю. Были допущены грубые ошибки. Подготовлено выступление и сделан доклад. Студенту ставится оценка «неудовлетворительно», если студент не получил практических результатов работы или не защитил проект преподавателю. Если курсовой проект оформлен не в соответствие с правилами оформления студенческих работ, к защите не допускается. Уровень освоения компетенций: ПК-1, ПК-5 – повышенный. . Составитель: И.С. Васендина «__» __________ 201_ г. Министерство НАУКИ И ВЫСШЕГО Российской Федерации федеральное государственное автономное образовательное учреждение высшего образования «Северный (Арктический) федеральный университет имени М.В. Ломоносова»
Контрольные вопросы к зачету по дисциплине«Машинное обучение» Основные понятия машинного обучения. Задачи, которые можно решать с помощью машинного обучения. Основные библиотеки и инструменты. Преимущества машинного обучения по сравнению с традиционным подходом. Сбор и подготовка данных. Обучение модели на данных. Оценка производительности модели. Оптимизация производительности модели. Усовершенствованные способы повышения эффективности. Классификация. Регрессия. Обобщающая способность, переобучение и недообучение. Зависимость между сложностью модели и размером набора данных. Известные набора данных. Метод k ближайших соседей. Линейные модели. Наивные байесовские классификаторы. Деревья решений. Ансамбли деревьев решений. Ядерный метод опорных векторов. Нейронные сети. Оценки неопределнности для классификаторов. Типы машинного обучения без учителя. Проблемы машинного обучения без учителя. Виды предварительной обработки данных. Применение преобразований данных. Масштабирование обучающего и тестового набора данных. Снижение размерности, выделение признаков и множественное обучение. Кластеризация k-средних. Агломеративная кластеризация. DBSCAN. Сравнение методов кластеризации. Решение проблемы пропущенных данных. Категориальные переменные. Кодирование. Биннинг, дискретизация, линейные модели и деревья. Одномерные нелинейные преобразования для конструирования признаков. Автоматический отбор признаков. Одномерные статистики. Отбор признаков на основе модели. Итеративный отбор признаков. Применение экспертных знаний при отборе признаков. Перекрестная проверка модели в scikit-learn. Преимущества перекрестной проверки. Стратифицированная k-блочная перекрестная проверка и другие стратегии Простой решетчатый поиск. Опасность переобучения параметров и проверочный набор данных. Решетчатный поиск с перекрестной проверкой. Метрики качества модели и их вычисление. Описание и назначение. Метрики для бинарной классификации. Метрики для мультиклассовой классификации. Метрики регрессии. Использование метрик оценки для отбора модели. Критерии оценки: - оценка «отлично» выставляется студенту, если студент демонстрирует уверенные знания по вопросам зачета, ответил на два вопросы без замечаний; - оценка «хорошо» выставляется студенту, если он демонстрирует уверенные знания по теме зачета, ответил на два вопросы, допустил одну ошибку. - оценка «удовлетворительно» выставляется студенту, если он при ответе допустил две ошибки; - оценка «неудовлетворительно» выставляется студенту, если он не имеет представлений по вопросам к зачету. Уровень освоения компетенций: ПК-1, ПК-5 – повышенный. Составитель: И.С. Васендина «__» __________ 201_ г. | |||||||||||||||||||||||||||||||||||||||||||||