Поручиков М.А. Анализ данных. А. поручиков

• Название: А. поручиков
• Дата: 25.10.2022
• Размер: 2.76 Mb.
• Имя файла: Поручиков М.А. Анализ данных.docx
• Тип: Анализ; #753011
• страница: 17 из 20

Вопросы для самоконтроля

1. 
   Дайте определение понятия «кластер».
   
2. 
   Дайте определение понятия «кластеризация».
   
3. 
   Охарактеризуйте два любых алгоритма кластеризации. 4 Назовите входные данные алгоритма к-средних.
   

5. 
   Назовите выходные данные алгоритма к-средних.
   
6. 
   Приведите последовательность шагов в алгоритме к-средних.
   
7. 
   Приведите порядок кластерного анализа с помощью ПО kmeans.
   

Лабораторная работа «Кластерный анализ»

Общиесведения

Целью работы является приобретение навыка кластерного анализа на основе метода к-средних.

В качестве исходных данных используются статистические данные Всемирного банка. В качестве инструментального средства для проведения экспериментов используется программное обеспечение kmeans. Описание данного программного обеспечения приведено выше (см. с. 65).

Исходныеданные
Таблица 27. Исходные данные для кластерного анализа

Вариант	Показатели	Год
1	Railways, goods transported (million ton-km). Air transport, freight (million ton-km).	2008
2	Railways, goods transported (million ton-km) Roads, goods transported (million ton-km)	2007
3	Air transport, freight (million ton-km) Roads, goods transported (million ton-km)	2006
4	Railways, goods transported (million ton-km) Railways, passengers carried (million passenger-km)	2009
5	Air transport, freight (million ton-km) Air transport, passengers carried	2005
6	Roads, goods transported (million ton-km) Roads, passengers carried (million passenger-km)	2002
7	Roads, total network (km) Rail lines (total route-km)	2002
8	Internet users (per 100 people) Mobile cellular subscriptions (per 100 people)	2011
9	Internet users (per 100 people) Passenger cars (per 1,000 people)	2010
10	Mobile cellular subscriptions (per 100 people) Passenger cars (per 1,000 people)	2009
11	GDP per capita (current US$) Passenger cars (per 1,000 people)	2008
12	GDP per capita (current US$) Internet users (per 100 people)	2007
13	GDP per capita (current US$) Life expectancy at birth, total (years)	2011
14	GDP per capita (current US$) Physicians (per 1,000 people)	2010

Окончание табл. 27

Вариант	Показатели	Год
15	Access to electricity (% of population) Life expectancy at birth, total (years)	2009
16	Average precipitation in depth (mm per year) Cereal yield (kg per hectare)	2011
17	GDP per capita (current US$) Cereal yield (kg per hectare)	2011
18	GDP per capita (current US$) GDP per unit of energy use (constant 2005 PPP $ per kg of oil equivalent)	2010
19	Researchers in R&D (per million people) GDP per unit of energy use (constant 2005 PPP $ per kg of oil equivalent)	2008
20	Agricultural land (sq. km) Land area (sq. km)	2011
21	Forest area (sq. km) Land area (sq. km)	2010
22	Population, total Land area (sq. km)	2009
23	Health expenditure, total (% of GDP) Military expenditure (% of GDP)	2010
24	High-technology exports (% of manufactured exports) GDP per capita (current US$)	2010
25	Hospital beds (per 1,000 people) Life expectancy at birth, total (years)	2005

Порядоквыполнения

1. 
   Подготовка:
   
   1. 
      Выберите задание (табл. 27).
      
   2. 
      Загрузите программу kmeans из курса «Анализ данных» СДО университета [2].
      
   3. 
      Подготовьте исходные данные для кластеризации:
      
      1. 
         На сайте Всемирного банка [16] найдите данные по странам мира согласно заданию.
         
      2. 
         Загрузите соответствующие файлы на компьютер (Download data – Excel file).
         
      3. 
         Соберите данные из двух загруженных файлов в один файл в формате CSV. Файл должен содержать три столбца: название страны, показатель №1, показатель №2. Схема подготовки файла с исходными данными приведена ниже (рис. 50).
         

Data_2d.csv
Indicator1.xls

Сountry code	2004	2005	2006
CHN	1	4	7
RUS	2	5	8
UKR	3	6	9

Indicator2.xls

Сountry code	2004	2005	2006
CHN	11	14	17
RUS	12	15	18
UKR	13	16	19

Рис. 50. Схема подготовки исходных данных

2. 
   Эксперименты:
   
   1. 
      Запустите программу kmeans.
      
   2. 
      Установите количество кластеров, равное единице.
      
   3. 
      Выберите файл с исходными данными (кнопка «Загрузить данные»).
      
   4. 
      Нажмите кнопку «Старт».
      
   5. 
      Нажимая соответствующие кнопки, сохраните диаграмму с кривой обучения, диаграмму кластеров и файл с кластеризованными объектами.
      
   6. 
      Запишите номер эксперимента и значение функции штрафа в таблицу экспериментальных данных (табл. 28).
      

Таблица 28. Форма журнала экспериментальных данных

Номер эксперимента	Число кластеров	Функция штрафа

7. 
   Повторите эксперимент (шаги 2.2-2.6) пять раз. В результате журнал экспериментальных данных будет содержать пять записей.
   
8. 
   Последовательно увеличивая число кластеров до восьми, проведите серии экспериментов (шаги 2.2 – 2.7). В результате журнал экспериментальных будет содержать 40 записей (таблица 29).
   
1. 
   Обработка экспериментальных данных.
   
   1. 
      Выберите эксперименты, в которых достигнуто минимальное значение функции штрафа для каждого числа кластеров, запишите эти данные в таблицу обработанных экспериментальных данных (табл. 29).
      

Таблица 29. Обработанные экспериментальные данные

Номер эксперимента	Число кластеров	Функция штрафа
	1
	2
	…
	8

2. 
   На основе полученной таблицы обработанных экспериментальных данных постройте график зависимости минимального значения функции штрафа от числа кластеров. Пример такого графика приведен ниже (рис. 51).
   

Рис. 51. Зависимость функции штрафа от числа кластеров

3. 
   По построенному графику, пользуясь методом локтя, определите оптимальное число кластеров. Для приведенного выше графика характерный излом происходит при числе кластеров, равном трем, соответственно в данном случае оптимальное число кластеров равно трем.
   
4. 
   Сделайте выводы по работе:
   
1. 
   Отчет по работе.
   
   1. 
      Составьте отчет о работе.
      
   2. 
      Преобразуйте отчет в формат PDF.
      
   3. 
      Запакуйте отчет (PDF), два исходных файла с индикаторами (XLS) и объединенный файл данных (CSV) двумерного анализа в один архив формата ZIP.
      
   4. 
      Прикрепите созданный архив в раздел «Отчет по лабораторной работе №5 (кластерный анализ)» курса «Анализ данных» СДО университета [2].
      

Требованияк отчету

Отчет должен содержать:

1. 
   Титульный лист: наименование работы, вариант задания, ФИО студента, номер учебной группы, дата выполнения работы.
   
2. 
   Реферат.
   
3. 
   Оглавление.
   
4. 
   Задание.
   
5. 
   Журнал экспериментальных данных.
   
6. 
   Обработанные экспериментальные данные. 7 Диаграмму функции штрафа.
   

8 Определение числа кластеров. 9 Диаграмма кластеров.

10. 
    Выводы.
    
11. 
    Список использованных источников:
    
    1. 
       Источники данных.
       
    2. 
       Нормативные документы.
       

Отчет должен быть оформлен в соответствии с действующими стандартами университета [18, 19].