КР Bigdate_Зенина_К_В. Контрольная работа дисциплина Основы работы с большими данными Ф. И. О. студента Зенина Ксения Валерьевна

• Название: Контрольная работа дисциплина Основы работы с большими данными Ф. И. О. студента Зенина Ксения Валерьевна
• Дата: 02.02.2022
• Размер: 68.35 Kb.
• Имя файла: КР Bigdate_Зенина_К_В.docx
• Тип: Контрольная работа; #349521

МИНОБРНАУКИ РОССИИ

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Новосибирский государственный университет экономики и управления «НИНХ»

(ФГБОУ ВО «НГУЭУ, НГУЭУ)

Кафедра статистики


КОНТРОЛЬНАЯ РАБОТА
Дисциплина: Основы работы с большими данными

Ф.И.О. студента: Зенина Ксения Валерьевна

Специальность: 33.03.01 Психология

Специализация: Психологическое консультирование и психология личности

Номер группы: ПС01

Номер зачетной книжки: 205307

Номер варианта контрольной работы: 7

Новосибирск 2022

СОДЕРЖАНИЕ

СОДЕРЖАНИЕ 2

Задание №1 4

- какими инструментами можно воспользоваться для сбора и хранения данных. Какие ресурсы необходимы для этого (технические, программные) 4

Ответ на задание №1 4

Gro Intelligence 4

Собирает глобальные данные обо всем: содержание влаги в почве, погода, вредители, прогноз цен, данные по импорту-экспорту и многое другое. Затем она использует эти триллионы точек данных для создания более 1000 моделей, которые могут помочь компаниям принять лучшие решения. 4

Задание №2 5

Ответ на задание №2 6

Gro Intelligence 6

Анализ данных с помощью компьютера 6

Краудсорсинг 6

Zoho Analytics 6

Задание №3 7

Сформулируйте задачи, возникающие в сельском хозяйстве, которые можно было бы решить с использованием машинного обучения. Опишите возможные результаты 7

Ответ на задание №3 7

Задание №4 9

Сформулировать и перечислить основные заинтересованные лица (стейкхолдеры), кто был бы заинтересован в полученных результатах 9

Ответ на задание №4 9

Задание №5 11

Сформулировать требования к возможным изменениям в нормативно-правовой базе 11

Ответ на задание №5 11

Список использованных источников 13

2. Big Data в АПК: как технология больших данных решает проблемы фермеров по всему миру .- URL: https://inventure.com.ua/analytics/articles/big-data-v-apk:-kak-tehnologiya-bolshih-dannyh-reshaet-problemy-fermerov-po-vsemu-miru 13

9. Smart Farming: как Big Data влияет на сельское хозяйство. - URL: https://agrovent.com/blog/smart-farming-kak-big-data- -selskoe-khozyaystvo. 13

Задание №1 3

Ответ на задание №1 3

Задание №2 4

Ответ на задание №2 5

Задание №3 6

Ответ на задание №3 6

Задание №4 8

Ответ на задание №4 8

Задание №5 9

Ответ на задание №5 9

Список использованных источников 11

Задание №1

1. На примере задач сферы сельского хозяйства ответьте на следующие вопросы:

- какие данные, подходящие под определение big data, фиксируются/могут фиксироваться в исследуемой предметной области;

- какими инструментами можно воспользоваться для сбора и хранения данных. Какие ресурсы необходимы для этого (технические, программные)

- описать источники данных и способы добычи данных из этих источников.

Ответ на задание №1

Таблица 1- Big data в сфере сельского хозяйства

Наименование программного средства/оборудования	Наименование собираемых/хранимых данных	Описание и краткая характеристика собираемых /хранимых данных, источники данных
Gro Intelligence	Информация в сфере сельского хозяйства	Собирает глобальные данные обо всем: содержание влаги в почве, погода, вредители, прогноз цен, данные по импорту-экспорту и многое другое. Затем она использует эти триллионы точек данных для создания более 1000 моделей, которые могут помочь компаниям принять лучшие решения.
Climate FieldView	Данные о погоде, состоянии почвы, влажности, созревании плодов, ходе роста и условиях для скота	Climate FieldView даёт фермерам детализированную визуализацию процессов сельскохозяйственного производства, объединённую с данными о потребностями рынка продовольствия, которые позволяют им принимать эффективные информированные решения.
ИИ	Информация в сфере сельского хозяйства	Информация о заболеваемости растений, оценке урожая, оценка уровня влажности почвы применительно к стандартам для разных культур с отправкой уведомлений о необходимости полива в определенные сроки. Задача реализуется за счет датчиков, аналитики исторических данных и информации со спутников, которая «прогоняется» через специальные алгоритмы.
Field View платформа анализа данных	Данные о погоде в режиме реального времени, данные об истории поля и урожайность,	Трактора, обрудованные GPS, внедрение разработанных специально для целей отрасли датчиков, подключенных к Интернету и объединенных с помощью облачных технологий Подключение к оборудованию по сбору данных, расположенному на сеялках и тракторах, позволяет фермерам видеть данные о погоде в режиме реального времени, данные об истории поля и урожайность, и собирать информацию о культуре и почве с каждым проходом трактора по полю

Продолжение таблицы 1

Cowlar	информация о животных	Электронные ошейники для коров, которые сигнализируют, когда корова демонстрирует ненормальное поведение или ее температура тела отклоняется от нормы, или когда стадо выходит за пределы фермы
Платформа «Свое фермерство»	информация о вакансиях в сельхозпредприятиях	В восьми из десяти предложений для агрономов указано обязательное знание технических программ. Каждая шестая содержит требование опыта работы с картографическими данными ГИС, геоинформационными системами и базами данных. Под влиянием цифровизации агрономы становятся аналитиками данных. "Им приходится анализировать информацию с датчиков или спутниковых снимков полей"
CRM-система агрофирмы	информация о спросе на продукцию АПК, климатические данные по региону	Интеграция и обработка данных из различных источников, имеющих отношение к процессу, включая динамику текущего спроса на рынке (CRM-система агрофирмы), климатические данные по региону. Далее — сверка с историческими данными агентов, планами фермера на сезон и характеристиками конкретного хозяйства. Все это должно сводиться воедино и обрабатываться в облаке средствами аналитики данных, после чего решение генерирует рекомендации на основе заданного свода правил.
ExactFarming	снимки сельхозугодий	Применение спутников для фотосъемок полей с целью обнаружения заболеваний растений
Машинное обучение	Методы для автоматического поиска закономерной в больших объемах информации	попытки предсказания конверсии, ранжирование поисковой выдачи, построение рекомендационных систем для пользователей и пр.
IoT	информация в АПК	Эффективное использование кормов на фермах, экономия воды, эффективность использования удобрений, точность засева полей и т.д. Применение технологий Интернет вещей (IoT) позволяет собирать различные данные специфичные для каждого процесса. Полученные данные используются для анализа текущих показателей, выявления причин, зависимостей, а также планирования требуемых шагов и будущих результатов.
Веб платформа OneSoil	информация о состоянии полей	В веб-платформе OneSoil собраны приложения, которые позволяют получить информацию о состоянии полей, рассчитать нормы удобрений и узнать погоду. Эта информация крайне важна для эффективного выращивания сельскохозяйственных культур. Поскольку задача современного сельского хозяйства — решить проблему нехватки продуктов питания, партнёрские отношения с такими технологическими компаниями как EPAM помогают воплотить новые решения в жизнь.

Задание №2

Приведите примеры способов обработки и визуализации данных с использованием инструментов работы с big data в сельском хозяйстве

Ответ на задание №2

Таблица 2 - Примеры способов обработки и визуализации данных с использованием инструментов работы с big data в сельском хозяйстве

Наименование данных	Характеристика результата после обработки / визуализации	Наименование программного средства с помощью которого получен результат
Информация в сфере сельского хозяйства	Gro Intelligence строит модели по различным параметрам, но в широком смысле их можно разбить на следующие категории: - цена (Price): где и как можно заработать больше; - спрос (Demand): где продукция будет пользоваться наибольшим спросом; - поставка (Supply): где выращивается урожай и как он будет производиться в будущем; - вредители и болезни (Pests and disease): каким образом вредители и болезни могут оказать негативное воздействие на регион или культуру;  - погода и климат (Weather and Climate): модели прогнозируют влияние климатических явлений или изменения климата на урожайность сельскохозяйственных культур; - маски сельскохозяйственных культур (Crop Masks): помощь в прогнозировании урожайности по основным сельскохозяйственных культурам и регионам.	Gro Intelligence
Предиктивная аналитика	ИТ алгоритмы и компьютерное моделирование сельскохозяйственного цикла, оценка урожая через автоматический и беспристрастный анализ продукции,	ИИ
Гибридные данные модели интеллектуальных данных и экстремального машинного обучения.	Получение информации о состоянии почвы позволяющей принимать эффективные управленческие решения
Смешение и интеграция данных	Работа с big data часто связана со сбором разнородных данных из разных источников. Чтобы работать с этими данными, их нужно собрать воедино. Просто загрузить их в одну базу нельзя — разные источники могут выдавать данные в разных форматах и с разными параметрами. Тут и поможет смешение и интеграция данных — процесс приведения разнородной информации к единому виду.	Основано на процессе ETL
Анализ данных с помощью компьютера	Приведение большого объема сырых данных в систему с помощью компьютера, либо большой группы людей	Краудсорсинг
Tableau, Qlik, Orange	Чтобы результаты аналитики было удобнее оценивать и использовать, для работы с big data используют визуализацию данных. представление больших данных и результатов их анализа в виде удобных графиков и схем, понятных человеку - в виде графиков, диаграмм, гистограмм, 3D-моделей, карт и пиктограмм.	Визуализация аналитических данных.
Тестирование и моделирование	Предсказание будущего не по реальным, а по гипотетическим данным.	Имитационное моделирование
Бизнес - аналитика	Помогает создавать зрительно привлекательные отчеты с визуализацией данных. Обладает надежной политикой безопасности данных. Извлекает данные из нескольких ресурсов и затем обрабатывает их для создания подробных отчетов	Zoho Analytics

Задание №3

Сформулируйте задачи, возникающие в сельском хозяйстве, которые можно было бы решить с использованием машинного обучения. Опишите возможные результаты

Ответ на задание №3

Задачи сферы сельского хозяйства, решаемые с использованием машинного обучения:
1. Прогнозирование урожайности -  технологии ИИ могут применяться различных областях сельскохозяйственного производства, в частности для прогнозирования урожайности сельскохозяйственных культур в зависимости от различных факторов (алгоритм принимает решение и выдает прогноз на основе анализа свойств и плодородия почв, выбирает почвы с наиболее оптимальными свойствами). 

2. Снижение потребности в ручном труде – разрабатываются системы машинного зрения для уборки культур (например, вишни, апельсинов). Всё больше развиваются и применяются специализированные роботы для сбора урожая: зерноуборочные комбайны существуют давно, но только сейчас, при помощи современных методов компьютерного зрения и робототехники, получилось разработать, например, робота, собирающего клубнику. [1]

3.Повышение эффективности управленческих решений в сельском хозяйстве – применение технологий мониторинга и прогнозирования влажности почвы, её температуры, позволяют понимать динамику почвенных процессов, оптимизировать время посадки и увлажнение почвы, внесения удобрений для повышения урожайности.

4. Проведение исследований в области болезней растений и животных - так разработана система для обнаружения азотного стресса и желтой ржавчины, инфицированных и здоровых растений озимой пшеницы, основанная на иерархическом самоорганизующемся классификаторе и гиперспектральных данных. Исследование было направлено на точное выявление этих категорий для более эффективного использования фунгицидов и удобрений. 

5. Прогнозирование погоды - применение технологий машинного обучения (ELM) позволяют получать более точные прогнозы потенциальных рисков засухи.

6. Оценка эффективности деятельности - в животноводстве технологии ИИ применяются при оценке продуктивности и моделей поведения животных. Разработан метод классификации поведения крупного рогатого скота на основе моделей машинного обучения с использованием данных, собранных ошейниковыми датчиками с магнитометрами и трехосными акселерометрами. Целью исследования было прогнозирование таких событий, как эструс и распознавание изменений рациона у крупного рогатого скота. 

7.Распознавание заболеваний культур - растениеводы используют компьютерное зрение для распознавания заболеваний культур: как на микроуровне, по снимкам листьев и растений крупным планом, так и на макроуровне, выявляя ранние признаки заболеваний растений или распространения вредителей по данным аэрофотосъёмки. Все эти проекты обычно основаны на сверточных нейронных сетях (convolutional neural networks, CNN). 

8.Необходимость продолжительных исследований и значительных инвестиций в разработку технологий ИИ для сельского хозяйства;

9.Создание дополнительных рабочих мест в высокотехнологичном секторе, в том числе в программировании, обслуживании оборудования ИИ;

Существенный рост прогресса в развитии технологий ИИ в сельском хозяйстве на основе машинного обучения, использования больших данных, нейронных сетей и т.д.;

10.Возможные технологические прорывы в сельском хозяйстве на основе открытия с помощью ИИ новых закономерностей в животном и растительном мире.

Задание №4

Сформулировать и перечислить основные заинтересованные лица (стейкхолдеры), кто был бы заинтересован в полученных результатах

Ответ на задание №4

Таблица 3 – Основные стейкхолдеры сферы сельского хозяйства

Наименование заинтересованного лица (стейкхолдера)	Какой полезный результат могут получить
Сотрудники: - совет директоров; - менеджмент; - профсоюзы; - персонал;	Увеличение заработной платы; - Премии за результат; - Материальное стимулирование;
Государство	Получение экономического эффекта (или, другими словами, выигрыша) от деятельности сельхозпредприятий в масштабах государства, производственно-хозяйственной деятельности агропредприятий.
Потребители -конечные потребители; -посредники;	Получение чистого экологического продукта предприятий агропромышленного комплекса по среднеотраслевым ценам
Поставщики: - поставщики материалов и сырья; - субподрядчики; - консультанты по НИОКР и др.	Увеличение объемов поставляемой продукции потребителям, увеличение прибыли предприятий; взаимовыгодное сотрудничество на основе партнерских отношений
СМИ	Освещение достоверной информации о сельхозпредприятиях и их деятельности, доступ к руководству фирм для получения достоверной информации Получение прибыли от рекламирования продукции в средствах СМИ
Инвесторы -институциональные инвесторы; -пенсионные фонды; -банки; -менеджеры и аналитики фондов; -рейтинговые агентства; и др.	Получение прибыли за счет сотрудничества с сельхозпредприятиями, инвестирование средств через пенсионные фонды, выгодные корпоративные пенсионные программы, лояльность банков к состоятельным партнерам
Конкуренты: - прямые конкуренты; - товары - заменители	Обострение конкуренции на рынке сельхозпродукции является движущей силой отрасли. Повышение конкурентоспособности предприятий, выпуск качественной продукции по низким ценам, предложение скидочных программ

Продолжение таблицы 3

Ученые	Применение полученной информации для проведения различных исследований, при разработке удобрений, средств для борьбы с сорняками, вредителями, болезнями растений и скота
Обычные жители	Жители могут использовать полученные и проанализированные данные для эффективного использования личного подсобного хозяйства (например данные об урожайности сельхозкультур, болезнях, борьбе с вредителями, и т.д.) Чипирование животных помогает собирать информацию о питомце, отслеживать его местонахождение
Сельхозпроизводители	Применение полученных результатов для повышения урожайности, оценке продуктивности применяемых моделей животноводства, рационального использования почв, повышения эффективности деятельности в целом благодаря мониторингу движения сельхозтехники, сокращению использования ручного труда, сокращение количества краж топлива и урожая

Задание №5

Сформулировать требования к возможным изменениям в нормативно-правовой базе

Ответ на задание №5

Основная задача совершенствования нормативно-правовой базы в сельском хозяйстве состоит в том, чтобы стимулировать в аграрной сфере не инерционный путь развития в уже достигнутых рамках темпов роста объема валовой сельхозпродукции, производительности и урожайности, а переходить на инновационный путь, развивать технологии, всемерно способствовать привлечению инвестиций в отрасль. Рассмотрим требуемые изменения в нормативно-правовой базе (государственный, отраслевой, внутренний уровни).

1.Необходимо внесение изменений и дополнений в федеральные и региональные законодательные акты, регулирующие отношения между органами государственной власти и сельскохозяйственными товаропроизводителями в сфере оказания поддержки аграрной отрасли; 

2. Корректировка нормативных документов (целевых программ развития

сельского хозяйства, порядков предоставления государственной поддержки, административных регламентов оказания государственных услуг) с целью усиления мотивации развития отрасли и выполнения индикативных показателей роста.

Изменение методологических подходов к процессам взаимодействия государства и сельхозпроизводителей в вопросах предоставления и расходования средств государственной поддержки; совершенствование экономических косвенных методов государственной поддержки отрасли, в частности налогообложения. 

3.Формирование системы показателей и мониторинга качества и доступности государственных услуг в сфере взаимодействия органов государственной власти и сельхозтоваропроизводителей с целью повышения эффективности государственной поддержки.

4. В составе мер по совершенствованию нормативной базы, регламентирующей порядок и условия взаимодействия государства с сельхозпроизводителями, необходимо внести изменения в ведомственные нормативные акты (административные регламенты оказания государственных услуг по предоставлению субсидий). В частности, дополнить их положениями о сроках административных процедур, выполняемых специалистами многофункциональных центров, указаниями ответственных должностных лиц за выполнение действий, операций на определенных этапах предоставления услуги. 

Список использованных источников

1. Анализ стейкхолдеров на примере российских предприятий.- URL: https://naukovedenie.ru/PDF/42EVN316.pdf

2. Big Data в АПК: как технология больших данных решает проблемы фермеров по всему миру .- URL: https://inventure.com.ua/analytics/articles/big-data-v-apk:-kak-tehnologiya-bolshih-dannyh-reshaet-problemy-fermerov-po-vsemu-miru

3. Влияние больших данных на развитие сельского хозяйства России.- URL: http://www.e-rej.ru/upload/\6cad01cf5.pdf

4. Искусственный интеллект в АПК: роботы, компьютерное зрение и весы для свиней [Электронный ресурс] URL:https://milknews.ru/longridy/Iskusstvennyj-intellekt-v-APK.html

5. Курдюк П. М. Административно-правовое регулирование в агропромышленном комплексе: учеб. пособие / П. М. Курдюк, А. А. Долгополов, В. А. Очаковский. – Краснодар: КубГАУ, 2019

6. Набоков В.И., Некрасов К.В., Скворцова Е.Г., Кротов М. И. Применение технологий искусственного интеллекта в сельском хозяйстве Е. А. Скворцов, // Аграрный вестник Урала. 2019. No 8 (187). С. 91–98.

7. Обеспечение большими данными общего доступа как фактор интенсификации сельского хозяйства. - URL: http://www.publishing-vak.ru/file/archive-economy-2017-6b/3-ermakov.pdf

8 Скворцов Е.А., Набоков В.И., Некрасов К.В., Скворцова Е.Г., Кротов М.И. Применение технологий искусственного интеллекта в сельском хозяйстве // АВУ. 2019. №8 (187). URL: https://cyberleninka.ru/article/n/primenenie-tehnologiy-iskusstvennogo-intellekta-v-selskom-hozyaystve (дата обращения: 16.10.2020).

9. Smart Farming: как Big Data влияет на сельское хозяйство. - URL: https://agrovent.com/blog/smart-farming-kak-big-data- -selskoe-khozyaystvo.