|
|
презентация. Volume Velocity Variety
Big Data
Анализ больших данных проводят для того, чтобы получить новую, ранее неизвестную информацию. Подобные открытия называют инсайтом, что означает озарение, догадку, внезапное понимание.
Большие данные (Big Data, биг дата)
Признаки, характеристики
Volume
Velocity
Variety
1
2
3
величина физического объёма
Скорость прироста. Данные регулярно обновляются, что требует их постоянной обработки.
Разнообразие. Данные могут иметь неоднородные форматы, быть неструктурированными или структурированными частично.
Источники данных
Интернет
Корпоративные данные
Показания устройств
1
2
3
соцсети, блоги, СМИ, форумы, сайты
транзакционная деловая информация, архивы, базы данных
датчиков, приборов, а также метеорологические данные, данные сотовой связи и т. д.
Функции и задачи
Функция
|
Задача
|
Big Data — собственно массивы необработанных данных
|
Хранение и управление большими объемами постоянно
обновляющейся информации
|
Data mining — процесс обработки и структуризации данных, этап аналитики для выявления закономерностей
|
Структурирование разнообразных сведений, поиск скрытых и неочевидных связей для приведения к единому знаменателю
|
Machine learning — процесс машинного обучения на основе обнаруженных связей в процессе анализа
|
Аналитика и прогнозирование на основе обработанной и структурированной информации
|
Техники и методы анализа, применимые к Big data
Техники и технологии
- Data Mining;
- Краудсорсинг;
- Машинное обучение;
- Искусственные нейронные сети;
- Распознавание образов;
- Прогнозная аналитика;
- Имитационное моделирование;
- Пространственный анализ;
- Статистический анализ;
- Визуализация аналитических данных.
Технологии
- NoSQL;
- MapReduce;
- Hadoop;
- R;
- Аппаратные решения.
- Столбцовые БД (ClickHouse)
Аппаратные решения
Горизонтальная масштабируемость. любая система, которая обрабатывает большие данные должна быть расширяемой
Отказоустойчивость
Локальность данных — для снижения издержек данные необходимо обрабатывать на том же сервере, где они хранятся.
1
2
3
⟶
⟶
Традиционная аналитика
Разница подходов
1. Постепенный анализ небольших пакетов данных
2. Редакция и сортировка данных перед обработкой
3. Старт с гипотезы и ее тестирования относительно данных
4. Данные собираются, обрабатываются, хранятся и лишь затем анализируются
Big Data
1. Обработка сразу всего массива доступных данных
2. Данные обрабатываются в их исходном виде
3. Поиск корреляций по всем данным до получения искомой информации
4. Анализ и обработка больших данных в реальном времени, по мере поступления
Всех, кто имеет дело с большими данным, можно условно разделить на несколько групп:
Big Data в бизнесе
- Поставщики инфраструктуры — решают задачи хранения и предобработки данных. Например: IBM, Microsoft, Oracle, Sap
- Датамайнеры — разработчики алгоритмов, которые помогают заказчикам извлекать ценные сведения. Среди них: Yandex Data Factory, CleverData;
- Системные интеграторы — компании, которые внедряют системы анализа больших данных на стороне клиента. К примеру: «Форс», «Крок» и др
- Потребители — компании, которые покупают программно-аппаратные комплексы и заказывают алгоритмы у консультантов. Это «Сбербанк», «Газпром», «МТС», «Мегафон»
- Разработчики готовых сервисов — предлагают готовые решения на основе доступа к большим данным. Они открывают возможности Big Data для широкого круга пользователей
Драйверы и ограничители в бизнесе в России
Драйверы
|
Ограничители
|
Высокий спрос на Big Data для повышения конкурентоспособности с помощью возможностей технологий
|
Необходимость обеспечивать безопасность и конфиденциальность данных
|
Развитие методов обработки медиафайлов на мировом уровне
|
Нехватка квалифицированных кадров
|
Реализация отраслевого плана по импортозамещению программного обеспечения
|
В большинстве российских компаний объем накопленных информационных ресурсов не достигает уровня Big Data
|
Создание технопарков, которые способствуют развитию информационных технологий
|
Новые технологии сложно внедрять в устоявшиеся информационные системы компаний
|
Перенос на территорию России серверов, которые обрабатывают персональную информацию
|
Высокая стоимость технологий
|
Государственная программа по внедрению грид-систем — виртуальных суперкомпьютеров, которые распространяются по кластерам
|
Рост цен на импортную продукцию
|
Зачем нужны большие данные в маркетинге? Анализ массивов информации о компании открывает новые возможности:
Big Data в маркетинге
- Понять работу бизнеса в цифрах.
- Изучить конкурентов.
- Узнать своих клиентов.
Сервисы Big Data:
- 1С-Битрикс BigData - сервис персонализации торговых предложений
- RTB Media - Сервис по управлению закупками цифровой рекламы
- Alytics - Система сквозной аналитики с автоматизацией контекстной рекламы и интерактивными отчетами
Заключение
Спасибо :)
+7 499 653 78 83
www.uplab.ru
Москва
Чебоксары
127055, ул. Новослободская, д. 61, стр. 2
info@uplab.ru
428018, ул. Нижегородская, д. 6, стр. 2 |
|
|
Скачать 0.62 Mb.