|
|
Большие данные. Большие данные. Широков Егор пми 1 курс
Реферат на тему Большие данные. Широков Егор ПМИ 1 курс
Оглавление:
Что такое большие данные? – С 2
Техники анализа больших данных – С 3
Технологии анализа больших данных. – С 5
Аналитика Big Data реалии и перспективы в Росси и мире. – С 6
Функции и задачи больших данных. – С 7
Машинное обучение. – С 9
Большие данные в бизнесе – С 10
Юриспруденция и начала анализа: как юристы используют технологии Big Data – С 12
Использованная литература –С 18
1 .Видение .Что такое большие данные?
1.1 Самое простое определение.
Из названия можно предположить, что термин `большие данные` относится просто к управлению и анализу больших объемов данных. Согласно отчету McKinsey Institute `Большие данные: новый рубеж для инноваций, конкуренции и производительности` ( Big data: The next frontier for innovation, competition and productivity), термин `большие данные` относится к наборам данных, размер которых превосходит возможности типичных баз данных (БД) по занесению, хранению, управлению и анализу информации. И мировые репозитарии данных, безусловно, продолжают расти. В представленном в середине 2011 г. отчете аналитической компании IDC `Исследование цифровой вселенной` (Digital Universe Study), подготовку которого спонсировала компания EMC, предсказывалось, что общий мировой объем созданных и реплицированных данных в 2011-м может составить около 1,8 зеттабайта (1,8 трлн. гигабайт) — примерно в 9 раз больше того, что было создано в 2006-м.
1.2 Более сложное определение. Тем не менее `большие данные` предполагают нечто большее, чем просто анализ огромных объемов информации. Проблема не в том, что организации создают огромные объемы данных, а в том, что бóльшая их часть представлена в формате, плохо соответствующем традиционному структурированному формату БД, — это веб-журналы, видеозаписи, текстовые документы, машинный код или, например, геопространственные данные. Всё это хранится во множестве разнообразных хранилищ, иногда даже за пределами организации. В результате корпорации могут иметь доступ к огромному объему своих данных и не иметь необходимых инструментов, чтобы установить взаимосвязи между этими данными и сделать на их основе значимые выводы. Добавьте сюда то обстоятельство, что данные сейчас обновляются все чаще и чаще, и вы получите ситуацию, в которой традиционные методы анализа информации не могут угнаться за огромными объемами постоянно обновляемых данных, что в итоге и открывает дорогу технологиям больших данных. 1.3 Наилучшее определение. В сущности понятие больших данных подразумевает работу с информацией огромного объема и разнообразного состава, весьма часто обновляемой и находящейся в разных источниках в целях увеличения эффективности работы, создания новых продуктов и повышения конкурентоспособности. Консалтинговая компания Forrester дает краткую формулировку: `Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности`. 2 . Техники анализа больших данных
На данный момент существует и разрабатывается множество техник анализа больших кластеров информации. Далее будут приведены некоторые из них.
Слияние и интеграция данных (Data fusion and data integration). Набор техник, которые сводят вместе и анализируют информацию из различных источников, с целью получения более достоверной и, в перспективе, полезной информации, чем при использовании единственного источника. Для этого может быть использована обработка цифровых сигналов (Signal processing). Например, данные СМИ, проанализированные с помощью обработки естественного языка (natural language processing) и сопоставленные с данными о продажах, могут выявить механизм воздействия рекламных компаний и другой информации на поведение покупателей.
Интеллектуальный анализ данных (Data mining). Набор техник извлечения потенциально полезной информации из больших массивов данных путем комбинации различных методов, от статистики до машинного обучения (machine learning) и управления базами данных (database management). Они включают в себя ассоциативное обучение (association rule learning), кластерный анализ (cluster analysis), классификацию и регрессию.
Генетические алгоритмы (Genetic algorithms). Техника, используемая для оптимизации и основанная на принципе естественной эволюции: "выживание наиболее приспособленного". Здесь потенциальные решения внесены в код подобно хромосомам и могут составлять комбинации и мутировать. Также часто описываются как тип эволюционных алгоритмов, хорошо подходящих для решения нелинейных задач. Примером может являться улучшение рабочего графика или оптимизация инвестиционного портфеля.
Нейронные сети (Neural networks). Вычислительные модели, вдохновленные нервной системой человека и животных. Они хорошо подходят для нахождения сложных образов, и могут быть использованы для распознавания и оптимизации. Могут включать в себя, так называемое, обучение с учителем (supervised learning), или обучение без учителя (unsupervised learning)
Обработка потоков (Stream processing). Технологии обработки большого количества потоков данных о событиях в реальном времени.
Также широко используется метод визуализации и другие.
3. Технологии анализа больших данных.
Технологии анализа, в силу перспективности развития этого направления и большой коммерческой отдачи, также широко представлены, и их число продолжает расти. Ниже приведен список и описание наиболее заметных из них.
Business intelligence (BI). Прикладное программное обеспечение, разработанное для сбора, анализа и представления данных. Инструменты IB часто используются для создания стандартных отчетов или для отображения информации в реальном времени на панелях управления.
Cassandra. Бесплатная СУБД с открытым кодом, предназначенная для обращения с большим количеством данных на базе распределенной системы. Изначально разработана в Facebook, сейчас числится как проект the Apache Software foundation
Extract, transform, and load (ETL). Программные инструменты для извлечения данных их внешних источников, адоптации их под стандарт системы и загрузки в базу данных.
Google File System. Фирменная распределенная фаиловая система Гугла.
Hadoop. Бесплатная программная среда для обработки огромных массивов данных и решения определенных типов задач на основе распределенных систем. Разработка вдохновлена Google's MapReduce и Google File System. Изначально разработана в Yahoo!, сейчас числится как проект the Apache Software foundation.
4. Аналитика Big Data реалии и перспективы в Росси и мире.
О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться.
С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ 1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.
К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.
С тех пор рынок Big Data ежегодно увеличивается на несколько десятков процентов. И эта тенденция, по мнению специалистов, будет держаться и дальше. Так, по оценкам компании Frost & Sullivan в 2021 году общий объем мирового рынка аналитики больших данных увеличится до показателя в $67,2 млрд. Ежегодный рост составит около 35,9 %.
Технологии и методы анализа, которые используются для анализа Big Data:
Data Mining;
краудсорсинг;
смешение и интеграция данных;
машинное обучение;
искусственные нейронные сети;
распознавание образов;
прогнозная аналитика;
имитационное моделирование;
пространственный анализ;
статистический анализ;
визуализация аналитических данных
5. Функции и задачи больших данных.
Анализ Больших данных начинается с их сбора. Информацию получают отовсюду: с наших смартфонов, кредитных карт, программных приложений, автомобилей. Веб-сайты способны передавать огромные объемы данных. Из-за разных форматов и путей возникновения Big Data отличаются рядом характеристик:
Volume. Огромные «объемы» данных, которые организации получают из бизнес-транзакций, интеллектуальных (IoT) устройств, промышленного оборудования, социальных сетей и других источников, нужно где-то хранить. В прошлом это было проблемой, но развитие систем хранения информации облегчило ситуацию и сделало информацию доступнее.
Variety. Разнообразие больших данных проявляется в их форматах: структурированные цифры из клиентских баз, неструктурированные текстовые, видео- и аудиофайлы, а также полуструктурированная информация из нескольких источников. Если раньше данные можно было собирать только из электронных таблиц, то сегодня данные поступают в разном виде: от электронных писем до голосовых сообщений.
Velocity. Чаще всего этот пункт относится к скорости прироста, с которой данные поступают в реальном времени. В более широком понимании характеристика объясняет необходимость высокоскоростной обработки из-за темпов изменения и всплесков активности.
В России под Big Data подразумевают также технологии обработки, а в мире — лишь сам объект исследования.
Big Data характеризует большой объем структурированных и неструктурированных данных, которые ежеминутно образуется в цифровой среде. IBM утверждает, что в мире предприятия ежедневно генерируют почти 2,5 квинтиллиона байтов данных! А 90% глобальных данных получено только за последние 2 года.
Но важен не объем информации, а возможности, которые даёт её анализ. Одно из основных преимуществ Big Data — предиктивный анализ. Инструменты аналитики Больших данных прогнозируют результаты стратегических решений, что оптимизирует операционную эффективность и снижает риски компании.
Big Data объединяют релевантную и точную информацию из нескольких источников, чтобы наиболее точно описать ситуацию на рынке. Анализируя информацию из социальных сетей и поисковых запросов, компании оптимизируют стратегии цифрового маркетинга и опыт потребителей. Например, сведения о рекламных акциях всех конкурентов, позволяют руководство фирмы предложить более выгодный «персональный» подход клиенту.
Компании, правительственные учреждения, поставщики медицинских услуг, финансовые и академические учреждения — все используют возможности Больших данных для улучшения деловых перспектив и качества обслуживания клиентов. Хотя исследования показывают, что еще почти 43% коммерческих организаций до сих пор не обладают необходимыми инструментами для фильтрации нерелевантных данных, теряя потенциальную прибыль. Поэтому сегодня на рынке наметился курс на модернизацию бизнес-процессов, освоение новых технологий и внедрение Big Data.
6.Машинное обучение.
Сегодня во многих отраслях внедряют машинное обучение для автоматизации бизнес-процессов и модернизации экономической сферы. Концепция предусматривает обучение и управление искусственным интеллектом (ИИ) с помощью специальных алгоритмов. Они учат систему на основе открытых данных или полученного опыта. Со временем такое приложение способно прогнозировать развитие событий без явного программирования человеком и часов потраченных на написание кода.
Например, с помощью машинного обучения можно создать алгоритм технического анализа акций и предполагаемых цен на них. Используя регрессионный и прогнозный анализы, статистическое моделирование и анализа действий, эксперты создают программы, которые рассчитывают время выгодных покупок на фондовом рынке. Они анализируют открытые данные с бирж и предлагают наиболее вероятное развитие событий.
При работе с Большими данными машинное обучение выполняет сходную функцию: специальные программы анализируют внушительные объемы информации без вмешательства человека. Все, что требуется от оператора «научить» алгоритм отбирать полезные данные, которые нужны компании для оптимизации процессов. Благодаря этому аналитики составляют отчеты за несколько кликов мыши, высвобождая своё время и ресурсы для более продуктивных задач: обработки результатов и поиск наиболее эффективных стратегий.
В динамично развивающемся мире, где ожидания клиентов всё выше, а человеческие ресурсы всё ценнее, машинное обучение и наука о данных играют решающую роль в развитии компании. Цифровая технологизация рабочего процесса жизненно необходима для сохранения лидирующих позиций в конкурентной среде.
7.Большие данные в бизнесе
Всех, кто имеет дело с большими данным, можно условно разделить на несколько групп:
Системные интеграторы — компании, которые внедряют системы анализа больших данных на стороне клиента. К примеру: «Форс», «Крок» и др.
Датамайнеры — разработчики алгоритмов, которые помогают заказчикам извлекать ценные сведения. Среди них: Yandex Data Factory, «Алгомост», Glowbyte Consulting, CleverData и др.
Поставщики инфраструктуры — решают задачи хранения и предобработки данных. Например: IBM, Microsoft, Oracle, Sap и другие.
Потребители — компании, которые покупают программно-аппаратные комплексы и заказывают алгоритмы у консультантов. Это «Сбербанк», «Газпром», «МТС», «Мегафон» и другие компании из отраслей финансов, телекоммуникаций, ритейла.
Разработчики готовых сервисов — предлагают готовые решения на основе доступа к большим данным. Они открывают возможности Big Data для широкого круга пользователей.
Основные поставщики больших данных в России — поисковые системы. Они имеют доступ к массивам данных, а кроме того, обладают достаточной технологической базой для создания новых сервисов.
Google
На рынке бизнес-аналитики с 2012 года, когда компания запустила Google BigQuery — облачный сервис для анализа Big Data в режиме реального времени. Через год его интегрировали в Google Analytics Premium — платную версию счетчика. Недавно Google представила Cloud Bigtable — масштабируемый, облачный сервис баз данных.
«Яндекс»
Большинство сервисов компании построено на анализе больших данных: поисковый алгоритм на основе нейросетей «Палех», машинный перевод, фильтрация спама, таргетинг в контекстной рекламе, предсказание пробок и погоды, распознавание речи и образов, управление беспилотными автомобилями.
Некоторое время в «Яндексе» существовало отдельное подразделение Yandex Data Factory, которое оказывало консультационные услуги крупным компаниям. Но впоследствии эта структура была внедрена в отдел поиска.
Mail.Ru Group
Система веб-аналитики «Рейтинг Mail.Ru» — первый проект, который начал применять технологии обработки больших данных. Сейчас Big Data используется практически во всех сервисах компании — «Таргет.Mail.Ru», «Почта Mail.Ru», «Одноклассники», «Мой Мир», «Поиск Mail.Ru» и других.
С помощью анализа больших данных Mail.Ru таргетирует рекламу, оптимизирует поиск, ускоряет работу техподдержки, фильтрует спам, изучает поведение пользователей и т.д.
«Рамблер»
Сначала медиахолдинг использовал большие данные только в поиске, а затем в компании появилось направление датамайнинга. «Рамблер» применяет технологии для персонализации контента, блокировки ботов и спама, обработки естественного языка.
Выгоды использования технологии в бизнес: Повышаются шансы проекта на востребованность.
Увеличивается скорость запуска новых проектов.
Упрощается планирование.
Можно оценить степень удовлетворенности пользователей.
Проще найти и привлечь целевую аудиторию.
Ускоряется взаимодействие с клиентами и контрагентами.
Оптимизируются интеграции в цепи поставок.
Повышается качество клиентского сервиса, скорость взаимодействия.
Повышается лояльность текущих клиентов
8. Юриспруденция и начала анализа: как юристы используют технологии Big Data
Каждый день пользователи интернета создают в 70 раз больше данных, чем содержит вся библиотека Конгресса США – 2,5 млрд пользователей генерируют 2,5 квинтиллиона байт данных. Всякий раз, когда пользователь заходит на сайт или пишет сообщение по электронной почте, где-то в мире стоит компьютер, который отслеживает эти действия и регистрирует их в онлайн-профиле пользователя. Собранная информация используется для эффективной рекламы – технология, работающая не первый год. "Тихая революция" Big Data – технологий, которые позволяют анализировать данные в их первоначальном состоянии, без дополнительного структурирования, давно произошла. Возможности анализа больших массивов данных с помощью сложных математических алгоритмов теперь используются в целом ряде сфер для улучшения клиентского сервиса, анализа ситуации на рынке или таргетированной рекламы. Юриспруденция – не исключение. Как могут пригодиться современные методы исследования в работе юриста, таят ли они в себе опасности – или новые возможности?
"Если условно обозначить основные направления, по которым юристы пересекаются с новой технологией в последние несколько лет, можно выделить три направления: во-первых, большие данные, которые юристы используют в работе; во-вторых, big data, работающая вместо юристов; и третье направление – большие данные как явление, с которыми юристам приходится сталкиваться", – схематично обозначает ситуацию Иван Бетгин, директор и соучредитель некоммерческого партнёрства "Информационная культура", специалист по открытым данным.
Первое направление, в рамках которого юристы работают с анализом Big Data, – использование массивов данных для автоматизации работы с целью поиска разного рода несоответствий или наоборот, возможностей – в законах, отмечает Иван Бетгин. "Особенно это актуально для стран с "common law" – общей системой права", – замечает он. Так, например, успешно работает система прогнозирования вероятности прохождения законов через Конгресс США.
Анализ данных существенно помогает в судебной практике, отмечает Иван Апатов, управляющий партнёр White Collar Strategy: "Например, получить краткое и содержательное заключение на основании анализа сотен судебных актов. Экономит время и деньги. Создает преимущество перед оппонентами". Хотя, по его словам, Big Data для российских юрфирм – это всё ещё "брюки на вырост": "К сожалению, сейчас автоматизировать эту работу сложно в связи с ограничениями в системе электронного правосудия".
За рубежом же юрфирмы, особенно крупные, уже начали использовать большие данные в ежедневной работе. Наглядный пример – электронный ассистент ROSS, программа, созданная в компании ROSS Intelligence и работающая на когнитивном компьютере IBM Watson, оснащённом вопросно-ответной системой искусственного интеллекта. Она использует естественный язык для того, чтобы понять вопросы юристов и сообщить им информацию по интересующим их судебным делам и законодательству с необходимыми ссылками, и применяется теми, кто анализирует контракты (см. "Робот, а не человек: как искусственный интеллект перестроит работу юристов"). Другой калифорнийский стартап, Lex-Machina, в числе клиентов которого Google и Nike, анализирует споры в сфере интеллектуальной собственности и создает структурированные базы из открытых данных – например, с использованием судебных документов. Он помогает юристам предположить исход дела или выбрать правильную стратегию действий в суде. Аналогичные системы помогут и подобрать удобную юрисдикцию для спора.
Прогнозы, которые составляют машины, со временем становятся всё точнее. Так, на сегодняшний день команде исследователя Даниэля Каца из Университета Мичигана удается угадать решения ВС США с точностью до 70%. Можно просчитать, какие аргументы работают для большинства, а что имеет значение для конкретного судьи. Также благодаря анализу массивов данных юрфирме проще понять, стоит ли вообще браться за дело: если раньше подобное исследование вопроса отнимало до 20 дней, то сегодня благодаря технологиям оно займёт 20 минут, отмечают в калифорнийской фирме Dummit, Buchholz & Trapp.
Выгодно это не только юристам, но и обществу в целом. “Сокращение временных затрат юристов на подготовку к делу теоретически позволит уменьшить счёт за юруслуги и сделать правосудие доступнее”, – уверен Ник Рид, один из основателей системы анализа данных в области юриспруденции Ravel Law. Основанная в 2012 году компания Рида и его коллеги Дэниела Льюиса в отличие от популярных за рубежом LexisNexis и Westlaw, являющихся скорее поисковыми, чем аналитическими системами, дает пользователю инструменты для анализа. Например, система Judges Analytics позволяет исследовать и визуализировать, кто из судей будет более благосклонен к тем или иным аргументам.
Правосудию анализ данных принесет не только доступность, но и качественно новый уровень рассмотрения вопросов, отмечают эксперты: в США уже есть примеры, когда результаты анализа больших данных из открытых источников были представлены в качестве доказательств в суде.
Другое направление применения анализа больших данных – их использование для избавления человечества от юристов. Наглядный пример – история с автоматизацией поиска незаконных штрафов за парковку в Нью-Йорке, вспоминает Иван Бетгин. Тогда всего лишь один аналитик, сидящий за компьютером, нашел тысячи нелегально выписанных штрафов с помощью городских открытых данных.
Пока футурологи от права прогнозируют замену значительного числа юристов машинами, согласно более взвешенному взгляду на проблему, при наихудшем для юристов сценарии сокращение штата может составить не более 13%. Причем сократят только тех, кто занят рутинной работой: согласно исследованию, проведенному McKinsey & Co., 23% работы, выполняемой юристами, и 69% работы паралигалов могут быть автоматизированы с помощью современных технологий.
Ещё одна область, где юристы сталкиваются с новой технологией анализа информации, – использование больших данных для разработки алгоритмов, которые начинают принимать решение за человека. Здесь и начинается наиболее проблемная зона, а именно, возникает вопрос к юристам о правоприменении в случае ошибок.
Согласно рекомендациям Американской ассоциации юристов АВА от 2012 года, юрист обязан быть в курсе перемен в профессии, в том числе связанных с рисками от использования технологий. То есть, если вы недостаточно информированы о рисках, связанных с, например, большими данными, это вполне можно расценивать как недобросовестность – со всеми вытекающими последствиями. Для корпоративных клиентов вопрос заключается в том, могут ли предиктивные возможности анализа повлечь за собой большую ответственность по идентификации рисков. Другими словами, возрастет ли ответственность юрфирм за проблемы бизнеса с учётом того, что у них было больше возможностей предвидеть ситуацию. А если приложения, используемые для анализа больших массивов данных, проанализируют информацию неверно – повлечет ли это ответственность для юрфирмы? Пока эти вопросы остаются открытыми.
Другая сложность для юрфирм, использующих большие данные, заключается в том, что законодательство в этой области меняется ежедневно, как и сами технологии. Законодатели пытаются успеть за прогрессом, чтобы удовлетворить требования по защите персональной информации, отмечает американский исследователь Коузен О'Коннор, и юрфирмам приходится следить за новинками в законодательстве с удвоенным вниманием. Кроме того, законы в этой области меняются от юрисдикции к юрисдикции, так что риск нарушить те или иные законодательные нормы велик.
В американском исследовании 45 компаний, использующих Big Data, не оказалось ни одной юрфирмы – и это неудивительно с учётом того, что юрбизнес не всегда быстро реагирует на инновации. Но эксперты всё же сходятся во мнении: анализ больших данных неизбежно повлияет не только на работу юристов, но и на сам юрбизнес. Согласно результатам опроса, более чем 1000 компаний из 19 стран мира 85% респондентов уверены, что перемены будут значительными. Для крупных зарубежных компаний наличие стратегии по использованию бигдаты станет необходимостью для сохранения клиентов и поддержания соревновательности, отмечает британская LawGazette.
Пока анализ данных успешно используется для развития бизнеса. "Анализ информации о клиентах, включая компании, которые перестали обращаться за услугами, их арбитражной нагрузке, информационном контексте и актуальных проектах помогает найти правильный подход в построении отношений", – перечисляет случаи применения технологии Иван Апатов. Используют новшества и при рекрутинге, говорит Апатов: "Актуальные данные о выпускниках юридических факультетов, сотрудниках других юридических фирм и корпоративных юристах, включая информацию об их наградах, проектах, карьере, позволяет всегда держать машину отбора лучших кадров запущенной".
Еще одно из направлений, где уже используют большие данные, – анализ ценообразования на юррынке. Бигдату используют и юристы, и их клиенты. Первые – чтобы проанализировать собственные счета, расходы и то, как они выглядят на фоне конкурентов, вторые – для оптимального выбора консультанта. Особенный энтузиазм в последнем случае проявляют страховые компании и банки, которые разрабатывают инструменты для анализа и оптимизации расходов и вычисления наиболее успешных специалистов.
В итоге юрфирмы, использующие новые технологии по анализу данных, готовы предложить клиентам лучший сервис за меньшие деньги – ведь они, вероятно, уже проанализировали ценовую политику конкурентов. А те, кто медленнее приспосабливается к новым реалиям, в этом случае остаются в проигрыше, проигрывая более технологичным и клиентоориентированным компаниям.
Использованная литература
Иванов П.Д., Вампиловв В.Ж. Технологии Big Data и их применение на современном промышленном предприятии. Инженерный журнал: наука и инновации, 2014, вып. 8. URL: http://engjournal.ru/catalog/it/asu/1228.html
Технологии Big Data: как использовать Большие данные в Маркетинге\\URL: https://www.uplab.ru/blog/big-data-technologies/(дата обращения 01.03.2022) Юриспруденция и начала анализа: как юристы используют технологии Big Data\\URL: https://pravo.ru/story/view/132809/(дата обращения 01.03.2022) Технологии больших данных (Big Data) (Большие данные.)\\URL: https://www.evkova.org/referaty/tehnologii-bolshih-dannyih-big-data-bolshie-dannyie (дата обращения 01.03.2022) Большие данные (Big Data)\\ URL:https://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data) (дата обращения 01.03.2022) |
|
|
Скачать 34.86 Kb.