Управление данными 1. По дисциплине Управление данными Business Intelligence
 Скачать 0.78 Mb.
|
|
По дисциплине: Управление данными Business Intelligence Business intelligence (BI) — обозначение компьютерных методов и инструментов для организаций, обеспечивающих перевод транзакционной деловой информации в человекочитаемую форму, а также средства для массовой работы с такой обработанной информацией. Цель BI — интерпретировать большое количество данных, заостряя внимание лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия решений. BI поддерживает множество бизнес-решений — от операционных до стратегических. Основные операционные решения включают в себя позиционирование продукта или цен. Стратегические бизнес-решения включают в себя приоритеты, цели и направления в самом широком смысле. BI наиболее эффективен, когда он объединяет данные, полученные из рынка, на котором работает компания (внешние данные), с данными из источников внутри компании, таких как финансовые и производственные (внутренние данные). В сочетании внешние и внутренние данные дают более полную картину бизнеса, или те самые «структурированные данные» (англ. intelligence) — аналитику, которую нельзя получить только от одного из этих источников. Термин впервые появился в 1958 году в статье исследователя из IBM Ханса Питера Луна (англ. Hans Peter Luhn), определившего BI как «возможность понимания связей между представленными фактами»[1]. BI в современном понимании эволюционировал из систем для принятия решений, которые появились в начале 1960-х годов и разрабатывались в середине 1980-х годов. В 1989 году Ховард Дреснер (позже аналитик Gartner) определил Business Intelligence как общий термин, описывающий «концепции и методы для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных». Ральф Кимболл выделил три самых важных аспекта для успешной реализации BI-проекта[2]: уровень финансирования и поддержки со стороны руководства; степень востребованности проекта для конкретного бизнеса; объём и качество доступных бизнес-данных. В 2003 году был создан Международный институт бизнес-анализа (IIBA), который проводит сертификацию специалистов в области бизнес-аналитики.[3] В 2012 году мировой рынок услуг в сфере Business Intelligence оценивался в $13,1 млрд[4]. По прогнозам специалистов к 2027 году эта сумма будет составлять $60,49 млрд[5]. В 2019 году на рынок бизнес-аналитики в Европе серьезно повлияло новое законодательство GDPR (General Data Protection Regulation), которое вводит ответственность за сбор и хранение данных. В Европе наблюдается рост с мая 2019 года, когда был введен GDPR.[6] Законодательство переориентировало компании на свои собственные данные (с точки зрения соблюдения требований закона), но также открыло будущие возможности использования персонализации и внешних поставщиков бизнес-аналитики для увеличения доли рынка. Понятие систем бизнес-интеллекта (Business Intelligence, BI) объединяет различные средства и технологии анализа и обработки данных масштаба предприятия. Среди BI-систем можно выделить такие составляющие, как хранилища данных, витрины данных, инструменты оперативной аналитической обработки (OLAP-системы), средства обнаружения знаний, а также инструменты конечного пользователя, предназначенные для выполнения запросов и построения отчетов. Рассмотрим перечисленные составляющие подробнее. Хранилища данных (Data Warehouses) Концепция хранилища данных подробно нами рассмотрена на лекции 1 «Технологии хранилища данных». Напомним, что один из авторитетных специалистов в этой области – Билл Инмон – определяет хранилища как «предметно-ориентированные, интегрированные, стабильные, поддерживающие хронологию наборы данных, организованные для целей поддержки управления, призванные выступать в роли «единого и единственного источника истины», обеспечивающего менеджеров и аналитиков достоверной информацией, необходимой для оперативного анализа и принятия решений». [см.: Inmon W.H. SAP and Data Warehousing. — Kiva Productions Speakers Bureau, 1999.]. Данные попадают в хранилище из оперативных (транзакционных) систем, а также из внешних источников. По аналогии с «материальными» хранилищами хранилища данных предусматривают такие операции, как сбор данных («приход материалов на склад»), хранение данных («складской запас»), перемещение в витрины данных («отгрузка товаров в розничную сеть»). С экономической точки зрения хранилище данных приносит долгосрочный эффект тогда, когда оно становится надежным механизмом доставки данных, существенных для анализа и принятия решений. При этом не следует забывать и о затратной части, ведь информация может считаться действительно полезной лишь тогда, когда экономические выгоды от ее использования превышают затраты, связанные с ее приобретением. Построение хранилища данных — достаточно сложный проект, и обеспечить его окупаемость в краткосрочной перспективе бывает непросто. Витрины данных (Data Marts) Как и хранилища, представляет собой структурированные информационные массивы, но отличие состоит в том, что витрины в еще большей степени являются предметно-ориентированными. Как правило, витрина содержит информацию, относящуюся к какому-либо определенному направлению деятельности организации. Поэтому информация в витрине данных хранится в специальном виде, наиболее подходящем для решения конкретных аналитических задач или обработки запросов определенной группы аналитиков. Есть два взгляда на витрины данных. В одном случае витрина, по сути дела, представляет собой часть хранилища, оптимизированную для запросов к данным конкретной предметной области, в том числе для передачи этих данных для последующей обработки в OLAP-систему. В другом случае, витрина – это OLAP-куб или его часть, оптимизированная для запросов пользователей к данным конкретной предметной области. Поэтому, с точки зрения организации хранения данных витрины могут быть как реляционными, так и многомерными, но в любом случае они обладают таким общим свойством, как предметная ориентированность. OLAP-системы (On-Line Analytical Processing) Под термином OLAP, как правило, понимают системы аналитической обработки данных в режиме реального времени. OLAP-системы могут обеспечить решение многих аналитических задач: анализ ключевых показателей деятельности, маркетинговый и финансово-экономический анализ, анализ сценариев, моделирование, прогнозирование и т.д. Такие системы могут работать со всеми необходимыми данными, независимо от особенностей информационной инфраструктуры компании. Особенность OLAP-систем состоит в многомерности хранения данных (в противовес реляционным таблицам), а также в предрасчете агрегированных значений. Это дает возможность пользователю строить оперативные нерегламентированные запросы к данным с использованием аналитических измерений. Кроме того, для OLAP-систем характерна предметная (а не техническая) структурированность информации, позволяющая пользователю оперировать привычными экономическими категориями и понятиями. OLAP – инструмент универсальный. Но в то же время именно универсальность делает его не вполне подходящим для специфических финансово-экономических задач, требующих применения специальных методик и организационных принципов. Поэтому OLAP-приложения не могут служить полноценной альтернативой специализированным аналитическим приложениям, например системам бюджетирования или консолидации финансовой отчетности. Здесь нет никакого противоречия: программный продукт, реализующий общие принципы экономического анализа, вряд ли может претендовать на решение абсолютно всех частных задач. Но, с другой стороны, именно сочетание OLAP и специализированных систем дает экономисту наибольшие преимущества, так как в этом случае специальные функции, методы и алгоритмы успешно сочетаются с универсальностью аналитической обработки данных. Именно поэтому OLAP-средства часто используются клиентскими аналитическими приложениями для многомерного хранения данных. Здесь пользователь применяет привычные для него инструменты для реализации определенных управленческих методик, но при этом данные для обработки и анализа хранятся на OLAP-севере. MDX (язык запросов) MDX (англ. Multidimensional Expressions) — SQL-подобный язык запросов, ориентированный на доступ к многомерным структурам данных. В отличие от SQL, работающего с данными скалярных типов в кортежах и ориентированного на работу с реляционными моделями, в MDX на синтаксическом уровне встроены такие понятия, как измерения, иерархии и их уровни, меры — характерные для многомерных моделей. Впервые представлен в 1997 году компанией Microsoft как расширение OLE DB (OLE DB for OLAP), основной автор — Моша Пасуманский (англ. Mosha Pasumansky). В 2001 году выпущен стандарт XML for Analysis (XMLA), включивший MDX как часть языка запросов mdXML (запросы в нём обёрнуты в XML-тег Среди СУБД, поддерживающих MDX — Applix и её последующая реализация TM1, Essbase, Microsoft SQL Server (опция Microsoft Analysis Services), Mondrian. Формирование запросов на MDX поддерживается большинством крупных BI-систем, в том числе BusinessObjects, Cognos, Pentaho, SAS BI, Power BI. СПАСИБО ЗА ВНИМАНИЕ! |