Учебнопрактическое пособие Издание 2ое, переработанное и дополненное Москва 2005
 Скачать 1.77 Mb.
|
|
ТЕМА 6. Основы создания и применения информационно-аналитических систем Изучив тему 6, студент должен знать: задачи пользователя по созданию ИАС, назначение и состав базы метаданных (БМД); задачи и средства обеспечения применения (администрирования) ИАС. Уметь: выполнять задачи пользователя ИАС при выработке требований к ха- рактеристикам ИАС в процессе проектирования базы метаданных, вы- боре и конфигурировании инструментальных средств создания и под- держки ИАС. Приобрести навыки: анализа и моделирования предметной области с целью построения базы метаданных и структуры ИАС, наполнения ИХ и транспортировки данных из первичных источников в ИХ. При изучении темы 6 необходимо: Читать • учебное пособие [51] главу 6, • книгу [13] главу 2 стр. 53—95, главу 3 стр. 101—136, главу 4 стр. 139—163, главу 5 стр. 169—196, главу 6 стр. 201—221; • учебно-справочное издание [23] главу 3 стр. 38—52, главу 9 стр. 107—125; • учебно-справочное издание [50] главу 4 стр. 44—58, главу 5 стр. 60—78. Сосредоточить внимание на следующем: При создании ИАС, в том числе базы метаданных, структуры информа- ционного хранилища максимально возможно удовлетворять потребности конечных пользователей по обоснованию решений; учитывать то, что не- обходимо тщательно строить модели данных, структуру запросов, стара- ясь сочетать требования к системе с располагаемыми ресурсами. Основы создания и применения информационно аналитических систем 81 1. Методы создания информационно-аналитических систем. Рассматривается последова- тельность и содержание этапов создания ИАС. Освещается роль и задачи будущих конечных пользователей системы — лиц, принимающих решения, и экспертов- аналитиков в ее создании. 2. Сущность управления информационно-аналитической системой. Рассматриваются за- дачи управления ИАС; показано, что основой проекта ИХ и ИАС в целом, а в даль- нейшем и управления ИАС являются метаданные (МД). 3. Задачи и средства администрирования ИАС. Рассматривается перечень работ, выполняе- мых в рамках задач администрирования ИАС. Определяется место пользователей в ре- шении задач администрирования. Раскрывается содержание задачи загрузки и обновле- ния данных, функции планирования работы ИАС, организации и осуществления ее экс- плуатации. 4. Основы проектирования ИАС. Рассматривается основная задача проектирования — обеспечение раскрытия знаний, содержащихся в данных, сосредоточенных в первичных источниках и информационном хранилище. Перечисляются условия превращения данных в информацию и знания как принципы проектирования ИАС. Раскрывается содержание этапов проектирования информационной системы применительно к созданию ИАС. Рас- сматриваются факторы, которые необходимо учесть при проектировании ИАС. Цель изучения: Освоить методы создания информационно-аналитических систем; усвоить принципы создания базы метаданных как основы структуры ИАС, организации применения средств ИАС в целях обеспечения аналитической подготовки принятия решений. 6.1. Программные инструментальные средства ИАС 1. Состав программных инструментальных средств ИАС. 2. Средства сбора и доработки данных. 3. Средства преобразования данных. 4. Средства оперативного (OLAP) анализа. 5. Средства интеллектуального анализа данных. 6.1.1. Состав программных инструментальных средств ИАС В предыдущих разделах были рассмотрены основные функции информационно- аналитических систем, в том числе: информационного хранилища ИХ (DW), оперативного анали- за (OLAP), интеллектуального анализа (DMg), представления пользователю результатов анализа и подготовки принятия решений (DMt). Для реализации функций применяется набор программных инструментальных средств. Полный набор этих средств включает ряд крупных модулей. Крупные функциональные модули могут быть органической частью ИАС или самостоя- тельным программным продуктом. Во втором варианте они входят в ИАС в качестве комплек- тующего элемента. В свою очередь эти модули состоят из ряда блоков. Перечислим основные блоки: – средства импорта, перекачки данных из операционных баз и других источников инфор- мации в информационное хранилище, взаимодействующие с различными операционны- ми системами и СУБД ; – средства преобразования данных, осуществляющие проверку на правильность, преоб- разование структур, агрегирование; – набор или комплекс программ, которые выполняют операционные функции оперативно- го (OLAP) анализа; основу их составляет язык запросов Structured Query Language (SQL) усеченного или расширенного типа, в развитых ИАС в комплект входят специали- зированные языки различного уровня; – средства графического и визуального конструирования отчетов, рассчитанные на ко- нечного пользователя, как правило, дублируются языковыми средствами; – средства удаленного доступа, обеспечения работы в распределенном и режиме «кли- ент-сервер», коллективного доступа и работы в глобальных сетях; – средства администрирования ИАС; Краткое содержание Информационно аналитические системы 82 – средства интеллектуального анализа данных, обычно называемые «Miner»; – приложения, разработанные встроенными в комплекс программ средствами. – средства моделирования объектов и процессов. Структура программных средств ИАС изображена на рис. 6.1 Рассмотрим подробнее назначение и функции программных модулей, входящих в со- став инструментальных средств ИАС. Многие из них имеют самостоятельное значение и могут быть использованы для различных целей. 6.1.2. Средства сбора и доработки данных Сбор данных из различных источников сопряжен с тем, что информация в них форми- руется в различных форматах, имеет разнообразную структуру. В информационном хранилище и в системах поддержки принятия решений или в витринах данных информация должна быть приведена к определенной в ИХ структуре и форматам витрин данных. Инструменты ИАС различного вида имеют в своем составе средства сбора данных из источников, созданных на различных аппаратных платформах: Intel, RISC, AS/400 и работаю- щих во многих вариантах операционных сред, в том числе: в различных версиях Windows, Unix, AIX, Linux, ОS-2, МСВС и т.д. Обеспечивается совместная работа со многими СУБД, как то: Access, Paradox, Fox Pro, MS SQL-Server, Oracle, DB-2, Informix Линтер и т.д. Мощные средства ИАС насчитывают до 50-ти типов форматов, с которыми может взаимодействовать система. Рис. 6.1. Структура программных средств ИАС Средства сбора и доработки данных, создания и поддержки информационного хранилища Средства управления и администрирования информационно- аналитической системы, репозиторий Средства оперативного анализа Средства визуального конструирования запросов и отчетов Средства интеллектуального анализа Средства формирования отчетов (графика, мультимедиа) Средства моделирования и разработки приложений Средства удаленного доступа, обеспечения режимов корпоративной базы данных Приложения, разработанные средствами ИАС Основы создания и применения информационно аналитических систем 83 Доступ к данным может быть реализован (организован) в двух вариантах. В первом варианте производится непосредственное обращение из ИАС в базы данных. Этот процесс осуществляется с помощью драйверов из библиотек BDE (Borland Database En- gine) и ODBC (Open Database Connectivity). Доступ к необходимым данным возможен после создания псевдонима данных — описателя, содержащего сведения, однозначно определяющие необходимую базу данных. Состав их зависит от типа СУБД и режима работы. При обраще- нии к SQL-серверу достаточно указать наименование сервера и имя непосредственно базы данных. В случае работы с файловыми системами необходимо указать полный путь к искомому файлу. В системе ODBC следует задавать источник данных ODBS DSN. Этот способ выборки данных позволяет реализовать режим непосредственного обмена on line, когда каждое изме- нение в источнике мгновенно отражается в OLAP-системе. Однако реализовать этот режим не всегда возможно в силу того, что источник может быть выключен или закрыт для доступа, из-за неудовлетворительного состояния каналов связи и по другим причинам. Предусматривается в виду изложенного и другой режим. Перегрузка информации из операционных баз данных производится по определенному согласованному распорядку — сце- нарию, который может быть сформирован с помощью заимствованных средств, например бло- ка преобразования данных DTS из состава MS SQL Server или собственных средств разработ- чика OLAP— системы. Операция перегрузки может производиться: − непосредственно из баз данных с их форматами, − из текстовых файлов предварительно сформированных из таблиц операционных баз данных. Все источники информации должны быть зарегистрированы в ИАС. Собранные из пер- вичных источников данные компонуются в новую многомерную базу данных (МБД) или объект- ную надстройку, которая имеет различные названия в конкретных реализациях инструментов ИАС. Например: Юниверс (Univers) в системе Business Objects, выборка в системе «Контур Стандарт», гиперкуб — SAS, пул — SAP R-3, в некоторых источниках ее называют факт-таблица (см. выше) и т.д. При построении МБД используются таблицы-справочники для доступа к ин- формации, относящейся к различным классификаторам. Связи между объектами из нескольких источников данных определяются по ключевым полям. Средства OLAP-систем предоставляют широкие возможности применения фильтров в процессе компоновки МБД. 6.1.3. Средства преобразования данных Ввиду чрезвычайно высокой значимости информации, используемой для анализа, кото- рая повышается после выполнения аналитических работ, обязательна процедура предвари- тельной очистки данных. Производится обеспечение и проверка достоверности различными аппаратно-программными средствами и многими способами, в том числе: — обратная проверка, контрольное суммирование, помехозащитное кодирование, се- мантический контроль и т. д. Помимо этого производится логическая обработка данных в виде отбраковки нехарак- терных для данного набора значений разного рода показателей. В этом случае используются средства статистической обработки данных и другие методы. Необходимость преобразования связана с тем, что физическое представление данных в ИХ, как правило, сильно отличается от представлений в источниках. Ставится также задача эффективной реализации запросов и выполнения требования по времени отклика системы. Имеется потребность в унификации форматов представления данных. Для этих целей используются языки обработки реляционных и многомерных данных, а также специальные процедуры. Языки могут быть заимствованными или фирменными. При сборе (доставке), упаковке данных в ИХ возникает естественная потребность в аг- регировании данных. По материалам исследований 90% пользователей используют в работе сильно агрегированную информацию. Необходимость в использовании информации детального уровня возникает весьма редко. Для обеспечения эффективного использования ИХ ведется Информационно аналитические системы 84 наблюдение в процессе эксплуатации за частостью и характером запросов к хранимым дан- ным. Выявляются закономерности, определяются наиболее частые типы запросов. На основа- нии наблюдений заранее готовится агрегированная информация по соответствующим показа- телям. Такие меры резко снижают время отклика, соответственно повышается эффективность ИАС. Для реализации такого подхода применяются специальные процедуры. 6.1.4. Средства оперативного (OLAP) анализа Задачи оперативного анализа изложены в разделе 4.1.3. Все ИАС, сертифицированные как OLAP-системы, имеют в своем составе соответствующие программные модули. Программ- ные инструментальные средства, обеспечивающие автоматизацию аналитических работ в це- лях поддержки принятия решений, в литературе получили два распространенных названия: OLAP — системы и информационные хранилища. Использование того или иного зависит от приверженности автора к продукту той или иной фирмы. Под этими названиями подразумева- ют и полный набор средств и частные подсистемы. Реализация их направлена на максимальное упрощение действий пользователя в про- цессе анализа. В процессе оперативного создания отчетов DSS — EIS затруднительно по време- ни использование языковых средств. По этой причине широко используются упрощающие такую работу и сокращающие трудозатраты средства графического конструирования. Основной прин- цип действия — сборка из элементов, представленных в графическом виде структур отчетов. Представленная общая структура базы данных в виде схемы с условно отображенными атрибу- тами (реквизитами) и классами, являющаяся по существу заранее заготовленной витриной дан- ных. Из нее простым перетаскиванием на отведенную часть экрана компонуется отчет. Отпадает необходимость написания SQL-запроса. В некоторых инструментах (Business Objects) в процессе графического конструирования автоматически формируется соответствующий SQL-запрос. Кон- струирование отчетов может быть организовано и на основе электронных таблиц. Для реализа- ции такого подхода созданы специальные программные модули, реализующие систему диалого- вых меню, шаблоны, графические конструкторы. Сценарий анализа формируется с использова- нием технологии drag&drop (перенести и оставить), а также выбором из предложенных в диало- говом окне альтернатив, нажатием курсором соответствующих кнопок, определяющих те или иные режимы, настройкой иерархического дерева атрибутов и т.д. С помощью перечисленных методов и соответствующих средств выбирается нужная база данных, соответствующие поля и записи, определяются подлежащие анализу показатели, задаются режимы фильтрации, взаимо- расположение функций и параметров (повороты, срезы и другие процедуры OLAP-анализа). Результаты анализа представляются в виде напечатанных отчетов или презентаций, ко- торые состоят из следующих компонентов: страница, таблица, график. Для окончательного оформления с учетом эстетических и психофизиологических требований используют собствен- ные средства ИАС или полученные результаты анализа в составе перечисленных компонентов переносят в другие среды, в которых могут быть добавлены различные дополнительные компо- ненты в виде рисунков, кино-, фото-, аудио-, видеоматериалов. Экспорт данных может быть осуществлен и в Web-среду. Возможен и обратный вариант: все перечисленные дополнитель- ные компоненты импортируются в качестве внедряемых OLE-объектов. При создании сложных сценариев OLAP-анализа использование мнемонических мето- дов приводит к повышенным трудозатратам и может даже усложнить процесс в связи с их гро- моздкостью. В таких случаях используются программные методы. В качестве языков програм- мирования применяют стандартный язык запросов SQL, расширенные или усеченные версии или специализированные фирменные языки. В различных инструментальных средствах приме- няются свои варианты инструментов: – в продукте Business Objects используется стандартный SQL, – в системе «Контур Стандарт» — объктно-ориентированный язык Python совместно с XML; – в среде «Линтер-Невод» применяется свой язык LAB в совокупности с SQL; – в системе Oracle Express OLAP работы в таких случаях ведутся в профессиональной инструментальной среде для визуальной объектно-ориентированной разработки Основы создания и применения информационно аналитических систем 85 приложений Express Objects, в составе которой имеется язык Express Basic. Упомянутые средства программного метода подготовки OLAP-анализа позволяют выполнять анализ любой степени сложности с минимальными трудозатратами, но требуют достаточно вы- сокой квалификации участников этого процесса; – в семействе продуктов Microsoft — языки VBA, SQL. 6.1.5. Средства интеллектуального анализа данных Это наиболее сложная, интеллектуально насыщенная часть информационно- аналитических систем, что служит причиной наличия соответствующего модуля лишь в составе наиболее развитых систем. К тому же состав задач, выполняемых модулями такого назначения, зависит от уровня развития системы. Интеллектуальный анализ чаще реализуется автономными программными системами в связи со сложностью выполняемых задач. В то же время OLAP-системы частично выполняют самые отработанные и легко реали- зуемые функции интеллектуального анализа. К специализированным пакетам интеллектуального анализа относится высокоразвитый набор инструментальных средств для интеллектуального анализа крупных массивов данных (до миллионов записей) «Polyanalist» российской фирмы «Megaputer». Эта фирма пользуется миро- вой известностью, ее продукты используются более чем в 20 странах, занимали призовые мес- та на международных конкурсах, их применяют такие известные фирмы как Chase Manhatten Bank, Dupont, Siemens и другие. Все семейство продуктов обеспечивает наиболее полный набор методов Data mining и Text mining из известных комплексов инструментальных средств. В том числе обеспечивается: − извлечение знаний в больших массивах данных; − автоматическое построение и тестирование формул, описывающих обнаруженные функциональные зависимости; − составление классификационных правил по заданным примерам; формирование мно- гомерных кластеров; − предложение алгоритмов решений; − текстовый анализ с возможностью связи понятий; − визуализация результатов анализа и другие возможности, реализованные в шестнадца- ти модулях. Набор средств реализован в шести конфигурациях, содержащих различные комбинации модулей: Polyanalist 4.6 — однопользовательская версия: Polyanalist 3.5 Lite, — студенческая версия Polyanalist 3.5 Power — продукты для индивидуальных пользователей и малого бизнеса. Polyanalist 3.5 Professional для MS Windows NT/2000/XP — мощная система Data Mining для профессионалов. Polyanalist Knowledge server 4.6 — клиент-серверная cетевая версия продукта, объеди- нена в Knowledge server. Предназначен для работы на высокопроизводительных платформах, включая SMP-машины, обеспечивает доступ к SQL-СУБД: Oracle, DB-2, Informix, MS SQL — Server и другим СУБД и OLAP-системам. В составе продукта имеется средство разработки собственных data mining-приложений и специализированных аналитических систем — Polyanalist COM-SDK, продукт, предназначенный для создания собственных приложений для Data mining, который имеет высокоуровневый API, библиотеку вызовов и по выбору все или отдельно каж- дый математический модуль. Информационно аналитические системы 86 Активно развивает свои продукты, ориентированные на реализацию методов Data min- ing российская фирма — Лаборатория BaseGroup (г. Рязань). Основная ориентация продуктов фирмы — обеспечение: − подготовки массивов данных к анализу; − прогнозирования событий и поведения процессов на основе применения большого на- бора нейросетевых методов; − анализа ситуаций с помощью аппарата деревьев решений; − применения методов ассоциативных правил, генетических алгоритмов, фильтрации. Развитой системой в отношении возможностей, предоставляемых модулями и автоном- ными подсистемами интеллектуального анализа, является инструментарий ИАС фирмы США «SAS Institute Inc». В комплект инструментальных средств, решающих задачи интеллектуального анализа, входят: − SAS/ETS — в этом модуле реализуются методы анализа временных рядов, экономического системного моделирования и прогнозирования, финансового анализа и формирования отчетов; производится восстановление пропущенных значений методом интерполяции, изменение временной привязки временного ряда, выделение сезонной компоненты во временных рядах, построение трендов, выявление флюктуаций и нерегулярной части; − SAS/STAT — использует статистические методы регрессионного, дисперсионного анали- за, нелинейного моделирования, анализа категориальных данных, многомерного, в том числе факторного анализа, кластерного и непараметрического анализа; − SAS/INSIGHT — динамическое средство для исследования и анализа данных; использует методы статистического исследования одномерных и многомерных данных; − SAS/IML — интерактивный матричный язык программирования, оперирующий с матри- цами данных, которые могут быть числовыми и символьными; − SAS/OR — инструмент моделирования, анализа, решения задач исследования опера- ций, управления проектами; − модули решения задач нейросетевыми методами. В 2004 выпускается на рынок платформа SAS9 — Intelligence Platform, которая является интегрированной инструментальной средой, имеющей удобный интерфейс, разнообразные средства прогнозирования, аналитики и оптимизации, бизнес-приложения. В то же время высокого уровня инструмент Oracle Express OLAP имеет в своем составе ограниченный состав средств интеллектуального анализа. Решение такого рода задач, выхо- дящих за рамки возможностей этого инструмента, предлагается выполнять средствами MS Excel и другими специализированными инструментами Data mining, с которыми имеется дружествен- ный интерфейс. Необходимо заметить, что многие ИАС возлагают на MS Excel задачи интел- лектуального анализа, которые выполняются программными модулями «Мастера функций» это- го популярного инструмента. Среди массовых инструментов необходимо выделить пакет «Stadia-6.2» российской фирмы InCo, реализующий все методики статистического анализа, прогнозирование, сравне- ние возможных альтернатив выбора. Пакет «Statistica» — с его помощью возможно решение всех задач статистического анализа, а также выявления закономерностей и прогнозирования нейросетевыми и другими современными методами. Нейросетевое дополнение к пакету «Statistica» разработано российской фирмой «Стат- софт». Этой фирмой в 2004 году выпущена русская усовершенствованная версия этого инст- рументального средства. Широко распространенный пакет OLAP-анализа Business Objects имеет в своем составе модуль интеллектуального анализа «Miner», выполняющий ряд задач этого класса, в том числе деревья решений, кластерного анализа. Однако основные функции интеллектуального анализа предусмотрено выполнять средствами MS Excel. Вышедший на рынок в 1999 году российский продукт «Контур Стандарт» из задач ин- теллектуального анализа выполняет лишь функции построения и анализа временных рядов (трендов) и кластерного анализа. Основы создания и применения информационно аналитических систем 87 6.2. Управление и проектирование ИАС 1. Управление информационно-аналитическими системами. 2. Задачи и средства администрирования ИАС. 3. Принципы проектирования информационных хранилищ ИАС. 4. Рынок инструментальных средств ИАС. 6.2.1. Управление информационно-аналитическими системами Управление информационно-аналитической системой является в определенной степени функцией администраторов комплекса информационных технологий, действующих на предпри- ятии. Однако следует учесть, что ИАС обеспечивает необходимыми сведениями — знаниями непосредственно руководителей высшего уровня. Это определяет необходимость участия лиц, принимающих решения, в управлении созданием, развитием и применением комплекса средств ИАС, к которым относятся: − информационные ресурсы; − техническая платформа; − системная платформа в составе операционных систем и сред; − системы управления базами данных и специальные инструментальные средства созда- ния и поддержки ИАС. Эти лица ставят задачи на создание информационно-аналитических систем, определяют содержание и структуру сведений, подлежащих накоплению в хранилище, форму представле- ния извлекаемых знаний, лично используют возможности ИАС в различных процессах и режи- мах (по определению ИАС). В работах по созданию и применению информационно- аналитических систем ЛПР опираются на администраторов, задачи которых будут рассмотре- ны ниже. 6.2.2. Задачи и средства администрирования ИАС К задачам администрирования ИАС относятся: − загрузка и обновление данных; − планирование работы с ИАС; − эксплуатация ИАС; − создание (участие в создании) моделей предметной области, гиперкубов и интерфейсов пользователей; − контроль за их наполнением и т.д. Загрузка и обновление данных В информационном хранилище содержание и структура данных в отличие от OLTP ме- няется не постоянно, а по определенному графику перемещением из операционных БД статич- ных «кадров». Такой подход обеспечивает стабильность данных, их устойчивость от сиюминут- ных изменений. Рассматриваются три стратегии загрузки: − загрузка предварительно заархивированных данных; − загрузка данных, содержащихся в существующих приложениях; − пошаговое внесение изменений из среды OLTP, начиная с момента последней загрузки. Применение первого способа обеспечивает быструю перегрузку, но необходимо ис- пользовать специальные программы для преобразования, при этом затруднительно масштаби- рование. Информационно аналитические системы 88 Одним из важнейших этапов проектирования ИАС является создание общего представ- ления о составе подлежащих анализу данных (содержащихся в ИХ и всех находящихся в сфере взаимодействия операционных баз данных). Такие сведения сосредотачиваются в базе мета- данных (МД) — репозитории. Загрузка из приложений во многом сходна с первым способом, при этом исполь- зуется много различных технологий и файловых систем, необходимы значительные ресурсы. Вы- ходом из положения является подработка данных внутри приложения и выдача их в согласо- ванном формате. Третий способ предусматривает загрузку только тех изменений, которые появились с момента последнего «Общения» операционной базы с ИХ. Применяются следующие приемы перегрузки данных в рамках третьего подхода: замена всей таблицы из операционной БД, просмотр меток дат и времени в источниках информации, чтение операционных контрольных файлов, прием изменений на уровне СУБД, чтение регистрационных записей СУБД, сравнение состояний операционных БД «до» и «после». Постепенно третий подход, то есть сбор измененных данных становится единственным. Планирование Операции загрузки и обновления должны быть четко спланированы, так как только та- кой подход обеспечит бесперебойность работы ИАС. В концепцию спроектированной ИАС или ИХ закладывается частость обновления данных после первоначальной загрузки. Периодич- ность таких акций тщательно планируется, для этого применяются мощные и гибкие инструмен- ты. Эти средства могут работать в автоматическом режиме, то есть сами запускаться в опре- деленное автоматическим планировщиком время. Программные системы могут использовать средства планирования смежных систем. Эксплуатация Производится контроль состояния системы с помощью встроенных программных средств, ведется анализ и отчетность о работе системы, содержащейся в ней информации. Производится настройка систем руководителя, поддержки принятия решений. Сгенерированные отчеты систе- матизируются, хранятся в специальном каталоге приложений, что экономит время и средства на создание новых отчетов. Эта работа в продвинутых ИАС максимально автоматизирована. 6.2.3. Принципы проектирования информационных хранилищ ИАС Эта проблема актуальна не только для проектировщиков программных продуктов, ад- министраторов ИАС, но и для пользователей, в особенности наиболее представительной по численности группы — аналитиков. В статье Computerworld 03.02 1995 года отмечалось, что «Data warehose нельзя купить, его надо строить самим». В этом строительстве должны участво- вать все — от руководителей до аналитиков, членов специальной группы проектировщиков ИХ- ИАС. Программные средства, которые можно купить, являются лишь инструментом для созда- ния и поддержки ИХ-ИАС. На начальном этапе создания ИАС или соответствующего модуля в интегрированной ИС — фазе структуризации информационного пространства предприятия необходимо выпол- нить следующие работы в части структуризации ИП предприятия (корпорации): • провести анализ состояния, характера и уровня выполненных на предприятии (корпо- рации) в этой части работ; • согласовать основные положения структуры ИП с вышестоящими органами (если они имеются), взаимодействующими и партнерскими организациями; • оценить информационный обмен, обусловленный внешними связями с учетом междуна- родных с этих позиций; • рассмотреть используемую выбранными инструментальными средствами ИАС систему классификации и кодирования и интерфейсы с точки зрения оценки объема работ по увязке ее с имеющимися на предприятии наработками; Основы создания и применения информационно аналитических систем 89 • разработать или модернизировать с учетом имеющегося на предприятии (в корпора- ции) опыта и наработок систему классификации, кодирования, реквизитов, показателей, ориентируясь на требования, которые предъявляют сложившиеся условия и возможно- сти, предоставляемые внедряемыми инструментальными средствами. Одной из важнейших задач ИАС является преодоление кризиса оперативного анализа или как его называют в англоязычной литературе Data in Jail (DIJ) — «данные в тюрьме». Смысл в том, что при обилии исходных данных без квалифицированного использования их пользова- тель не в состоянии извлечь из них информацию и приобрести знания о процессах, происхо- дящих в Вашем бизнесе или другой предметной области. Здесь следует напомнить, что данные и информация не одно и то же. Для превращения данных в информацию и знания в процессе анализа средствами ИАС и создания наиболее приемлемой архитектуры инструментальных средств ИАС необходимо соблюдение ряда условий: 1. Необходимо, чтобы принятое по выбору инструмента решение покрывало бизнес-потребности предприятия. Комплект программных продуктов должен обеспечивать выполнение полного спектра задач ИАС, а также обеспечивать техническую поддержку, обучение за приемлемую цену или возможности самообучения благодаря наличию добротной бумажной или электронной документа- ции, другие сервисные услуги и возможности. Помимо инструментально-технологической основы комплект должен содержать готовые приложения, которые могли быть использованы немедленно, а также служить ориентиром для дальнейших разработок. Сюда могут быть включены аналитические задачи, поддерживающие поиск возможностей роста, обеспечивающие финансовую эффектив- ность и т.д. 2. Должна обеспечиваться интегрированность — решение должно хорошо сочетаться с существую- щей платформой или средой. Необходимо реализовать гармоничное взаимодействие между всеми модулями системы на основе действующих стандартов в индустрии программных продуктов. 3. Необходимо выполнение условия неограниченности — то есть выбранная конфигурация средств должна быть адаптируема к изменениям и расширению на увеличение числа пользова- телей и объемов данных. 4. Свойство гарантированности — решение должно быть проверенным в смысле получения тех свойств, которые мы собирались обнаружить в данном продукте — получении бизнес- преимуществ и качества технологии. Поставщик продукта должен иметь прочные позиции на рынке, устойчивое финансовое состояние, хорошую клиентскую базу, большое число партне- ров, пользующихся его технологиями. При проектировании ИАС, под которым будем подразумевать выбор инструментальных средств, структурирование управленческих решений в рамках структурирования информацион- ного пространства предприятия, подготовка витрин данных, исследование потребностей ЛПР в составе и других характеристиках информации, необходимой для принятия решений и т.д. Основная задача администраторов ИАС — создание систем факт-таблиц с таблицами размерности и консольными таблицами. При этом должны соблюдаться требования потребите- лей информации. Должен быть обеспечен диалог аналитика и соблюдение требований к дина- мике процесса. Необходимо учитывать при проектировании «витрин данных» и других элемен- тов ИАС психофизиологические требования и нормы к процессам анализа и обеспечения при- нятия решений. Вопросы денормализации реляционных баз и нормализации многомерных баз также являются одними из основных при создании ИАС. Следует учитывать, что инструменты создания гиперкубов также допускают связи между таблицами «многие ко многим». Средства реализации и задачи проектирования комплекса data mining Наиболее развитые инструментальные средства ИАС, такие как SAS, Oracle, особенно математические среды такие как Matlab, обеспечивают представление добытых в результате Информационно аналитические системы 90 анализа данных в виде моделей различного рода. Специальные процедуры и языковые средст- ва дают возможность снижения трудозатрат при построении моделей на основе анализа имеющихся данных об исследуемых объектах. Развитые средства data mining имеют графические средства анализа в виде графических конструкторов моделей, развитых средств отображения результатов, в том числе 3-D. Задача проектировщика ИАС заключается в подборе, освоении в плане обеспечения соответствия параметров выбранных инструментальных средств задачам, стоящим перед пред- приятием (корпоративной структурой) в части интеллектуального анализа данных, необходимых для принятия стратегических решений. Заметим, что комплекс этих средств должен обеспечить выполнение задач анализа, возникающих в трех названных разделах науки: математической экономики, эконометрики, специальных задач DM-g. Условия успеха в интеллектуальном анализе данных: – ясность в представлении цели анализа, – подготовка существенных для проводимого исследования данных, – правильный выбор методов и программных средств, – квалифицированное и тщательное выполнение методов анализа, – решение о применении результатов анализа. Остальные принципы ложатся в рамки традиционного канонического и индустриального проектирования информационных систем. Они достаточно подробно рассмотрены в учебнике «Проектирование экономических информационных систем» в разделе «Проектирование систем оперативного анализа данных» (1). 6.2.4. Рынок инструментальных средств ИАС На российском рынке инструментальных средств ИАС представлены в основном зару- бежные продукты, чаще американских фирм. В последние годы стали появляться российские инструментальные средства создания ИАС, они имеют как целевой характер, в основном в области финансового анализа, так и многоплановый. На мировом рынке отмечается бурный рост продаж инструментальных средств Business Intelligence при спаде спроса на функциональные (OLTP-системы) (49). Лидером рынка таких технологий стала компания Business Objects. Ее средства стали полнофункциональными с неог- раниченными возможностями по отношению к масштабам предприятия. Достигнуто это за счет развития собственного продукта и скупки компаний, владеющих смежными технологиями, необ- ходимыми для достижения полной функциональности. Как показано выше (п. 1, 2), все средства анализа и ИХ можно поделить на три боль- ших класса: 1. Средства массового применения, к которым относятся Excel, Statistica. 2. Встроенные в интегрированные инструментальные средства создания ИС предприятия модули разработки и поддержки ИХ и анализа данных. 3. Специализированные инструментальные средства создания ИХ и обеспечения различ- ного вида анализа. Средства, относящиеся к первому классу Программный инструмент MS Excel, в особенности версия Excel 2000 и выше, имеет практически полный набор признаков, отвечающих требованиям, предъявляемым к ИАС: — средства получения данных из операционных БД — ODBC и другие по желанию заказчика; — развитые средства использования факт-таблиц (OLAP-кубов), разработанных в среде инструментов OLAP-средств, статистического и финансового анализа; — широкий набор средств оформления отчетов, базирующийся на средства MS Office, которыми широко пользуются другие пакеты. Основы создания и применения информационно аналитических систем 91 Существенным ограничением является размерность рядов чисел, которая не может превышать 30 (тридцати). Тем самым сужаются рамки применения этого средства и сводятся в основном к использованию индивидуальным и малым бизнесом малоразмерными массивами данных. Упоминавшийся уже пакет Statistica широко распространен, имеет широкие возможно- сти по осуществлению интеллектуального анализа, интегрируется с другими средствами через инструмент OLE. Имеются намерения у фирмы-разработчика доведения продукта до требова- ний Codd,a. Ограничений по объемам выборок нет. Предназначен для профессиональной аналитической работы с неограниченными по объемам массивами данных в различных пред- метных областях. Встроенные средства OLAP и интеллектуального анализа Крупные ИИС, такие как SAP и другие системы подобного класса имеют в своем составе полный набор средств создания и поддержки ИХ, OLAP и Data mining. Менее развитые системы, в особенности российские, включают в свой состав инструментальные средства других фирм или имеют собственные разработки ограниченных масштабов и возможностей. Примером могут служить разработки российских компаний «ПиБи» «OLAP 7.7», ориен- тированная на работу с широко распространенной системой «1С: Предприятие 7.7» и компа- нии «1С-Рарус» — «1С-Рарус: Динамические отчеты», в которых продукт Контур интегрируется с системой 1С версий 7.7 и 8. Необходимо при этом учитывать уровень пользователя. Можно приобрести дорогой ин- струмент с массой возможностей, но из-за недостаточного профессионализма пользователей или из-за отсутствия постоянной необходимости в применении инструмента в полном объеме его возможностей он найдет лишь ограниченное применение. В таком случае целесообразно пойти по пути привлечения консультационных фирм, которые выполняли бы такие работы по мере необходимости. Примером встраивания заимствованных пакетов могут служить «Галактика», исполь- зующая инструменты Oracle, Никос-софт с продуктом NS-2000 и встроенным инструментарием анализа и ИХ канадской фирмы COGNOS. Многие российские фирмы — производители ЭИС на интуитивном уровне встраивают в свои системы средства OLAP и Data mining, не осознавая, что придают своим продуктам такие свойства. Специализированные инструментальные средства ИАС Наиболее известными специализированными инструментами создания и поддержки ИАС являются продукты фирм: — SAS Institute — комплекс программ, обеспечивающих проведение всех работ по созда- нию и поддержке ИХ, проведению всех видов анализа, имеет инструменты моделирова- ния, имеется и собственная объектная СУБД; — Oracle — наиболее полный набор программных средств, включая СУБД, CASE-сред- ства и инструменты имитационного моделирования, но средства data mining представ- лены в ограниченном наборе. Программный комплекс ориентирован на мощные плат- формы в виде суперкомпьютеров, майнфреймов. Для персональных компьютеров име- ются адаптации, но с ограниченными возможностями, которые подчас трудно на прак- тике выделить. — набор специализированных программных продуктов для создания и поддержки корпо- ративных ИХ и систем поддержки принятия решений компании Microsoft . Продукты Mi- crosoft SQL Server c подсистемами Microsoft Data Transformation services и Microsoft De- cision Support services (DSS). Названные продукты обеспечивают создание и поддержку ИХ, а также выполнение OLAP-анализа. Для осуществления Data mining привлекаются продукты других фирм. Широко привлекаются компоненты для создания клиентских при- ложений. — к мощным системам относятся также продукты фирм Informix, Sybase, IBM, Hiperion; — к продуктам среднего класса можно отнести Seagete Software, Act, Arbor Software, Эти пакеты выполняют в основном функции создания и поддержки ИХ, OLAP-анализа; Информационно аналитические системы 92 — продуктом массового применения, обеспечивающим выполнение названных для продук- тов среднего класса функций является комплекс программ фирмы версии 5.1 Business Objects, включающий модули BO, BM, BQ. Главное достоинство его — возможность ра- боты на платформах персональных компьютеров, в локальных сетях уровня Windows. Этот продукт наиболее приемлем для средних предприятий. Следующая 6-я версия вы- вела продукт на нишу крупных пользователей. Фирма реализовала комплексирование своих продуктов с пакетами программ закуп- ленной фирмы Crystal Decisions, что резко расширяет границы его применения ввиду простоты применения, широкой функциональности и относительной ценовой доступности. С продуктами фирмы комплексируются такие известные ИИС как BAAN и другие, в том числе и российские. Мощным игроком на рынке инструментов создания ИАС выступила российская фирма «Intersoft Lab», которая выпустила на рынок серию продуктов «Контур» в составе «Контур Стандарт», «Контур Корпорация». «Контур Дизайнер кубов», «Контур OLAP Browser», «Контур Contour Cube components», Названные продукты удовлетворяют всем требованиям к OLAP- системам и информационным хранилищам, имеют некоторые преимущества в части скорости доступа, удобства интерфейса. Различия между продуктами в масштабах обслуживаемых объ- ектов и систем: малый, средний объекты, корпоративная система. Продукты «Контур Дизайнер кубов», «Контур OLAP Browser», «Контур Contour Cube components» являются инструментами создания объектных надстроек и OLAP-приложений. Необходимо отметить на рынке российскую фирму «Релэкс» г. Воронеж. Эта фирма предлагает весьма совершенные оригинальные инструменты «Линтер» — СУБД класса MS SQL Server, Oracle, имеющий практически все достоинства названных систем и информационно- аналитическую систему «Невод», которая обеспечивает представление результатов интеллек- туального анализа помимо традиционных представлений также в виде графических структур выявленных связей и ассоциаций. Производится непрерывное развитие названных продуктов. Отличительной чертой является самая высокая степень защиты информации из всех средств, представленных на рынке и ценовая доступность продуктов. В целом российские фирмы в настоящее время предлагают полный набор весьма со- вершенных продуктов, выполняющих функции инструментальных средств создания и ведения информационно-аналитических систем. Вопросы для самопроверки 1. Что входит в состав структуры программных средств ИАС? 2. Каково назначение средств сбора и доработки данных? 3. В чем состоят функции средств преобразования данных? 4. Какие задачи и какими методами выполняют средства оперативного анализа? 5. В чем особенности средств интеллектуального анализа? 6. Какие виды средств интеллектуального анализа Вы знаете, в чем их отличия? 7. Какие средства интеллектуального анализа представлены на рынке, каковы их возможности? 8. Что рекомендуется для успешного комплексирования подсистемы интеллекту- ального анализа ИАС и достижения успеха при его выполнении? 9. Какими способами совмещаются программные средства реализации инфор- мациионно-аналитических систем? 10. В чем сущность управления информационно-аналитической системой? 11. На какой структуре сведений о предметной области основано управление ИАС? 12. Какое значение имеют «метаданные» при создании и поддержке ИАС? 13. В чем заключается методика создания базы метаданных? 14. В чем заключаются задачи администрирования ИАС? 15. Раскройте содержание задач загрузки и обновления данных в ИХ. 16. Раскройте содержание планирования работы ИАС. Основы создания и применения информационно аналитических систем 93 17. В чем содержание организации и осуществления эксплуатации ИАС? 18. В чем состоит основная задача проектирования ИАС? 19. Каковы условия превращения данных в знания? 20. Опишите содержание этапов проектирования ИАС. 21. Какие факторы необходимо учитывать при проектировании ИАС? Тест 1. Программные средства создания и применения ИАС структурируются в соответствии с: 1. выполняемыми ими функциями; 2. исходя из наличия программных средств. Дайте правильный ответ. 2. Средства выборки и доработки данных осуществляют выборку данных из баз данных с помощью: 1. Драйверов СУБД, например… Ответ: BDE (Borland Database Engine) и ODBC (Open Database Connectivity). 2. Средств, входящих в состав… 3. Все источники информации регистрируются в: 1. информационно-аналитической системе; 2. службе контроллинга. Выберите правильный ответ 4. Перед загрузкой данных в информационное хранилище производится проверка и обеспе- чение достоверности различными аппаратно-программными средствами и многими спосо- бами, в том числе: 1. обратная проверка; 2. контрольное суммирование; 3. помехозащитное кодирование; 4. логическая обработка данных, семантический контроль и т.д. Какой обязательный вид контроля не назван? 5. В каком виде чаще используются данные для анализа? 1. детальном; 2. агрегированном. 6. Основным способом создания отчетов в OLAP-системах является: 1. сборка структур отчетов из элементов, представленных в графическом виде; 2. написание запросов на языке SQL. 7. Для создания сложных сценариев OLAP-анализа используются в основном: 1. мнемонические средства; 2. стандартный SQL; 3. специальные версии SQL; 4. специализированные фирменные языки. 8. Может ли быть использована программная среда MS Office для организации OLAP- анализа и интеллектуального анализа? 9. Полнофункциональной профессиональной системой интеллектуального анализа является продукт … российской фирмы “Megaputer”. 10. Наиболее развитой системой, поддерживающей многомерный статистический анализ, явля- ется соответствующий комплекс программ … Информационно аналитические системы 94 11. Универсальным специализированным инструментальным средством создания ИАС широкой функциональности и широким диапазоном масштабов предприятий является комплекс про- грамм фирмы… 12. В комплекс средств информационно-аналитической системы входят: 1. техническая платформа; 2. системная платформа в составе операционных систем и сред; 3. системы управления базами данных и специальные инструментальные средства созда- ния и поддержки ИАС. Какая составляющая ИАС не вошла в данный перечень? 13. Кто направляет всю деятельность по созданию и применению ИАС? 1. лица, принимающие решения; 2. администраторы информационных систем. 14. К задачам администрирования ИХ относятся: 1. планирование работы с ИХ; 2. эксплуатация ИХ; 3. создание (участие в создании) моделей предметной области, гиперкубов и интерфейсов пользователей; 4. контроль за их наполнением. Какая важная функция не включена в перечень? 15. Одним из важнейших этапов проектирования ИАС является… 16. На начальном этапе создания ИАС или соответствующего модуля в интегрированной ИС- фазе структуризации информационного пространства предприятия необходимо выполнить следующие работы в части структуризации ИП предприятия (корпорации): 1. провести анализ состояния, характера и уровня выполненных на предприятии (корпо- рации) в этой части работ; 2. согласовать основные положения структуры ИП с вышестоящими органами (если они имеются), взаимодействующими и партнерскими организациями; 3. рассмотреть используемую выбранными инструментальными средствами ИАС систему классификации и кодирования и интерфейсы с точки зрения оценки объема работ по увязке ее с имеющимися на предприятии наработками; 4. разработать или модернизировать с учетом имеющегося на предприятии (в корпора- ции) опыта и наработок систему классификации, кодирования, реквизитов, показателей, ориентируясь на требования, которые предъявляют сложившиеся условия и возможно- сти, предоставляемые внедряемыми инструментальными средствами. Какая часть работ не вошла в данный перечень? 17. Для превращения данных в информацию или создания наиболее приемлемой архитектуры инструментальных средств ИАС необходимо соблюдение ряда условий: 1. принятое по выбору инструмента решение должно покрывать бизнес-потребности пред- приятия; 2. должна обеспечиваться интегрированность средств; 3. необходимо выполнение условия неограниченности; 4. должно соблюдаться свойство гарантированности. Гармоничное взаимодействие модулей на основе стандартов обеспечивается в рамках ус- ловия… Решение должно быть проверенным и т.д. — условие… Выбранная конфигурация должна быть адаптируема и т.д. — условие… Комплект программ должен обеспечить выполнение всех задач предприятия условие… 18. Условие «комплекс средств поддержки интеллектуального анализа» должен обеспечить вы- полнение задач анализа, возникающих в трех разделах науки: 1. математической экономики; 2. эконометрики. Какой раздел не включен в перечень? Основы создания и применения информационно аналитических систем 95 19. Условия успеха в интеллектуальном анализе данных: 1. ясность в представлении цели анализа; 2. подготовка существенных для проводимого исследования данных; 3. квалифицированное и тщательное выполнение методов анализа; 4. решение о применении результатов анализа. Какое условие не включено в перечень? Информационно аналитические системы 96 Для проведения итогового контроля необходимо: Изучить вопросы по дисциплине «Информационно-аналитические системы». 1. Основные задачи, которые выполняют ИАС. 2. Роль и место анализа в принятии решений. 3. Проблемы анализа в свете использования информационных технологий. 4. Содержание аспекта сбора и хранения данных. 5. Содержание аспекта анализа данных и предоставления результатов анализа пользователям. 6. Классификация средств выполнения анализа с помощью ИТ. 7. Состав информационных технологий и информационных систем на предприятии и из внешней среды — источников данных для сосредоточения в информационном хранилище или непосредственно для анализа. 8. Понятие и структура информационного пространства. 9. Элементы структуры информационного пространства. 10. Понятия показателя и реквизитов. 11. Пространственная интерпретация понятия показатель. 12. Содержание экономических показателей. 13. Виды систем экономических показателей. 14. Рекомендации по структуризации информационного пространства предприятия при соз- дании ИАС. 15. Содержание экономического анализа. 16. Сущность системы оценок. 17. Принципы гибкой архитектуры данных и открытых систем, которыми руководствуются при создании ИАС. 18. Информационный обмен, связанный с аналитической работой. 19. Понятие информационного хранилища. 20. Принципы построения информационных хранилищ. 21. Требования к качеству данных и способы его обеспечения при загрузке в информацион- ное хранилище. 22. Проблемы, разрешаемые при приведении данных к единой структуре информационного хранилища. 23. Концепции построения структур хранилищ данных. 24. Назначение, состав и выполняемые функции базы метаданных — репозитория ИХ. 25. Принципы создания репозитория ИХ. 26. Элементы моделей данных ИХ (факт-таблица, таблицы измерений, консольные таблицы). 27. Схемы представления — модели многомерных данных. 28. Признаки OLAP-систем. 29. Типы многомерных OLAP-систем. 30. Классификация ИТ-анализа по режиму и темпу. 31. Задачи и содержание оперативного (OLAP) анализа. 32. Содержание понятия «знания», классификация видов знаний. 33. Интеллектуальный анализ данных (Data mining), цели и решаемые задачи. 34. Состав и содержание специфических задач интеллектуального анализа. 35. Классификация методов анализа. Итоговый контроль знаний по курсу 97 36. Содержание методов анализа в экономической предметной области. 37. Состав программных инструментальных средств ИАС. 38. Средства сбора и доработки данных 39. Средства оперативного OLAP— анализа. 40. Средства интеллектуального анализа данных. 41. Управление информационно-аналитическими системами. 42. Задачи и средства администрирования ИАС. 43. Технологии загрузки данных в информационное хранилище. 44. Содержание планирования работы ИАС. 45. Принципы и этапы проектирования ИАС. 46. Рынок инструментальных средств ИАС. Выполнить типовое задание: Тематика лабораторных работ по созданию предметных секторов информационного хранилища и системы анализа сосредоточенных в нем данных изложены в практикуме по дан- ной дисциплине. Информационно аналитические системы 99 Практикум Введение в практикум Назначение практикума по курсу «Информационно-аналитические системы» для студен- тов, обучающихся по специальностям «Менеджмент, Маркетинг, Антикризисное управление, Финансы и кредит», привить навыки выполнения анализа данных с помощью средств информа- ционно-аналитических систем (ИАС) в соответствующих специальностям предметных областях, участия в создании ИАС. В соответствии с этим занятия проводятся по двум направлениям: 1. Выполнение заданий по анализу массивов данных с использованием массовых и спе- циализированных инструментальных средств методами оперативного и интеллектуально- го анализа. 2. Решение задач, которые стоят перед пользователями, в процессе создания и развития ИАС. Работы могут выполняться студентами индивидуально или в составе группы из 2—3 чело- век самостоятельно или при консультировании преподавателем. Создание и применение ИАС Задачи, выполняемые пользователями системы — лицами, принимающими решения (ЛПР), аналитиками, экспертами на этапах ее создания и применения заключаются в выработке требований к содержанию и структуре данных в ИХ, контроле за наполнением хранилищ дан- ных, разработке и реализации сценариев анализа. Главным в формировании требований является определение состава данных, которые необходимо собирать в ходе деятельности предприятия из различных источников, приводить их к единому формату и структуре с целью удобного использования в процессе анализа. На сле- дующем этапе работы пользователей по созданию ИАС определяется, что нужно делать с эти- ми данными. Задача специалистов по информационным технологиям заключается в реализации тре- бований пользователей в виде конкретных физических моделей. Состав данных представляется в виде базы метаданных (БМД) или репозитория. БМД представляет собой совокупность свойств объектов, подлежащих исследованию в ходе аналити- ческих работ. Практически это совокупность атрибутов или реквизитов показателей, отобра- жающих объекты. Она создается по результатам обследования предметной области, в которой создается ИАС или ее фрагмент, в том числе информационное хранилище или его секция. В результате обследования пользователи должны получить состав документов или ис- ходных материалов для анализа и последующего использования при принятии решений. Из та- ких источников извлекаются атрибуты, подлежащие переносу в информационное хранилище или в секцию его. Повторяющиеся атрибуты вносятся в базу МД один раз, но добавляются ат- рибуты, свидетельствующие об агрегации данных. На рис. 1 показана схема создания базы метаданных, касающихся конечных пользователей. К ним добавляются метаданные, относящие- ся к компетенции администраторов информационных хранилищ и ИАС в целом, так называе- мые технические метаданные в отличие от бизнес-метаданных. Среди таблиц на рис. 1 могут быть и материалы, относящиеся к технической стороне реализации ИХ и ИАС. Наименования столбцов или атрибутов в таблицах, представляющих материалы или от- четы, обозначают свойства описываемых объектов. В строках содержатся значения свойств экземпляров этих объектов. Практикум 100 Делается оценка количества экземпляров содержащихся в данной таблице объектов и размерности значений их атрибутов с целью определения объема требуемой памяти. Рис. 1. Структура базы метаданных Материалы 1 Атрибут 11 Атр 12 …. Атр. 1k Отчет 2 Атрибут 21 Атр 22 Атр 2 l Материалы N Атрибут n1 Атр n2 Атр. nm База метаданных секции p информационного хранилища (Репозиторий) Атрибут 1 секции p хранилища 1 Атрибут 2 секции p хранилища 1 Атрибут q секции p хранилища. Множество Q атрибутов секции P информационного хранилища определяется по фор- муле: |