ЛАБОРАТОРНЫЙ ПРАКТИКУМ №1 ТЕМА: Отчетность и анализ – функции распознавания. отчет по лаб раб №2. Источники данных и хранение информации на предприятии
 Скачать 81.67 Kb.
|
|
Негосударственное образовательное учреждение высшего профессионального образования «МОСКОВСКИЙ ФИНАНСОВО-ПРОМЫШЛЕНЫЙ УНИВЕРСИТЕТ СИНЕРГИЯ» Дисциплина : Информационно – аналетические системы ЛАБОРАТОРНЫЙ ПРАКТИКУМ №2 ТЕМА: Источники данных и хранение информации на предприятии Группа ВБИо – 1011рсоб Студент : Кирсанов М С Способы хранения информации на предприятии и источники данных. В процессе деятельности предприятия накапливается большое количество информации. Вся эта информация должна храниться на предприятии и быть в любой момент доступна для пользователя. Для хранения информации могут быть использованы различные средства: файловые системы, оперативные базы данных (OLTP) и хранилища данных (DWH). Файловые системы. В современных условиях большинство рабочих мест сотрудников оснащены персональными компьютерами (АРМ – автоматизированное рабочее место). В процессе работы на каждом АРМе накапливается оперативная информация, документы, сопровождающие те или иные бизнес процессы. Эта информация хранится на компьютере в виде файлов. По определению файл - это именованная область внешней памяти, в которую можно записывать и из которой можно считывать данные. Файлы бывают разных типов: обычные файлы, специальные файлы, файлы-каталоги. Для организации хранения и управления файлами на компьютере используется файловая система, представляющая собой функциональную часть операционной системы. Файловые системы предназначены для обслуживания многих тысяч файлов и обеспечивают хранение слабо структурированной информации. Каждая файловая система поддерживает некоторую иерархическую файловую структуру (древовидную), включающую чаще всего неограниченное количество уровней иерархии  Доступ к файлам организуется в файловых системах через каталоги (Catalog). Каталог – справочник файлов и каталогов со ссылками на их расположение. При этом различают главный (корневой) каталог и подчиненные (вложенные) каталоги. На современном предприятии рабочие места пользователей часто объединяются в локальные сети. Это позволяет организовать совместную эффективную работу с бизнес информацией группе пользователей, участвующих в определенном бизнес процессе. Часто хранение такой информации переносится на сервер, организуется так называемый файловый архив. Оперативные базы данных (OLTP). Оперативные базы данных используются предприятиями для поддержания их повседневной деятельности, для отслеживания информации, с которой они имеют дело в процессе решения оперативных задач. Это может быть информация о произведенных товарах, принятых заказах, оказанных услугах, выплатах, доходах и т.п. Результатом фиксации указанной информации становится одна или несколько записей в оперативной базе данных. Сам процесс фиксации называют бизнес транзакцией, а информацию – данными транзакции. По определению транзакция - это последовательность операторов манипулирования данными, выполняющаяся как единое целое и переводящая базу данных из одного целостного состояния в другое целостное состояние. Системы оперативной обработки транзакций (OnLine Transaction Processing, OLTP) служат для хранения данных о выполняемых бизнес—транзакциях. Основная функция подобных систем заключается в одновременном выполнении большого количества коротких транзакций от большого числа пользователей. К числу транзакционных систем относятся ERP–системы, автоматизированные банковские системы (АБС), биллинговые системы, учетные системы и некоторые другие. Данные в OLTP-системы поступают в основном из внутренних источников, причем это текущие данные за период от нескольких месяцев до одного года. Объемы хранимых данных могут составлять сотни мегабайт, гигабайты. Частота обновления данных высокая, обновления происходят маленькими порциями. Основное их назначение фиксация данных, оперативный поиск и преобразование данных. В основе таких систем лежат оперативные базы данных. Хранилища данных. По определению Билла Инмона, основоположника хранилищ данных, «хранилище данных - это предметно-ориентированное, привязанное ко времени и неизменяемое собрание данных для поддержки процесса принятия управляющих решений». Задача хранилища - предоставить лицу, принимающему решения, информацию для анализа в одном месте и в простой, понятной для восприятия структуре. Данные в хранилище попадают из оперативных систем (OLTP-систем), которые предназначены для автоматизации бизнес-процессов, и других внутренних источников информации. Хранилище также может пополняться за счет внешних источников информации, например статистических отчетов и т.п. Хранилищу данных характерна малая частота изменений, изменения производятся большими порциями и обычно по расписанию. Хранилище объединяет внутренние и внешние данные, в составе этих данных - текущие данные и исторические за период до нескольких десятков лет. Объемы хранимых данных - гигабайты и терабайты. Основное назначение хранилищ данных – это хранение детализированных и агрегированных исторических данных, аналитическая обработка, прогнозирование и моделирование. Можно выделить два типа Хранилищ данных: корпоративные хранилища данных (enterprise data warehouses) и витрины или киоски данных (data marts). Корпоративные хранилища данных содержат информацию, относящуюся к деятельности всей корпорации и собранную из множества оперативных источников данных. Их объем может достигать от десятков Гбайт до одного или нескольких терабайт. Витрины данных (небольшие хранилища данных) содержат подмножество корпоративных данных и создаются для определенной группы пользователей, отделов или подразделений внутри организации. Они охватывают конкретный аспект, интересующий сотрудников данного отдела. Витрина данных может получать данные из корпоративного хранилища (зависимая) или данные могут поступать непосредственно из оперативных источников (независимая витрина). Принципы построения хранилищ и OLTP баз данных. Хранилище данных включает в себя несколько компонентов: подсистема хранения данных, подсистема метаинформации или репозиторий, менеджер хранилища, менеджер загрузка, менеджер запросов. Типичная архитектура хранилища данных приведена на рисунке 9 Подсистема хранения данных. Подсистема хранения данных предназначена непосредственно для хранения данных. Подсистема метаинформации (репозиторий). Метаданные – это данные о данных. Метаданные сами по себе не несут информации, но описывают атрибуты данных в хранилище. Менеджер хранилища (warehouse manager). Менеджер хранилища выполняет операции, связанные с управлением информацией, помещенной в хранилище данных. Менеджер загрузки (load manager). Менеджер загрузки выполняет операции, связанные с извлечением и загрузкой данных в хранилище. Менеджер запросов (query mamager). Менеджер запросов выполняет операции, связанные с управлением пользовательскими запросами. Принципы построения формулируются исходя из задач, стоящих перед Хранилищем данных и OLTP-системой. Принципы построения Хранилищ данных: 1. Оптимизация базы данных хранилища для быстрого выполнения объемных незапланированных запросов. 2. Пакетная загрузка данных, с предварительной обработкой данных. 3. Наличие пользовательских инструментов для создания сложных запросов и наглядных отчетов. 4. Возможность быстрого изменения структуры базы данных хранилища – это требование исходит от динамики бизнеса. Принципы построения OLTP-систем: Принципы построения OLTP-систем отличаются от принципов построения Хранилищ данных и часто принципиально противоположны им. Для обеспечения своих ключевых функций эти системы должны: 1. Быстро выполнять транзакции. 2. Защищать данные от пользовательских ошибок ввода. 3. Минимизировать изменения базы данных в процессе выполнения одной транзакции для ускорения ее выполнения. Виды хранилищ данных. Реализация информационного хранилища (ИХ) может быть осуществлена несколькими способами: 1. Централизованное хранилище данных. 2. Распределенное хранилище данных. 3. Автономные витрины данных. 4. Шина взаимосвязанных витрин данных. 5. Единое интегрированное хранилище и много витрин данных. 6. Виртуальное хранилище данных. Централизованное хранилище данных. Единое централизованное хранилище данных объединяет информацию из различных источников - операционных баз данных. Распределенное хранилище данных. Такие хранилища основаны на распределении функций ИХ в соответствие с характером бизнеса или регионом в корпоративных структурах. Автономные витрины данных. При таком подходе создаются небольшие предметно-ориентированные базы данных, в которых группируется информация, относящаяся к какому-либо достаточно самостоятельному направлению деятельности крупной корпоративной системы. Шина взаимосвязанных витрин данных. Витрины данных разрабатываются с использованием единых измерений, что в результате приводит к созданию логически интегрированных витрин. Единое интегрированное хранилище и много витрин данных. Эта структура ИХ объединяет две концепции: единого интегрированного хранилища и связанных с ним и получающих из него информацию витрин данных. Виртуальное хранилище данных. Виртуальное хранилище данных — это система, предоставляющая интерфейсы и методы доступа к OLTP-системе, которые эмулируют работу с данными в этой системе, как с хранилищем данных Технология работы хранилищ данных. Хранилище данных служит главным источником достоверной информации для руководителей и специалистов всех подразделений организации, что обеспечивает согласованность, своевременность и обоснованность принятия управленческих решений, облегчает выверку обязательной отчетности и обеспечивает выпуск управленческой отчетности. Общий принцип работы Хранилища данных состоит в следующем: в OLTP системах выполняются учетные операции, затем с определенной периодичностью данные поступают в Хранилище, на основе которого осуществляется анализ информации, и выпускаются различные отчеты технология работы хранилища данных складывается из нескольких технологических процессов: Технология сбора данных. Технология очистки и загрузки данных. Технология выполнения расчетов. Технология отработки запросов. Технология сбора данных. Специальная технология сбора данных обеспечивает регулярное и бесперебойное получение данных из удаленных филиалов, дополнительных офисов, из различных информационных систем. Эта технология включает в себя форматы данных, технологию их генерации, бизнес-правила, регламентирующие извлечение данных из внешних источников, дистрибуцию метаданных (нормативно-справочной информации) и многое другое. Технология очистки и загрузки данных. Эта система обеспечивает входной контроль данных, автоматическое исправление ошибок, приведение данных к единым стандартам, загрузку больших массивов данных, многоуровневую журнализацию. Технология выполнения расчетов. Специальный аппарат выполнения расчетов обеспечивает: Агрегацию данных – расчет обобщенных показателей; Консолидацию данных – суммирование данных по организационной иерархии; Расчет производных показателей Технология отработки запросов. Технология предполагает выполнение сложных запросов к большим массивам данных. Список литературы Асадуллаев С. Кравченко, Т. Гасанов, А. |