чч. Конспект лекций по дисциплине Хранилища данных для образовательной программы 09. 04. 03 Прикладная информатика

• Название: Конспект лекций по дисциплине Хранилища данных для образовательной программы 09. 04. 03 Прикладная информатика
• Дата: 05.03.2023
• Размер: 1.29 Mb.
• Имя файла: Lk.doc
• Тип: Конспект лекций; #969120
• страница: 14 из 18

Компонентная архитектура

Система на самом верхнем уровне состоит, как правило, из двух видов ПО: общего и специального.

К общему ПО относятся:

• 
  ПО промежуточного слоя, которое обеспечивает сетевой доступ к приложениям и БД. Сюда относятся сетевые и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр.
  
• 
  ПО загрузки и предварительной обработки данных. Этот уровень включает в себя набор средств для загрузки данных из OLTP-систем и внешних источников. Проектируется, как правило, в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.
  
• 
  Серверное ПО. Представляет собой ядро всей системы. Оно включает в себя:
  
  • 
    Серверы реляционных БД,
    
  • 
    Серверы МБД,
    
  • 
    Серверы приложений (поисковые, аналитической обработки, добычи знаний и др.).
    

• 
  Специальное ПО представляет собой совокупность программ, разрабатываемых при создании Систем Поддержки Принятия Решений (СППР). Они объединяются в следующие подсистемы:
  
  • 
    Подсистему загрузки данных,
    
  • 
    Подсистему обработки запросов и представления данных,
    
  • 
    Подсистему администрирования.
    

В этой части должны быть спроектированы модули, составляющие подсистему, и алгоритмы отдельных процедур, входящих в их состав.

Техническая архитектура

Серверное ПО работает под управлением серверов приложений и серверов БД на UNIX- или NT-платформах или мэйнфреймах. Клиентское ПО, устанавливается на ПК конечных пользователей. В последние годы наметилось стремительное внедрение технологии «тонкого» клиента, при которой на ПК пользователя находится лишь Web-браузер, а вся функциональность клиентского ПО загружается с сервера приложений в виде JavaScript- программ или апплетов. Техническая архитектура во многом зависит от масштабов и требований, предъявляемых к ее производительности и надежности. В зависимости от этого серверные компоненты системы могут располагаться на одном компьютере или на нескольких. Сегменты хранилища и витрины данных в больших системах могут располагаться на нескольких компьютерах.

Реализация

Данная стадия проекта непосредственно связана с разработкой и тестированием компонентов информационного и специального ПО системы в соответствии с разработанной на этапе проектирования архитектурой.

К основным результатам работы на этом этапе следует отнести:

• 
  Непосредственно саму систему в виде общего и специального ПО, баз данных.
  
• 
  План внедрения системы, который должен определять все работы по внедрению системы у заказчика, включая упаковку системы, доставку ее заказчику, инсталляцию системы на технических средствах заказчика, тестирование и доработку.
  
• 
  Набор тестов, которые должны быть выполнены после установки системы у заказчика.
  
• 
  Пользовательскую документацию и учебные материалы для пользователей системы.
  

Внедрение

Данная фаза состоит в выполнении работ, предусмотренных планом внедрения, который был разработан на предыдущей фазе.

На стадии развертывания осуществляются монтаж и установка системы и отдельных ее компонентов у заказчика. Осуществляется первоначальная загрузка хранилища необходимыми данными, выполняется опытная эксплуатация системы. Кроме того, на стадии развертывания осуществляется обучение пользователей и сотрудников службы технической поддержки. Окончанием данного этапа считается момент перехода к производственной эксплуатации хранилища.

Рынок программных средств хранилищ данных

Способы доступа к источникам данных определяют архитектуру аналитических платформ. В соответствии с используемыми способами все аналитические платформы делятся на две группы.

Платформы первой группы ориентированы на работу с выделенными источниками данных - хранилищами и витринами данных, которые специально сформированы для аналитической обработки, что выражается и в особых структурах и моделях данных этих источников. В настоящее время наибольшее признание в качестве модели данных для анализа данных получила многомерная модель, которая может быть реализована и средствами реляционных СУБД, и средствами многомерных (OLAP) СУБД. Эффективность и удобство выполнения анализа при использовании последних значительно выше, чем при применении реляционных СУБД, поэтому OLAP-серверы является ядром аналитических платформ первой группы. К этой группе относятся аналитические платформы Microsoft, Hyperion Solutions, «старая» аналитическая платформа Oracle (теперь Oracle Business Intelligence Suite Standard Edition) и др.

Платформы второй группы, а это прежде всего платформы компаний Business Objects, Cognos, Microstrategy, разработаны для работы с более широким кругом источников, в который помимо хранилищ и витрин данных (реляционных и многомерных) входят «обычные» базы данных, создаваемые транзакционными (класса OLTP) системами, и, возможно, другие источники данных: XML-файлы, плоские файлы, файлы MS Excel и т.п. Можно сказать, что эти платформы в принципе «равноудалены» от различных источников данных.

В состав платформ второй группы не входят OLAP-серверы и другие средства непосредственного доступа к источникам данных, для доступа к данным в этих платформах используются в основном стандартные интерфейсы к соответствующим серверам: ODBC/JDBC для доступа к реляционным базам/хранилищам, MDX (MultiDimensional eXpressions - язык запросов для простого и эффективного доступа к многомерным структурам данных, наподобие языка SQL) для доступа к многомерным (OLAP)… Кроме того, в некоторых платформах используются и «родные» для конкретных источников интерфейсы. Например, интерфейс OCI (Oracle Call Interface) для доступа к базам данных Oracle, интерфейс XMLA (XML for Analysis - xml-стандарт) для доступа к многомерным хранилищам SAP BI/BW, интерфейсы к базам данных популярных пакетов.