чч. Конспект лекций по дисциплине Хранилища данных для образовательной программы 09. 04. 03 Прикладная информатика

• Название: Конспект лекций по дисциплине Хранилища данных для образовательной программы 09. 04. 03 Прикладная информатика
• Дата: 05.03.2023
• Размер: 1.29 Mb.
• Имя файла: Lk.doc
• Тип: Конспект лекций; #969120
• страница: 15 из 18

Продукция Microsoft

Фирма Microsoft твердо убеждена, что ее продукты позволяют значительно усовершенствовать процесс создания хранилища данных. Она разработала продукт DataWarehousing Framework, в котором объединены различные технологии (доступ к данным, метаданные, преобразования, запрос конечного пользователя и т.д.) во всех аспектах построения и использования хранилищ данных, а также управления им. Фирма Microsoft, кроме того, обеспечила поддержку каждого компонента Warehousing Network в продуктах Microsoft Office, BackOffice и Visual Studio. Microsoft тесно сотрудничает и с другими фирмами – производителями продуктов разработки хранилища данных с целью создания Data Warehousing Alliance. Все эти фирмы работают на основе общих технологий и протоколов, которые были установлены для Warehousing Framework. Это позволяет повысить совместимость и возможность взаимодействия различных продуктов на рынке технологий создания хранилищ данных [8].

В СУБД MicrosoftSQLServer предусмотрено много средств, которые могут помочь в построении хранилища данных. Поддержка больших баз данных, оптимизация запросов и репликация — все эти функции делают SQLServer мощным инструментом для создания хранилища или витрины данных (рис. 15). Гетерогенные запросы позволяют объединить результирующие наборы из нескольких источников данных OLEDB или ODBC. Кроме того, к вашим услугам службы преобразования данных (DTS), склад (Repository) для хранения метаданных, OLAP-средства для принятия решений (DecisionSupportServices) и MicrosoftEnglishQuery (выполнение запросов на английском языке) [10].



Рис. 15. Схема работы с хранилищем данных при помощи продукции Microsoft
Службы преобразования данных (DataTransformationServices – DTS) – это универсальный набор инструментов, встроенный в SQLServer. Он позволяет легко импортировать, экспортировать и преобразовывать данные, перемещая их между любыми двумя источниками, которые поддерживают OLEDB. В каком-то смысле DTS — это своего рода насос данных, с помощью которого можно перемещать исходные записи с одного места на другое с помощью простого интерфейса мастера.

В DTS предусмотрены службы импорта и экспорта данных из различных источников:

• 
  источников данных, поддерживающих OLEDB: Oracle, SQLServer и др.;
  
• 
  источников данных, поддерживающих ODBC: DB2 на MVS, данных AS400, Informix, Microsoft Access, Microsoft Excel и др.;
  
• 
  текстовых ASCII-файлов, содержащих поля фиксированной длины или разделенных символами-ограничителями.
  

Приложение MicrosoftRepository — это инфраструктура для хранения и совместного использования метаданных. Оно позволяет простым способом описывать данные, находящиеся в хранилище. С помощью склада информационные структуры данных можно хранить отдельно от самих данных; к этим структурам также можно обращаться из других компонентов архитектуры хранилища данных. Склад хранилища данных обладает следующими возможностями:

• 
  сохраняет модели данных со звездообразной структурой;
  
• 
  заносит в каталог связи между элементами данных и исходными СУБД;
  
• 
  регистрирует преобразования данных и родословные данных:
  
• 
  сохраняет правила выборки данных и репликации;
  
• 
  поддерживает работу команды разработчиков.
  

Службы поддержки принятия решений фирмы Microsoft (Microsoft Decision Support Services) — это инструменты, позволяющие сделать общедоступными возможности OLAP и информацию, находящуюся в хранилище. С их помощью можно представить информацию из хранилища в виде многомерных кубов, что способствует проведению анализа данных.

Главные особенности и преимущества Microsoft DSS:

• 
  доступ к любому поддерживающему OLEDB источнику данных;
  
• 
  поддержка MOLAP (многомерной интерактивной аналитической обработки), ROLAP (реляционной OLAP) и HOLAP(гибрида первых двух);
  
• 
  объединение возможностей хранения данных SQLServer и анализа данных Excel путем поддержки средств создания свободных таблиц;
  
• 
  возможность проведения анализа данных в автономном режиме, например во время передвижения в автомобиле, самолете и т.д.
  
• 
  возможность перехода от настольной системы к общей модели для всего предприятия.
  

Продукция Sybase

Adaptive Server IQ – это СУБД, оптимизированная для анализа данных на уровне физического дизайна. Уникальная архитектура IQ позволяет обрабатывать незапланированные аналитические запросы в десятки-сотни раз быстрее, чем традиционные СУБД. При этом вместо разбухания данных в хранилище происходит их сжатие [7].

СУБД Sybase Adaptive Server IQ специально разработана для высокоскоростного анализа данных. Благодаря использованию передовой технологии обработки запросов, уникальных способов индексирования и алгоритмов, оптимизирующих производительность, удалось увеличить скорость выполнения нерегламентированных запросов более чем в 100 раз по сравнению с традиционными CУБД и поддерживать производительность, несмотря на увеличение числа пользователей и на изменение типов запросов в зависимости от потребностей бизнеса. В отличие от технологий традиционных СУБД, Adaptive Server IQ обеспечивает отличную производительность без интенсивной настройки (рис. 16).


Рис. 16. Схема работы с хранилищем данных при помощи продукции Sybase
Технологии Adaptive Server IQ обеспечивают высокую скорость анализа данных, гибкость и экономичность одновременно с эффективной поддержкой большого количества пользователей. Sybase Adaptive Server IQ обеспечивает высокие показатели в таких областях как:

• 
  Быстрота:
  

oМолниеносная скорость выполнения запросов благодаря патентованному, ориентированному на столбцы, методу хранения данных и революционным технологиям индексирования;

oБыстрая параллельная загрузка.

• 
  Гибкость:
  

oПоддержка запросов любой сложности.

oПростота интеграции в гетерогенные системы за счет открытой архитектуры любой схемы.

oПоддержка широкого спектра платформ (Sun, HP, IBM, SGI, NT).

• 
  Экономичность:
  

oСжатие данных от 15% до 40%.

oМасштабируемость – поддержка от десятков до тысяч пользователей.

oНе требует настройки, низкая стоимость обслуживания.

oВозможность построения эффективных решений для организации хранилищ на недорогих платформах.

Обычно для управления очень большими объемами информации используются традиционные реляционные базы данных, хранящие данные построчно. Традиционные СУБД хорошо приспособлены для использования в системах оперативной обработки данных (OLTP), где важен быстрый доступ к конкретной строке и частая модификация данных. В случае работы с системами поддержки принятия решений (DSS), нет необходимости работы со всей строкой целиком, так как большинство бизнес задач требует от нас работы только с определенным набором полей. В этом случае чтение всей строки влечет неоправданную затрату ресурсов и значительно усложняет или делает невозможным одновременную работу большого количества пользователей со сверхбольшими базами данных VLDB. Кроме того, с ростом объема исходных данных в традиционных СУБД происходит неуправляемое увеличение объемов хранилища, что требует сложного, дорогостоящего сопровождения и администрирования.

Sybase Adaptive Server IQ Multiplex использует особый, ориентированный на столбцы, метод хранения данных. Такой подход в сочетании с новыми индексными технологиями, преодолевающими ограничения традиционных индексов, значительно упрощает процесс выполнения запросов и снижает требования к объему дискового пространства. Благодаря этому Sybase Adaptive Server IQ Multiplex обеспечивает доступ пользователей к терабайтным хранилищам данных по цене намного меньшей, чем у конкурентов. Технологии Sybase Adaptive Server IQ Multiplex обеспечивают практически неограниченную масштабируемость при простоте и низкой стоимости внедрения и обслуживания.

Применение режима Multiplex позволяет легко создавать кластерные решения на базе обычных серверов, что позволяет повысить отказоустойчивость и эффективнее использовать ресурсы хранилища.

Ниже приведены несколько технических характеристик Adaptive Server IQ.

• 
  Корпоративная производительность
  

oСкорость выполнения запросов в 10 – 100 раз выше, чем для традиционных реляционных СУБД;

oСкорость загрузки с полной индексацией составляет до 40 ГБ/час.

• 
  Открытость и совместимость
  

oПоддержка SQL 95 и Sybase Т-SQL;

oВозможность локализации;

oХранимые Java процедуры и пользовательские функции.

• 
  Операционная гибкость
  

oДинамическое обновление для обеспечения круглосуточной работы;

oПолное управление транзакциями;

oПоддержка NT и UNIX.

• 
  Наименьшие расходы на содержание из всех серверов систем поддержки принятия решении
  

oСжатие данных в отношении 5:1 по сравнению с традиционными PСУБД;

oНевысокие требования к памяти;

oНевысокие требования к сопровождению и обучению;

oЛегкость настройки.

• 
  Неограниченная масштабируемость
  

oОт сотен до тысяч пользователей;

oСохранение высокой производительности при работе с данными, объемом превышающим 280 триллионов записей и 16 000 полей;

oЭкономичная поддержка сверхбольших баз данных – объемом до 128 ТБ данных;

oВозможности мультиплексирования – Multiplex.

• 
  Независимость от источников данных
  

oИнтегрированная поддержка Oracle, Informix, Microsoft, DB2, Teradata, AS/400, VSAM, и других систем.

Также Sybase обладает и своим инструментальным средством для построения хранилищ данных — Sybase Warehouse Studio. Данное ПО значительно упрощает процесс разработки и обслуживания хранилища. В комплект входят: Warehouse Architect — CASE-средство проектирования хранилища, Warehouse Control Center — средство управления метаданными и администрирования хранилища, Infomaker — генератор отчетов и пр.

Sybase Warehouse Studio — это открытая среда для проектирования хранилищ данных и управления метаданными, которая упрощает процесс разработки и обслуживания хранилища, одновременно предоставляя небывалую гибкость в выборе серверных платформ для хранилища и приложений для Бизнес-Анализа. Warehouse Studio — это мощный инструмент для быстрой разработки бизнес-приложений, приносящий реальный результат, как с точки зрения бизнеса, так и с точки зрения времени и технологии.

Достоинства Sybase Warehouse Studio:

• 
  Ключ к быстрой разработке – этот комплект инструментов для проектирования и управления хранилищем данных, направленный на максимально быстрое получение результата как в области технологии, так и в бизнес-области;
  
• 
  Широкая поддержка РСУБД – поддерживаются все основные серверы реляционных баз данных, включая Oracle, Microsoft SQL Server, Informix, DB2 и Sybase;
  
• 
  Интегрированность — концепция технологии Warehouse Studio – дать разработчику единый простой инструмент для работы с хранилищами данных;
  
• 
  Простой доступ для пользователей – средства управления метаданными позволяют конечным пользователям как просматривать содержание каталога хранилища, так и строить свои собственные запросы, используя популярные бизнес-приложения для анализа и построения отчетов, такие как Cognos, Brio, Business Objects, English Wizard;
  
• 
  Глобальное управление метаданными — Warehouse Studio включает инструменты для импорта, синхронизации и использования метаданных, позволяющие управлять единым каталогом метаданных всех хранилищ и витрин данных предприятия.
  

На начальном этапе, проектировании, Warehouse Studio предлагает PowerDesigner WarehouseArchitect, позволяя графически спроектировать практически все детали будущего хранилища. В последующем WarehouseArchitect позволяет сгенерировать sql-скрипты для загрузки хранилища данных и даже передать необходимую информацию бизнес-приложению таким образом, чтобы пользователи могли немедленно приступить к работе с хранилищем. Поддерживая различные схемы дизайна: реляционную, многомерную, «звезда», «снежинка», WarehouseArchitect предоставляет эффективный инструмент для построения хранилища любого уровня сложности.

Наличие мощного механизма генерации отчетов позволяет в любой момент иметь качественную документацию модели и удобный доступ к специфическим объектам хранилища: фактам, размерностям, внешним таблицам, атрибутам, метрикам и многомерным кубам.

Начиная с дизайна хранилища и заканчивая вводом его в эксплуатацию, Warehouse Control Center позволяет импортировать, синхронизировать, администрировать и использовать логические и физические метаданные обо всех хранилищах и витринах данных предприятия, размещая их в центральном репозитарии.

Для управления процессом импорта, преобразования и загрузки данных Warehouse Studio эффективно интегрируется с лидером рынка Sybase PowerStage. Информация PowerStage о схеме преобразования данных может импортироваться в репозитарий метаданных Warehouse Control Center.