Методы построения хранилищ данных
Существует два основных способа построения ХД предприятия: "сверху вниз" ( top down ) и "снизу вверх" ( bottom up ). При подходе "сверху вниз" ХД разрабатывается, проектируется и строится итерационным способом. При методе "снизу вверх" создается ряд постепенно развиваемых витрин данных, которые формируют основу результирующей системы ХД предприятия.
|
Выбор приемлемого метода
Выбор метода построения хранилища данных (ХД) предприятия
Для выбора того или иного подхода следует сначала изучить особенности конкретной ситуации. В вопросах построения ХД нет универсального средства от всех зол, как и нет одного единственного решения или архитектуры, которая будет идеальна для каждого.
Начать следует с определения типа своей организации (см. рисунок).
"думай глобально, действуй глобально" ( Think Globally , Act Globally ). Ранние реализации ХД находились в этой области. Такие организации стремятся к получению преимуществ в конкурентной борьбе и повышению производительности за счет колоссальных инвестиций в технологии, сопряженные со значительным риском. Эта группа организаций приняла идеи теоретиков, авторитетных лиц в этой области и некоторых поставщиков программных средств, которые полагали, что рынок ХД будет думать и поступать как эти клиента;
"думай глобально, действуй локально" ( Think Globally , Act Locally ). Огромное большинство потребителей находится в этом лагере. Так, появление корпорации Microsoft с ее крайне низкими ценовыми показателями и пакетами решений должно значительно расширить этот сегмент рынка. Несмотря на то, что компонент "Думай глобально, действуй глобально" никогда не покинет рынка - с учетом астрономической стоимости бюджета, за которые борются поставщики программного обеспечения, средний слой рынка неизбежно станет доминирующим в сфере ХД.;
"думай локально, действуй локально" (Think Locally, Act Locally) .
После того, как определен тип организации, для оценки предприятия необходимо применить более специфические критерии, такие как время, стоимость, риски, ресурсы, возврат инвестиций (ROI), масштаб и политика в отношении бизнес-проблем, которые следует разрешить. Из этих критериев необходимо определите рейтинг каждого, основываясь на приоритетах и реалиях. При его определении важно помнить, что "политические" и другие "мягкие" вопросы более критичны для достижения долгосрочного успеха или "поражения", чем любой "тяжелый" технический вопрос, связанный с ХДм или витриной данных.
Например, если оказывается, что имеется долгосрочный проект на уровне исполнительного директора, достаточно ресурсов, а организация готова ждать возврата инвестиций, тогда подход "сверху вниз" - подходящий выбор для ХД предприятия. И, наоборот, если бизнес-цели относительно низкого уровня, небольшого масштаба и требуют быстрой окупаемости, тогда следует отдать предпочтение постепенно развиваемым ВД. Хотя оба метода используются во всем мире, но шансы на успех будут ничтожны, если будет применен не подходящий к конкретным условиям подход.
|
Подход сверху вниз
ХД предприятия составляется из множества предметных областей, таких как финансы, людские ресурсы, маркетинг, продажи, производство и так далее. При таком подходе ХД разрабатывается целиком, а затем выбирается узкий срез предметной области для конструирования (см. рисунок).
Далее строятся последующие слои до тех пор, пока ХД полностью не завершено. На создание систем ХД предприятия уходит 3-4 года при затратах в 3-4 миллиона долларов для средней компании (цифры получены из анализа многочисленных отчетов), для крупной организации этот показатель составляет 10-50 миллионов долларов, причем это - сумма, необходимая для построения начальной системы EDW, которая весьма вероятно будет реализована в виде архитектуры объединенного ХД.
Первоначально этот подход был единственным способом создания системы ХД. Несмотря на свойственную ему техническую элегантность, он изобилует множеством реальных проблем.
Если бы ХД создавалось в идеальных, "тепличных", условиях, то полученное решение было мощной и удачной системой. К сожалению, вне пределов лабораторной среды это невозможно. В реальном мире разработчики Хранилищ оказываются вовлечены в круговорот различных, часто взаимопротиворечащих факторов, "политических" мотивов, не выдерживаемых предельных конечных сроков, устаревших систем данных, неразумных требований пользователей. Несмотря на то, что пока не существует технических причин, по которым следует избегать этого подхода, многие "культурные" или "мягкие" (" soft ") вопросы оказались исключительно сложными для решения силами среднего IT-отдела.
Проблемы разработки хранилища данных (ХД) предприятия сверху вниз
Основная проблема заключается во "все пересекающей" природе системы EDW. Из самого названия, ХД "предприятия", следует, что IT-специалисты должны задействовать все политические, функциональные, ведомственные, юридические, организационные и прочие аспекты в рамках всей организации. Успешное продвижение по этому "минному" полю требует недюжинной "политической" прозорливости, которое не так часто присутствует в группе разработки EDW. Если учесть требование к исключительной гибкости этой команды: ориентированность на пользователя на все 100%, способность к постоянным изменениям и умение бесконечно и беспрерывно перепродавать и заново продвигать систему ХД, то станет понятно, что все эти испытания под силу далеко не всем IT-группам.
Кроме того, системы EDW требуют непрекращающейся "политической поддержки" на самом высоком уровне организации. Так, для развития этих систем необходимо достаточно продолжительный период времени, при этом без какого-либо ощутимого возврата инвестиций за многие года. Поэтому для того, чтобы не только не отстать в конкурентной борьбе, но и получить ресурсы, финансирование и поддержку в организации, такой проект должен снискать "политическое расположение" на уровне исполнительного директора. Эта "политическая поддержка", в силу постоянных изменений в высшем эшелоне, переменчивости корпоративных приоритетов и, наконец, непрерывного роста потребностей в ресурсах, часто оказывается "ненадежным союзником" для многих групп разработки EDW.
Достоинства подхода "сверху вниз" построения ХД предприятия
Скоординированная среда и единственная точка управления и развития.
Недостатки
"все пересекающая" природа проекта предприятия.
аналитический паралич.
управление масштабом.
время до появления на рынке.
риск и подверженность внешнему воздействию.
|
Подход снизу вверх
Этот подход предназначен для реализации огромного потенциала, присущего Хранилищу данных, с одновременным устранением недостатков, свойственных подходу "сверху вниз". При данном подходе разрабатывается Архитектура витрин данных предприятия ( Enterprise Data Mart Architecture , EDMA ) для обеспечения контекста работ по развитию. Несмотря на то, что в этом случае рассматривается масштаб всей системы на высоком уровне, подход "снизу вверх" не так детален, как архитектура системы ХД предприятия, что позволяет избежать "аналитического паралича". По завершении EDMA, выбирается начальная область бизнес проблем для первой постепенно развиваемой витрины данных. Архитектура витрин данных предприятия расширяется на эту область, чтобы включить полный диапазон деталей, необходимый для проектирования и разработки этого ADM. На последующих этапах происходит заполнение архитектуры витрин данных предприятия, пока отделы и организация не готовы построить ХД предприятия (см. рисунок).
Благодаря этому подходу отделы могут разрабатывать методы и технологии, необходимые для организации ХД в условиях меньшего риска и меньшей подверженности внешнему воздействию, чем в случае проекта полномасштабного ХД предприятия. Кроме того, ADM разрабатывается быстрее по сравнению с системами EDW. Как правило, первая постепенно развиваемая витрина данных создается за 6-9 месяцев, а на реализацию первой стадии системы ХД предприятия может уйти год-полтора. Эта скорость выхода на рынок особенно важна, когда нужно показать возврат инвестиций и истинную ценность ХД для организации.
С точки зрения управления проектом, такие ADM чрезвычайно способствуют поддержанию контакта с командой. Для групп разработки ХД предприятия характерна склонность к решению завтрашних проблем сегодняшним числом, построение универсальных систем по принципу "построй его, и они придут", в результате чего многие проекты выполняются с запозданием. А постепенно развиваемые витрины данных создаются для решения определенных проблем, и "сфокусированная проблема" приводит к специализированной команде.
Несмотря на то, что стоимость не является решающим фактором, такие ADM все же менее дорогостоящие по сравнению с системами ХД предприятия. Масштабируемый, специализированный ADM может быть построен за 500.000-800.000 долларов, что явно выигрывает на фоне нескольких миллионов долларов, необходимых для создания EDW.
Достоинства этого подхода построения хранилища данных (ХД) предприятия
быстрый возврат инвестиций.
незначительный риск, низкая подверженность внешнему воздействию.
потребности в "политической" поддержке на более скромном уровне и на менее продолжительный срок.
быстрое развертывание.
для "сфокусированной проблемы" - специализированная группа.
пошаговая природа.
Недостатки
возможное "проклятие успеха" (полный успех подавляет ресурсы).
необходимость в координировании многочисленных групп.
необходимость в архитектуре витрин данных предприятия для интеграции постепенно развиваемых витрин данных.
|
Рекомендации по внедрению ХД
В сегодняшнем мире распределенных, разрозненных источников данных, меняющихся пользовательских потребностей и жестких графиков выполнения построение и обслуживание ХД часто является очень непростой задачей. Разработку, внедрение и использование ХД можно упростить, если придерживаться следующих рекомендаций.
Рекомендации по внедрению и использованию хранилищ данных
Интеграция
Необходимо выбрать ту технологию, которая обеспечит единое, простое решение. Данные должны извлекаться из различных источников и преобразовываться в информацию, которая понятна бизнес пользователю. ХД - эта система, достаточно сложная с решенными проблемами извлечения данных из устаревших систем.
Быстрое внедрение
Интегрированное решение означает быстрое внедрение и более низкие затраты на использование. Быстрый ввод равнозначен более скорому возврату инвестиций. В случае корректного планирования и внедрения, возврат инвестиций в ХД не заставит себе ждать. Большинство организаций смогут оправдать свои капиталовложения уже через пару месяцев.
Производительность
Скорость запросов имеет огромное значение, так что выбирайте источники данных, которые оптимизированы для поддержки принятия решений. Производительность должна оставаться без изменений, невзирая на число пользователей и на то, что запрашивается. Независимо от формата данные должны консолидироваться в единый репозиторий.
Управление метаданными в масштабе предприятия
Следует использовать интегрированные средство сбора, синхронизации, управления и использования метаданных в ХД. Быстрый доступ к информации в рамках всего предприятия позволяет пользователям принимать взвешенные бизнес-решения, а также более эффективно выполнять свою работу.
Легкость использования
Как только данные загружены в ХД, интуитивный интерфейс запросов должен открыть ХД огромному количеству пользователей -ХД теряет свою ценность, если его трудно использовать. Бизнес-пользователи хотят формулировать запросы на простом языке - без программирования. Кроме того, пользователям нужно уметь создавать без особых усилий профессиональные отчеты и использовать средства репортинга и анализа третьих фирм. В результате, повысится производительность, поскольку пользователи будут быстрее получать требуемую информацию, а управление ресурсами улучшится, поскольку отпадет необходимость в постоянном присутствии специалистов IT-отдела.
Копирование
Каковы бы ни были требования к копированию в организации - регулярные корректировки данных, занимающие секунды, или сложные обновления данных Хранилища следует быть уверенным, что решение поставщика может обращаться к данным и синхронизовать различные источники, не затрагивая существенным образом процессы операционной обработки.
Компетентность и опыт
Покупка стоящей технологии всего лишь первый шаг в развертывании ХД. Необходимо быть уверенным, что поставщик, чье решение выбрано, обладает знанием и опытом, необходимыми для успешного внедрения ХД. и у него есть программа строительства, использования и управления ХДм данных. Необходимо наличие плана, в котором зафиксированы сроки выполнения ближайших задач, а также мероприятия по реализации долгосрочных, стратегических целей предприятия.
|
Типы хранилищ данных (ХД)
Несмотря на то, что Хранилища обладают общими свойствами, разные типы Хранилищ имеют свои индивидуальные особенности. Ниже описаны наиболее существенные сферы применения ХД, хотя помимо них существуют и другие типы Хранилищ, каждому из которых присущи свои яркие отличительные особенности.
|
Глобальные хранилища данных
Глобальные ХД предназначены для глобального представления корпорации. Различают три типа таких Хранилищ.
Типы глобальных хранилищ данных (ХД)
географически превалирующая обработка данных. Например, необходимо интегрировать бизнес в Гонконге с бизнесом в Париже, который в свою очередь следует интегрировать с Рио-де-Жанейро, а тот - с Нью-Йорком.
функционально превалирующая обработка данных. Производственная деятельность должна быть интегрирована с поставками, которые необходимо интегрировать с продажами, а те - с исследованиями и так далее.
отраслевая превалирующая обработка данных. Например, требуется интегрировать печатное дело с консалтингом, который подлежит интеграции с бизнесом в сфере медицинского оборудования, а тот со специализацией в области программного обеспечения.
Особенности глобальных ХД
Особенность глобального ХД заключается в том, что на глобальном уровне зачастую очень мало общих измерений. Единственное общее измерение - это деньги. И интеграция бизнеса может быть достигнута только с его помощью. Другие же измерения могут иметь или не иметь смысл на глобальном уровне.
Помимо этого, глобальное ХД подвержено воздействию перемен. Если в прочих Хранилищах изменения базовых данных случаются нечасто, то для этого типа Хранилищ они происходят постоянно и в самом основании. Так, в любой момент где-то может быть открыто новое месторождение нефти, где-то может произойти революция, где-то будет изменено законодательство и т.д. Если рассматривать ситуацию в глобальном аспекте, то видно, что изменения носят постоянный характер. Поэтому структура и технология, используемая для размещения и обслуживания глобального ХД, должна позволять поддерживать эти непрерывные перемены.
|
Финансовые хранилища данных (ХД)
В большинстве случаев финансовые ХД - это Хранилища, которые организации строят в первую очередь. Создание Хранилища финансовых данных становятся предпочтительной областью построения корпоративного ХД по следующим причинам:
Достоинства финансовых ХД
финансовые данные всегда находятся в центре анализа бизнес-процесса организации. Поэтому привлечь внимание к хорошо построенному финансовому Хранилищу данных очень легко
в большинстве организаций (но не во всех) финансовые данные представляют самые маленькие объемы данных из имеющихся
финансы охватывают все аспекты функционирования корпорации и имеют один общий знаменатель - деньги.
финансовые данные по своей природе имеют структуру, на которую напрямую влияет повседневная практика обработки финансовой информации, и так далее.
Недостаток финансовых хранилищ данных
Однако, финансовые ХД имеет серьезный, присущий только этому типу Хранилищ, недостаток - сведения из финансовых Хранилищ не будут совпадать с точностью до копейки с данными, полученными из существующей финансовой среды. Это связано с тем, что происходит трансформация данных, когда они переходят из операционной среды в финансовое ХД. Меняются:
отчетные периоды. В операционной среде отчетный период завершается в конце месяца, в среде ХД заканчивается на корпоративном календаре.
схемы группировки и кодирования счетов. В операционной среде данные рассчитываются в соответствии с одним планом бухгалтерских счетов, а в финансовой среде всей корпорации может быть совершенно другой набор схемы группировки и кодирования.
классификации данных. Так, в операционной среде Украина состоит из 25 областей, в глобальном ХД Украина включает также Киев и Севастополь.
валюты. Операционные денежные средства соответствуют той валюте, в которой они обращаются: гривны, доллары, евро, рубли и так далее. В глобальной среде деньги преобразуются к одной общей валюте.
|
Скачать 2.04 Mb.