Лекции по АБД. Лекция 1. Основные задачи администрирования баз данных
 Скачать 0.67 Mb.
|
|
ОСНОВНЫЕ ЗАДАЧИ АДМИНИСТРИРОВАНИЯ БАЗ ДАННЫХ ПК-2: Способен осуществлять постановку и проведение экспериментов по заданной методике и обрабатывать их результаты с использованием средств автоматизации ПК-3: Способен разрабатывать, вводить в действие и обслуживать базы данных; дополнять, мо- дифицировать и совершенствовать базы данных и другие хранилища информации Наименование вида профессиональной деятельности - поддержание эф- фективной работы баз данных, обеспечивающих функционирование информаци- онных систем в организации. Основная цель вида профессиональной деятельности - развертывание, со- провождение, оптимизация функционирования баз данных (БД), являющихся ча- стью различных информационных систем. Базы данных нашли широкое применение в различных автоматизирован- ных информационных системах (АИС). Перечислим ряд таких систем: АОС – ав- томатизированные обучающие системы; АСТ – автоматизированные системы те- стирования; АСУ – автоматизированные системы управления; АСНИ – автома- тизированные системы научных исследований; САПР – системы автоматизиро- ванного проектирования; ГИС – глобальные информационные системы и др. АИС – это информационная система, в которой задачи автоматизации реа- лизуются средствами вычислительной техники, а информационная система – это такая система, в которой доминирующими процессами являются информацион- ные процессы, а не процессы по обработке материальных ресурсов В основе каждой АИС лежит, по существу, специализированная база дан- ных. Что это такое? Отвечать на данный вопрос можно по-разному. Начнем с интуитивного представления о «банке», «базе», «складе» или «хранилище». База данных (БД) – это такое хранилище: в котором взаимосвязанные, полезные в определенном смысле данные принимают, тематически сортируют и хранят в некотором порядке, причем, воз- можно, частично их перерабатывают; в котором хранимые данные выдают строго по назначению, т. е. только тем, кто оформляет свои требования по определенным заранее правилам; в котором данные защищены и для их получения требуется разрешение от владельца этих данных; в котором внешний потребитель не видит и не знает, что делается с дан- ными внутри хранилища, и в каком формате они там хранятся. Из данного представления следует вывод о том, что БД - это не просто «склад», а «хранилище» с развитой системой функциональных сервисов. В качестве примера рассмотрим возможный вариант структурной схемы АИС, включающей составными элементами АСУП, АСУТП и БД. Но предвари- тельно охарактеризуем обобщенную структуру производственного предприятия, которая в виде трехуровневой пирамиды представлена на рис. 1. На верхнем уровне дирек- ция определяет стратегию разви- тия и функционирования пред- приятия; на следующем уровне – администрация реализует эту стратегию и отвечает за управле- ние в нештатных ситуациях; на нижнем уровне - исполнители выполняют повторяющихся штатных операции повседневной деятельности предприятия. Каждому из перечисленных уровней соответствуют свои подсистемы в глобальной корпоративной информационной системе. Рас- смотренную пирамиду можно раскрыть в структурную схему корпоративной си- стемы, которая приведена на рис. 2. На рис. 2 в части информационного обеспечения АИС впервые использо- ван термин «модель предметной области». Содержательный смысл этого тер- мина включает, во-первых, совокупность средств определения допустимых структур данных; во-вторых, множество операций, применяемых в запросах к Дирекция Управление (админис трация) Операции (исполнители) Офисные с истемы АС УП АС УТП Рис. 1. Обобщенная структура предприятия базе данных, находящейся в допустимом состоянии; в-третьих, множество огра- ничений целостности, явно или неявно определяющих множество допустимых состояний базы данных. В связи с рассмотренной возможной структурой АИС и местом БД в этой системе дадим научно-техническое определение БД. Рис. 2. Структурная схема автоматизированной информационной системы Банк данных – это информационная система, включающая комплекс средств и методов для поддержания динамической информационной модели предметной области с целью эффективного обеспечения информационных за- просов всех ее пользователей. Запросы Стратегия разви- тия Решения Предметная область Входные данные Управляющие воздействия Информационное обеспечение БД Модель предметной области Операционная часть АСУТП Реализация решений Другие источники Сбор информации Функциональная часть АСУП Анализ, прогноз, принятие решений Выходные данные Под предметной областью содержательно понимают любую область про- фессиональной деятельности, достаточно определенную, чтобы о ней могли быть собраны такие данные, о которых можно было бы говорить в аспекте суще- ствования или возможности существования базы этих данных. Задача поддержания информационной модели в динамическом состоянии требует, чтобы в БД выполнялись операции хранения и модификации (добавле- ние, удаление и корректировка данных) информационной модели в соответствии с возникающими изменениями в состоянии объектов предметной области (ПО). Кроме того, с развитием АИС может измениться состав объектов ПО и связей между ними. Задача обеспечения информационных запросов пользователей имеет два аспекта: во-первых, определение границ ПО – обеспечить всех пользователей всей необходимой информацией; во-вторых, эффективное обслуживание запро- сов пользователей. Запрос – это процесс обращения к базе данных с определенной целью, например – запрос на извлечение определенных данных. Учитывая эти аспекты, следует проанализировать множества всех пользо- вателей с выделением подмножеств постоянных пользователей и разовых поль- зователей. Для постоянных пользователей нужно стремиться обеспечивать эф- фективность всех запросов, а при определении границ ПО – учесть возможные запросы разовых пользователей (рис. 3). Пользователи-задачи обращаются к БД с регламентированными по форме и содержанию запросами, выдаваемая им информация компонуется на основа- нии принятых в системе форменных правил. Пользователи-люди могут обращаться как с регламентированными, так и с нерегламентированными (произвольными) запросами. Выдаваемая им инфор- мация должна быть удобна для восприятия (текст, таблица, график). Пользователей-программистов по функциональному назначению можно условно разделить на две группы: программисты, сопровождающие базу данных (администратор базы данных), и программисты, сопровождающие прикладной программный комплекс (выполняют работы по программированию функцио- нальных задач; АИС – это развивающаяся система, поэтому всегда существует необходимость в модификации старых и постановке новых задач). Конечные пользователи – это самая многочисленная группа людей, для ко- торых собственно и создается БД. Это специалисты в своей прикладной области деятельности. Понятие «базы данных» используется во всех трех сферах человеческой деятельности, а именно: 1) в разработке и эксплуатации конкретных баз данных в различных предметных областях – практической деятельности; 2) в методологии, специфической теории и технологии разработки и экс- плуатации АИС – научной деятельности; 3) в учебных дисциплинах различных направлений подготовки специали- стов по разработке и использованию АИС – образовательной деятельности. Жизненный цикл АИС в общем случае включает следующие этапы. 1. Системотехнический анализ предметной области. По льз ователь По сто янн ый Разов ый С сан кци онир ованны м до ступом Без с анкцион иро ван - но го дос тупа По льз ователи - Задач и По льз ователи - Лю ди По льз ователи - п рог рам мисты Ко неч ные по льз ователи Рис. 3. Классификационная схема пользователей 2. Проектирование базы данных. 3. Разработка интерфейсного программного комплекса. 4. Опытная эксплуатация, доводка и внедрение. 5. Эксплуатационное сопровождение. Взаимозависимость этапов жизненного цикла АИС представлена на рис. 4. Рис. 4. Этапы жизенного цикла АИС Основным предметом данного курса является этап эксплуатационного со- провождения и типовые задачи, которые решает администратор баз данных. Целевое назначение обучению технологии администрирования баз дан- ных: усвоить знания о порядке такой организации работы пользователей с базой данных, чтобы база данных всегда была работоспособна. Термин «администрирование» определяет комплекс задач при эксплуа- тации АИС, связанных с обеспечением надежности и эффективности функцио- нирования АИС, безопасности данных и организацией коллективной работы пользователей различных категорий. Функционирование базы данных (БД) невозможно без участия специали- стов, обеспечивающих создание, функционирование и развитие базы данных. Такая служба специалистов называется администратором базы данных (АБД), и она может различаться как по составу и квалификации специалистов, так и по количеству работающих в ней. Эта служба считается составной частью БД. Роль администратора базы данных (database administrator, DBA) включает широкий круг обязанностей и задач, которые гарантируют, что эти базы данных оптимально хранятся, постоянно поддерживаются в согласованном состоянии и используются с высокой производительностью. Численность службы, выполняемые ими функции, будут в значительной степени зависеть от масштаба БД, специфики хранимой в ней информации, типа БД, особенностей используемых программных средств и других факторов. В составе АБД могут быть системные аналитики, проектировщики струк- тур данных, проектировщики технологических процессов обработки данных, си- стемные и прикладные программисты, операторы, специалисты по техническому обслуживанию и по маркетингу. АБД выполняют широкий спектр функций на всех этапах жизненного цикла АИС, возможный список которых приводится ниже: - анализ объектной предметной области, а именно: описание объектной об- ласти, выявление ограничений целостности, определение статуса данных, опре- деление потребностей конечных пользователей, определение статуса и прав пользователей, определение объемной и временной характеристик обработки данных; - проектирование структуры базы данных: определение состава и струк- туры информационного наполнения базы данных, определение связей между ними, выбор методов доступа к данным, описание структуры базы данных на языке описания данных; - определение ограничений целостности структуры базы данных и проце- дур обработки данных: определение ограничений целостности, присущих пред- метной области, определение ограничений целостности, вызванных самой струк- турой базы данных, разработка функций и процедур обеспечения целостности базы данных при вводе и корректировке данных, обеспечение ограничений це- лостности при параллельной работе пользователей в многопользовательском ре- жиме; - ввод в эксплуатацию и сопровождение базы данных: разработка техноло- гии ввода в эксплуатацию и ведения (изменение, добавление, удаление записей) базы данных, проектирование форм ввода и вывода, создание подключаемых программных модулей; - защита имеющихся данных от несанкционированного доступа: обеспече- ние авторизованного входа пользователей в систему (регистрация и удаление пользователей, назначение и изменение паролей, выдача и утилизация физиче- ских ключей для авторизации), обеспечение защиты данных (определение прав доступа пользователей и групп пользователей, определение допустимых опера- ций над данными для пользователей и групп пользователей, выбор и создание средств защиты данных, шифрование данных с целью их защиты от несанкцио- нированного доступа), мониторинг попыток несанкционированного доступа к данным, исследование имеющихся случаев нарушения защиты данных и прове- дение мероприятий по недопущению подобных случаев; - защита от потери и разрушения данных: планирование и осуществление резервного копирования базы данных, организация и проведение восстановле- ния базы данных в случае сбоя, уничтожения или нежелательного изменения данных; - ведение статистической и аналитической деятельности: сбор статистики использования базы данных, ее хранение и детальный анализ (к каким именно данным, кем и как часто производится обращение, какие выполняются операции, время выполнения запросов, анализ причин неуспешных и аварийных обраще- ний к базе данных, анализ показателей функционирования системы (время по- траченное на обработку, потребляемые объемы памяти и процессорного вре- мени), реорганизация баз данных, развитие программных и технических средств доступа и размещения баз данных; - работа с конечными пользователями: мониторинг изменений в предмет- ной области, оценка пользователями работы базы данных, определение порядка работы пользователей с базой данных, обучение и консультирование пользова- телей. Важная дополнительная функция – это документирование процедур управ- ления базой данных. Большинство администраторов баз данных знакомы с си- стемами, которыми они управляют, и знают задачи, которые должны выпол- няться ежедневно. Однако даже опытные АБД не полагаются исключительно на свою память. Они обычно составляют и ведут документацию (run book), которая включает в себя следующие сведения. • Параметры конфигурации и расположения файлов. • Контактная информация персонала. • Стандартные правила и графики технического обслуживания. • Процедуры аварийного восстановления. Ведение документации является важной частью администрирования баз данных. Подробная книга может иметь неоценимое значение, особенно в случае, когда новый администратор должен взять на себя ответственность за управление базой данных, или при возникновении неожиданной чрезвычайной ситуации в отсутствии администратора. При сбое сервера четко задокументированные шаги восстановления базы данных уменьшают чувство паники и обеспечивают быст- рое решение проблемы. Резюмируя, администратор баз данных выполняет задачи и несет ответ- ственность за надежную и производительную работу баз данных, сохранность и защиту данных. Иллюстрация комплекса основных функций (компетенций) ад- министратора приведена на рис. 5. Рис. 5. Комплекс функций администратора баз данных Важно, что эти компетенции требуют знаний в смежных областях, таких как системное администрирование и информационная безопасность, анализ дан- ных, проектирование и оптимизация баз данных, разработка приложений и др. На рис. 6 иллюстрируется данное суждение. Рис. 6. Смежные области администратора баз данных BI-разработчик – это уникальная профессия, которая включает себя мно- жество интересных видов деятельности. BI - расшифровывается как Business Intelligence - это предоставление необходимой для бизнеса информации в удоб- ном и понятном виде, что позволяет получить ответ на бизнес-вопрос или при- нять правильное стратегическое решение. Стратегия профессионального развития администратора баз данных имеет два измерение, а именно: вертикальное - углубленное изучение предметной об- ласти; и горизонтальное - смежные компетенции и кругозор. С одной стороны, важно глубоко понимать архитектуру и функциональные возможности, конкрет- ные профессиональные техники. И на рынке труда считается, что эксперт (узкий специалист) имеет более высокий уровень оплаты. С другой стороны, реальные задачи постоянно возникают на стыке компе- тенций и области ответственности разных специалистов и на практике узкая спе- циализация часто бывает для компании неэффективной. В таком случае может быть более востребованный «универсальный солдат», умеющий разрабатывать комплексные решения. В идеале можно сформировать экспертный уровень компетенции в одной- двух областях (на каждую область требуется 5-10 лет интенсивной практики), широкий кругозор и достаточно глубокое владение смежными компетенциями. Для профессионального развития администратора баз данных можно реко- мендовать следующие подходы. 1. Работа с разными СУБД - изучение разных технологий позволяет лучше понимать каждую из них и может помочь в развитии экспертного уровня компетенций. 2. Системное администрирование и безопасность - большинство задач по администрированию БД связано с системными настройками и ресурсами, пра- вами доступа. Один из типичных сценариев - это совмещение функций систем- ного администратора и администратора БД. 3. Виртуализация - технология для повышения гибкости и надежности использования ресурсов. 4. Настройка аппаратной конфигурации - критичная задача для настройки производительности высоконагруженных программно-аппаратных комплексов. Специфическая для оборудования и вендоров (производителей). 5. Оптимизация БД - постоянная критическая задача для любой доста- точно большой и нагруженной БД. 6. Анализ данных - умение читать выполняемый код, анализировать си- стемные данные с помощью SQL - это необходимый навык для диагностики и решения проблем. 7. Разработка скриптов на PowerShell и T-SQL для Microsoft SQL Server (PL/SQL для Oracle и пр.) - написание административных и прикладных скрип- тов позволяет автоматизировать рутинные задачи и внедрить проактивный мо- ниторинг (автоматическое раннее обнаружение и реагирование на известные проблемы). 8. Разработка БД и клиентских приложений - полезно при внедрении программных решений, когда на этапе опытной эксплуатации полная или ча- стичная поддержка СУБД находится на стороне подрядчика. В общем случае персонал службы АБД состоит из нескольких лиц, функ- ционально разбитых на группы. В простейшем случае это одна группа с един- ственным специалистом, который совмещает функции и пользователя, и персо- нала АБД. Приведем пример групповой классификации АБД. 1. Администратор предметной области (администратор концепту- альной схемы). Группа несет ответственность за представление базы данных на концептуальном уровне архитектуры СУБД, общее для всех приложений рас- сматриваемой базы данных, за адекватное отображение в концептуальной схеме базы данных тех изменений, которые происходят в предметной области. Адми- нистратор предметной области должен обеспечить с этой целью реструктуриза- цию базы данных - изменение концептуальной схемы базы данных. 2. Администратор баз данных (администратор хранения данных). Группа ответственна за представление базы данных в среде хранения, за эффек- тивную и надежную ее эксплуатацию. В задачи группы входит настройка базы данных в среде хранения с целью повышения эффективности функционирования системы. Для этого при необходимости может производиться реорганизация базы данных, при которой могут изменяться структура данных, способы их раз- мещения в пространстве памяти, используемые методы доступа к данным. 3. Администратор приложений (администратор внешних схем). Группа обеспечивает поддержку базы данных для различных групп пользовате- лей механизма внешнего уровня архитектуры СУБД. Она несет ответственность за всю совокупность внешних схем базы данных. 4. Администратор безопасности данных представляет пользователям полномочия на доступ к данным в базе данных и соответствующим образом настраивает системные средства защиты от несанкционированного доступа. Существуют и другие подходы к выделению видов администраторов баз данных (АБД), а их обязанности могут существенно отличаться в различных предприятиях. Приведем еще один пример возможной классификации. Оперативные (operational) АБД. Их функции: манипулируют дисковым пространством, наблюдают за текущей производительностью системы, реаги- руют на возникающие неисправности БД, обновляют системное ПО и ПО базы данных, контролируют структурные изменения БД, запускают процедуры ре- зервного копирования данных, выполняют восстановление данных, создают и управляют тестовыми конфигурациями БД. Тактические (tactical) АБД. Реализуют схемы БД, утверждают процедуры резервного копирования и восстановления данных, разрабатывают и внедряют структурные элементы БД (таблицы, столбцы, размеры объектов, индексацию и т.п.); изменяют схемы БД и их конфигурационные параметры. утверждают план действий в случае аварийной ситуации Стратегические (strategic) АБД. Выбирают поставщика БД, устанавли- вают корпоративные стандарты данных, внедряют методы обмена данных в рам- ках предприятия, определяют корпоративную стратегию резервирования и вос- становления данных, устанавливают корпоративный подход к ликвидации по- следствий аварии и обеспечению доступности данных. Старшие (senior) АБД. Руководят своим персоналом, пользуются высоким авторитетом, могут написать сложный скрипт, тратят много времени на подго- товку младших АБД. Младшие (junior) АБД – начальная ступень иерархии. Прикладные (application) АБД. Анализируют информационные проблемы компании, помогают в разработке прикладных задач, отвечают за разработку и изменения концептуальной схемы, вместе с системными АБД обеспечивают должный уровень резервирования и восстановления данных, занимаются постро- ением тестовых БД. Системные (system) АБД. Отвечают за все необходимое для резервирова- ния и восстановления данных, контролируют производительность системы в це- лом, осуществляют поиск и устранение неисправностей, анализируют нынешние и будущие потребности БД в отношении емкости и производительности. Наемные (contract) АБД. Приглашаются под конкретную задачу или в ка- честве консультантов, передают персоналу необходимые знания, протоколи- руют свои действия, должны прекрасно разбираться в соответствующей области, хороши в качестве временного персонала и для оценки реализуемых проектов. Администраторы-руководители. Проводят регулярные совещания, опре- деляют перечень первоочередных задач, устанавливают и озвучивают официаль- ную стратегию, утверждают и корректируют должностные инструкции и список обязанностей, следят за наличием соответствующей документации. Уровни профессионального развития администратора баз данных. Ком- пания Microsoft разработала набор отличных инструментов для администратора БД, благодаря которым решение простых задач является технически несложным. Но это не значит, что администрирование является простой и легкой работой. Поскольку важно понимать архитектуру и функциональные возможности ин- формационной системы в целом (не ограничиваясь только СУБД), чтобы видеть и контролировать последствия своих действий. Вначале для администратора важно научиться выполнять стандартный ре- гламент по обслуживанию СУБД. Для этого важно изучить базовые профессио- нальные практики и научиться использовать инструменты. Следующий уровень - это опыт поддержки баз данных для нагруженных и критичных приложений, внедрение или разработка диагностических решений, и взаимодействие с другими администраторами и разработчиками. Уровень эксперта позволяет выбирать эффективные и экономичные реше- ния, контролировать качество исполняемого на стороне базы данных кода и ре- шать проблемы до их возникновения: на основе диагностики обнаружить откло- нения по производительности, что показывает вероятность возникновения сбоев. Перечисленные выше уровни иллюстрируются на рис. 7. Проактивный мониторинг – это такой мониторинг, при котором ведется поиск закономерностей в событиях для предсказания возможных будущих сбоев. Рис. 7. Уровни профессионального развития администратора баз данных Самостоятельное обучение. Каждый вендор предлагает для своей СУБД набор курсов. У Microsoft есть курсы для разных версий SQL Server (2012, 2014, 2016). Начать обучение по администрированию БД можно с курсов 20764 и 20765 (35 т.руб). Оптимизация БД рассматривается на курсе 10987. Обеспечение высо- кой доступности, кластеризация, управление группой серверов рассматривается на курсе 20465. Научиться писать сложные SQL-запросы и разрабатывать пред- ставления, функции и хранимые процедуры можно на курсах 20761 и 20762. Ресурсы для углубленного изучения Redgate (english): Базы данных и программирование Блог Александра Гладченко T-SQL.RU. Всё об MS SQL Server (Алексей Князев) SQL Server Central SQL Server Customer Advisory Team SQL Server Community (Toad World) Скачайте для практики SQL Server Developer Edition (2014/16 бесплатны). Данная ре- дакция имеет только одно ограничение - запрет на использование в продуктивных системах, что позволит вам практиковаться на всех компонентах SQL Server. https://www.microsoft.com/ru-ru/sql-server/sql-server-downloads Станек, Уильям Р. Microsoft SQL Server 2008. Справочник администратора. Электронная документация по SQL Server 2014 - MSDN - Microsoft [Элек- тронный ресурс]. – Режим доступа: https://msdn.microsoft.com/ru- ru/library/ms130214(v=sql.120).aspx, свободный. — Яз. русский. (дата обращения: 01.11.2016). Библиотека Microsoft SQL Server - MSDN [Электронный ресурс]. – Режим доступа: https://msdn.microsoft.com/ru-ru/library/bb545450.aspx, свободный. — Яз. русский. (дата обращения: 01.11.2016). Microsoft TechNet [Электронный ресурс]. – Режим доступа: https://technet.microsoft.com/ru-ru/, свободный. — Яз. русский. (дата обращения: 01.11.2016). |