Лекции по Базам данных. лекции. Развитие технологий обработки данных

• Название: Развитие технологий обработки данных
• Анкор: Лекции по Базам данных
• Дата: 16.02.2023
• Размер: 0.53 Mb.
• Имя файла: лекции.docx
• Тип: Документы; #940385
• страница: 1 из 22

Общая характеристика базы данных и основные понятия

Развитие технологий обработки данных

Огромное значение автоматизация процессов обработки данных и управления ими занимает в общем процессе развития компьютерных технологий. Это развитие в ретроспективном анализе понимается необходимостью взгляда на проблемы, которые присущи ранним информационным системам. Соответственно тот опыт, который накоплен в данной области, позволяет глубже осознать задачи современного состояния и дальнейшего развития технологий баз данных, которые занимают основное положение в процессе обработки данных и управления ими. Рассмотрим основные факторы, предопределившие генеральное направление развития технологий баз данных.

В компьютерных технологиях особое место занимает процесс решения информационных задач. Информационные задачи существенно отличаются от вычислительных. Вычислительные задачи имеют сложные алгоритмы обработки данных простой структуры. Информационные задачи характеризуются противоположными отправными моментами. Такими как:

      обрабатывается информация больших объемов;

      обрабатываемые данные имеют сложную структуру;

      алгоритмы обработки относительно просты.

Современный мир компьютерных технологий и его широчайшие возможности развивались постепенно. Поэтому простые алгоритмы обработки данных были восприняты компьютерными технологиями как некоторое облегчение в общем понимании информационных задач. Но первые два пункта отправных моментов, а именно большие объемы и сложная структура стали определять дополнительные требования: надежное хранение информации; обеспечение надежности хранения информации; высокая производительность.

Эти дополнительные требования длительное время являлись некоторым сложным и нелегким участком в работе программистов.

Достаточно продолжительный временной период перечисленные требования находились в противоречии друг с другом. Слабым звеном вычислительных средств, помимо всего, долгое время являлись существенно ограниченные возможности процесса информационного хранения. В то время возможность говорить об эффективном и долговременном хранении информации появлялась только при наличии запоминающих устройств, непосредственно сохраняющих информацию при снятии электрического питания с устройства. Тогда использовались в данном направлении, как долговременная память только магнитные ленты и магнитные барабаны.

Магнитные ленты имели неограниченную емкость (так было принято считать), но использование их имело ряд существенных недостатков и накладывало дополнительное ограничение. Основными недостатками можно считать низкую скорость обмена информацией и существенно ограничивающая производительность вычислительных средств. Ограничение, применительно к информационным задачам, в использовании магнитных лент выделялся последовательный доступ к информации.

Магнитные барабаны, в отличии от магнитных лент, были лишены недостатка последовательного доступа к памяти. Они давали возможность выборочного доступа к памяти, но при этом имели рад недостатков. Существенными недостатками магнитных барабанов являлись ограниченный объем памяти и низкая скорость обмена информацией. Эти недостатки не позволяли создавать адекватное отображение предметной области, которая формируется в реальном мире в виде множества взаимосвязанных объектов информатизации и главное не позволяли мгновенно реагировать информационной системе на пользовательские запросы.

Итак, необходимо согласиться со следующим заключением: основным тормозом на пути развития технологии баз данных продолжительный период времени являлось отсутствие таких видов памяти, которые бы удовлетворяли всем вышеперечисленным требованиям.

В процессе развития приведенные недостатки были ликвидированы за счет появления сменных магнитных дисков. Сменные магнитные диски являлись устройствами внешней памяти и обладали значительно большей емкостью. Именно сменность дисков делала их емкость неограниченной. Диски обеспечивали приемлемую скорость доступа к информации, и как уже говорилось, выборочный или произвольный доступ к информации. Как только была решена задача с хранением информации так сразу стартовал период развития баз данных, как технологического процесса.

При рассмотрении истории развития технологий информационных систем следует обратить внимание на тот факт, что мощным локомотивом этого развития всегда служили нужды и потребности делового и производственного мира. С одной стороны, их роль можно сравнить с естественным отбором в генетике. Успешно приживались и в дальнейшем развивались те решения, внедрение которых обеспечивало превышение получаемой выгоды от внедрения над затратами на нее. С другой стороны, потребности этого локомотива росли параллельно с развитием технологий, постоянно ставя новые задачи и требуя их решения.

Первые внедрения коммерческих компьютерных программ происходили там, где их особенно ждали – в бухгалтерских расчетах. Вполне объяснимо то, что эти программы на начальных стадиях своего развития осуществляли те же операции и выдавали те же документы, которые раньше выполнялись и формировались вручную.

Определив основные сдерживающий и подталкивающий факторы развития информационных технологий, дадим более подробную характеристику различных его фаз.

В период 60-х годов прошлого века, приходящийся на период ЭВМ второго поколения процесс обработки данных производился, как правило с помощью операций ввода-вывода. Файловая организация при данной обработке была последовательной. Физическая структура данных, при данном последовательном способе файловой организации совпадала с логической структурой файла.

Конечным пользователям такой файл будет представлен как некоторая линейная последовательность записей. В этом случае запись файла и его структура может быть известна только непосредственной программе, которая с эти файлом функционирует, так как сама структура записи в этой программе только и обозначена. Изменения в структуре файла вносятся одновременно с изменениями в программе. Эта ситуация характеризует зависимость программ от данных. Сложность вопроса становится более сложной в случае когда в информационной системе присутствует большое число пользователей, которым необходимо пользоваться одинаковой информацией. При этом каждый пользователь имеет свой алгоритм обработки информации и изменения, вносимые в структуру данных одним пользователем неизбежно приводят к необходимости модифицировать абсолютно все программы.

Существенная проблема описываемого периода развития систем обработки информации, в большой мере усложняющая ситуацию, – значительная степень избыточности данных в файлах. Дело в том, что при рассматриваемом способе организации даже в тех случаях, когда наборы данных создаются и оптимизируются для одной задачи, обеспечение нормальных условий функционирования обработки данных приводит к необходимости хранения нескольких копий одного и того же файла, отсортированных по различным полям записей.

К нарисованной негативной картине нельзя не добавить еще несколько характеристик процесса создания и функционирования информационных систем:

      отсутствие централизованных методов управления доступом к информации;

      значительные затраты труда программистов как на создание приложения, так и на поддержание его работы;

      сложности администрирования режимом доступа к файлу, а следовательно и сложность реализации многопользовательского режима работы.

Указанные проблемы ранних систем обработки данных требовали своего решения и служили мощным толчком для поиска новых подходов к хранению и управлению информацией.

Следующий этап развитияинформационных систем (ИС) характеризуется существенным изменением, как природы файлов, так и используемых для их хранения устройств. Подобная ситуация стала возможной с появлением файлов произвольного доступа к данным и особенно индексно-последовательных (ИП) файлов, широко распространившихся в 60-е годы.

Помимо отсутствия в этом случае необходимости просмотра всех предшествующих записей, изменилась природа и методы хранения самих носителей информации, позволивших значительно сократить время обращения к памяти, а значит существенно увеличить производительность таких систем. Появилось некоторое различие логической и физической структур данных, правда, взаимосвязь между ними сохранялась все еще достаточно простая. Проявилась и кое-какая независимость программ от данных. Новые подходы позволили заменять запоминающие устройства без изменения прикладной программы, используя специальные языки заданий. Средства защиты данных в этот период развития уже определенны способом применялись. В случае применения средств защиты на практике был получен следующий вывод. Файлы с произвольным доступом не снимали полностью имеющуюся проблему лишь, так как при всех своих достоинствах любые файловые системы имеют врожденные недостатки. Определим их.

Любое типовое программное обеспечение, в частности программное обеспечение информационной системы обработки данных, представляет не что иное. как методы доступа к информации. При это не представлен метод управление данными. Такая ситуация возникает из-за того что файловые системы не разрешают устанавливать связь между данными различных файлов.

В файлах с таким доступом сохраняется значительная информационная избыточность.

В этих файлах отсутствует централизованный контроль на уровне информационных элементов. Это связано с тем, часто один и тот же информационный элемент имеет несколько имен в зависимости от того, в какие файлы он входит.

При этом требуются большие затраты труда программистов, которым постоянно приходится определять новые наборы данных для новых приложений, выполнять очень сложные манипулирования данными.

Эти манипулирования требуют устранения сложности администрирования режимом доступа к файлу, а следовательно, и сложности реализации многопользовательского режима работы.

Необходимость решения перечисленных проблем заставила разработчиков информационных систем предложить новые концепции:

      хранения информации – базы данных;

      управления информацией – системы управления базами данных.

Дальнейшая история развития систем обработки данных – это эпоха развития баз данных и систем управления базами данных. Начало этой эпохи ознаменовалось 1968 годом, когда произошла разработка и внедрение фирмой IBM пионера промышленной системы управления базой данных – системы IMS. Можно с полной уверенностью утверждать, что рождение базы данных работающей под управлением СУБД, стало наиважнейшим достижением в области программного обеспечения. В то же время, именно это появление стало мощным катализатором многих значительных достижений не только в области создания программных продуктов, но и в других связанных с ней областях. Остановимся на краткой характеристике почти полувековой предыстории нынешнего состояния этой проблемы, ответив вначале на следующий вопрос.

Так в чем же суть новых упомянутых взглядов, идей?

База данных – это единое, вместительное хранилище разнообразных данных и описаний их структур, которое после своего определения, осуществляемого отдельно и независимо от приложений, используется одновременно многими приложениями. В базе данных хранимая информация организована в совместно используемый набор и логически связана между собой, точно также как в рассматриваемой соответствующей предметной области взаимосвязаны между собой объекты и явления. Поскольку структуры данных определяются средствами СУБД отдельно от приложений и хранятся в базе данных, то добавление новых структур данных или изменение существующих не влияет на приложения, не использующие измененные данные.

Система управления базами данных – это программное обеспечение, с помощью которого можно:

      устанав

      изменять данные, организуя выполнение разнообразных не фиксированных заранее запросов к данным;

      предоставлять пользователю доступ к информации базы данных, который обязательно должен быть контролируемым;

      производить поддержку обеспечения информационной безопасности;

      обеспечивать целостность данных;

      управлять режимом работы, контролируя процессы совместного многопользовательского доступа к информации;

      восстанавливать информацию, хранящуюся в базе данных, потерянную в результате различных сбоев (аппаратных или программных).

Надо заметить, что в полной мере эти взгляды (концепции) и их составляющие формировались не сразу, а со временем.

Программное обеспечение первыхСУБД связано с обработкой элементов или групп элементов данных. В подобной ситуации доступ к одним и тем же данным уже может осуществляться из разнообразных прикладных программ различными путями. Программное же обеспечение должно включать в себя некоторые средства ограничения избыточности. Из одних и тех же физических данных могут быть получены разные логические файлы. Для различных прикладных программ могут быть использованы общие элементы данных. Сами данные могут адресоваться на уровне полей и групп полей, а не на уровне записей. Поиск возможен по многим ключам. На прикладные программ не влияет усложнение форм организации данных.

Создатели первых СУБД ориентировались на организацию баз данных на больших машинах (IBM 360/370, ЕС-ЭВМ) и на мини-ЭВМ (PDP-11) с хранением их во внешней памяти центральной ЭВМ. Интерактивный режим пользователя обеспечивался с помощью консольных терминалов, используемых в качестве устройств ввода-вывода центральной ЭВМ. Программы обработки информации баз данных использовали такие же языки программирования, как и числовые задачи.

Очевидным, что по мере накопления опыта, полученного при проектировании первыхсистем управления базами данных, стало то, что для обеспечения программными средствами логической и физической независимости данных понадобился дополнительный уровень. Не изменения прикладных программ при изменении логической структуры данных предполагается логической независимостью. Изменение физического расположения и организации данных не вызывающее изменение в общей логической структуре данных и прикладных программах предполагается физической независимостью. Для обеспечения логической и физической независимости в системе обязательно должен быть организован администратор базы данных, должна быть организована эффективная защита данных, наличие языка описания данных, наличие языка запроса, а так же организован контроль и статистика исполнения работ в системе.

Насущная потребность отыскания наилучших решений перечисленных проблем была столь велика, что их мозговым штурмом занялись теоретики и практики всего мира. Все ждали кардинальных изменений, и они произошли.

В процесс совершенствования информационных технологий были сделаны такие достижения, которые трудно переоценить:

      предложена новая модель данных – реляционная;

      выполнены теоретические работы по оптимизации запросов и управлению распределенным доступом к централизованной базе данных;

      серьезные успехи в области администрирования данных.

И в то же самое время:

      функции управления распределением ресурсов в основном осуществляются средствами операционной системы (ОС);

      манипулирование данными реализуется с помощью языков низкого уровня.

Этот этап развития СУБД, также как и предыдущий, связан с организацией централизованных баз данных на больших машинах под управлением мощных мультипрограммных операционных систем (MVS, SVM, OSRV, RSX, UNIX).

Следующая фаза развития технологии баз данныхсовпадает по времени и во многом определяется появлением и захватом персональными компьютерами (ПК) всех сфер человеческой жизни: деловой, производственной, научной, бытовой. Этот захват приветствовался абсолютно всеми: опытными программистами и начинающими пользователями, руководителями всех рангов и исполнителями, взрослыми и детьми.

Изменив все бытовавшие ранее представления о месте и роли вычислительной техники в жизни общества, персональные компьютеры не могли не проделать то же самое в области информационных систем. Разработчики программного обеспечения для ПК легко добились своей цели – собрать вокруг компьютерной техники как можно больше пользователей различных уровней подготовки для работы на них. Случилось это потому, что появилось множество простых в обращении и интуитивно понятных программ с дружественным и комфортным интерфейсом, позволяющих не только производить различного рода вычисления, формировать тексты, документы, таблицы, графические изображения, но и автоматизировать многие сферы деятельности.

Всеобщее признание получила интуитивно понятная реляционная модель данных Кодда, имеющая в своей основе капитальную теоретическую базу. Наконец-то возникло доступное средство, о котором все мечтали: позволяющее автоматизировать процесс хранения, пополнения и обработки имеющейся в наличии информации, вести документацию и автоматизировать многие учетные функции – в конторе, в отделе, дома. Тем более что на рынке появилась новая разновидность программных продуктов – системы управления базами данных, которые наделяют даже начинающего пользователя возможностью организовать хранение данных с помощью встроенных в систему управления базой данных различных инструментальных средств: построителей, мастеров, конструкторов, организовать формирование разнообразных форм ввода и просмотра данных, отчетов и многого другого.

Однако, как часто бывает, широкая «демократизация» процесса доступа к персональному компьютеру имела и свою негативную сторону. Негативность данного процесса «демократизации» заключалась в том, что она привлекла в область обработки данных огромную армию дилетантов. Эти новобранцы, не приобретя систематических знаний в данной области и имея в своем распоряжении компьютерного «Сезама», наплодили большое количество недолговечных баз данных и приложений к ним, не отражающих достоверно объекты и связи избранной предметной области реального мира.

К сожалению, указанная армия не редеет, выбывают одни – появляются другие. Возможно, некоторые из них со временем уже и стали опытными программистами, а созданные ими системы хранения и управления информацией послужили вехами в процессе постижения необходимых знаний в данной области, но плохо то, что очень часто эти программные уродцы остаются жить. Бесценная для фирмы информация накоплена, и чтобы ее не потерять, сегодняшним специалистам приходится тратить массу усилий на то, чтобы перевести процесс обработки данных на современные рельсы. Вот почему всем желающим поработать в области создания информационных систем, прежде всего, необходимо ознакомиться с их теоретическими основами и практическими руководствами по использованию тех или иных программных продуктов, чтобы кажущаяся простота не сыграла и с ними злую шутку.

Положение некоторых фирм усугубили и некоторые программисты, приняв совсем необоснованно решение осуществить разработку системы управления базой данных своими силами, используя стандартные языки программирования. Время показало, что такие системы не выдержали острую конкуренцию ведущих фирм-производителей программных продуктов в области создания систем обработки данных. А попытка в рассматриваемом случае повысить производительность системы путем перехода к новой современной системы управления базой данных – совсем непростое дело, так как в этом случае обязателен перенос данных из нестандартных форматов, который порой требует настолько больших трудозатрат, что они сравнимы с теми, которые необходимы при разработке новой информационной системы.

Каковы же основные характеристики системы управления базой данных, устанавливаемых на персональных компьютерах? Приведем их.

      Поддержка реляционной модели данных.

      Сравнительно невысокие требования к техническим параметрам аппаратного обеспечения.

      Ориентация на создание баз данных в монопольном режиме работы.

      Практическое отсутствие функций администрирования базы данных.

      Развитый и удобный интерфейс.

      Разработка готовых приложений без программирования на основе многофункционального инструментария.

      Одинаковая поддержка как новых высокоуровневых языков манипулирования данными, так и низкоуровневых языков манипулирования данными.

      Поддержка только внешнего уровня представления модели данных.

      Отсутствие средств поддержки ссылочной и структурной целостности базы данных.

Наибольшую известность и распространение в рассматриваемый период времени получили такие системы управления базой данных, как: DbaseIII+, DbaselV, Paradox, FoxPro, Clipper, через тесное знакомство с которыми прошли многие программисты, очень хорошо освоившие разнообразные нюансы работы с ними.

Потребности в персональных системах управления базой данных не иссякают, поскольку число владельцев персональных компьютеров растет с большой скоростью. Во многих случаях для решения требуемых проблем дешевле и проще обойтись средствами персональной СУБД. Поэтому на рынок выходят все новые современные, впитывающие в себя последние технические и научные достижения в области обработки информации версии персональных системы управления базой данных.

Эйфория от процесса «персонализации» баз данныхзакончилась так, как и должна была закончиться – осознанием возможностей таких баз и сфер их применения. Задача «интеграции»информации вышла на самый первый план, она настойчиво требовала своего решения. Для этого понадобилось разрабатывать новые подходы и концепции в организации баз данных, отыскивать новые аппаратные и программные их реализации. Разработчикам компьютерных и программных систем пришлось «бешеными» темпами наращивать мощность компьютеров и расширять возможности коллективной работы с данными за счет объединения данных в сети.

Трудились, что называется, «в поте лица». И результаты не замедлили сказаться. Весь мир еще не до конца осознал, что же он получил. Сегодня он опутан паутиной различных сетей – локальных, корпоративных, глобальных, по которым ураганом, от компьютера к компьютеру, передается разнообразная информация. Такой стиль жизни диктует свои правила. Каждая вновь возникшая фирма знает, что ее первоочередная задача – оснастить себя компьютерами, следом за которой необходимо решить другие – организовать купленные компьютеры в локальную сеть и создать свою информационную систему, а затем – обеспечить выход в глобальную сеть, с тем, чтобы иметь доступ к любой понадобившейся информации.

Быстрыми темпами прошел свой эволюционный путь и основной инструмент для работы с данными – система управления базой данных: от однопользовательских систем, которые устанавливаются на отдельном персональном компьютере, до многопользовательских, серверных систем или мейнфреймов.

На настоящий момент серверы баз данных представляют собой наиболее мощное и надежное прикладное программное обеспечение для коллективной работы с данными. Однако известная истина, что за все надо платить, и в этом случае доказала свою справедливость: обладая большими возможностями такие системы отличаются повышенной сложностью и стоимостью.

Причем очевидно, что сам процесс становления информационных технологий постоянно порождает очередные новые проблемы. Специалисты утверждают, что развитие систем баз данных еще не завершено, как это может показаться на первый взгляд, можно сказать, что мы находимся «в конце начала их развития».

Вот такой оценкой сегодняшнего состояния дел в области информационных технологий заканчивается этот подраздел, основные моменты которого будут рассмотрены в следующем.