Главная страница
Навигация по странице:

  • Величина

  • Этапы обращения информации

  • ХРАНЕНИЕ И ОБРАБОТКА ПОДГОТОВКА

  • ВОСПРИЯТИЕ ОТОБРАЖЕНИЕ

  • ИСТОЧНИК ИНФОРМАЦИИ Информационная система (ИС)

  • С ообщение Сигнал Модулированный сигнал

  • Смесь сигнала и помехи Получатель Приемное устройство (демодулятор) Решающее устройство

  • Демодулированный сигнал и помеха Сообщение * Сигнал *

  • Лекции - Теория информации. Лекция 1. Теория информации. Понятие видов информации


    Скачать 1.15 Mb.
    НазваниеЛекция 1. Теория информации. Понятие видов информации
    АнкорЛекции - Теория информации.doc
    Дата13.03.2018
    Размер1.15 Mb.
    Формат файлаdoc
    Имя файлаЛекции - Теория информации.doc
    ТипЛекция
    #16638
    страница1 из 6
      1   2   3   4   5   6


    ЛЕКЦИЯ №1. ТЕОРИЯ ИНФОРМАЦИИ.


      1. Понятие видов информации.


    В интересах технических проблем удобно информацию классифицировать по структурно-метрическим свойствам.


    Вид информации

    Формы представления информации

    Топологическая

    Абстрактная

    Лингвистическая

    1.События

    точка

    суждение

    знак

    2. Величина

    линия

    понятие

    буква

    3. Функция

    поверхность

    образ

    слово

    4 Комплекс информации

    объем

    система

    предложение

    5.Поле

    пространство

    универсуум

    фонд


    Событие- это первичный и неделимый двоичный элемент информации. Как правило, это выбор из двух возможных состояний. Учитывая двоичный характер события, условно его можно представить в геометрической символике точкой или пробелом, в арифметике- 0 или 1, в сигнальной- импульсом или паузой. Еще говорят, что событие- это категория нулевой меры. Все другие категории информации могут быть представлены как совокупность отдельных событий.

    Величина есть упорядоченное множество событий в одном измерении. Величина – одномерное поле событий. Функция- это соотношение между двумя величинами. Функция – двумерное поле событий. Комплекс информации – это соотношение между тремя величинами и, соответственно, трехмерное поле событий. Поле- это зависимость между большим количеством величин (больше трех).
    1.2 Основные понятия комбинаторики.
    Комбинаторика- это раздел математики, посвященный решению задач выбора и расположения элементов некоторого обычного конечного множества в соответствии с заданными правилами. Каждое такое правило определяет способ построения некоторой конструкции исходного множества, которое называется комбинаторной конфигурацией. К таким конфигурациям относятся перестановки, сочетание и размещение.

    1.Перестановка.
    Qn = n! ( без повторений элементов)

    Правило организации перестановок: комбинации отличаются порядком следования элементов и не зависит от состава.
    Qnn=
    2. Сочетание- формирование из исходного множества n элементов комбинаторных конфигураций из m элементов, причем эти конфигурации отличаются только составом элементов и не зависят от порядка их следования.
    Qc= (без повторений элементов)
    Qc=
    3. Размещения
    Qp = (без повторений элементов)

    Qp =
    Главное свойство размещений в том, что комбинации отличаются как составом элементов, так и порядком их следования.
    1.3 Случайные модели в теории информации.
    Случайное событие – это любой факт, который в результате опыта может произойти, а может и не произойти.

    Пусть А – некоторое событие, P(A)- вероятность этого события.





    Если  , а событие U=1,тогда U-достоверное, а события Ai образуют полную группу событий.
    Если ,,V-невозможное, то А и B являются несовместными.
    -обратные, если они несовместные и образуют полную группу.

    Пусть N-серия опытов, , N-большое.




    Во многих случаях случайное событие А является следствием происхождения некоторой совокупности





    Случайная величина-переменная, которая в результате опыта может принимать то или иное неизвестное значение из известного множества значений. Случайные величины могут быть непрерывными и дискретными.

    Полной статистической характеристикой случайной величины является закон распределения вероятностей (это зависимость между возможными значениями дискретной величины и вероятностями).

    Пусть  – дискретная случайная величина.

    pi








    x

    x1 x2 ……xi....xn
    Функция распределения:

    Свойства :

    1..

    2., если x2 ≥ x1.

    3.
    Математическое ожидание: (ДСВ)
    Дисперсия:  (ДСВ)
    Чаще используют плотность распределения информации, которая является дифференциальной функцией распределения вероятности:

    Свойства плотность распределения:

    1. ≥ 0.

    2. .

    3. .


     (HCB)

     (HCB)
    1.4 Основные понятия теории информации
    В середине 20-века происходит стремительный переход от индустриального общества к информационному. Этот процесс называется информатизацией. В Японии и странах Европы принимается программы информатизации. Целью таких программ явилось наиболее полное использование информационных ресурсов для ускорения экономического, социального, экологического и т.д. развития общества.

    В России эта программа была принята в 1989 году. Её завершение планировалось в 2050-е годы. Если страна с любым уровнем индустриального развития опоздает с информатизацией всех сфер жизни, то она переходит в разряд стран третьего мира.

    Базовым понятием процессов автоматизации, как и всей теории информации, является понятие информации. Информация трактуется как осведомленность. В широком смысле информация- это отражение реального мира, в узком - сведения, являющиеся объектом хранения, преобразования и передачи.

    Теория информации (ТИ) – это наука о получении, накоплении, преобразовании, отображении и передачи информации.

    В теории информации можно выделить три направления:

    1. Структурная теория - рассматривает структуру построения информационных сообщений, массивов и их измерения подсчетом информационных элементов или комбинаторным методом. Основной структурной единицей информации считается квант.

    2. Статистическая теория - оценивает информацию с точки зрения мер неопределенности. В этой теории оперируют понятием энтропии, которая учитывает вероятностные свойства и характеристики информационных элементов.

    3. Семантическая теория - занимается изучением смысловых характеристик информации (ценность, содержательность информации).

    Строго говоря, наука теории информации состоит из:

    1. ТИ, где рассматривают характеристики информационных сообщений, меры измерения информации, а также модели и методы описания сообщений и их свойства.

    2. Теория кодирования- рассматривает способы кодирования источников сообщений, сигналов, а также модели и особенности передачи информации по каналам связи, характеристики и свойства кодов.

    3. Прикладная ТИ – рассматривает модели и способы организации базовых информационных процессов.

    Возникновение ТИ, как науки, связано с появлением работы К.Шеннона « Математическая теория связи» в 1948 году. В 1933 году Котельников предложил теорию представления непрерывной функции виде её дискретных отсчетов.

    Основной формой представления информации является сообщение. Под сообщением понимают информацию, представленную в определенной форме и подлежащую передачи. Сообщение может быть как непрерывным, так и дискретным. Сообщение само по себе передаваться не может. Носителем сообщений является сигнал. Сигнал- это материальный переносчик сообщений, т.е. это физическая величина, у которой один или несколько параметров изменяются в соответствии с отображаемым или предаваемым сообщением.
    Этапы обращения информации:

    ПЕРЕДАЧА







    ХРАНЕНИЕ И ОБРАБОТКА

    ПОДГОТОВКА











    ВОСПРИЯТИЕ

    ОТОБРАЖЕНИЕ





    ВОЗДЕЙСТВИЕ





    ИСТОЧНИК ИНФОРМАЦИИ

    Информационная система (ИС) - есть совокупность средств (аппаратных и программных), реализующих базовые информационные процессы для достижения определенных целей. К базовым процессам относятся процессы, реализующиеся на этапах обращения информации. Если ИС включает в свой состав человека, то её называют автоматизированной. Если в ней не присутствует человек, то - автоматической. Если ИС связана с управлением, то её называют системой управления. В системах управления выделяют автоматизированные системы управления (АСУ) и систему автоматического управления (САУ).

    Практическое занятие
    1.Информационный процесс на примере передачи информации по каналу связи. ПОМЕХИ

    Кодек Модем

    Сообщение Сигнал Модулированный сигнал


    Источник сообщения (источник информации+первичный преобразователь)

    Кодирующее устройство

    Передающее устройство

    (модулятор)

    Линия связи






    Смесь сигнала и помехи

    Получатель

    Приемное устройство

    (демодулятор)

    Решающее устройство

    Декодирующее устройство



    Демодулированный сигнал и помеха

    Сообщение * Сигнал *


    Источник сообщения в общем виде представляет собой совокупность источника информации (наблюдаемый процесс, объект, явление), а также первичный преобразователь ( различного рода датчики, человек- оператор, либо специальные преобразователи кода). На выходе источника, как правило, дискретное сообщение, формируемое в форме последовательности символов, которые образуют сообщения. Отдельные символы называются знаками. Множество знаков составляет алфавит сообщения, а их количество- объем.

    Непрерывная информация, являющаяся функцией времени ( речь, видеоизображение) также может быть преобразовано в дискретное сообщение путем дискретизации по времени и квантованию по уровню( согласно теореме Котельникова).

    Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называется кодированием в широком смысле. В узком смысле кодирование- это отображение дискретных сообщений сигналами в виде определенных сочетаний символов. Кодирование реализуется кодером. В частности, он решает две задачи:

    1.Устранение вредной избыточности из сообщения, т.е. данных, не несущих никакой информации. Такое кодирование называется оптимальным или эффективным.

    2.Введение полезной избыточности, т.е. введение таких дополнительных данных, которые позволяют обнаруживать и исправлять возможные ошибки в процессе передачи информации по каналу связи. Такое кодирование называется помехоустойчивым. Процедуру обратную кодированию реализует декодер.

    Декодер решает также две задачи:

    1.Восстановление исходного сообщения в вид, пригодный для получателя.

    2.Решается задача оптимального приема, т.е. принятый сигнал обрабатывается с учетом априорной информации о сообщении. Это позволяет достичь высокой степени достоверности принятого сигнала.

    Часто эти устройства конструктивно выполняются в едином блоке. После кодирования сигнал поступает на передающее устройство, которое осуществляет преобразование непрерывных сигналов, как носителей информации или знаков сообщения в сигнал, удобный для прохождения по линии связи.

    Модулированный сигнал- это сигнал, у которого один или несколько параметров изменяются в соответствии с заданным сообщением. Устройство, реализующее этот процесс, называется модулятором. Иногда говорят, что модулятор обеспечивает сжатие сигнала и согласование свойств сигнала и линий связи.

    Линия связи - это некая среда, по которой передается сигнал. Различают воздушные, проводные, оптические, акустические и т.д. линии связи.

    Главной особенностью линий связи является то, что в процессе прохождения по ним сигнала, на него оказывается воздействие помех. Помехи- это любые мешающие возмущения как внешние, так и внутренние, вызывающие отклонение принятых сигналов от переданных. Поэтому на входе приемного устройства действует смесь сигнала и помехи. В приемном устройстве в основном с помощью демодулятора( детектора) происходит процесс обратного выделения полученного сигнала в смеси с помехой. В решающем устройстве реализуются процедуры оптимальной обработки смеси сигнала и помехи с целью наиболее полного извлечения полученного сигнала из этой смеси. Однако как сигнал на выходе решающего устройства, так и сообщение на выходе декодера отличаются от переданного сообщения и сигнала из наличия помех в линии связи. Меру соответствия принятого сообщения посланному называют вероятностью передачи.

    При синтезе систем передачи информации приходится решать две основные проблемы:

    1. Обеспечение помехоустойчивости передачи сообщения.

    2. Обеспечение высокой эффективности передачи сообщения.

    Помехоустойчивость – это способность информационной системы или системы передачи информации противостоять вредному воздействию помех. Помехоустойчивость может задаваться показателем вероятности передачи при некоторых заданных характеристиках помех.

    Эффективность – это способность информационной системы обеспечивать передачу заданного количества информации с наименьшими затратами мощности сигнала, времени на передачу и полосы частот.

    Теория информации устанавливает критерии оценки помехоустойчивости и эффективности информационных систем. Надо иметь ввиду, что помехоустойчивость и эффективность как бы обратно пропорциональные качества.


    2.
    A =, причем, ,.

    Если задана объединенная вероятностная схема А (см. выше),а также вероятностная схема события В:

    , причем , ,,
    тогда можно задать объединенную вероятностную схему некоторого события С, которое будет имеет вид:
    С = ,

    где ,  , , , .
    Введем условные обозначения:



    Понятие избыточности

    Из свойства , где N- количество букв в заданном алфавите, вытекает:

      1   2   3   4   5   6


    написать администратору сайта