Лекции. лекции оти. Лекция 1. Теория информации. Понятие видов информации

• Название: Лекция 1. Теория информации. Понятие видов информации
• Анкор: Лекции
• Дата: 01.11.2022
• Размер: 1.19 Mb.
• Имя файла: лекции оти.doc
• Тип: Лекция; #765590
• страница: 2 из 6

R = H₀ - H -абсолютная избыточность
  -относительная избыточность


ЛЕКЦИЯ №2. МЕРЫ ИНФОРМАЦИИ

1. 
   Классификация мер информации.
   

В зависимости от направлений исследований теории информации различают её меры, а именно:

1. 
   Структурные
   
2. 
   Синтаксические
   
3. 
   Семантические
   
4. 
   Прагматические
   

Прагматическая мера информации определяет полезность или ценность этой информации для достижения пользователем своих целей. Например, емкость памяти, производительность ПК и т.п.

Семантическая мера основывается на понятии содержания информации. Единицей измерения этой меры является тезаурус ( совокупность сведений, которыми располагает пользователь или система).

Структурная мера информации определяется подходом к оценке особенности структуры сообщений. Среди структурных мер различают: геометрическую, комбинаторную, аддитивно-логарифмическую. Геометрической мерой определяется потенциальное (максимально возможное) количество информации в заданной структуре сообщения. Это количество называют информационной емкостью исследуемой части ИС. Информационным элементом в геометрической мере является квант как неделимая часть информации, т.е. информационную емкость можно представить числом, показывающим, какое количество квантов содержится в полном массиве информации.


X T N-массив информации;  ;
 ,  ,  



Комбинаторной мере используют различные комбинаторные конфигурации, заданных множеств элементов в случае, если требуется оценить возможности передачи информации с помощью таких комбинаторных комбинаций.

Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Образование комбинаций в структуре комбинационных элементов есть одна из форм кодирования информации. С помощью комбинаторных мер оценке подвергается комбинаторное свойство потенциального структурного разнообразия комплексов. Комбинирование элементов в информационных комплексах базируется на основных понятиях комбинаторики.

В отличие от геометрической меры комбинаторная - это не просто подсчет квантов, а определение количества возможных (осуществимых) комбинаторных элементов.

В прикладной теории информации для представления структуры информационного комплекса используется следующее понятие:




Ч исловое гнездо





















h -глубина кода (основание системы счисления)




l- длина кода

(размерность кода или кодового слова)

1.Глубина (или основа кода) h- это количество различных элементов или знаков, содержащихся в алфавите кодирования, т.е. объем алфавита одного разряда кодового слова. Полный алфавит занимает одно числовое гнездо.

2. Длина кода l- это число гнезд, т.е. количество повторений алфавита, необходимых и достаточных для представления чисел нужной размерности.

h= 2; 8; 10; 16; …

l= 16; 32; 64; ….

В общем случае информационная емкость определяется числом размещений из h по l:



Мера информации по Хартли:

Для практического удобства использования комбинаторной меры Хартли ввел аддитивно- логарифмическую меру информации, позволяющую вычислить количество информации в двоичных единицах. Единица измерения этого количества информации - бит.

Один разряд двоичного кода может нести информацию равную 1-му биту или 1 бит – это количество информации, заключенное в одном событии, которое может произойти, а может и не произойти. Аддитивность меры Хартли заключается в том, что она позволяет производить суммирование количество информации отдельных элементов информационного комплекса (как по разрядам, так и по числу гнезд).

Если принять, что log₂h=I₁,то I_x=l  I_x

Синтаксическая (статистическая) мера определяется, как правило, вероятностными характеристиками элементами сообщения. Направление статистической теории информации дает оценки информационной системы в конкретных проявлениях. В качестве меры информации используют понятие энтропии.

Энтропия- мера неопределенности , учитывающая вероятность появления некоторого события, а ,следовательно, информативность этого события. Частые ожидаемые события несут мало информации, а редкие события, наоборот, обладают высоким информационным содержанием. Следовательно, количество информации или вероятность события находятся в обратно пропорциональной зависимости.

2. 
   Энтропия вероятностной схемы. Основные свойства энтропии.
   

Аксиомы Хинчена и Фадеева.

Простейший дискретный источник сообщений можно представить вероятностной схемой событий.
X = , причем ,  , .
Для заданной схемы справедливыми будут считаться аксиомы:

1. 
   Информация одиночного события   , происходящего с вероятностью p_i имеет положительное значение:
   

2. 
   Имеет место для случая объединенной вероятностной схемы, например для X и Y, тогда совместная информация двух независимых событий x_i и y_j, которые обладают совместной плотностью вероятности  , будет иметь вид:
   

3. 
   Информация I(p_i) - это есть непрерывная функция от вероятности.
   

Аксиомы 1 и 2 подтверждают как бы то, что информация нескольких событий не может взаимно уничтожиться.

Аксиома 3 говорит о том, что при изменении вероятности события количество информации в нем неминуемо изменится.

Из этих аксиом следует, что информация является логарифмической функцией от вероятности.

Вернемся к простейшему дискретному источнику, заданному вероятностной схемой, для которого найдем среднее значение информации виде:

  ,

где n_i- частота появления i-го события в заданном множестве X;

k- количество разных событий;

I_i- количество информации i-го события

Но если  , тогда получим:



Энтропия события:



Свойства энтропии:
1.Энтропия всегда неотрицательна.


2.Энтропия равна нулю в том крайнем случае, когда вероятность одного из событий равна 1.Это случай, когда о сообщении все известно и результат не приносит никакой информации.

H(p)

1 H₀

0 0,5 p

3.Энтропия сообщения максимальна, если события равновероятны.

Т.е., если  , то .

Это свойство определяется в падении информации по Шеннону и по Хартли. В случае неравновероятности событий количество информации по Шеннону всегда меньше потенциальной информативной емкости.

4.Энтропия аддитивна.

Пусть задано два сообщения A=  и B= .

C= , A и B являются независимыми и составляют полную группу, т.е.  





 

Кроме аксиом Шеннона, которые использовались для формулировки понятия энтропии, им были использованы специальные подходы. Подходы Шеннона к определению количества информации сообщения длиной L в условиях заданной вероятностной схемы сопровождается специальными требованиями:

1. 
   Пустое сообщение не содержит информации.
   

 =0

2. 
   Количество информации, содержащейся в сообщении, пропорционально его длине.
   

  , то  .

Если есть некоторое сообщение T длиной L символов некоторого алфавита А объемом n, то количество информации  , где  .

Хинчен и Фадеев через задание своих аксиом показали, что энтропия конечной вероятностной схемы однозначно определяется с точностью до постоянного множителя.

 , C .

Аксиомы Хинчена

1.Энтропия конечной вероятностной схемы ненулевая, непрерывная по вероятностям p_i при условиях:

1. ;

2.  .

2.Энтропия, заданная конечной вероятностной схемой, симметрична по p_i.

3. Энтропия, заданная конечной вероятностной схемой, при наличии пустого сообщения равна энтропии, заданная конечной вероятностной схемой без этого сообщения.



4.Энтропия объединенной вероятностной схемы:

 , где  , 

5. Энтропия конечной вероятностной схемы при равновероятных событиях:  

Аксиомы Фадеева

1. 
     – непрерывна при условиях:   и положительна хотя в одной точке.
   
2. 
    - симметрична по  .
   
3. 
   При    где  .
   

В дальнейшем все эти подходы Шеннона, Хинчена, Фадеева позволяют характеризовать производительность источника, оценивать возможности сжатия информации и анализировать пропускную способность канала.

3. 
   Взаимная информация и её свойства.
   

Условная энтропия.
Для непрерывных величин  .

Рассмотрим два связанных источника:


A





B
С= 

A= 

B= .

Если два источника считать связанными друг с другом, то следует ожидать, что событие одного источника позволяют делать некоторые предположения о событиях другого. В терминах теории информации это означает, что неопределенность второго источника снижается, т.е. источники обмениваются взаимной информацией. Известно, что для совместных событий между собственной, условной и совместной вероятностями существует зависимость, имеющая вид:



Прологарифмируем данное выражение:

 = .

Из полученных выражений видно, что собственная информация пары событий   определяется суммой собственных информаций каждого из событий за вычетом некоторой неотрицательной величины, которая снижает неопределенность, т.е. она сама в свою очередь является информацией. Эту величину называют взаимной информацией пары событий:

 .

Если взять  , тогда для этой случайной величины можно использовать понятие математического ожидания.

I(A;B)= 

Свойства взаимной информации.

1. 
   Взаимная информация положительна.
   
2. 
   Взаимная информация симметрична относительно пары вероятностных схем.
   

I(А;B)=I(B;A)

3. 
   Если сообщение A и B – независимы, т.е. не совместны, то взаимная информация I(А;B)=0.
   

Если сообщения A и B полностью зависимы, а именно совпадают, т.е. A и B содержат одну и ту же информацию, то взаимная информация:

I(А;B)=I(A)+I(B)