Лекции - Теория информации. Лекция 1. Теория информации. Понятие видов информации

• Название: Лекция 1. Теория информации. Понятие видов информации
• Анкор: Лекции - Теория информации.doc
• Дата: 13.03.2018
• Размер: 1.15 Mb.
• Имя файла: Лекции - Теория информации.doc
• Тип: Лекция; #16638
• страница: 2 из 6

R = H₀ - H -абсолютная избыточность
 -относительная избыточность


ЛЕКЦИЯ №2. МЕРЫ ИНФОРМАЦИИ

1. 
   Классификация мер информации.
   

В зависимости от направлений исследований теории информации различают её меры, а именно:

1. 
   Структурные
   
2. 
   Синтаксические
   
3. 
   Семантические
   
4. 
   Прагматические
   

Прагматическая мера информации определяет полезность или ценность этой информации для достижения пользователем своих целей. Например, емкость памяти, производительность ПК и т.п.

Семантическая мера основывается на понятии содержания информации. Единицей измерения этой меры является тезаурус ( совокупность сведений, которыми располагает пользователь или система).

Структурная мера информации определяется подходом к оценке особенности структуры сообщений. Среди структурных мер различают: геометрическую, комбинаторную, аддитивно-логарифмическую. Геометрической мерой определяется потенциальное (максимально возможное) количество информации в заданной структуре сообщения. Это количество называют информационной емкостью исследуемой части ИС. Информационным элементом в геометрической мере является квант как неделимая часть информации, т.е. информационную емкость можно представить числом, показывающим, какое количество квантов содержится в полном массиве информации.


X T N-массив информации; ;
, , 



Комбинаторной мере используют различные комбинаторные конфигурации, заданных множеств элементов в случае, если требуется оценить возможности передачи информации с помощью таких комбинаторных комбинаций.

Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Образование комбинаций в структуре комбинационных элементов есть одна из форм кодирования информации. С помощью комбинаторных мер оценке подвергается комбинаторное свойство потенциального структурного разнообразия комплексов. Комбинирование элементов в информационных комплексах базируется на основных понятиях комбинаторики.

В отличие от геометрической меры комбинаторная - это не просто подсчет квантов, а определение количества возможных (осуществимых) комбинаторных элементов.

В прикладной теории информации для представления структуры информационного комплекса используется следующее понятие:




Числовое гнездо





















h -глубина кода (основание системы счисления)




l- длина кода

(размерность кода или кодового слова)

1.Глубина (или основа кода) h- это количество различных элементов или знаков, содержащихся в алфавите кодирования, т.е. объем алфавита одного разряда кодового слова. Полный алфавит занимает одно числовое гнездо.

2. Длина кода l- это число гнезд, т.е. количество повторений алфавита, необходимых и достаточных для представления чисел нужной размерности.

h= 2; 8; 10; 16; …

l= 16; 32; 64; ….

В общем случае информационная емкость определяется числом размещений из h по l:



Мера информации по Хартли:

Для практического удобства использования комбинаторной меры Хартли ввел аддитивно- логарифмическую меру информации, позволяющую вычислить количество информации в двоичных единицах. Единица измерения этого количества информации - бит.

Один разряд двоичного кода может нести информацию равную 1-му биту или 1 бит – это количество информации, заключенное в одном событии, которое может произойти, а может и не произойти. Аддитивность меры Хартли заключается в том, что она позволяет производить суммирование количество информации отдельных элементов информационного комплекса (как по разрядам, так и по числу гнезд).

Если принять, что log₂h=I₁,то I_x=l I_x

Синтаксическая (статистическая) мера определяется, как правило, вероятностными характеристиками элементами сообщения. Направление статистической теории информации дает оценки информационной системы в конкретных проявлениях. В качестве меры информации используют понятие энтропии.

Энтропия- мера неопределенности , учитывающая вероятность появления некоторого события, а ,следовательно, информативность этого события. Частые ожидаемые события несут мало информации, а редкие события, наоборот, обладают высоким информационным содержанием. Следовательно, количество информации или вероятность события находятся в обратно пропорциональной зависимости.

2. 
   Энтропия вероятностной схемы. Основные свойства энтропии.
   

Аксиомы Хинчена и Фадеева.

Простейший дискретный источник сообщений можно представить вероятностной схемой событий.
X =, причем, ,.
Для заданной схемы справедливыми будут считаться аксиомы:

1. 
   Информация одиночного события  , происходящего с вероятностью p_i имеет положительное значение:
   

2. 
   Имеет место для случая объединенной вероятностной схемы, например для X и Y, тогда совместная информация двух независимых событий x_i и y_j, которые обладают совместной плотностью вероятности , будет иметь вид:
   

3. 
   Информация I(p_i) - это есть непрерывная функция от вероятности.
   

Аксиомы 1 и 2 подтверждают как бы то, что информация нескольких событий не может взаимно уничтожиться.

Аксиома 3 говорит о том, что при изменении вероятности события количество информации в нем неминуемо изменится.

Из этих аксиом следует, что информация является логарифмической функцией от вероятности.

Вернемся к простейшему дискретному источнику, заданному вероятностной схемой, для которого найдем среднее значение информации виде:

 ,

где n_i- частота появления i-го события в заданном множестве X;

k- количество разных событий;

I_i- количество информации i-го события

Но если , тогда получим:



Энтропия события:



Свойства энтропии:
1.Энтропия всегда неотрицательна.


2.Энтропия равна нулю в том крайнем случае, когда вероятность одного из событий равна 1.Это случай, когда о сообщении все известно и результат не приносит никакой информации.

H(p)

1 H₀

0 0,5 p

3.Энтропия сообщения максимальна, если события равновероятны.

Т.е., если , то.

Это свойство определяется в падении информации по Шеннону и по Хартли. В случае неравновероятности событий количество информации по Шеннону всегда меньше потенциальной информативной емкости.

4.Энтропия аддитивна.

Пусть задано два сообщения A= и B=.

C=, A и B являются независимыми и составляют полную группу, т.е. 







Кроме аксиом Шеннона, которые использовались для формулировки понятия энтропии, им были использованы специальные подходы. Подходы Шеннона к определению количества информации сообщения длиной L в условиях заданной вероятностной схемы сопровождается специальными требованиями:

1. 
   Пустое сообщение не содержит информации.
   

=0

2. 
   Количество информации, содержащейся в сообщении, пропорционально его длине.
   

 , то .

Если есть некоторое сообщение T длиной L символов некоторого алфавита А объемом n, то количество информации , где .

Хинчен и Фадеев через задание своих аксиом показали, что энтропия конечной вероятностной схемы однозначно определяется с точностью до постоянного множителя.

, C.

Аксиомы Хинчена

1.Энтропия конечной вероятностной схемы ненулевая, непрерывная по вероятностям p_i при условиях:

1.;

2. .

2.Энтропия, заданная конечной вероятностной схемой, симметрична по p_i.

3. Энтропия, заданная конечной вероятностной схемой, при наличии пустого сообщения равна энтропии, заданная конечной вероятностной схемой без этого сообщения.



4.Энтропия объединенной вероятностной схемы:

, где ,

5. Энтропия конечной вероятностной схемы при равновероятных событиях: 

Аксиомы Фадеева

1. 
    – непрерывна при условиях:  и положительна хотя в одной точке.
   
2. 
   - симметрична по .
   
3. 
   При  где .
   

В дальнейшем все эти подходы Шеннона, Хинчена, Фадеева позволяют характеризовать производительность источника, оценивать возможности сжатия информации и анализировать пропускную способность канала.

3. 
   Взаимная информация и её свойства.
   

Условная энтропия.
Для непрерывных величин .

Рассмотрим два связанных источника:


A





B
С=

A=

B=.

Если два источника считать связанными друг с другом, то следует ожидать, что событие одного источника позволяют делать некоторые предположения о событиях другого. В терминах теории информации это означает, что неопределенность второго источника снижается, т.е. источники обмениваются взаимной информацией. Известно, что для совместных событий между собственной, условной и совместной вероятностями существует зависимость, имеющая вид:



Прологарифмируем данное выражение:

=.

Из полученных выражений видно, что собственная информация пары событий  определяется суммой собственных информаций каждого из событий за вычетом некоторой неотрицательной величины, которая снижает неопределенность, т.е. она сама в свою очередь является информацией. Эту величину называют взаимной информацией пары событий:

.

Если взять , тогда для этой случайной величины можно использовать понятие математического ожидания.

I(A;B)=

Свойства взаимной информации.

1. 
   Взаимная информация положительна.
   
2. 
   Взаимная информация симметрична относительно пары вероятностных схем.
   

I(А;B)=I(B;A)

3. 
   Если сообщение A и B – независимы, т.е. не совместны, то взаимная информация I(А;B)=0.
   

Если сообщения A и B полностью зависимы, а именно совпадают, т.е. A и B содержат одну и ту же информацию, то взаимная информация:

I(А;B)=I(A)+I(B)