Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова

• Название: Лекции по теории информации под редакцией Н. А. Кузнецова
• Анкор: Лекции по теории информации
• Дата: 17.04.2022
• Размер: 1.32 Mb.
• Имя файла: Фурсов teoria_informacii.pdf
• Тип: Лекции; #480820
• страница: 6 из 16

5.3 Свойства дифференциальной энтропии
Дифференциальная энтропия в отличие от энтропии дискретного источни- ка является относительной мерой неопределенности, т.к. её значения зависят от масштаба непрерывной величины. Действительно, предположим, что непре- рывная случайная величина Z изменилась в
k
раз. Поскольку всегда должно выполняться условие нормировки:
( ) ( )
( )
1
p kz d kz
k
p kz dz








, имеет место следующее соотношение для плотностей исходной и масштабиро- ванной величин
 
 
p z
p kz
k

(5.11)
С учетом (5.11) в соответствии с (5.3) имеем


2 2
2 2
2 2
(
)
( ) log
( )
( )
( ) log
( )
log
( ) log
( )
log
( )
( )
log
h kZ
p kz
p kz
d kz
p z
p z
k dz
p z
p z dz
k
p z dz h Z
k








 



 


 







(5.12)
Из (5.12) следует, что из-за выбора различных
k
дифференциальная энтропия может принимать положительные, отрицательные и нулевые значения.
Дифференциальная энтропия не зависит от параметра сдвига
Const
 
, т.е.


 
h Z
h Z
  
. Действительно, используя замену
V
Z

 
, при которой пределы интегрирования не изменяются, а
dz
dv

имеем:
 
2 2
(
)
(
) log
(
)
( ) log
( )
h Z
p z
p z
dz
p v
p v dv
h V




   
 
 

 



(5.13)

50
5.4 Распределения, обладающие максимальной
дифференциальной энтропией
Сформулируем следующую задачу. Определить плотность
( )
p z
, обеспечи- вающую максимальное значение функционала
2
( )
( ) log
( )
h Z
p z
p z dz


 

,
(5.14) при ограничении
( )
1
p z dz




(5.15)
Функция Лагранжа в указанной (изопериметрической) задаче имеет вид
2
( , )
( ) log
( )
( )
F p
p z
p z
p z





,
(5.16) где

, в данном случае постоянный, неопределенный множитель Лагранжа.
Необходимые условия экстремума (5.16) даются соотношением
2 2
( , )
log
( )
log
0
F p
p z
e
p








(5.17)
Искомая плотность


( ) 1
,
p z
z






 
получается в результате совме- стного решения (5.15), (5.17). Это означает, что если единственным ограниче- нием для случайной величины является область возможных значений:


,
Z
 

, то максимальной дифференциальной энтропией обладает равномер- ное распределение вероятностей в этой области.
Снимем теперь ограничение на область возможных значений, но добавим ограничение на величину дисперсии:
2
( )
( ) log
( )
h Z
p z
p z dz
мах


 


,
(5.18) при
( )
1
p z dz




,
(5.19)
2 2
( )
z p z dz





(5.20)

51
Функция Лагранжа в данном случае принимает вид
2 1
2 2
1 2
( ,
,
)
( ) log
( )
( )
( )
F p
p z
p z
p z
z p z
 






, а соответствующее уравнение Эйлера
2 2
2 1
2
( , )
log
( )
log
0
F p
p z
e
z
p










(5.21)
Непосредственной подстановкой можно убедиться, что гауссовская плотность
2 2
1
( )
exp
2 2
z
p z

 








удовлетворяет необходимому условию (5.21) экстремума (в данном случае мак- симума) функционала (5.18) и заданным изопериметрическим ограничениям
(5.19), (5.20). Заметим, что при выводе для простоты математическое ожидание мы приняли равным нулю, поскольку дифференциальная энтропия все равно не зависит от параметра сдвига.

52
Лекция 6
Количество информации как мера снятой неопределенности
6.1 Количество информации при передаче отдельного элемента
дискретного сообщения
Предположим, что задан некоторый дискретный источник информации, характеризующийся дискретным вероятностным ансамблем:
1 2
1 2
( )
( )
(
)
N
N
z
z
z
Z
p z
p z
p z
  


 

  


, где
,
1,
i
z
i
N

– его возможные состояния. Каждому состоянию источника можно поставить в соответствие отдельный первичный сигнал. Некоторую за- данную совокупность первичных сигналов, поступающих с выхода источника информации на вход канала связи принято называть сообщением, а
i
z – элемен- том сообщения.
Если состояния источника реализуются независимо друг от друга, то част- ная априорная неопределённость появления на входе канала элемента сообще- ния
i
z в соответствии с (4.6) определяется как
 
 
2
log
i
i
H z
p z
 
(6.1)
Предположим, что статистическая связь между помехой и элементами со- общения отсутствует и известны условные вероятности того, что вместо
i
z при- нимается
j
v
:


/
,
1,
,
1,
i
j
p z v
i
N
j
K


Таким образом, если на выходе канала получен элемент
j
v
, то становится из- вестной апостериорная вероятность


/
i
j
p z v
. Следовательно, можно опреде- лить апостериорную частную неопределённость:
 


2
log
/
j
v
i
i
j
H
z
p z v
 
(6.2)

53
Частное количество информации, полученное в результате того, что стал известен элемент
j
v
, определим как разность априорной и апостериорной неоп- ределенностей:


 
 
 




 
2 2
2
,
/
log log
/
log
j
i
j
i
v
i
i
j
i
i
j
i
I z v
H z
H
z
p z v
p z
p z v
p z



 


(6.3)
Таким образом, частное количество информации равно величине неопределён- ности, которая снята в результате получения элемента сообщения
j
v
6.2 Свойства частного количества информации
1. Частное количество информации уменьшается с ростом априорной ве- роятности
 
i
p z
, увеличивается с ростом апостериорной вероятности


/
i
j
p z v
и в зависимости от соотношения между ними может быть положительным, от- рицательным и нулевым (свойство непосредственно следует из (6.3)).
2. Если


 
/
i
j
i
p z v
p z

, то в соответствии с (6.3)


,
0
i
j
I z v
 .
3. При отсутствии помехи частное количество информации равно частной априорной неопределенности элемента
i
z :
,
2
(
)
( )
log
( )
i
j
i
i
I z v
H z
p z

 
, по- скольку при этом
 
0
j
v
i
H
z 
4. Частное количество информации о
i
z , содержащееся в
j
v
, равно частно- му количеству информации о
j
v
, содержащемуся в
i
z . Действительно:








2 2
2 2
/
( )
/
( ,
)
log log
( )
( ) ( )
( )
/
/
log log
( , ).
( ) ( )
( )
i
j
j
i
j
i
j
i
j
i
i
j
i
j
i
j
i
i
j
j
p z v
p v p z v
I z v
p z
p v p z
p z p v
z
p v
z
I v z
p z p v
p v






54
6.3 Среднее количество информации в любом элементе
дискретного сообщения
Априорная неопределённость в среднем на один элемент сообщения ха- рактеризуется энтропией (4.5):
2 1
( )
( ) log
( )
N
i
H Z
p z
p z
i
i

 


,
(6.4) а апостериорная неопределенность – условной энтропией (4.15):




2 1
1
( )
( )
/
log
/
K
N
V
j
i
j
i
j
j
i
H
Z
p v
p z v
p z v


 


(6.5)
В соответствии с (6.4), (6.5) по аналогии с частным количеством информа- ции количество информации в среднем на один элемент сообщения определим как




2 2
( , )
( )
( )
( )log
( )
( )
/
log
/
V
i
i
j
i
j
i
j
i
j
i
I Z V
H Z
H
Z
p z
p z
p v
p z v
p z v



 




В последнем равенстве ничего не изменится, если первое слагаемое в правой части умножить на


1
/
1
K
j
i
j
p v
z



. Тогда, с учетом того, что






( )
/
( )
/
,
i
j
i
j
i
j
i
j
i
j
j
i
ij
p z
p v
z
p v
p z v
p z v







и используя свойства логарифма, формулу для количества информации в сред- нем на один элемент сообщения можно записать в виде




2 2
/
,
( , )
( ,
) log
( ,
) log
( )
( ) ( )
i
j
i
j
i
j
i
j
ij
ij
i
i
j
p z v
p z v
I Z V
p z v
p z v
p z
p z p v




(6.6)
Далее, если частный характер количества информации не будет оговариваться специально, то всегда будет подразумеваться количество информации в сред- нем на один элемент сообщения (6.6).

55
6.4 Свойства среднего количества информации
в элементе сообщения
1. Неотрицательность.


,
0
I Z V 
, так как всегда
 
 
V
H Z
H
Z

2.


,
0
I Z V 
при отсутствии статистической связи между Z и
V
, так как при этом
 
 
V
H Z
H
Z

3.




,
,
I Z V
I V Z

, то есть количество информации в
V
относительно Z равно количеству информации в Z относительно
V
. Действительно
( , )
( , )
( )
( ) (
( )
( ))
( )
( )
(
( )
( ))
( , )
( , )
0
V
Z
Z
V
I Z V
I V Z
H Z
H
Z
H V
H V
H Z
H V
H V
H
Z
H Z V
H V Z













4. При отсутствии помех


 
,
I Z V
H Z

, поскольку при этом
 
0
V
H
Z 
Это максимальное количество информации, которое может быть получено от источника.
6.5 Количество информации при передаче сообщений
от непрерывного источника
Соотношение для количества ин- формации непрерывного источника по- лучим из формулы (6.6) для дискретно- го случая. Обозначив переданный и принятый непрерывные сигналы соот- ветственно Z и
V
разобьем область допустимых значений этих сигналов на равные интервалы и запишем прибли- женные вероятности (см. рисунок 6.1):




*
*
P
,
,
i
i
j
j
i
j
z
Z
z
z v
V
v
v
p z v
z v


 


 

  , где


*
*
,
i
j
p z v
– ордината двумерной плотности распределения


,
p z v
в некото- рой точке, принадлежащей прямоугольнику с номером
,
i j
Рис. 6.1 – Дискретизация области
,
Z V

56
Для соответствующих заданной двумерной плотности


,
p z v
одномерных плотностей
 
i
p z
,
 
j
p v , по аналогии с тем как мы поступали при получении соотношения для дифференциальной энтропии, можно записать


 
*
P
i
i
i
z
Z
z
z
p z
z


 

 ,


 
*
P
j
j
j
v
V
v
v
p v
v


 

 , где
 
*
i
p z ,
 
*
j
p v – ординаты одномерных плотностей для значений
*
i
z
и
*
j
v
, взятых в интервалах


,
i
i
z z
z
 
и


,
i
i
v v
v
 
соответственно.
Заменяя в (6.6)


,
i
j
p z v
,
 
i
p z
,
 
j
p v их приближенными значениями


*
*
,
i
j
p z v
z v
  ,
 
*
i
p z
z
 ,
 
*
j
p v
v
 соответственно, можно записать
*
*
*
*
2
*
*
( ,
)
( , )
( ,
)
log
( ) ( )
i
j
i
j
i
j
i
j
p z v
I Z V
p z v
z v
p z p v

  

(6.7)
Осуществляя в (6.7) предельный переход при
0
z
 
,
0
v
 
получаем:
*
*
2
*
*
0 0
2
( ,
)
( , )
lim
( ,
) log
( )
( )
( , )
( , ) log
( ) ( )
i
j
i
j
z
i
j
i
j
v
p z v
I Z V
p z v
z v
p z p v
p z v
p z v
dzdv
p z p v
 
 
 
 

  


 
(6.8)
Формула (6.8) может быть получена также с использования понятия диф- ференциальной энтропии. Действительно по аналогии с дискретным случаем определим количество информации как разность априорной и апостериорной (в данном случае дифференциальной) энтропии:


2 2
( , )
( )
( )
( ) log
( )
( , )log
/
v
I Z V
h Z
h Z
p z
p z dz
p z v
p z v dzdv

 

 



 


 
(6.9)
В (6.9) ничего не изменится, если первое слагаемое в правой части умно- жить на
( / )
1
p v z dv




. Тогда, с учетом того, что
( , )
( ) ( / )
p z v
p v p z v


( ) ( / )
p z p v z

, соотношение (6.9) можно переписать в следующем виде:

57 2
( , )
( , )
( )
( )
( , ) log
( ) ( )
v
p z v
I Z V
h Z
h Z
p z v
dzdv
p z p v
 
 



 
(6.10)
Поскольку
( , )
I Z V
в (6.10) определяется как разность
( )
( )
v
h Z
h Z

, количе- ство информации при передаче от непрерывного источника, в отличие от диф- ференциальной энтропии, уже не зависит от масштаба случайной величины.
Заметим, что соотношение между понятиями энтропии и количества информа- ции для непрерывного источника информации подобно соотношению между потенциалом, определяемым как работа по перенесению заряда из бесконечно- сти в данную точку поля, и напряжением, определяемым как разность потен- циалов, которое рассматривается в физике.