Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова

• Название: Лекции по теории информации под редакцией Н. А. Кузнецова
• Анкор: Лекции по теории информации
• Дата: 17.04.2022
• Размер: 1.32 Mb.
• Имя файла: Фурсов teoria_informacii.pdf
• Тип: Лекции; #480820
• страница: 4 из 16

3.2 Критерии качества восстановления непрерывного сигнала
Для оценки качества восстановления сигнала используются следующие критерии.
Равномерное приближение (критерий наибольшего отклонения):

31
 
 
*
max
доп
t T
u t
u t




(3.6)
Равномерное приближение для ансамбля реализаций:
 
 
 
*
sup
i
i
i
доп
u t
U
u t
u t




(3.7)
Критерий среднеквадратического отклонения (СКО):
 
 
2
*
1
доп
T
u t
u t
dt
T






(3.8)
СКО для ансамбля
N
реализаций –


вычисляется усреднением по ансамблю с учетом вероятностей реализаций
i
p ,
1,
i
N

:
,
1
N
i
i
доп
i
p









(3.9)
Интегральный критерий:
 
 
*
1
доп
T
u t
u t dt
T






(3.10)
Величину интегрального критерия


для
N
реализаций вычисляют путем ус- реднения по ансамблю:
1
N
i i
i
p






(3.11)
Применяют также вероятностный критерий, определяемый как допусти- мый уровень вероятности
P
доп
того, что ошибка не превысит допустимого зна- чения
доп

:
 
 


*
P
P
доп
доп
u t
u t




(3.12)
Использование одного из указанных критериев (3.6)-(3.12) в каждом кон- кретном случае зависит от требований к системе и доступной априорной ин- формации.
3.3 Теорема Котельникова
Как отмечалось выше, наиболее широко используется равномерная дис- кретизация. При этом для выбора величины шага дискретизации используется

32 модель сигнала в виде эргодического случайного процесса, каждая реализация которого представляет собой функцию с ограниченным спектром. Теоретиче- ской основой этого подхода является следующая теорема Котельникова.
Любая функция
 
u t
, допускающая преобразование Фурье и имеющая не- прерывный спектр, ограниченный полосой частот от 0 до
2
c
c
f



, полно- стью определяется дискретным рядом своих мгновенных значений, отсчитан- ных через интервалы времени


1/ 2
/
c
c
t
f
 
 


Доказательство. Поскольку по предположению функция
 
u t
имеет огра- ниченный спектр, т.е.


0
S j
 
при
c



, в соответствии с (1.16) можно за- писать равенство
 


1 2
с
с
j t
u t
S j
е
d











(3.13)
Функцию


S j

на конечном интервале


,
c
c
 

можно разложить в ряд Фу- рье. Пару преобразований Фурье запишем, полагая


S j

условно продол- жающейся с периодом
2
c

и формально заменив в (1.8), (1.9) t на

, а
1

на
c
t
 
 
:


1 2
jk t
k
S j
A e








,
(3.14)


1
c
c
jk t
k
c
A
S j
е
d












(3.15)
Сравним соотношения (3.15) и (3.13), предварительно переписав равенство
(3.13) для дискретных моментов времени
k
t
k t
  :




1 2
c
c
j k t
u k t
S j
е
d












(3.16)
Нетрудно заметить, что


2
k
c
A
u
k t




 
(3.17)
Подставляя значение
k
A из (3.17) в (3.14) можно записать:

33




jk t
c
S j
u
k t
е








  

В последнем равенстве знак минус перед
k
можно поменять на обратный, т.к. суммирование ведется как по положительным, так и по отрицательным числам:




jk t
c
S j
u k t
е









 

(3.18)
Теперь подставим


S j

из (3.18) в (3.13):
 






1 1
2 2
с
с
с
с
j
t k t
jk t
j t
c
c
u t
u k t
е
е
d
u k t
е
d















 









 











После выполнения интегрирования в правой части последнего равенства полу- чаем
 










sin sinc
c
c
c
t
k t
u t
u k t
u k t
t
k t
t
k t







 




 
 


(3.19)
Итак, мы выразили функцию
 
u t
через ее дискретные значения, взятые в моменты времени
k
t
k t
  . Предположим
t
n t
 
, где
n
– некоторое целое чис- ло. Поскольку
c
t
 
 
, для любых целых
k
и
n

 



c
c
n t
k t
n
k
t
n
k



  


 

Следовательно




1,
если
,
sin
0,
если
,
c
c
t
k t
t
k t
t
n t
n
k
t
k t


 
 

 
 

 

Это означает, что значения функции
 
u t
в моменты времени
k
t
k t
  представляют собой не что иное, как ее отсчеты. Таким образом, функция с ог- раниченным спектром может быть представлена рядом (3.19), коэффициенты которого представляют собой отсчеты значений функции, взятые через интер- валы времени
1 2
c
c
t
f


 


(3.20)

34
На основании этого можно представить следующую схему передачи- приема. На передающей стороне мгновенные значения сигнала
 
u t
передают- ся через интервалы
t

, определяемые по соотношению (3.20). На приемной стороне последовательность импульсов пропускают через идеальный фильтр нижних частот с частотой среза
c
f . Тогда при длительной передаче теоретиче- ски сигнал на выходе фильтра будет точно воспроизводить переданный непре- рывный сигнал
 
u t
В действительности реальный сигнал всегда имеет конечную длитель- ность, следовательно, его спектр неограничен. Ошибка возникает не только за счет принудительного ограничения спектра, но и за счет конечного числа от- счетов в интервале времени T , которых в соответствии с теоремой будет
2
c
N
f T

Модель сигнала с ограниченным спектром имеет также принципиальное теоретическое неудобство. Она не может отражать основное свойство сигнала – способность нести информацию. Дело в том, что поведение функции с ограни- ченным спектром можно точно предсказать на всей оси времени, если она точ- но известна на сколь угодно малом отрезке времени.
Тем не менее, теорема Котельникова имеет важное прикладное значение.
На практике ширину спектра
c
f определяют как интервал частот, вне которого спектральная плотность меньше некоторой заданной величины. При таком до- пущении функция на интервале T с некоторой степенью точности (зависящей от точности представления спектральной плотности) определяется посредством
2
c
N
f T

отсчетов, т.е. общий смысл теоремы Котельникова сохраняется.
3.4 Квантование сигналов
Физически реализуемый непрерывный сигнал
 
u t
всегда ограничен неко- торым диапазоном


min max
,
u
u
. Вдобавок часто устройство может воспроизво- дить лишь конечное множество фиксированных значений сигнала из этого диа- пазона. В частности, непрерывная шкала мгновенных значений max min
n
u
u
u



35 может быть разбита на
n
одинаковых интервалов, а разрешенные значения сигнала равноотстоят друг от друга, тогда говорят о равномерном квантовании.
Если постоянство интервала (шага квантования) не соблюдается, то квантова- ние неравномерное.
Из множества мгновенных значений, принадлежащих i -му интервалу (ша- гу квантования), только одно значение '
i
u
является разрешенным ( i -й уровень квантования), а любое другое округляется до '
i
u
. Предположим, равномерное квантование с шагом


max min
/
u
u
n
 

осуществляется так, что уровни кванто- вания '
i
u
размещаются в середине каждого шага. Ясно, что при этом ошибка квантования минимальна и не превышает
0,5
. Определим для этого случая среднеквадратическое отклонение (СКО) ошибки квантования.
В общем случае СКО ошибки квантования
i

для i -го шага определяется соотношением
 


 
1 2
'
i
i
u
i
i
u
u t
u
p u du





,
(3.21) где
 
p u
– функция плотности вероятности мгновенных значений сигнала
U
Если шаги квантования малы по сравнению с диапазоном изменения сигнала, плотность
 
p u
в пределах каждого шага можно считать постоянной и равной, например,
 
'
i
p u . Тогда, вводя новую переменную
 
'
i
y
u t
u


, для указанного способа квантования в соответствии с (3.21) имеем
 
 
3 2
'
2
'
2 12
i
i
i
i
i
i
i
i
p u
y dy
p u








(3.22)
С учетом того, что
 
'
0
i
p u  и
0
i
  для всех
1,
i
n

в соответствии с
(3.22) можно записать дисперсию ошибки квантования на i -м шаге:
 
2 2
'
12
i
i
i
i
p u








(3.23)

36
Оказывается, она равна величине
2 12
i

, умноженной на вероятность
 
'
i
i
p u  попадания мгновенного значения сигнала в данный интервал. Дисперсия пол- ной ошибки определяется как математическое ожидание дисперсий
2 12
i

на отдельных шагах:
 
2 2
'
1 12
n
i
i
i
i
p u










Если интервалы одинаковы, т.е.
i
   для всех
1,
i
n

, с учетом условия нор- мировки
 
'
1 1
n
i
i
p u



 



, получаем
 
2 2
2
'
1 12 12
n
i
i
p u







 



Если на квантуемый сигнал воздействует помеха, он может попасть в ин- тервал, соответствующий другому уровню квантования. Интуитивно ясно (и это можно строго показать), что в случае, когда помеха

имеет равномерное распределение
 
1
p
a
 
, где
2
a
– амплитуда помехи, симметричной относи- тельно мгновенного значения сигнала, вероятность неправильного квантования сигнала резко возрастает при
a  
. Воздействие нормально распределенной помехи с параметрами


2 0,

эквивалентно воздействию равномерно распре- деленной помехи при
3
a



37
Лекция 4
Меры неопределенности дискретных множеств
4.1 Вероятностное описание дискретных ансамблей
Пусть


1 2
3
,
, ,
,
N
Z
z z z
z


– множество, состоящее из
N
элементов. Гово- рят, что на множестве Z задано распределение вероятностей
 
p z
, если каж- дому
i
z поставлено в соответствие число
 
i
p z
такое, что для всех
1,
i
N

( )
0
i
p z  , а
 
1
i
p z 

. Множество Z вместе с заданным на нём распределени- ем вероятностей называется дискретным вероятностным ансамблем или просто дискретным ансамблем и обозначается
 


,
Z p z
Пусть


1 2
, ,...,
N
Z
z z
z

и


1 2
, ,...,
K
V
v v
v

– два конечных множества. Про- изведением множеств


ZV
называется множество, элементы которого пред- ставляют собой все возможные упорядоченные пары произведений
i
j
z v
,
1,
i
N

,
1,
j
K

. Если каждой паре
,
i
j
z v
поставлена в соответствие вероятность


,
i
j
p z v
, то имеем произведение ансамблей
 


,
ZV p zv
. Для элементов объе- диненного ансамбля имеют место обычные свойства вероятностей:


 
1
,
K
i
j
i
j
p z v
p z



,


 
1
,
N
i
j
j
i
p z v
p v



(4.1)
Из указанных свойств, в частности, следует, что если задано произведение ансамблей, то всегда могут быть найдены исходные ансамбли
 


,
Z p z
и
 


,
V p v
. Обратное возможно лишь в случае, когда элементы исходных ан- самблей независимы, при этом


 
,
( )
i
j
i
j
p z v
p z p v

. В общем случае для зави- симых ансамблей


 


  

,
/
/
i
j
i
j
i
j
i
j
p z v
p z p v
z
p v
p z v


, т.е. для определе- ния вероятности элемента объединенного ансамбля необходимо задание услов- ной вероятности появления элемента одного из ансамблей, при условии, что реализовался элемент другого ансамбля:

38




 
,
/
i
j
i
j
j
p z v
p z v
p v

,




 
,
/
i
j
j
i
i
p z v
p v
z
p z

(4.2)
4.2 Энтропия, как мера неопределенности выбора
Пусть задан дискретный ансамбль с
N
возможными состояниями:
1 2
1 2
,
,..., ,...,
,
,...,
,...,
i
N
i
N
z z
z
z
Z
p p
p
p


 



,
 
0
i
i
p
p z


,
1
i
p

 .
(4.3)
Интуитивно ясно, чем больше величина
N
, тем больше неопределенность вы- бора конкретного элемента ансамбля. Это наталкивает на мысль принять число
N
в качестве меры неопределенности выбора. Однако при
1
N 
неопределен- ность выбора равна 0, хотя мера отлична от нуля. По-видимому, это неудобство послужило одной из причин введения следующей меры неопределенности:
 
log
a
H Z
N

(4.4)
Мера предложена Р. Хартли в 1928 г. Свойства меры Хартли:
1) она является монотонной функцией числа элементов;
2) при
1
N 
 
0
H Z 
, т.е. мера равна нулю, когда неопределенность отсут- ствует;
3) мера аддитивна, т.е. объединение, например, двух множеств Z и
V
с чис- лом элементов
N
и M , можно рассматривать как одно множество, вклю- чающее
N
M

различных комбинаций
i
j
z v
,
1,
i
N

,
1,
j
M

, при этом




log log log
a
a
a
H ZV
NM
N
M



К сожалению, мера Р. Хартли не учитывает того факта, что вероятности
i
p ,
1,
i
N

в (4.3) могут быть различны. Поэтому она используется лишь в слу- чае равновероятных элементов множества. При неравновероятных элементах неопределенность меньше. Например, неопределенность выбора в случае двух элементов с априорными вероятностями 0,9 и 0,1 меньше, чем в случае равно- вероятных элементов (0,5; 0,5). Поэтому естественным является требование, чтобы мера неопределенности была непрерывной функцией вероятностей
i
p ,

39 1,
i
N

элементов. Удовлетворяющая этому требованию мера предложена
К. Шенноном и называется энтропией:
 
 
 
1
log
N
i
a
i
i
H Z
p z
p z

 

(4.5)
Основание
a
логарифма, вообще говоря, не имеет значения. Если лога- рифм десятичный (
lg
), энтропия и количество информации определяются в де- сятичных единицах дитах, если логарифм натуральный ( ln ), единицей измере- ния является нит. Наиболее широко используется двоичная единица информа- ции – bit (сокращение от английского binary digit), соответствующая логарифму по основанию два (
2
log ), которая и будет использоваться далее.
Для независимо реализуемых элементов множества в качестве меры может использоваться априорная частная неопределенность:
 
 
2
log
i
i
H z
p z
 
(4.6)
Нетрудно заметить, что мера К. Шеннона (4.5), характеризующая неопределён- ность источника в целом, получается усреднением частных неопределенностей
(4.6) по всем элементам множества.
Покажем связь меры К. Шеннона с мерой Р. Хартли. Если все элементы множества равновероятны, т.е.
1
i
p
N

для всех
1,
i
N

, то
 
2 2
1 1
1
log log
N
i
H Z
N
N
N

 


(4.7)
Таким образом, мера Р. Хартли – частный случай меры К. Шеннона для равно- вероятных элементов. Можно также показать, что мера К. Шеннона является обобщением меры Хартли на случай неравновероятных элементов.