Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова

• Название: Лекции по теории информации под редакцией Н. А. Кузнецова
• Анкор: Лекции по теории информации
• Дата: 17.04.2022
• Размер: 1.32 Mb.
• Имя файла: Фурсов teoria_informacii.pdf
• Тип: Лекции; #480820
• страница: 8 из 16

8.2 Скорость передачи информации по дискретному каналу
Различают техническую и информационную скорость передачи по дис- кретному каналу. Под технической скоростью понимают число элементов со- общения (символов), передаваемых в единицу времени:
1
ср
V



,
(8.1) где
ср

– средняя длительность передачи одного символа. Единицей техниче- ской скорости передачи является бод – один символ за одну секунду.
Под информационной скоростью понимают среднее количество информа- ции, передаваемое по каналу в единицу времени. Она определяется как

68






,
,
,
ср
I V Z
I V Z
V I V Z





,
(8.2) где
( , )
I V Z
– среднее количество информации, переносимое одним символом.
8.3 Пропускная способность дискретного канала без помех
Пропускная способность дискретного канала без помех –
д
C определяется, как максимальная скорость передачи информации по данному каналу, которая в принципе может быть достигнута: max ( , )
max
( , )
д
C
I V Z
V I V Z




(8.3)
В соответствии с (8.3) при фиксированной технической скорости передачи
(
V
Const


) пропускная способность канала определяется максимумом средне- го количества информации
( , )
I V Z
, приходящейся на один символ принятого сигнала.
При отсутствии помех имеет место взаимно однозначное соответствие ме- жду символами на входе и выходе канала, а
( , )
( )
I V Z
H Z

С другой стороны, как было показано ранее, при фиксированном объеме алфа- вита
m
максимум
( )
H Z
имеет место при равновероятности символов и опре- деляется как
2
max
( )
log
H Z
m

Таким образом, для увеличения скорости передачи информации по дис- кретному каналу без помех необходимо осуществлять такое преобразование сообщений, при котором элементы сообщений оказываются независимыми и равновероятными. Из последнего равенства видно, что пропускная способность канала может быть повышена также путем увеличения объема алфавита m, од- нако это может быть связано с серьезными изменениями используемой эле- ментной базы технических устройств.

69
8.4 Пропускная способность дискретного канала с помехами
В разделе 6.3 было показано, что количество информации в среднем на один элемент сообщения, поступающей от источника и передаваемой по каналу связи, определяется соотношением (6.6):


2
,
( , )
( , ) log
( ) ( )
i
j
i
j
ij
i
j
p z v
I Z V
p z v
p z p v


(8.4)
Соответственно скорость передачи информации по каналу с помехами в силу (8.2) дается равенством


2
,
( , )
( ,
)log
( ) ( )
i
j
i
j
ij
i
j
p z v
I Z V
V
p z v
p z p v




,
(8.5) а пропускная способность дискретного канала с помехами определяется как предельное значение скорости передачи по каналу:
( )
( )
max ( , )
max
( , )
д
p z
p z
С
I Z V
V I Z V




(8.6)
Здесь
 
p z
– множество распределений вероятностей входных сигналов, фор- мируемых источником. Если техническая скорость
V

передачи элементов со- общений фиксирована, то пропускная способность может достигаться за счет изменения статистических свойств последовательностей символов посредством их преобразования (кодирования).
На практике предельные возможности канала обычно не достигаются.
Степень загрузки канала характеризуется коэффициентом использования:
( )
д
I Z С
  
, (
0 1



), где
( )
I Z

– производительность источника сообщений.
8.5 Скорость передачи по непрерывному гауссову каналу связи
Под гауссовым каналом связи понимают математическую модель реально- го канала, удовлетворяющего следующим требованиям:
1) физические параметры канала известны и детерминированы;
2) полоса пропускания канала ограничена полосой
k
F герц;

70 3) в канале действует аддитивный гауссов белый шум (с равномерным час- тотным спектром и нормальным распределением амплитуд);
4) статистическая связь между сигналом и шумом отсутствует, а ширина спектра сигнала и помехи ограничена полосой пропускания канала.
Предположим по указанному гауссову каналу (рисунок
8.2) передается непрерывный сигнал
 
T
z
t
со средней мощностью
2
z
z
P


. На выходе канала фиксируется сиг- нал
 
T
v t
, который искажен аддитивным гауссовым шу- мом
 
t

со средней мощностью
2
P




Будем считать, что длительность T передаваемого сигнала достаточно ве- лика, так что в соответствии с теоремой Котельникова можно заменить непре- рывные реализации
 
T
z
t
и
 
T
v t
последовательностями из
2
k
N
F T

отсчетов, взятых через интервалы


1 2
k
t
F

 
, где
k
F – полоса пропускания. Тогда сред- нее количество информации, передаваемой по каналу


 
 
 
 
,
V
Z
I
H
H
H
H




Z V
Z
Z
V
V
,
(8.7) где
 
H V
и
 
Z
H
V
– априорная и апостериорная энтропии
N
-мерного слу- чайного вектора
V
По определению гауссова канала помеха аддитивна и статистически неза- висима с входным сигналом, поэтому
 


 
 
Z
Z
Z
H
H
H
H




V
Z
Ξ
Ξ
Ξ
,
(8.8) где
 
H Ξ
– энтропия
N
-мерного случайного вектора помехи, компонентами которого являются случайные величины в соответствующих сечениях непре- рывного аддитивного гауссова белого шума
 
t

Поскольку значения белого шума в моменты отсчетов некоррелированы,
 
 
 
2
k
H
N h
F T h






Ξ
,
(8.9) где
 
h

– дифференциальная энтропия в среднем на один отсчет. В данном случае, поскольку шум распределен по нормальному закону:
Рис. 8.2 – Схема гауссова канала связи

71
 




1 2
2 2
exp
/ 2
p










, дифференциальная энтропия определяется как
 
 
 


 
 


2 1
2 2
2 2
2 2
2 2
log log log
2 2
1 1
log
2
log log 2 2
2
h
p
p
d
e
p
d
p
d
e
e


















 







 

 








(8.10)
Энтропия
 
H V
выражается аналогично (8.9) через дифференциальную энтропию
 
h v
одного отсчета выходного сигнала:
 
 
2
k
H
F T h v


V
(8.11)
Далее подставляя энтропии, определяемые равенствами (8.9) и (8.11), в
(8.7) с учетом (8.10) получаем следующее выражение для среднего количества информации, передаваемой по каналу:


 
2 2
1
,
2
log 2 2
k
I
F T h v
e

 









Z V
(8.12)
Соответственно скорость передачи информации по непрерывному гауссову ка- налу связи определяется как


 
2 2
1
,
2
log 2 2
k
I
F h v
e

 









Z V

(8.13)
8.6 Пропускная способность непрерывного гауссова
канала связи
Пропускная способность непрерывного канала
н
C определяется как


( )
max
,
н
p
C
I

Z
Z V

(8.14)
Следовательно, в соответствии с соотношением (8.13), для ее определения не- обходимо искать ансамбль входных сигналов, при котором дифференциальная энтропия
 
h v
максимальна.

72
По предположению в гауссовом канале связи средняя мощность сигнала и помехи ограничены. Ранее было показано, что при ограничении на величину дисперсии наибольшее значение
 
h v
достигается в случае нормального рас- пределения. Шум
 
t

по предположению имеет нормальное распределение, следовательно, для того, чтобы выходной сигнал
 
v t
имел нормальное распре- деление необходимо, чтобы входной сигнал
 
z t
также был нормальным и цен- трированным (поскольку центрированность сигнала при заданной средней мощности соответствует максимальному значению дисперсии).
Кроме того, входной сигнал, в пределах заданной достаточно широкой по- лосы частот
k
F , должен иметь равномерный энергетический спектр. Только в этом случае можно говорить о независимости отсчетов. Заметим, что при этом средняя мощность выходного сигнала равна сумме средних мощностей входно- го сигнала и помехи:
2 2
2
v
v
z
z
P
P
P










(8.15)
Если все указанные предположения выполняются, то с учетом (8.15)
 




2 2
2 2
2 1
1 1
max log 2
log 2
log 2 2
2 2
v
z
z
h v
eP
e
e P
P












, а пропускная способность непрерывного гауссова канала


2 2
2
log 2
log 2
log
1
z
H
k
z
k
P
C
F
e P
P
eP
F
P






















(8.16)
Представляет интерес установить, как зависит пропускная способность га- уссова канала от ширины полосы пропускания. Произведем замену
о
k
P
P F


, где
о
P – (удельная) мощность шума, приходящаяся на единицу частоты, и пред- ставим (8.16) в виде:


2
log 1
/
H
z
о
C
P
P








,
(8.17) где
1/
k
F


. Вычисляя предел при
0
 
(
k
F   ) имеем


2 0
log 1
/
1, 443
lim lim
k
z
о
z
H
F
о
P
P
P
C
P









(8.18)

73
График зависимости пропускной способности непрерывного гауссова канала связи от ширины полосы пропускания в соответствии с (8.17), (8.18) имеет вид, показанный на рисунке 8.3.
Рис. 8.3 – Зависимость пропускной способности от полосы пропускания канала
8.7 Согласование физических характеристик сигнала и канала
Непрерывный канал характеризуется тремя параметрами:
1) ширина полосы пропускания сигнала
k
F ;
2) время
k
T предоставления канала для передачи сигнала;
3) допустимое превышение сигнала над помехой, определяемое как


,max log
k
z
H
P
P


, где
,max
z
P
– максимально допустимая мощность сигнала в канале.
Произведение указанных параметров называют объемом канала:
k
k
k
k
V
T F H

Аналогичными параметрами можно характеризовать сигнал:
1) ширина спектра частот сигнала
c
F ;
2) длительность сигнала
c
T ;
3) превышение сигнала над помехой


log
с
z
H
P P


Соответственно объём сигнала определяется как
c
c
c
c
V
T F H

, а необходи- мое условие его неискаженной передачи –
k
c
V
V

. Достаточные условия неис- каженной передачи:
k
c
T
T

,
k
c
F
F

,
k
c
H
H


74
Если выполнено необходимое условие неискаженной передачи, то достаточные условия всегда могут быть выполнены путем соответствующих преобразований сигнала.
Например, сигнал может быть записан с высокой скоростью, а затем пере- даваться по каналу с более низкой. При этом
c
F уменьшится, а
c
T увеличится соответствующим образом. Если превышение сигнала над помехой не удовле- творяет заданным ограничениям, то его снижают до допустимого уровня, но при этом должно произойти соответствующее увеличение времени передачи сигнала для обеспечения заданной верности.
Заметим, что в соответствии с (8.16) предельное количество информации, которое может быть передано по гауссовому каналу связи за время
k
T




max
2
,
log 1
k
k
Z
I
V Z
T F
P P



Замечательным является тот факт, что при
1
z
P P


это количество информа- ции совпадает с объемом канала.

75
Лекция 9
Эффективное кодирование
9.1 Цель кодирования, основные понятия и определения
Как отмечалось в разделе 1.1, кодирование в широком смысле – преобра- зование сообщений в сигнал. Кодирование в узком смысле – представление дискретных сообщений определенными сочетаниями символов. Далее мы бу- дем рассматривать кодирование только в узком смысле.
Кодирование осуществляется, с одной стороны, для того, чтобы обеспе- чить наилучшее согласование характеристик источника сообщений и канала, с другой стороны, для повышения достоверности передачи информации при на- личии помех. Кроме того, при выборе системы кодирования (представления со- общений) стремятся обеспечить простоту и надежность аппаратной реализации устройств.
В процессе кодирования сообщений длинная последовательность (напри- мер, из N символов) обычно формируется из кодовых комбинаций, каждая из которых соответствует одному знаку (букве). Число n символов, из которых со- ставлена такая кодовая комбинация, называется значностью или длиной кода.
Количество разных символов
m
, использованных для построения кодовой ком- бинации, называется основанием кода. Физически символы реализуются в виде сигналов, несущих некоторые признаки. В качестве признаков могут использо- ваться, например, амплитуда длительность импульсов и др.
Каждому кодируемому знаку можно приписать какой-либо порядковый номер. При этом задача кодирования сводится к представлению кодовых ком- бинаций числами в какой-либо системе счисления. Наиболее употребительной является позиционная система счисления, в которой значение цифры (символа) зависит от ее места (позиции).
Любое число
n
A в позиционной системе счисления можно представить в виде:

76 1
1 2
1 1
2 1
0 1
n
i
n
n
n
i
n
n
i
a m
a m
a
m
a m
a














A

,
(9.1) где
m
– основание системы счисления, i – номер разряда,
1,
i
n

,
i
a – коэффи- циент i -го разряда, принимающий целочисленные значения от 0 до
1
m 
С точки зрения экономии времени передачи сообщений, выгодно иметь меньше цифр в представлении числа. Однако увеличение
m
с целью уменьше- ния
n
приводит к усложнению устройств, реализующих
m
признаков (устой- чивых состояний). Поэтому для характеристики эффективности систем исполь- зуют произведение
n m

. Можно показать, что по этому критерию наиболее эффективной является троичная система. Тем не менее, наиболее широко ис- пользуются незначительно уступающие троичной системе двоичные коды.
Математическая запись двоичного кода в соответствии с (9.1) имеет вид
1 1
1 2
n
i
n
i
i
a




