Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова

• Название: Лекции по теории информации под редакцией Н. А. Кузнецова
• Анкор: Лекции по теории информации
• Дата: 17.04.2022
• Размер: 1.32 Mb.
• Имя файла: Фурсов teoria_informacii.pdf
• Тип: Лекции; #480820
• страница: 14 из 16

14.7 Образующая матрица АЛПМ
Если
 
x

– многочлен обратной связи (генераторный многочлен), удов- летворяющий (14.13), то образующий многочлен степени
m
n
k
 
определяет- ся как
 
 
1 0
1
n
m
m
x
g x
g x
g x
g
x







Тогда, в соответствии с описанным в разделе 13.6 первым способом, может быть построена образующая матрица (13.12) соответствующего циклического кода:
1 0
1 0
,
1 0
0 0
0 0
0 0
m
m
m
m
n k
m
m
g
g
g
g
g
g
g
g
g
















M




      


Разделим образующую матрицу
,
n k
M
на два блока


1 2

M
M M

так, что- бы
1
M была квадратной. В силу неприводимости многочлена
 
g x
ее диаго- нальные элементы отличны от нуля, следовательно, матрица
1
M является не- вырожденной.
Последовательность информационных символов
k
A можно представить как линейную комбинацию строк матрицы
1
M :
1
T
k


A
v
M
, откуда
1 1
T
k


v
A M
(14.15)
С другой стороны, избыточный код является той же линейной комбинацией строк матрицы M :


1 2
T
T
n



A
v
M
v
M M

Подставляя в это равенство
T
v
из (14.15) имеем

125


1 1
1 1
2 1
2
n
k
k








A
A M
M M
A
E M M


Матрица
1 1
2
,
k n k







 



M
E M M
E P


является образующей матрицей АЛПМ с многочленом обратной связи
 
x

. Очевидно, что с ее использованием может быть сформирован систематический код.
Подводя итог, следует заметить, что в настоящей лекции, посвященной изучению линейных последовательных машин, мы привели мало новых сведе- ний, посвященных собственно теории кодирования. Цель этого раздела состоя- ла в том, чтобы показать связь теории кодирования с общей теорией линейных систем. Нам представляется это чрезвычайно важным для понимания общих принципов построения кибернетических систем.

126
Лекция 15
Обнаружение и различение сигналов
15.1 Постановка задачи обнаружения сигналов
при наличии помех
Задача приемного устройства – извлечение из принятого сигнала макси- мума полезной информации. Для этого последовательно решаются, по крайней мере, две задачи [9]:
1) обнаружение (принятие решения о наличии сигнала);
2) восстановление (определение параметров сигнала).
Задача определения параметров сигналов рассматривается в следующей лек- ции. Здесь рассмотрим методы обнаружения сигналов.
Принимаемый сигнал будем представлять вектором Y , компоненты кото- рого являются отсчетами, каждый из которых представляет собой сумму отсче- тов компонентов векторов полезного сигнала X и помехи Ξ . Ясно, что по при- нятому вектору Y мы не можем однозначно судить о векторе X . О переданном в действительности сигнале X можно судить лишь с некоторой вероятностью


p X Y
В общем случае в соответствии с формулой Байеса апостериорная плот- ность вероятности вектора X определяется как


  

 
w
w
w
w

X
Y X
X Y
Y
,
(15.1) где
 
w X
– априорная плотность вероятности вектора X ,


w Y X
– условная плотность вероятности вектора Y при условии, что вектор X известен, а
 
  

x
V
w
w
w
d


Y
X
Y X
X
– безусловная плотность вероятности вектора Y , где
X
V – пространство передаваемого сигнала.
Если вектор X имеет конечное число значений, по аналогии с (15.1)

127


  

 
  

  

1
N
j
j
j
p
w
p
w
p
w
p x w
x




X
Y X
X
Y X
X Y
Y
Y
,
(15.2) где
 
p X
– априорная, а


p X Y
– апостериорная вероятности вектора X.
Таким образом, для определения апостериорной плотности


w X Y
и/или вероятности


p X Y
необходимо знать априорные плотность
 
w X
и/или ве- роятность
 
p X
, а также условную плотность


w Y X
, которая при известном
(измеренном) Y зависит только от X и обозначается
 
L X
:


 
w
L

Y X
X
(15.3)
Функция
 
L X
называется функцией правдоподобия. Эта функция может иметь конечное (в случае дискретного X ) или бесконечное (в случае непрерывного
X ) число значений.
Задача обнаружения сигнала заключается в принятии одной из возможных взаимно исключающих альтернатив (гипотез): гипотезы
1
H о том, что
1
x

X
– сигнал есть, или гипотезы
0
H о том, что
0
x

X
– сигнал отсутствует. В матема- тическом отношении эта задача эквивалентна задаче оптимального разбиения пространства принимаемых сигналов
V
на области
1
v и
0
v . Если принятый век- тор Y окажется в области
1
v , принимается гипотеза
1
H , если же он окажется в области
0
v , принимается гипотеза
0
H .
Для построения правила принятия решения о выборе гипотезы (разбиения пространства принимаемых сигналов) в рассмотрение вводится так называемая функция (отношение) правдоподобия:
 
 




1 1
0 0
L x
w
x
L x
w
x
 

Y
Y
(15.4)
Рассмотрим различные критерии принятия решений, формулируемые в терми- нах отношения правдоподобия (15.4).

128
15.2 Обнаружение по критерию максимального правдоподобия
По этому критерию наиболее правдоподобным считается то значение X , для которого функция правдоподобия максимальна. Поскольку в задаче обна- ружения рассматривается две альтернативы, существо дела сводится к сравне- нию
 
1
L x
и
 
0
L x
. При этом решающее правило в терминах отношения прав- доподобия принимает вид: если
 
 
1 0
1
L x
L x
 

, то
1
x

X
,
(15.5) если
 
 
1 0
1
L x
L x
 

, то
0
x

X
,
(15.6)
Важное достоинство критерия максимума правдоподобия состоит в том, что в данном случае не требуется знание априорных вероятностей
 
1
p x
,
 
0
p x
сиг- нала X .
15.3 Обнаружение сигналов по критерию максимума
апостериорной вероятности
В соответствии с этим критерием сравниваются значения апостериорных вероятностей


1
/
p x Y
и


0
/
p x Y
: если




1 0
/
1
/
p x
p x

Y
Y
, то
1
x

X
,
(15.7) если




1 0
/
1
/
p x
p x

Y
Y
, то
0
x

X
(15.8)
С использованием формулы Байеса (15.2) и равенства (15.3) отношение апостериорных вероятностей выражается через отношение правдоподобия:




   
   
 
 
1 1
1 1
0 0
0 0
/
/
p x
p x L x
p x
p x
p x L x
p x



Y
Y
При этом критерий можно записать следующим образом: если
 
 
1 0
1
p x
p x
 
, то
1
x

X
,
(15.9)

129 если
 
 
1 0
1
p x
p x
 
, то
0
x

X
(15.10)
Решающее правило можно также представить в виде: если
 
 
0 0
1
p x
p x




, то
1
x

X
,
(15.11) если
 
 
0 0
1
p x
p x




, то
0
x

X
,
(15.12) где
0

– пороговое значение отношения правдоподобия. Критерий максимума апостериорной вероятности применяется в случае, когда известны априорные вероятности
 
1
p x
,
 
0
p x
сигнала X .
15.4 Информационный критерий обнаружения
С точки зрения теории информации наиболее предпочтительно то значение
X , относительно которого в Y содержится больше информации:




 


 




 

  




1 0
2 1
2 1
2 0
2 0
1 0
1 2
2 2
0 1
0
,
,
log log
/
log log
/
/
/
log log log
/
/
I
x
I
x
p x
p x
p x
p x
p x
p x
p
x
p x
p x
p
x


 








 







Y
Y
Y
Y
Y
Y
Y
Y
(15.13)
В соответствии с информационным критерием (15.13), если логарифм отноше- ния правдоподобия положителен, следует принять гипотезу
1
H (
1
x

X
), если отрицателен или равен нулю –
0
H (
0
x

X
).
Нетрудно заметить, что этот критерий совпадает с критерием максималь- ного правдоподобия (15.5), (15.6).
15.5 Обнаружение по критерию Неймана-Пирсона
При решении задачи обнаружения сигналов могут иметь место ошибки двух типов:
1) ошибка первого рода – «ложная тревога» (при отсутствии сигнала приня- та гипотеза
1
H –
1
x

X
), вероятность которой определяется как

130


1 0
/
v
w
x d
 

Y
Y
;
(15.14)
2) ошибка второго рода «пропуск сигнала» (при наличии сигнала принята гипотеза
0
H –
0
x

X
), вероятность которой


0 1
/
v
w
x d
 

Y
Y
(15.15)
При этом общая вероятность ошибочного решения
 
 
0 1
ош
p
p x
p x




(15.16)
В соответствии с критерием Неймана–Пирсона наилучшим считается ре- шение, при котором


0 1
/
min
v
w
x d
 


Y
Y
, при условии, что


1 0
/
v
w
x d





Y
Y
, где

– заданная величина.
Рассмотрим решение указанной задачи для простейшего случая, когда
y

Y
– скаляр. При этом


0 0
/
w y x dy





,


0 1
0
/
w y x dy




, а функция Лагранжа принимает вид




0 0
1 0
0
/
/
F
w y x dy
w y x dy


















Необходимые условия экстремума


0 0,
0
F
F




 






0 1
0 0
/
/
0
w
x
w
x






,
(15.17)


0 0
/
w y x dy





(15.18)
В соответствии с (15.17)




0 1
0 0
/
/
w
x
w
x




(15.19)

131
С другой стороны, в соответствии с (15.4)








1 1
0 0
/
/
/
/
w y x
w
x
w y x
w
x


Y
Y

, следовательно




0 1
0 0
0
/
/
w
x
w
x




, где пороговое значение
0

определяется из необходимого условия (15.18):


0 0
/
w y x dy





Таким образом, решающее правило можно записать в виде: если




1 0
0
/
/
w
x
w
x




Y
Y
, то
1
x

X
, если




1 0
0
/
/
w
x
w
x




Y
Y
, то
0
x

X
15.6 Обнаружение сигналов по критерию минимального риска
Этот критерий является обобщением критерия Неймана-Пирсона. Он учи- тывает также потери, к которым могут привести ошибки первого и второго ро- да. Для этого ошибкам первого и второго рода ставятся в соответствие веса
r

,
r

, характеризующие цены ошибок, а величину
r
, определяемую как
 
 
0 1
r
r p x
r p x






,
(15.20) называют риском. В соответствии с критерием принимается гипотеза, при кото- рой обеспечивается минимум риска.
Подставляя в (15.20) выражения для ошибок первого и второго рода можно записать
 


 


 
  

  

1 0
1 0
0 1
1 1
1 1
0 0
/
/
/
/
v
v
v
r
r p x
w
x d
r p x
w
x d
r p x
r p x w
x
r p x w
x
d


















Y
Y
Y
Y
Y
Y
Y
(15.21)

132
Минимум в (15.21) будет достигаться только при условии положительно- сти подынтегральной функции:
  

  

1 1
0 0
/
/
0
r p x w
x
r p x w
x




Y
Y
(15.22)
В соответствии с (15.22) решающее правило принимает вид если




 
 
0 1
0 0
1
/
/
r p x
w
x
w
x
r p x







Y
Y
, то
1
x

X
,
(15.23) если




 
 
0 1
0 0
1
/
/
r p x
w
x
w
x
r p x







Y
Y
, то
0
x

X
(15.24)
Критерий минимального риска обеспечивает принятие наиболее обосно- ванного решения, учитывающего также и экономические потери. Достигается это за счет использования более богатой априорной информации. Помимо функций распределения


/
w Y X
и априорных вероятностей
 
p X
в данном случае необходимо знать цены потерь
r

,
r

15.7 Различение сигналов
В данном случае сигнал X может иметь
m
возможных значений
1
x ,
2
x , …,
m
x с априорными вероятностями
 
1
p x
,
 
2
p x
, …,
 
m
p x
:
 
 
 
1 1
2 2
;
;
m
m
x
p x
x
p x
x
p x





 




X
 
При этом пространство принимаемых сигналов разбивается на
m
областей:
1 2
, ,...,
m
v v
v . Соответственно выдвигается
m
гипотез:
1 2
,
,...,
m
H H
H о том, что
1
x
