теория информации. ТИ (Best). Лекции по предмету "Теория информации" Красноярск 2002

• Название: Лекции по предмету "Теория информации" Красноярск 2002
• Анкор: теория информации
• Дата: 10.12.2022
• Размер: 1.06 Mb.
• Имя файла: ТИ (Best).doc
• Тип: Лекции; #837351
• страница: 4 из 12

Определение информационных потерь в каналах связи

Производится с помощью вычисления условной энтропии. Составляется канальная матрица. Пусть по каналу связи источником информации передаются сигналы x₁, x₂, …, x_{m .} На другом конце канальной связи существует приёмник, который принимает сигнал y_1, y_2, …, y_m . В канале существуют помехи. Правильный приём - если послан сигнал x₁ и принят сигнал y₁. Если послан сигнал х_1, а принят y_j - ошибка приёма.

Влияние помех описывается с помощью канальной матрицы - таблицы.

x сумма всех вероятностей условные вероятности i & yj	y1	y2	yi …	ym
x1	p(y1/x1)	p(y2/x1)	p(yj/x1)	p(ym/x1)
x2	p(y1/x2)	p(y2/x2)	p(yj/x2)	p(ym/x2)
xi …	p(y1/xi) …	p(y2/xi) …	p(yj/xi) …	p(ym/xi) …
xm	p(y1/xm)	p(y2/xm)	p(yi/xm)	p(ym/xm)

Правильный приём
Вероятности стоящие на главной диагонали выражают правильный приём, а остальные ошибочный. Если в канале нет помех, то главная диагональ состоит из единиц, а остальные нуль. Если влияние помех очень большое, то вероятности стоящие на одной строке одинаковые. Данная канальная матрица указывает влияние помех со стороны источника сообщений, они используются для исследования помех со стороны источника.

Потери информации, которые приходятся на сигнал x₁ можно подсчитать, как условную частную энтропию.

- подсчёт потерь

При передачи всех сигналов, общие потери определятся как полная условная энтропия.

их вероятности потери



Вероятности по столбцам полную группу не образуют.

Если исследуется канал со стороны приёмника, то канальная матрица имеет другой вид:

xi & yi	y1	y2	yi …	ym
x1	p(y1/x1)	p(y2/x1)	p(yi/x1)	p(ym/x1)
x2	p(y1/x2)	p(y2/x2)	p(yi/x2)	p(ym/x2)
xi …	p(y1/xi) …	p(y2/xi) …	p(yi/xi) …	p(ym/xi) …
xm	p(y1/xm)	p(y2/xm)	p(yi/xm)	p(ym/xm)

(по столбцам) образ-т правильный приём

полную группу событий



Вероятности, стоящие на главной диагонали выражают правильный приём. Вероятности, которые стоят по столбцам, образуют полную группу событий.
Пример: Влияние помех в канале связи описывается канальной матрицей. Требуется вычислить потери при передачи сигналов, если вероятность появления сигналов следующая:
p(x₁) = 0.7 p(x₂) = 0.2 p(x₃) = 0.1



H(y / x) = -[0.7 * (0.98 log 0.98 + 2*0.01 log 0.01) + 0.2 * (0.15 log 0.15 + 0.75 log 0.75 + 0.1 log 0.1) + 0.1 * (0.3 log 0.3 + 0.2 log 0.2 + 0.5 log 0.5)] = 0.463 бит/символ .