теория информации. ТИ (Best). Лекции по предмету "Теория информации" Красноярск 2002
Скачать 1.06 Mb.
|
Энтропия сложной системыПод объединением двух систем X и Y с возможными состояниями x1,x2,…,xn , y1, y2,…,ym , понимается сложная система (x, y), состояние которых xi,yi; представляют собой все возможные комбинации состояний xi,yi . Число возможных состояний равно m х n. Обозначим символом pi,j , вероятность того, что система может находиться в состоянии p(xi,yi). Тогда вероятность pij можно представить в виде таблицы совместных вероятностей.
; ; H(x, y) = M[- log p(x, y)]. Пусть системы X, Y независимы. Тогда по теореме умножения вероятностей имеем: p(x, y) = p(x) * p(y) Прологарифмируем левую и правую часть log p(x, y) = log p(x) + log p(y) H(x, y) = M[- log p(x) – log p(y)] H(x, y) = H(x) + H(y), если независимые системы, то их энтропии складываются. Условная энтропия. Объединение зависимых систем.Пусть имеем две зависимые системы X и Y. Пусть система X приняла состояние xi, а система Y приняла состояние yi , тогда обозначим p(yi / xi) – это условная вероятность того, что система Y примет состояние yi, при условии, что система X приняла состояние xi. Неопределённость системы в состоянии Y определяется частной условной энтропией. - система X находится в конкретном состоянии ; - условное математическое ожидание Полная условная энтропияДля определения полной условной энтропии, каждая частная условная энтропия умножается на вероятность соответствующего состояния и все произведения складываются. pi = p(xi) – вероятность наступления события xi ; pi * p(yj / xi) = pij Тогда ; H(Y / x) = M[ - log P(y / x)] В целом полная условная энтропия характеризует степень неопределённости состояния системы Y, оставшуюся после того, как состояние системы X полностью определилось. Пример: Имеются две системы, объединённые в одну, вероятности состояния которых заданы таблицей совместных вероятностей. Определить полную условную энтропию. Определим вероятности каждого события. Для этого складываем pij по столбцам.
Построить таблицу условных вероятностей p(y / x). в каждой строке
бит/символ Составим таблицу условных вероятностей P(x / y).
H(x / y) = 0.3[(0.1/0.3) + (0.2/0.3)]+ 0.4[(0.2/0.4 + (0.2/0.4)] = 0.68 бит/символ Н - характеризует потери сигналов при прохождении через канал связи. Теорема сложения энтропий Если две системы X и Y объединятся в одну, то энтропия объединений системы равна энтропии одной из систем плюс условная энтропия второй системы относительно первой. H(x, y) = H(x) + H(y / x) Доказательство этой теоремы: Запишем H(x, y) через. математическое ожидание H(x, y) = M[ - log p(x, y)] По теореме умножения вероятностей p(x, y) = p(x) * p(y / x) log p(x, y) = log p(x) + log p(y / x) M[x, y] = M[ - log p(x)] + M[ - log p(y / x)] H(x, y) = H(x) + H(y / x) Интерес представляют частные случаи: Когда системы независимы, условная энтропия H(y / x) = H(y) и получаем теорему сложения энтропий H(x, y) = H(x) + H(y). H(x, y) H(x) + H(y) Когда состояние одной системы X полностью определяет состояние другой системы Y. В этом случае условная энтропия равна нулю. H(y / x) = 0 H(y, x) = H(x) Пример: Передаются два элемента a, b. Определить количество переданной информации в случае, когда: 1) Элементы взаимозависимы и не равновероятны p(a) = ; p(b) = ; p(a / a) = p(b / a) = p(b / b) = 0 p(a / b) = 1 I = H – вероятность события а I = H = - p(a)[ p(a / a) log p(a / a) + p(b / a) log p(b / a) ] – p(b)[ p(a / b) log p(a / b) + p(b / b) log p(b / b)] = 0.685 бит/символ . 2) не равновероятны и независимы: p(a) = ; p(b) = I = - p(a) log p(a) – p(b) log p(b) = - log - log = 0.815 бит/символ 3) элементы независимы и равновероятны: p(a) = p(b) = ; I = log2 = 1 |