Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова
 Скачать 1.32 Mb.
|
|
4.3 Свойства энтропии 1. Энтропия величина вещественная и неотрицательная. Свойство легко проверяется по формуле (4.5) с учетом того, что 0 1 i p z для всех 1, i N 2. Энтропия величина ограниченная. При 0 1 i p это свойство непосред- ственно следует из формулы (4.5). При 0 p имеем: 40 2 2 2 2 1 log log log log 0 lim lim lim lim 1 1 0 0 e p p p p p p (здесь произведена замена 1 p и далее раскрыта неопределенность по пра- вилу Лопиталя). Таким образом, при любых значениях 0 1 i p , 1, i N H Z 3. По ходу доказательства свойства 2 нетрудно заметить, что 0 H Z , ес- ли вероятность одного из элементов множества равна 1. 4. Энтропия максимальна, когда все элементы множества равновероятны и max 2 max log i p H Z H Z N (4.8) Будем искать максимум (4.5) при условии 1 i p Функция Лагранжа для соответствующей задачи на безусловный экстремум 2 1 1 , log 1 N N i i i p i F p p p p extr Необходимые условия экстремума: 2 2 , log log 0 i i F p p e p , 1 , 1 0 N i i F p p , Рис. 4.1 – Изменение энтропии в случае двух элементов откуда следует 2 log 2 1 e i p Const N . Проверкой легко убедиться, что ука- занное значение доставляет максимум. 5. В частном случае множества с двумя элементами зависимость энтропии от вероятности одного из элементов имеет вид, показанный на рисунке 4.1. В этом можно убедиться, применяя соотношения и выводы, полученные при рас- смотрении свойств 2 и 3 к соотношению (4.5), которое в данном случае прини- мает вид 2 2 log 1 log 1 H Z p p p p (4.9) 41 6. Энтропия объединения статистически независимых множеств равна сумме энтропий исходных множеств. При установлении этого свойства исполь- зуется свойство вероятностей независимых элементов: , i j i j p z v p z p v Поскольку при этом 2 2 2 log , log log i j i j p z v p z p v имеем 2 1 1 2 1 1 2 2 1 1 1 1 1 1 , log , log log log ( ). N K i j i j i j N K i j i j i j N K K N i i j j j i i j j i H ZV p z v p z v p z p v p z p v p z p z p v p v p v p z H Z H V (4.10) Аналогично могут быть получены формулы для объединения любого числа не- зависимых источников. В заключение подчеркнем, что энтропия характеризует только среднюю неопределенность выбора одного элемента из множества, полностью игнорируя их содержательную сторону. 4.4 Условная энтропия и её свойства Часто имеют место связи между элементами разных множеств или между элементами одного множества. Пусть объединенный ансамбль ZV задан мат- рицей вероятностей всех его возможных элементов i j z v , 1, i N , 1, j K : 1 1 2 1 1 1 2 2 2 2 1 2 ( , ) ( , ) ... ( , ) ( , ) ( , ) ... ( , ) ( , ) ( , ) ... ( , ) N N K K N K p z v p z v p z v p z v p z v p z v p z v p z v p z v (4.11) Суммируя вероятности по строкам и столбцам (4.11) в соответствии с (4.1) можно определить также ансамбли , Z p z и , V p v : 42 1 2 1 2 , N N z z z Z p z p z p z p z , 1 2 1 2 , K K v v v V p v p v p v p v Поскольку в случае зависимых элементов , i j i j i i i j p z v p z p v z p v p z v , (4.12) с использованием первого из указанных в (4.12) равенств можно записать 2 2 2 , log , log log i j i j ij i i j i i j i j i j i i j H ZV p z v p z v p z p z p v z p z p v z p v z (4.13) По условию нормировки 1 j i j p v z для любого 1, i N , поэтому первое слагаемое в правой части является энтропией H Z ансамбля , Z p z . Вторая сумма (по j ) во втором слагаемом характеризует частную неопределенность, приходящуюся на одно состояние ансамбля V при условии, что реализовалось состояние i z ансамбля Z . Ее называют частной условной энтропией и обозна- чают i z H V : 2 1 log i K z j i j i j H V p v z p v z (4.14) Величина Z H V , получаемая усреднением частной условной энтропии по всем элементам i z : 1 i N Z i z i H V p z H V , (4.15) называется полной условной энтропией или просто условной энтропией. Таким образом, (4.13) с учетом (4.14), (4.15) можно записать в виде Z H ZV H Z H V (4.16) Используя второе равенство в (4.12), по аналогии можно записать: 43 V H ZV H V H Z (4.17) Можно также показать, что в случае объединения любого числа множеств { ZVW } с зависимыми элементами имеет место равенство Z ZV H ZVW H Z H V H W Подчеркнем, что условная энтропия всегда меньше или равна безусловной: , V H Z H Z Z H V H V (4.18) Справедливость неравенств (4.18) интуитивно понятна: неопределенность вы- бора элемента из некоторого множества может только уменьшиться, если из- вестен элемент другого множества, с элементами которого существует взаимо- связь. Из (4.16)–(4.18), в частности, следует H ZV H Z H V (4.19) Полезно дать геометрическую интерпретацию соотношений (4.16)–(4.19). На рис. 4.2 наглядно показаны различия, которые имеют место при вычислении энтропии объединенного множества в случае независимых (а) и зависимых (б) элементов. а) H Z H V б) H Z Z H V H ZV H Z H Z Z H ZV H Z H V Рис. 4.2 – Иллюстрация формирования энтропии объединенных ансамблей Часто имеет место другой тип связи, а именно: статистическая зависимость между элементами последовательности. Если имеет место связь только между двумя соседними элементами последовательности, она характеризуется услов- ной вероятностью / i j p z z . Последовательность элементов, обладающую ука- занным свойством, называют односвязной цепью Маркова. Связь каждого эле- 44 мента с двумя предшествующими характеризуется условной вероятностью / i j k p z z z , а соответствующая последовательность называется двусвязной це- пью Маркова. Для односвязной цепи Маркова в предположении, что известен (принят) элемент j z из алфавита объема N , частная условная энтропия 2 1 / / log / N j i j i j i H Z z p z z p z z При этом полная (средняя) условная энтропия определяется как 2 1 1 ( ) / log / N N j i j i j j i H Z p z p z z p z z (4.20) Аналогично для двусвязной цепи Маркова 2 1 / ( / ) log ( / ) N j k i j k i j k i H Z z z p z z z p z z z , 2 , ( ) ( , ) ( / )log ( / ) j k i j k i j k j k i H Z p z z p z z z p z z z (4.21) Можно построить выражения для энтропии и при более протяженной связи между элементами последовательности. 45 Лекция 5 Меры неопределенности непрерывных случайных величин 5.1 Понятие дифференциальной энтропии Перейдем к рассмотрению источников информации, выходные сигналы которых являются непрерывной случайной величиной. Множество возможных состояний такого источника составляет континуум, а вероятность любого кон- кретного значения равна 0, что делает невозможным применение, например, меры (4.5). Построим меры неопределенности таких источников, опираясь на введенные ранее меры для дискретных ансамблей. Мы можем приближенно оценить неопределенность выбора какого-либо значения непрерывной случайной величины по формуле (4.5), если ограничим диапазон ее допустимых значений и разобьем этот диапазон, например, на рав- ные интервалы, вероятность попадания в каждый из которых отлична от нуля и определяется как * P i i i z Z z z p z z . Здесь * i p z – ордината плотности распределения p z непрерывной случай- ной величины при значении * i z , принадлежащем интервалу , i i z z z Заменяя в (4.5) i p z его приближенным значением * i p z z имеем * * 2 1 * * * 2 2 1 1 log log log N i i i N N i i i i i H Z p z z p z z p z p z z z p z z (5.1) Далее осуществим предельный переход при 0 z . При этом сумма переходит в интеграл, z dz , а * 1 ( ) 1 N i i p z z . С учетом того, что в общем случае диа- пазон изменения непрерывной случайной величины ; , получаем: 2 2 0 log lim log z H Z p z p z dz z (5.2) 46 Из формулы (5.2) следует, что энтропия непрерывной случайной величины равна бесконечности независимо от вида плотности вероятности. Этот факт, вообще говоря, не является удивительным, так как вероятность конкретного значения непрерывного сигнала равна 0, а множество состояний бесконечно. Ясно, что использовать такую меру на практике не представляется возможным. Для получения конечной характеристики информационных свойств ис- пользуется только первое слагаемое, называемое дифференциальной энтропи- ей: 2 log h Z p z p z dz (5.3) Термин дифференциальная энтропия связан с тем, что для ее определения в формуле (5.3) используется дифференциальный закон распределения p z Возникает естественный вопрос: не является ли это соглашение искусственным и не имеющим смысла. Оказывается, что дифференциальная энтропия имеет смысл средней неоп- ределённости выбора случайной величины с произвольным законом распреде- ления за вычетом неопределённости случайной величины, равномерно распре- делённой в единичном интервале. Действительно энтропия (5.2) равномерно распределённой на интервале случайной величины r Z определяется как 2 2 0 1 1 ( ) log lim log r r z H Z dz z При 1 2 0 ( ) lim log r r z H Z z (5.4) Сравнивая (5.2) и (5.4) нетрудно заметить, что при r z z ( ) ( ) ( ) r H Z H Z h z (5.5) 47 5.2 Понятие дифференциальной условной энтропии Рассмотрим теперь ситуацию, когда (далее две) непрерывные случайные величины статистически связаны. Как и ранее разобьем диапазоны допустимых значений случайных величин на равные интервалы так, что * * P{ , } ( , ) i i j j i j z Z z z v V v v p z v z v , (5.6) где * * ( , ) i j p z v – ордината двумерной плотности распределения в точке * * ( , ) i j z v , принадлежащей прямоугольнику со сторонами , z v : * ( , i i i z z z z * ) j j j v v v v . Подставляя приближенные значения вероятностей (5.6) в формулу энтропии (4.5) получаем * * * * 2 * * * * 2 2 ( ) ( , ) log ( , ) log ( , ) log ( , ) i j i j i j i j i j i j i j H Z,V p z v p z v z v z p z v z v v p z v z v С учетом того, что * * * * * ( , ) ( ) ( / ) i j i j i p z v p z p v z первое слагаемое в правой час- ти последнего равенства можно представить в виде суммы * * * * * * * * 2 2 ( ) log ( ) ( / ) ( , ) log ( / ) i i j i i j j i i j i j p z p z z p v z v p z v p v z v z Далее осуществляя предельный переход при 0, 0 z v , с учетом того, что по условию нормировки * * 0 0 lim ( , ) 1 i j z i j v p z v z v , * * 0 lim ( / ) 1 j i v i j p v z v , * 0 lim ( ) 1 i z i j p z z , получаем 2 2 2 2 0 0 ( ) ( ) log ( ) ( , ) log ( / ) lim log lim log z v H Z,V p z p z dz p z v p v z dzdv z v (5.7) 48 Первое и третье слагаемое – суть энтропия ( ) H Z непрерывного источника (5.2), выходным сигналом которого является случайная величина Z , а величина 2 2 0 ( ) ( , ) log ( ) lim log Z v H V p z v p v z dzdv v (5.8) является условной энтропией непрерывной случайной величины. Она, как и следовало ожидать, в силу второго слагаемого в правой части равна бесконеч- ности. Поэтому, как и в случае одного независимого источника, принимают во внимание только первое слагаемое: 2 ( , ) ( ) ( , ) log ( ) Z p z v h V p z v dzdv p z (5.9) Величину (5.9) называют условной дифференциальной энтропией. Условная дифференциальная энтропия характеризует среднюю неопреде- ленность выбора непрерывной случайной величины с произвольным законом распределения при условии, что известны результаты реализации другой, ста- тистически связанной с ней непрерывной случайной величины, за вычетом средней неопределенности выбора случайной величины, имеющей равномерное распределение на единичном интервале. Сопоставляя (5.2), (5.3), (5.7), (5.8), (5.9) дифференциальную энтропию двух непрерывных статистически связанных источников можно представить в виде ( ) ( ) ( ) ( ) ( ) Z V h ZV h Z h V h V h Z (5.10) Второе равенство в (5.10) получается по той же схеме, что и первое, при * * * * * ( , ) ( ) ( / ) i j j i j p z v p v p z v . Заметим также, что в соответствии с (5.7), (5.8) для непрерывных источников можно выписать равенства, аналогичные (4.16) и (4.18) для дискретных сообщений: ( ) ( ) ( ) ( ) ( ) Z V H ZV H Z H V H V H Z , од- нако они имеют лишь теоретическое значение, поскольку оперировать на прак- тике с бесконечными неопределенностями не представляется возможным. |