Энтропия и информация. Х будем называть систему, которая может находиться в одном из состояний
 Скачать 33.62 Kb.
|
|
Ансамблем Х будем называть систему, которая может находиться в одном из состояний xi с вероятностьюp(xi),i=1,…,n. В теории информации ансамбль это источник сообщений, генерирующий последовательности знаков (букв) из некоторого алфавита. Если вероятности следующих состояний не зависят от предыдущих, то последовательность состояний независима. Если имеет место зависимость, то последовательность состояний представляет собой цепь Маркова. Такой источник называют марковским (см. работу №2). Если состояния ансамбля представляют собой числа, то это, в сущности, случайная величина и для анализа можно применять методы теории вероятностей. Узнав, что ансамбль оказался в состоянии xi, мы получаем собственную информацию этого состояния, равную Ixi=-log2p(xi) бит. То есть, чем менее вероятно состояние, тем больше информации оно содержит. Пока нам неизвестно состояние ансамбля, мы находимся в неопределенности, которую называют энтропией ансамбля. Чем выше неопределенность ансамбля, тем выше его информативность. Таким образом, энтропия есть усредненная с учетом вероятностей собственная информация состояний, ее математическое ожидание.  . (1)Везде в дальнейшем мы не будем указывать основание логарифма, считая его равным двум. В этом случае энтропия и информация измеряются в битах. Энтропия - это минимум среднего количества бит, которое нужно передавать по каналу связи, информируя о текущем состоянии ансамбля. Следовательно, если мы будем получать информацию о состояниях ансамбля, то неопределенности не будет, и эта информация в точности равна снятой неопределенности IX=H(X). Ансамбль (система) может представлять собой объединение двух и более подсистем. Рассмотрим систему (X,Y).Вероятности всех nm состояний системы P{X=xi ∩ Y=yj}=p(xi , yj), i=1,…,n, j=1,…,m. Ее энтропия равна  (2)Если подсистемы зависимы, то вероятности состояний могут быть вычислены по теореме умножения p(xi , yj)=p(yj)p(xi|yj)=p(xi)p(yj|xi). При независимости подсистем p(xi|yj)= p(xi), p(yj|xi)= p(yj), используя свойства логарифма, находим, что энтропия объединения независимых подсистем равна сумме их энтропий H(X,Y)=H(X)+H(Y). (3) Зависимость означает, что, узнав состояние одной подсистемы, мы снижаем неопределенность другой, связанной с первой. Введем частную условную энтропию подсистемы X при известном конкретном состоянии yjподсистемы Y  и, усредняя с учетом вероятностей состояний p(yj), получим полную условную энтропию одной из подсистем при информированности о состоянии другой  (4)и аналогично  И энтропия объединения равна H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)≤H(X)+H(Y). Обобщая на произвольное число подсистем, получим H(Z1,Z2,…,ZK)=H(Z1)+H(Z2|Z1)+H(Z3|Z1Z2)+…+H(ZK|Z1…ZK-1) . (5) Выражение (5) можно воспринимать как энтропию последовательности из Kзнаков на выходе источника сообщений, где H(Z2|Z1) – условная энтропия второго знака при известном первом, H(Z3|Z1Z2) – условная энтропия третьего знака при известных двух предшествующих и т.д. (см. работу №2). При независимости подсистем условная энтропия равна безусловной H(X|Y)=H(X), (6) т.е. информация о подсистеме Y не снижает неопределенность X. Тогда уменьшение энтропии (4) естественно понимать как информацию о подсистеме X, содержащуюся в YIY-X =H(X)-H(X|Y). Легко убедиться во взаимности этой информации H(X)-H(X|Y)=H(Y)-H(Y|X) и в том, что H(X,Y)=H(X)+H(Y)- IY-X. Взаимную информацию можно вычислить по формулам  (7)как результат усреднения частных информаций: информации о X в сообщении о состоянии yj  или при усреднении информации об Yв сообщении о состоянии xi  Наконец, можно определить информацию о состоянии xi , содержащуюся в сообщении о состоянии yj  и наоборот  Если считать подсистемы X и Y источником и приемником информации на входе и выходе канала передачи, то взаимная информация IY-X равна среднему количеству информации, переносимой по каналу одним символом x. Подробнее об этом в блоке «Источники сообщений». |