аддитивность информации. 2. Измерение информации
 Скачать 29.5 Kb.
|
|
2. Измерение информации 2.1. Комбинаторный подход к определению количества информации В 1928 году американский инженер Р. Хартли первым предложил методологию измерения количества информации. При этом Р. Хартли считал, что измеряемая информация – это «… группа физических символов – слов, точек, тире и т. п., имеющих по общему соглашению известный смысл для корреспондирующих сторон». Р. Хартли предложил рассматривать процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений. Тогда количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N: I = log2N – формула Р. Хартли Выбор функции для описания количества информации в физической системе обоснован следующими условиями. 1. Значение функции в 1 должно быть равно 0, т.е. I(1)=0. 2. Функция должна быть аддитивной, т. е. I(N1 · N2) = I(N1) + I(N2). 3. Функция должна быть возрастающей, т.е. если N1 > N2, то I(N1) > I(N2). Этим условиям в полной мере удовлетворяет логарифмическая функция. 1.Если заданное множество имеет одно единственное сообщение (N=1), то количество информации, содержащееся в нем равно нулю: I = I (1) = log21 = 0. 2. При наличии двух независимых множеств сообщений с мощностями N1 и N2 соответственно количество информации, приходящееся на одно сообщение (взятое из объединения этих множеств), равно сумме количеств информации, которые были бы получены от двух независимых множеств, взятых порознь:Модуль 13. Информация и ее измерение 7 I (N1 · N2) = log2(N1 · N2) = log2(N1) + log2(N2) = I(N1) + I(N2). 3. Большее количество информации содержит сообщение, выбранное из большего числа равновероятных сообщений: если N1 > N2, то I(N1)> I(N2), т.к. log2(N1) > log2(N2). Для определения количества информации не всегда возможно использовать формулу Хартли. Её применяют, когда выбор любого элемента из множества, содержащего N элементов, равнозначен. Или, при алфавитном подходе, все символы алфавита встречаются в сообщениях, записанных с помощью этого алфавита, одинаково часто. Однако в действительности символы алфавитов естественных языков в сообщениях появляются с разной частотой. В 1948 году американец Клод Шеннон предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе: I = – ( p1 log2 p1 + p2 log2 p2 + . . . + pN log2 pN ), где pi – вероятность того, что именно i-ое сообщение выделено в наборе из N сообщений – формула К.Шеннона Закон аддитивности информации Количество информации H(x1, x2), необходимое для установления пары (x1, x2), равно сумме количеств информации H(x1) и H(x2), необходимых для независимого установления элементов x1 , x2: H(x1, x2) = H(x1) + H(x2). Пример 1. Вычислить, какой объем памяти компьютера потребуется для хранения одной страницы текста на английском языке, содержащей 2400 символов. Решение. Мощность английского алфавита, включая разделительные знаки, N = 32. Тогда для хранения такой страницы текста в компьютере понадобится 2400 · log232 бит = 2400 · 5 =12000 бит = 1500 байт. Пример 2. В течение 5 секунд было передано сообщение, объем которого составил 375 байт. Каков размер алфавита, с помощью которого записано сообщение, если скорость передачи составила 200 символов в секунду? Решение. 1) 375 байт / 5 с = 75 байт/с – скорость передачи, 2) Так как 75 байт/с соответствуют 200 симв./с., то в одном символе содержится 75 байт / 200 = 0,375 байт = 3 бита. 3) log2 N = 3 бита, следовательно, N = 23 = 8 символов. |