Информатика и ИКТ лекция. Протокол умс от 201 г. Проректор по умр с. П. Ермишин

• Название: Протокол умс от 201 г. Проректор по умр с. П. Ермишин
• Анкор: Информатика и ИКТ лекция.doc
• Дата: 18.05.2017
• Размер: 5.78 Mb.
• Имя файла: Информатика и ИКТ лекция.doc
• Тип: Протокол; #7818
• страница: 6 из 25

Синтаксическая мера информации

Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.

Объем данных V_д в сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит название бит (от слов binary digit - двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.

Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.

Количество информации I определяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.

Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения  о системе. Мерой его неосведомленности о системе является функция H(), которая в то же время служит и мерой неопределенности состояния системы.

После получения сообщения  получатель приобрел в нем информацию I_(), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равна H_(). Тогда количество информации I_() о системе, полученной в сообщении , определится как I_() = H() - H_() .

Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.

Если конечная неопределенность H_()обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_() = H(). Иными словами, энтропия системы H() может рассматриваться как мера информации.

Энтропия системы H(), имеющей N возможных состояний, согласно формуле Шеннона равна

,

где P_i - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны ,

энтропия определяется соотношением

.

Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N = mⁿ ,

где N - число всевозможных отображаемых состояний;

m - основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число символов в сообщении.

Приведем пример. По каналу связи передается n - символьное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N = mⁿ , то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равно I = logN = nlogm.

Эта формула известна как формула Хартли. Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I = V_д , полученных по каналу связи. Для неравновероятных состояний системы всегда I < V_д = n.

Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.

Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.

, причем 0 < Y < 1 .

C увеличением Y уменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.