Главная страница

теория информации. ТИ (Best). Лекции по предмету "Теория информации" Красноярск 2002


Скачать 1.06 Mb.
НазваниеЛекции по предмету "Теория информации" Красноярск 2002
Анкортеория информации
Дата10.12.2022
Размер1.06 Mb.
Формат файлаdoc
Имя файлаТИ (Best).doc
ТипЛекции
#837351
страница1 из 12
  1   2   3   4   5   6   7   8   9   ...   12



Кафедра ИУС

Лекции по предмету

"Теория информации"

Красноярск 2002

Информация. Язык. Общество



Всякий организм, в том числе и общ-й скрепляется наличием средств использования, хранения и передачи информации. Очень мало стабилизирующих процессов.

Теория информации развивалась как наука в конце 40-х г.г. В её основу положены труды Шеннона, Винера, Колмогорова, Котельникова. Это полуматематическая наука, т.е. прикладное приложение к математике.


Измерение информации



Важным вопросом в теории информации является установленные меры информации. В качестве меры информации выделяют структурные и статические меры. Структурные меры рассматривают дискретное строение массивов информации и измеряют информацию подсчётом числа возможных информационных измерений. Статические методы учитывают вероятность появления информационных символов и в качестве меры информации используют понятие энтропия – мера неопределённости состояния систем.


Структурный метод



Структурные методы имеют дело с информационными массивами. Массив информации представим в виде кубика.




n – длина передаваемого числа;

m – глубина числа;

Поле – набор из элементов чисел m из гнезда выдвигаются нужное число,

а число определено.

поле





m

- гнездо


n


Все ячейки называются числовой грядой (один слой). Совокупность слоев – это поле.

Количество чисел, которое может быть представлено с помощью одной числовой гряды:

В 1928г американец Хартли предложил использовать логическую меру: - это мера информации по Хартли (аддитивная мера по Хартли) количество информации, измеренное такой мерой, измеряется в битах (это название даёт основание log2). Если глубина числа m = 2 – это двоичная мера информации (0 или 1), если m = 1, то кол-во информации равно один бит. Это соответствует одному элементарному событию.


Статический метод


Обычно элементы сообщений не равновероятны, и это обстоятельство влияет на количество переданной информации. Пусть имеется алфавит из m элементов h1, h2, …,hm – элементы алфавита. Вероятности появления символов равны p1, p2, …,pm. Составим из этих элементов сообщения, содержащее n элементов. Среди них будут n1 элементов h1, n2 элементов h2, … nm элементов hm .

Предположим, что появление каждого элемента независимое событие. Тогда вероятность появления определённой комбинации выражается произведением единичных вероятностей отдельных элементов и эту вероятность можно записать:



При достаточно большой длине числа n, можно считать, что ni определяется как pi*n. Кроме того можно считать, что все сообщения равновероятны, тогда вероятность отдельного сообщения:
N – количество переданных сообщений;

I = log2N – количество информации =
Кол-во информации, отнесённое к одному символу

- энтропия

Такая мера информации была введена Шенноном. Количество информации по Шеннону определяется как I. Измеряется [бит/символ]. Она характеризует количество переданной информации при неравновероятности появления символов и характеризует неопределённость состояния сообщения.

  1   2   3   4   5   6   7   8   9   ...   12


написать администратору сайта