аптионш. Материалы для изучения темы 1.1. Лекции по теме 1 Понятие информации, кодирование, декодировании. Измерение информации. Системы счисления

• Название: Лекции по теме 1 Понятие информации, кодирование, декодировании. Измерение информации. Системы счисления
• Анкор: аптионш
• Дата: 28.05.2020
• Размер: 114.83 Kb.
• Имя файла: Материалы для изучения темы 1.1.docx
• Тип: Лекции; #126159
• страница: 3 из 10

Единицы измерения количества информации

Для удобства, помимо бита используются более крупные единицы измерения количества информации. Вот соотношения между ними:

1 байт = 2³ бит = 8 бит

1 килобайт (Кб) = 2¹⁰ байт = 1024 байт

1 мегабайт (Мб) =  1024 Кб 

1 гигабайт (Гб) =  1024 Мб 

1 терабайт (Тб) = 1024 Гб

То, что отношения между единицами измерения кратны степеням 2, объясняется большим теоретическим и практическим значением двоичного кодирования в информатике.

Количество информации как мера уменьшения неопределенности

С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же  информации может быть оценено различными людьми по-разному. Для объективного измерения  количества информации необходимо формализовать задачу.

Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.

Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.

Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.

Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания идеальной монеты (два равновозможных события) несет один бит информации. 2 = 2¹

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания двух идеальных монет (четыре равновозможных события: орел-решка; решка-орел; орел-орел; решка-решка) несет два бита информации. Действительно, 2ⁿ в данном случае равняется четырем, следовательно n = 2.Для уменьшения неопределенности ситуации в 2ⁿраз необходимо n бит информации: K = 2ⁿ

n	1	2	4	8	16	32	64	128	256	512	1024
log2k	0	1	2	3	4	5	6	7	8	9	10

Задача нахождения n по известному значению K = 2ⁿ решается нахождением логарифма числа K по основанию 2, поэтому, для того, чтобы закодировать информацию, уменьшающую неопределенность в k раз, необходимо log₂k бит информации. Приведем таблицу некоторых двоичных логарифмов, являющихся целыми числами.

Если используется алфавит, состоящий не из двух, а из 2^p знаков, то каждый знак может нести информацию, уменьшающую неопределенность ситуации в 2^p раз. Таким образом, сообщение из m знаков позволяет уменьшить неопределенность в (2^p)^m = 2^pm раз, то есть его информационный объем равен m·p бит, что согласуется с результатом, полученным при использовании алфавитного подхода.