Измерение информации

Название	Измерение информации
Дата	14.09.2020
Размер	36.6 Kb.
Формат файла
Имя файла	izmerenie_informatsii_metod_posobie.docx
Тип	Документы #137855

ИЗМЕРЕНИЕ ИНФОРМАЦИИ
Подходы к измерению информации

При всем многообразии подходов к определению понятия информации, с позиций измерения информации нас интересуют два из них: определение К. Шеннона, применяемое в математической теории информации, и определение А. Н. Колмогорова, применяемое в отраслях информатики, связанных с использованием компьютеров.

В содержательном подходе возможна качественная оценка информации: новая, срочная, важная и т.д. Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией - той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации. Неопределенность некоторого события - это количество возможных исходов данного события. Так, например, неопределенность погоды на завтра обычно заключается в диапазоне температуры воздуха и возможности выпадения осадков.

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования.

Содержательный подход

Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией — той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.

По Шеннону, информация — уменьшение неопределенности наших знаний.

Неопределенность некоторого события — это количество возможных исходов данного события.

Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.

Содержательный подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному.

Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.

Если сообщение уменьшило неопределенность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

1 бит — объем информации такого сообщения, которое уменьшает неопределенность знания в два раза.

Рассмотрим, как можно подсчитать количество информации в сообщении, используя содержательный подход.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных (равновозможных) событий. Тогда количество информации i, заключенное в этом сообщении, и число событий N связаны формулой: 2ⁱ = N. Эта формула носит название формулы Хартли. Получена она в 1928 г. американским инженером Р. Хартли.

Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то вычисления легко произвести "в уме". В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов либо определять значение логарифма приблизительно (ближайшее целое число, большее).

Например, если из 256 одинаковых, но разноцветных шаров наугад выбрали один, то сообщение о том, что выбрали красный шар несет 8 бит информации (2⁸=256).
Для угадывания числа (наверняка) в диапазоне от 0 до 100, если разрешается задавать только двоичные вопросы (с ответом "да" или "нет"), нужно задать 7 вопросов, так как объем информации о загаданном числе больше 6 и меньше 7 (2⁶<100>2⁷)

Алфавитный подход

Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.

Алфавит — упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.

Мощность алфавита — количество символов алфавита.
Двоичный алфавит содержит 2 символа, его мощность равна двум.
Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Чтобы определить объем информации в сообщении при алфавитном подходе, нужно последовательно решить задачи:

Определить количество информации (i) в одном символов по формуле 2ⁱ = N, где N — мощность алфавита
Определить количество символов в сообщении (К)

Вычислить объем информации по формуле: I = К* i.

Например, если текстовое сообщение, закодированное по системе ASCII, содержит 100 символов, то его информационный объем составляет 800 бит.

Для двоичного сообщения той же длины информационный объем составляет 100 бит. В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено — не намагничено, есть отверстие — нет отверстия. При этом одно состояние принято обозначать цифрой 0, а другое — цифрой 1.
Единицы измерения информации

Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно и подробно человеком изучены те или иные явления, тем подчас проще найти ответ на поставленный вопрос. Так, например, знание законов физики позволяет создавать сложные приборы, а для того, чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов

Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. При этом разные люди, получившие одно и то же сообщение (например, прочитав статью в газете), по-разному оценивают количество информации, содержащейся в нем. Это происходит оттого, что знания людей об этих событиях (явлениях) до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, чем написано в статье, скажут, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

Однако иногда возникает ситуация, когда людям сообщают много новых для них сведений (например, на лекции), а информации при этом они практически не получают (в этом нетрудно убедиться во время опроса или контрольной работы). Происходит это оттого, что сама тема в данный момент слушателям не представляется интересной

Итак, количество информации зависит от новизны сведений об интересном для получателя информации явлении. Иными словами, неопределенность (т.е. неполнота знания) по интересующему нас вопросу с получением информации уменьшается. Если в результате получения сообщения будет достигнута полная ясность в данном вопросе (т.е. неопределенность исчезнет), говорят, что была получена исчерпывающая информация. Это означает, что необходимости в получении дополнительной информации на эту тему нет. Напротив, если после получения сообщения неопределенность осталась прежней (сообщаемые сведения или уже были известны, или не относятся к делу), значит, информации получено не было (нулевая информация).

Если подбросить монету и проследить, какой стороной она упадет, то мы получим определенную информацию. Обе стороны монеты "равноправны", поэтому одинаково вероятно, что выпадет как одна, так и другая сторона. В таких случаях говорят, что событие несет информацию в 1 бит. Если положить в мешок два шарика разного цвета, то, вытащив вслепую один шар, мы также получим информацию о цвете шара в 1 бит. Единица измерения информации называется бит (bit) - что означает двоичная цифра.

В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено - не намагничено, есть отверстие - нет отверстия. При этом одно состояние принято обозначать цифрой 0, а другое - цифрой 1. Выбор одного из двух возможных вариантов позволяет также различать логические истину и ложь. Последовательностью битов можно закодировать текст, изображение, звук или какую-либо другую информацию. Такой метод представления информации называется двоичным кодированием

В информатике часто используется величина, называемая байтом (byte) и равная 8 битам. И если бит позволяет выбрать один вариант из двух возможных, то байт, соответственно, 1 из 256 (2⁸). В большинстве современных ЭВМ при кодировании каждому символу соответствует своя последовательность из восьми нулей и единиц, т. е. байт.

Наряду с байтами для измерения количества информации используются более крупные единицы

1 Кбайт (один килобайт) = 2¹⁰ байт = 1024 байта;

1 Мбайт (один мегабайт) = 2¹⁰ Кбайт = 1024 Кбайта;

1 Гбайт (один гигабайт) = 2¹⁰ Мбайт = 1024 Мбайта.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как

1 Терабайт (Тб) = 1024 Гбайта = 2⁴⁰ байта

1 Петабайт (Пб) = 1024 Тбайта = 2⁵⁰ байта.
Здесь мы рассмотрим только один, который называется алфавитным подходом
Решение задач на измерение информации

Для решения задач нам понадобится формула, связывающая между собой информационный вес каждого символа, выраженный в битах (i), и мощность алфавита (N): N = 2ⁱ; информационный объем (I), количество информации (К):I = К* i

Задача 1: Алфавит содержит 32 буквы. Какое количество информации несет одна буква?

Дано:

N=32

Найти:

i-?

Решение:

N = 2ⁱ

32 = 2ⁱ=> 2⁵ = 2ⁱ=> i = 5

Ответ: одна буква несет 5 бит информации.
Задача 2: Сообщение, записанное буквами из 16 символьного алфавита, содержит 10 символов. Какой объем информации в битах оно несет?

Дано:

N=16

К=10

Найти:

I -?

Решение:

N = 2ⁱ

16 = 2ⁱ=> 2⁴ = 2ⁱ=> i = 4

I = К* i

I = 10* 4=40 бит

I = 40 бит

40 бит=8 байт

Ответ: сообщение несет 40 бит информации (8 байт).
Задача 3: Информационное сообщение объемом 300 бит содержит 100 символов. Какова мощность алфавита?

Дано:

I =300

К=100

Найти:

N -?

Решение:

N = 2ⁱ

I = К*

i = I / К

i = 300 / 100

i = 3

N = 2ⁱ = 2³= 8

Ответ: мощность алфавита N = 8.
Следующие задачи для самостоятельного решения.

Задача 4: Объем сообщения, содержащего 20 символов, составил 100 бит. Каков размер алфавита, с помощью которого записано сообщение?
Задача 5: Сколько символов содержит сообщение, записанное с помощью 8 символьного алфавита, если объем его составил 120 бит?
Задача 6: В книге 100 страниц. На каждой странице 60 строк по 80 символов в строке. Вычислить информационный объем книги.

Самостоятельная работа «Измерение информации»
Вариант 1

№1. Сообщение записано с помощью алфавита, содержащего 8 символов. Какое количество информации несет одна буква этого алфавита?
№2. Сообщение, записанное буквами из 128-символьного алфавита, содержит 30 символов. Какой информационный объем оно несет?
№3. Сообщение, составленное с помощью 32-символьного алфавита, содержит 80 символов. Другое сообщение составлено с использованием 64-символьного алфавита и содержит 70 символов. Сравните объемы информации, содержащейся в сообщениях.
№4. Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?
№5. Пользователь вводит текст с клавиатуры со скоростью 90 знаков в минуту. Какое количество информации будет содержать текст, который он набирал 15 мин.
Вариант 2
№1. Информационный объем одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит, с помощью которого было составлено это сообщение?
№2. Информационное сообщение объемом 4 Кбайта содержит 4096 символов. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
№3. Сколько килобайтов составляет сообщение из 512 символов 16-ти символьного алфавита?
№4. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?
№5. Пользователь вводит текст с клавиатуры 10 минут. Какова скорость ввода информации, если информационный объем полученного текста равен 1 Кбайт?

Вариант 3
№1. Информационный объем одного символа некоторого сообщения равен 5 битам. Сколько символов входит в алфавит, с помощью которого было составлено это сообщение?
№2. Сколько символов содержит сообщение, записанное с помощью 256-символьного алфавита, если объем его составил 1/32 часть Мбайта?
№3. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?
№4. Для записи сообщения использовался 64-символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
№5. Ученик читает текст со скоростью 250 символов в минуту. При записи текста использовался алфавит, содержащий 64 символа. Какой объем информации получит ученик, если будет непрерывно читать 20 минут?
Тест. Измерение информации.
Выберите один правильный ответ.

За единицу измерения информации в теории кодирования принимается:

1) 1 кг; 2) 1 фут; 3) 1 бар 4) 1 бит; 5) 1 бод.

1. Алфавит племени Мульти состоит из 64 букв. Какое количество информации несёт одна буква этого алфавита?

1) 8 бит; 2) 8 байт; 3) 6 бит 4) 6 байт; 5) 1 байт.

Сколько байтов составит сообщение из 100 символов 256-ти символьного алфавита?

1) 100; 2) 256; 3) 800; 4) 8; 5) 1.

Сколько в одном байте содержится бит?

1) 8; 2) 1; 3) 1; 4) 1000; 5) 1024.
5. Чему равен 1 мегабайт в секунду (1МБ/с)?

1) 1000 килобит в секунду

2) 1000 килобайт в секунду

3) 1024 килобит в секунду

4) 1024 килобайт в секунду

Фамилия, имя___________________________ класс____ Дата__________

Контрольная работа 1 Вариант

1. Сравните (поставьте знак отношения)

1) 200 байт 0,25 Кбайт.

2) 3 байта 24 бита.

3) 1536 бит 1,5 Кбайта.

4) 1000 бит 1 Кбайт.

5) 8192 байта 1 Кбайт.

2. Считая, что каждый символ кодируется одним байтом, оцените информационный объем следующего предложения:

«Мой дядя самых честных правил».

3. Информативность сообщения, принимаемого человеком, определяется

1. Способом передачи сообщения

2. Способом обработки принимаемого сообщения

3. Способом приема сообщения

4. Временем приема сообщения

5. Наличием новых знаний и понятностью

4. Получено сообщение, информационный объем которого равен 32 битам. Чему равен этот объем в байтах?

5. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

6. Ваня учится в первом классе и хорошо знает таблицу умножения, но не знает английский язык. Какое из сообщений может быть для Вани информативным?

2 х 8 = 16
6 MULTIPLAY 8 EQUAL 48
Ваня учится в школе
В английском алфавите 26 букв
MY FREND IS SCHOOLBOY

7. Объём сообщения – 7,5 Кб. Известно, что данное сообщение содержит 7680 символов. Какова мощность алфавита?

8. Мощность алфавита равна 64. Сколько Кбайт памяти потребуется, чтобы сохранить 128 страниц текста, содержащего в среднем 256 символов на каждой странице?

9. Мощность алфавита равна 256. Сколько Кбайт памяти потребуется, для сохранения 160 страниц текста, содержащего в среднем 192 символов на каждой странице?

10. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если его объём составил 1/16 часть мегабайта?

Фамилия, имя___________________________ класс____ Дата__________

Контрольная работа

2 Вариант

1. Сравните (поставьте знак отношения)

1) 512 байт 1 Кбайт;

2) 1 Кбайт 1000 байт;

3) 800 байт 1 Кбайт

4) 400 бит 50 байт.

5) 8192 байта 1 Кбайт.

2. Получено сообщение, информационный объем которого равен 64 битам. Чему равен этот объем в байтах?

3. Перевод текста с английского на китайский является процессом:

Обработки информации
Хранения информации
Передачи информации
Поиска информации
Не является ни одним из перечисленных процессов

4. Считая, что каждый символ кодируется одним байтом, оцените информационный объем следующего предложения: «Я памятник себе воздвиг нерукотворный!»

5. Объём сообщения – 11 Кб. Сообщение содержит 11264 символа. Какова мощность алфавита?

6. Алфавит племени Мульти состоит из 32 букв. Какое количество информации несёт одна буква этого алфавита?

7. Мощность алфавита равна 256. Сколько Кбайт памяти потребуется, для сохранения 160 страниц текста, содержащего в среднем 192 символов на каждой странице?

8. Сообщение, записанное буквами из 16-символьного алфавита, содержит 50 символов. Какой объём информации оно несёт?

9. Для записи текста использовался 256 символьный алфавит. Каждая страница содержит 30 строк по 70 символов. Какой объём содержит 5 страниц текста?

10. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объём составляет 1/512 часть одного мегабайта.

Литература

http://www.ido.rudn.ru/nfpk/inf/inf2.html
http://school497.ru/download/u/02/les8/les.html
http://psbatishev.narod.ru/test/i106.htm
http://pedsovet.org/component/option,com_mtree/task,viewlink/link_id,78356/Itemid,5461249/
http://it-uroki.ru/uroki/test-2-edinicy-izmereniya-informacii.html
Информатика и ИКТ: учебник для 8 класса/И.Г.Семакин, Л.А.Залогова, С.В. Русаков, Л.В.Шестакова – 3-е изд., испр. – М.БИНОМ. Лаборатория знаний, 2009. – 165с.
Задачник-практикум в 2 т. Том 1/ Л.А.Залогова, М.А.Плаксин, С.В.Русаков и др.; под ред. И.Г.Семакина, Е.К.Хеннера. – М.БИНОМ. Лаборатория знаний, 2009. – 309с.