Измерение информации. Содержательный подход. Проверка домашнего задания: - По какой формуле определяется мощность алфавита?
- По какой формуле рассчитывается информационный объем текста?
- Сообщение, записанное буквами из 64-символьного алфавит, содержит 100 символов. Какой объем информации оно несет?
Неопределенность знаний и количество информации. Чем больше первоначальная неопределенность знания, тем больше информации несет сообщение, снимающее эту неопределенность. Ситуация 1. В ваш класс назначен новый учитель информатики; на вопрос «Это мужчина или женщина?» вам ответили «Мужчина». Ситуация 2. На чемпионате страны по футболу играли команды «Динамо» и «Зенит». Из спортивных новостей по радио вы узнаете, что игра закончилась победой «Зенита». Ситуация 3. На выборах мера города было представлено 4 кандидата. После подведения итогов голосования вы узнали, что избран Н.Н. Никитин.
Информация — это снятая неопределённость. Величина неопределённое™ некоторого события — это количество возможных результатов (исходов) данного события.
Сообщение, уменьшающее неопределённость знания в 2 раза, несёт 1 бит информации.
Такой подход к измерению информации называют содержательным.
| Пример 1 - Допустим, вы подбрасываете монету, загадывая, что выпадет: «орёл» или «решка». Перед подбрасыванием монеты неопределённость знания о результате равна двум. Действительно, есть всего два возможных результата этого события (бросания монеты). Эти результаты мы считаем равновероятными, т. к. ни один из них не имеет преимущества перед другим.
- После того как конкретный исход стал известен (например, подброшенная монета упала «орлом» вверх), неопределённость уменьшилась в 2 раза. Таким образом, сообщение о том, что подброшенная монета упала «орлом» вверх, несёт в себе 1 бит информации.
Пример 2. - Предположим, в книжном шкафу восемь полок. Книга может быть поставлена на любую из них. Сколько бит информации несёт сообщение о том, что книга поставлена на третью полку?
- Ответ на этот вопрос можно получить, если дополнить исходное сообщение ещё несколькими сообщениями так, чтобы каждое из них уменьшало неопределённость знания в 2 раза.
- Итак, количество возможных результатов (исходов) события, состоящего в том, что книга поставлена в шкаф, равно восьми: 1, 2, 3, 4, 5, 6, 7 и 8.
- Сообщение «Книга поставлена на полку не выше четвёртой» уменьшает неопределённость знания о результате в два раза. Действительно, после такого сообщения остаётся всего четыре варианта: 1, 2, 3 и 4. Получен один бит информации.
- Сообщение «Книга поставлена на полку выше второй» уменьшает неопределённость знания о результате в два раза: после этого сообщения остаётся всего два варианта: 3 и 4. Получен ещё один (второй) бит информации.
- Сообщение «Книга поставлена на третью полку» также уменьшает неопределённость знания о результате в два раза. Получен третий бит информации.
- Итак, мы построили цепочку сообщений, каждое из которых уменьшало неопределённость знания о результате в два раза, т. е. несло 1 бит информации. Всего было набрано 3 бита информации. Именно столько информации и содержится в сообщении «Книга поставлена на третью полку».
- Подумайте, сколько информации содержится в сообщении о том, что книга поставлена на пятую полку. Обоснуйте свой ответ, построив соответствующую цепочку сообщений.
Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Этот метод широко используется в компьютерных науках. «Главная формула» информатики - Полученные нами результаты описываются следующими формулировками:
- Сообщение об одном из двух равновероятных исходов некоторого события несет 1 бит информации;
- Сообщение об одном из четырех равновероятных исходов некоторого события несет 2 бита информации;
- Сообщение об одном из 8 равновероятных исходов несет 3 бита информации;
«Главная формула» информатики Нетрудно заметить, что связь между этими величинами выражается следующей формулой: «Главная формула» информатики Формула Хартли Формула Хартли Домашнее задание: - П.4 прочитать и ответить на вопросы после параграфа.
|
Скачать 5.48 Mb.