Информатика. Формула Шеннона. Количество информации как мера уменьшения неопределенности знания
 Скачать 242.5 Kb.
|
Количество информации как мера уменьшения неопределенности знанияhttp://www.iro.yar.ru/resource/distant/informatics/s/ilina/Chapter1.htmhttp://informatika.sch880.ru/p1aa1.htmlhttp://teo-inf1.narod.ru/shen.htmlИнформационные процессы - это процессы, связанные с получением, хранением, обработкой и передачей информации. В информатике рассматриваются информационные процессы, поэтому важен вопрос об определении количества информации. Количественно измерить информацию позволит подход к информации как к мере уменьшения неопределенности знания. В окружающем нас мире существует множество явлений, которые каждый раз происходят несколько по-иному, приводят к неожиданному результату. Эти явления называют случайными. Случай играет не последнюю роль в жизни человека. Издавна существует понятие "Его Величество Случай". Многие явления в технике, природе и других областях также носят случайный характер, т. е. невозможно точно предсказать, как явление будет происходить. Но при наблюдении этого явления достаточное число раз при неизменных условиях можно описать его течение количественно. Так, например, при бросании монеты нельзя предсказать, выпадет "орел" или "решка". Случайный эксперимент или опыт, есть процесс, при котором возможны различные исходы, так что заранее нельзя предсказать каков будет результат. Опыт характеризуется тем, что его в принципе можно повторить сколько угодно раз. Особое значение имеет множество возможных, взаимно исключающих друг друга исходов опыта (элементарных событий). Если опыт подразделяется только на конечное число элементарных событий, которые являются к тому же равновероятными, то говорят, что речь идет о классическом случае. Примерами таких опытов являются бросания монеты, бросание игральной кости. Для опытов такого типа еще Лаплас разработал теорию вероятности. ( Р(А) = число элементарных событий благоприятных для А / число всех возможных элементарных событий). Пусть имеется шестигранный кубик, который будем бросать на ровную поверхность. С равной вероятностью произойдет одно из шести возможных событий - кубик окажется в одном из шести положений: выпадет одна из шести граней. Можно говорить о равновероятных событиях, если при возрастающем количестве экспериментов число выпадений каждой из граней постепенно будут сближаться. Перед самим броском возможны шесть событий, т. е. существует неопределенность нашего знания, мы не можем предсказать сколько очков выпадет. После того, как событие произошло, наступает полная определенность, так как мы получаем зрительное сообщение, что кубик в данный момент находится в определенном состоянии. Неопределенность нашего знания уменьшилась, одно из шести равновероятных событий произошло. Начальная неопределенность нашего знания зависит от начального числа возможных равновероятных событий. Чем оно больше, тем большее количество информации будет содержать сообщение о результатах опыта. За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределенность знания в два раза. Такая единица названа бит (от binary digit - двоичная цифра). На примере игры "Угадай число" можно рассмотреть уменьшение неопределенности. Один из участников загадывает целое число (например, 30) из заданного интервала (например, от 1 до 32), цель второго - "угадать" число первого участника. Для второго игрока начальная неопределенность знания составляет 32 возможных события. Чтобы найти число, необходимо получить определенное количество информации. Первый участник может отвечать только "да" и "нет". Второй должен выбрать следующую стратегию: последовательно, на каждом шаге уменьшать неопределенность знания в два раза. Для этого он должен делить числовой интервал пополам, задавая свои вопросы. Протокол игры.
Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов. Количество информации, необходимое для определения одного из 32 чисел, составило 5 бит. Количество возможных событий К и количество информации I связаны между собой формулой: К = 2I Данная формула позволяет определять:
Задачи. 1. Конфеты находятся в одной из 10 коробок. Определить информационную неопределенность. Ответ: 10. 2. Тетрадь лежит на одной из двух полок - верхней или нижней. Сколько бит несет в себе сообщение, что она лежит на нижней полке? Ответ: 1 бит. 3. Шарик находится в одной из трех урн: А, В или С. Определить информационную неопределенность. Ответ: 3. 4. Шарик находится в одной из 32 урн. Сколько единиц информации будет содержать сообщение о том, где он находится? Ответ: 5 бит. 5. Сколько вопросов следует задать и как их нужно сформулировать, чтобы узнать с какого из 16 путей отправляется ваш поезд? Ответ: 4 вопроса. 6. Какое количество информации получит первый игрок после первого хода второго игрока в игре "крестики - нолики" на поле 4 х 4? 7. После реализации одного из возможных событий получили количество информации равное 15 бит. Какое количество возможных событий было первоначально? 8. Определить стратегию угадывания одной карты из колоды из 32 игральных карт (все четыре шестерки отсутствуют), если на вопросы будут даны ответы "да" или "нет". Одна из стратегий:
|