Главная страница
Навигация по странице:

  • Формула измерения количества информации Р. Хартли

  • (Н. И. Сорока, Г. А. Кривинченко. Теория передачи информации с.39)

  • (С.Б. Луковкин

  • Зверева Е.Н., Лебедько Е.Г. Сборник примеров и задач по основам теории информации и кодирования сообщений

  • Решение Задачи 2

    		•

    Тидз 2 лаба. ТИДЗ2. Данные. Информация. Знания студенты гр


    Скачать 180.06 Kb.
    НазваниеДанные. Информация. Знания студенты гр
    АнкорТидз 2 лаба
    Дата22.11.2021
    Размер180.06 Kb.
    Формат файлаdocx
    Имя файлаТИДЗ2.docx
    ТипОтчет
    #279099

    МИНОБРНАУКИ РОССИИ

    Санкт-Петербургский государственный

    МИНОБРНАУКИ РОССИИ

    Санкт-Петербургский государственный

    электротехнический университет

    «ЛЭТИ» им. В.И. Ульянова (Ленина)

    Кафедра АПУ

    отчет

    по лабораторной работе №2
    по дисциплине «ТИДЗ»

    Тема: ДАННЫЕ. ИНФОРМАЦИЯ. ЗНАНИЯ



    Студенты гр.



    ()

    Преподаватель


    ( Писарев И.)



    Санкт-Петербург

    2021


      1. Формула измерения количества информации Р. Хартли

    Для установления формулы для вычисления количества информации необходимо уметь вычислять неопределенность некоторой ситуации до и после опыта. Разность между этими количествами неопределенности и дает нам искомое количество информации, полученное от такого опыта.

    К количеству информации (неопределенности до опыта) можно предъявить три требования.

    1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов. Обозначая количество информации буквой I, а число возможных исходов n, первый постулат запишем в виде:

    .

    2. Опыт с единственным исходом несет количество информации, равное нулю, т. е.

    .

    3. Количество информации от двух независимых опытов равно сумме количества информации от каждого из них:

    .

    Количество информации от опыта с N исходами при условии, что после опыта неопределенность отсутствует:

    -Формула Хартли

    Указанная мера была предложена Р. Хартли в 1928г. для количественной оценки способности системы хранить или передавать информацию. Такая мера удовлетворяет требованию аддитивности.

    Емкость устройства, состоящего из n ячеек, имеющего состояний, равна емкости одной ячейки, умноженной на число ячеек:



    За единицу измерения емкости принята двоичная единица или bit, равная емкости одной ячейки с двумя возможными состояниями.

    (Н. И. Сорока, Г. А. Кривинченко. Теория передачи информации с.39)

      1. Понятие информационной энтропии. Единицы измерения энтропии.

    Информационная энтропия – это мера неопределённости состояния некоторой случайной величины (физической системы) с конечным или счётным числом состояний. Случайная величина (с.в.) – это величина, которая в результате эксперимента или наблюдения принимает числовое значение, заранее неизвестно какое.

    Итак, пусть X – случайная величина, которая может принимать N различных значений x1, x2, … xN; если все значения с.в. X равновероятны, то энтропия (мера неопределённости) величины X равна:

    .

    Энтропия и количество информации измеряются в одних и тех же единицах – в битах. 1 бит (от английского binary unit = bit) – это энтропия системы с двумя равновероятными состояниями.

    (С.Б. Луковкин Теоретические основы информатики с.25)

      1. Развитие теории информации в работах Клода Шеннона. Формула Шеннона.

    К. Шеннон изучал вопросы передачи информации в телеграфии, телефонии или радиовещании в виде сигналов электромагнитных колебаний. Одна из задач, которую ставил перед собой К. Шеннон, заключалась в том, чтобы определить систему кодирования, позволяющую оптимизировать скорость и достоверность передачи информации. В своих работах 1948-1949 годов К. Шеннон определил количество информации через энтропию. К. Шеннон, используя подход Р. Хартли, обратил внимание на то, что при передаче словесных сообщений частота (вероятность) использования различных букв алфавита не одинакова: некоторые буквы используются очень часто, другие - редко.

    В общем случае количество энтропии H произвольной системы X (случайной величины), которая может находиться в m различных состояниях x1, x2, … xm c вероятностями p1, p2, … pm , вычисленное по формуле Шеннона, равно: .

    Если все pi одинаковы, то все состояния системы X равновероятны; в этом случае pi = 1/m, и формула (3.3) переходит в формулу Хартли. («Теоретические основы информатики». Луковкин С.Б. c.32-33)

    Количество информации H() при наблюдении случайной величины   X  {x1, x2,.. xn} с распределением вероятностей P { p1, p2,.. pn} задается формулой Шеннона:



    Единицей измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения.

    При равномерном распределении p1  p2 = pn количество информации задается формулой Хартли:

    (Зверева Е.Н., Лебедько Е.Г. Сборник примеров и задач по основам теории информации и кодирования сообщений c.17)

      1. Решение Задачи 1



    Из задания выбираем интервал (1-16). Используя формулу Хартли вычислим кол-во информации, которое нужно нам чтобы определить один элемент из множества целых чисел в интервале (1-16). информации.

    Загадываем число 14
    1)Принадлежит оно (1-8)?


    Нет, значит оно принадлежит (9-16)-получен 1 бит информации
    2) Принадлежит оно (9-12)?
    Нет, значит оно принадлежит (13-16)-получен 1 бит информации


    3) Принадлежит оно (13-14)?
    Да-получен 1 бит информации
    4)Это число 13?
    Нет, значит это число 14 - получен 1 бит информации


      1. Решение Задачи 2



    Предложение: Счастье для всех, даром, и пусть никто не уйдет обиженным!



    - формула Хартли

    -формула Шеннона

    Сопоставляя выведенные значения, видим, что формула Шеннона приносит вывод на 1 бит меньше, чем через формулу Харли.

    написать администратору сайта