Энтропия. Экспериментальное определение количества информации, избыточности источника сообщений

• Название: Экспериментальное определение количества информации, избыточности источника сообщений
• Анкор: Энтропия
• Дата: 17.11.2020
• Размер: 145.42 Kb.
• Имя файла: Laboratornaya_rabota_3.docx
• Тип: Лабораторная работа; #151372

Министерство Образования и Науки Республики Казахстан Карагандинский Государственный Технический Университет

Лабораторная работа №3

Дисциплина: Основы теории информационных процессов и систем

Тема: Экспериментальное определение количества информации, избыточности источника сообщений

Выполнил:

Ст. группы ИС 19-4

Жаухарбеков А.М.

Проверил:

Преподаватель:

Чангариди Ф.В.

Караганда 2020

Экспериментальное определение количества информации, избыточности источника сообщений

Цель работы: Экспериментальное определение количества информации, избыточности источника сообщений.

Содержание лабораторной работы.

1. Каждый студент получает от преподавателя по 5 предложений русского текста длиной не менее 15 букв (включая пробелы), причем эти предложения должны быть известны только тому, кто их получает.

2. Затем происходит поочередное отгадывание текста (при этом необходимо использовать данные таблицы 1) Составляется список предложений оригинального (1) и приведенного (2) текста.

3. Составляется таблица, аналогичная таблице 2, где в клетку {NS}, заносится общее количество , отгадываний с S-й попытки ,если предыдущие N-1 букв.

4. По составленной таблице 2 вычисляются величины

, где .

При вычислениях можно пользоваться таблицей 3.

5. Для каждого N вычисляется избыточность



По полученным данным строится график RN(N).

6 Обработка результатов проводится на компьютере.

Результаты работы

1. 
   Получены предложения
   
2. 
   Составлены списки оригинального и приведенного предложений
   

Д	Л	И	Н	Н	Ы	Й		Р	(1)
4	2	3	1	1	2	1	1	2	(2)
Я	Д		Ч	И	С	Е	Л		(1)
6	4	2	6	4	2	1	1		(2)

П	О	Д	Н	Я	Л	С	Я		У	Р	(1)
4	5	4	1	2	2	1	1	1	10	2	(2)
О	В	Е	Н	Ь		М	О	Р	Я		(1)
4	2	2	1	1	1	5	5	2	1		(2)

В	Ы	Б	Р	А	Л	И		К	Р	(1)
10	3	8	3	1	1	1	1	7	5	(2)
А	С	Н	Ы	Й		Ц	В	Е	Т	(1)
3	4	1	1	1	1	9	5	1	1	(2)

П	Р	О	Ч	И	Т	А	Н	Н	О	Е	(1)
4	2	4	5	2	2	1	2	1	1	1	(2)
	С	О	О	Б	Щ	Е	Н	И	Е		(1)
1	5	3	1	2	11	1	1	1	1		(2)

З	А	В	Е	Р	Ш	Е	Н	Н	(1)
6	2	4	3	2	2	1	1	1	(2)
А	Я		Р	А	Б	О	Т	А	(1)
2	1	1	10	6	3	1	1	1	(2)

3. 
   Составлена таблица, где в клетку {NS}, заносится общее количество , отгадываний с S-й попытки ,если предыдущие N-1 букв.
   

S/N	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22
1	7	4	4	3	1	2	1	1	10	11	5	2	9	4	2	1	1
2	9	5	4	1	2	2	1	1	1	10	5	4	2	2	1	1	1	5	5	2	1
3	10	3	8	3	1	1	1	1	7	5	3	4	1	1	1	1	9	5	1	1
4	11	9	5	7	4	2	1	2	1	1	1	1	8	5	3	1	1	1	1	1	1
5	6	2	4	3	2	2	1	1	1	2	1	1	10	6	3	1	1	1

4. 
   По составленной таблице вычисляются величины
   

Блок схема



Листинг программы

from math import *

text = input('Введите предложение:')

numbers = input('Введите приведенный текст:')

# Строку numbers преобразует в список

numbers_list = []

n = ''

for i in numbers:

if i == ' ':

numbers_list.append(int(n))

n = ''

else:

n += i

else:

numbers_list.append(int(n))

# Словарь где ключи - буквы, значения - (кол-во букв в предложении и угадываний)

alphabet = {}

for letter, guess in zip(text, numbers_list):

s = 1

if letter in alphabet:

guess += alphabet[letter][1]

s += alphabet[letter][0]

alphabet[letter] = [s, guess]

# Нахождение энтропии

HN = 0

for letter in alphabet.values():

g = letter[0] / letter[1]

HN += g * log2(g)

R = 1 - (HN / 5)

print('энтропия HN =', -HN)

print('избыток R =', R)



Рис. 1 – «Результаты выполнение программы»



Рис. 2 – «Результаты выполнение программы»



Рис. 3 – «Результаты выполнение программы»



Рис. 4 – «Результаты выполнение программы»



Ответы на контрольные вопросы:

1. 
   Методы оценки количества информации:
   

1)Связь между количеством возможных событий N и количеством информации I определяется формулой Хартли: I=log₂N

2)С помощью таблица вероятностей появления той или иной буквы русского алфавита

2. 
   Энтропия характеризуется следующими свойствами:
   

1)Энтропия всегда положительна

2)Энтропия равна нулю в том случае, когда вероятность появления одного события равна 1, а все остальные -О.

3)Энтропия имеет наибольшее значение в том случае, когда все вероятности равны между собой: Ρ₁=Ρ₂=Ρ_κ= , в этом случае

3. 
   Не существуют таблиц вероятностей двухбуквенных, трехбуквенных и т.д. сочетаний. Эта работа очень трудоемка, уже для m>3 составление таблицы становиться практически невыполнимой задачей.