задачи по ОТС. Занятие 1 Основы теории передачи информации

• Название: Занятие 1 Основы теории передачи информации
• Анкор: задачи по ОТС
• Дата: 06.04.2023
• Размер: 62.26 Kb.
• Имя файла: PZ1.doc
• Тип: Занятие; #1041413

ПРАКТИЧЕСКОЕ ЗАНЯТИЕ № 1

Основы теории передачи информации
Цель занятия: Изучение практических приложений теории информации для сравнительной оценки информационных характеристик дискретных и непрерывных источников сообщений и каналов связи.
Литература:

1.Передача дискретных сообщений: Учебник для вузов/ В.П.Шувалов, Н.В.Захарченко, В.О.Шварцман и др.; Под ред. В.П.Шувалова. - М.: Радио и связь,1990.-464 с.: ил. - стр. 12-29.
Контрольные вопросы:

1. 
   Что такое информация? Какое сообщение содержит информацию?
   

1. 
   Что является мерой количества информации в сообщении?
   

1. 
   Какое сообщение содержит 1 двоичную единицу информации?
   

Как определяется энтропия источника дискретных сообщений

- с независимыми элементами сообщений;

- с зависимыми элементами сообщений?

1. 
   Когда энтропия источника минимальна, когда максимальна?
   

1. 
   Как определяется совместная информация 2-х элементов сообщения и совместная энтропия 2-х источников информации? Когда она максимальна и когда минимальна?
   

1. 
   Как определяется взаимная информация 2-х элементов сообщения? Когда она максимальна и когда минимальна?
   

1. 
   Что такое избыточность источника? Причины избыточности. Что такое производительность источника?
   

1. 
   Что такое пропускная способность канала связи? Ее размерность?
   

1. 
   Что утверждает теорема К.Шеннона для каналов связи с помехами?
   

1. 
   Чем отличаются изохронные сигналы от анизохронных?
   

1. 
   Какой сигнал называется цифровым сигналом данных (ЦСД)?
   

1. 
   Перечислите известные вам критерии оптимизации систем ПДС. Каковы их достоинства и недостатки?
   

1. 
   При какой плотности распределения вероятностей случайная непрерывная величина имеет максимальную энтропию? Чему равен этот максимум?
   

1. 
   Как определяется энтропия и производительность источника непрерывных сообщений с ограниченным спектром?
   

Задачи:
1.1.Самолет противника с равной вероятностью может находиться в одной из 1024 зон воздушного пространства. Какое количество информации получает оператор радиолокационной станции, когда он фиксирует наличие самолета в одной из них.
1.2.Символы алфавита азбуки Морзе появляются в сообщении со следующими вероятностями:

• 
  0,51 для "точки";
  
• 
  0,31 для "тире";
  
• 
  0,12 для промежутка между буквами;
  
• 
  0,06 для промежутка между словами.
  

Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.
1.3.Определить энтропию и избыточность двоичного источника, для которого вероятности выбора “0” и “1” равны 0,8 и 0,2 соответственно.
1.4.Напряжение изменяется в пределах U₂ - U₁ = 8 B. При равномерном квантовании датчик регистрирует приращение напряжения U = 0,1 B. Вычислить максимальное количество информации в 5 отсчетах.

1.5.Определить энтропию и избыточность источника с зависимыми элементами (буквами), для которого вероятности переходов заданы в табл.1.1. Изобразить на чертеже диаграмму состояний и переходов источника.
Таблица 1.1

	1	2	3	4	5	6	7	8	9	10
()	0.3	0.4	0.45	0.1	0.5	0.8	0.6	0.1	0.4	0.3
()	0.2	0.1	0.05	0.3	0.1	0.8	0.4	0.1	0.4	0.7

1.6.Согласно экспериментальным данным безусловные вероятности букв русского алфавита характеризуются следующими величинами (табл. 1.2):
Таблица 1.2

буква	Вероятность	буква	Вероятность	буква	Вероятность	буква	Вероятность
пробел	0.175	р	0.040	я	0.018	х	0.009
о	0.090	в	0.038	ы	0.016	ж	0.007
е	0.072	л	0.035	з	0.016	ю	0.006
а	0.062	к	0.028	ь,ъ	0.014	ш	0.006
и	0.062	м	0.026	б	0.014	ц	0.004
т	0.053	д	0.025	г	0.013	щ	0.003
н	0.053	п	0.023	ч	0.012	э	0.002
с	0.045	у	0.021	й	0.010	ф	0.002

Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.

Вычислить избыточность источника, обусловленную неравновероятностью выбора букв, а также и их статистической связью (памятью источника), если по экспериментальным данным энтропия такого источника H(A)=1 бит/символ.
1.7.Согласно экспериментальным данным безусловные вероятности букв английского алфавита характеризуются следующими величинами (табл.1.3):
Таблица 1.3

буква	Вероятность	буква	Вероятность	буква	Вероятность
пробел	0.200	h	0.047	w	0.012
e	0.105	d	0.035	g	0.011
t	0.072	l	0.028	b	0.010
o	0.065	c	0.023	v	0.008
a	0.063	f	0.023	k	0.003
n	0.058	u	0.023	x	0.001
i	0.055	m	0.021	j	0.001
r	0.052	p	0.018	q	0.001
s	0.052	y	0.012	z	0.001

Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.

Вычислить избыточность источника, если по экспериментальным данным энтропия такого источника с учетом 8-буквенных сочетаний H(A) =1,86 бит/символ за счет неравновероятности выбора букв и их статистической связи.
1.8.Согласно экспериментальным данным безусловные вероятности букв немецкого алфавита характеризуются следующими величинами (табл.1.4):

Таблица 1.4

буква	Вероятность	буква	Вероятность	буква	Вероятность
пробел	0.15149	u	0.03188	k	0.00956
e	0.14701	l	0.02931	v	0.00735
n	0.08835	c	0.02673	u”	0.00580
r	0.06858	g	0.02667	p	0.00499
i	0.06377	m	0.02134	a”	0.00491
s	0.05388	o	0.01772	o”	0.00255
t	0.04731	b	0.01597	j	0.00165
d	0.04385	z	0.01423	y	0.00017
h	0.04355	w	0.01420	q	0.00014
a	0.04331	f	0.01360	x	0.00013

Найти энтропию источника, выдающего текст из этих букв при отсутствии статистических связей между буквами.
1.9. Найти количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному кадру развертки изображения, если:

• 
  в кадре 625 строк;
  
• 
  сигнал, соответствующий одной строке развертки изображения представляет собой последовательность из 833 случайных по амплитуде импульсов, каждый из которых может с равной вероятностью принимать любое значение в интервале от 0 до 16 ;
  
• 
  каждый импульс квантуется по величине с шагом квантования 1;
  
• 
  импульсы изображения между собой не коррелированны.
  

Найти избыточность ТВ сигнала, если фактически кадр изображения с 16 градациями уровней содержит 9,3710 бит информации.
1.10. Плотность распределения значений случайного сигнала  имеет вид:
1.  , ;

2. , ;

3. ,  (равномерный закон);

4.  ,  (нормальный закон);

5. , - (закон Симпсона);

6. ,  (закон Релея);

7. , (закон Коши).

Найти энтропию сигнала.
1.11. На вход приемного устройства воздействует сигнал

  ,

где  - сигнал и  - помеха являются независимыми случайными гауссовскими процессами с нулевыми средними значениями и дисперсиями, равными соответственно    и   .

Определить:

а) Количество информации , которое содержится в принятом значении сигнала  о сигнале ;

б) Среднюю взаимную информацию .