Теория информации. 2 3 Вычислить энтропию дискретного источника без памяти с символами алфавита x a b с вероятностью

• Название: 2 3 Вычислить энтропию дискретного источника без памяти с символами алфавита x a b с вероятностью
• Дата: 25.04.2022
• Размер: 76.97 Kb.
• Имя файла: Теория информации.docx
• Тип: Документы; #495635

2.9.3 Вычислить энтропию дискретного источника без памяти с символами алфавита X = {a; b} с вероятностью

Энтропия дискретного источника без памяти с символами алфавита 𝑋 = {𝑥₁, 𝑥₂, … , 𝑥_𝑚} и соответствующими вероятностями 𝑝₁, 𝑝₂, … , 𝑝_𝑚 равна

𝐻 = 𝐻(𝑝₁, 𝑝₂, … , 𝑝_𝑚) = ∑ ^m _i=1 -𝑝_𝑖 log 𝑝_𝑖 .



Ответ: 0,81 бит/символ.

3.5.1 Построить кодовое дерево кода 𝑋 = {𝑥₁, 𝑥₂, … , 𝑥₈}, где 𝑥₁ = (01),
𝑥₂ = (00), 𝑥₃ = (111), 𝑥₄ = (110), 𝑥₅ = (100), 𝑥₆ = (1011), 𝑥₇ = (10101), 𝑥₈ = (10100).



4.6.22 Используйте алгоритм кодирования LZW для сжатия сообщения ТЕОРИЯ ИНФОРМАЦИИ – ТЕОРИЯ КОДИРОВАНИЯ.

Т	Е	О	Р	И	Я		И	Н	Ф	ОР	М	А	Ц	И	И		-
1	2	3	4	5	6	7	5	8	9	19	10	11	12	5	5	7	13	7
ТЕ	ОР	ИЯ	_	К	О	Д	И	Р	О	В	А	Н	ИЯ
17	19	21	7	14	3	15	5	4	3	16	11	8	21

5.10.2 Определить пропускную способность непрерывного канала, если = 0,1.

Для случая малого отношения (сигнал/шум)

на входе приемника пропускная способность канала



не зависит от ширины его пропускания, а определяется средней мощностью передаваемого сигнала и спектральной плотностью мощности шума (мощности, приходящейся на единицу полосы).



Ответ: 0,144.

9.9.2 Показать, что матрицы 𝑮 и 𝑮 ′ порождают эквивалентные коды



Два кода эквивалентны тогда, когда их порождающая матрица получается одна из другой на основе свойства инвариантности.







Линейно независимые векторы инвариантны относительно двух операций, при выполнении которых минимальное расстояние кода не изменяется.

Справедливы следующие операции:

– произвольные перестановки столбцов и строк матрицы 𝑮;

– элементарные операции (например сложение) над строками матрицы 𝑮.

Поменяем местами столбцы и убедимся, что матрица 𝑮 порождает эквивалентный код 𝑮 ′.