Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова
 Скачать 1.32 Mb.
|
|
с с , связанные с численной величиной оценки ˆс при истин- ном значении вектора c . Тогда мерой качества целесообразно выбрать функ- цию средних потерь по всевозможным наблюдениям для каждого фиксирован- ного значения вектора параметров c : ˆ ˆ ˆ , , , / L M П П w dy Y с с с с с с Y c , которая называется функцией условного риска. Функция среднего риска получается усреднением условного риска по всем возможным значениям случайных параметров c : ˆ ˆ , , ˆ ˆ , / , / ˆ , / L M L L w d П w w d d П w w d d w П w d d c c Y Y c Y c с с с с с c c с с Y c c Y c с с Y c Y c Y Y с с c Y c Y (16.29) Функция (16.29) минимальна, когда достигает минимума внутренний интеграл. Следовательно, искомый критерий представляется в виде ˆ , / Q П w d c с с с c Y c Отметим, что использование байесовских оценок на практике часто затруднено, из-за невозможности получить необходимую априорную информацию. 142 Список использованных источников 1. Биркгоф Г., Барти Т. Современная прикладная алгебра. Перев. с англ. М.: Мир. – 1976, 400 с. 2. Гилл А. Линейные последовательные машины. Перев. с англ. М.: Наука. – 1974, 287 с. 3. Дмитриев В.И.. Прикладная теория информации. Учебн. пособие. – М.: Высшая школа, 1989. – 320 с. 4. Кловский Д.Д. Теория передачи сигналов. – М.: Связь, 1973. – 376 с. 5. Колмогоров А. Н. Теория передачи информации // Сессия академии Наук СССР по научным проблемам автоматизации производства, 15-20 окт.1956 г.: Пленар.заседания.-. М.: Изд-во АН СССР, 1957.- С.66-99. 6. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах. Электронный научный журнал «Информационные процессы», 2001, т. 1, № 1, стр. 1-9. 7. Кузьмин И.В., Кедрус В.А. Основы теории информации и кодирования. 2-е изд. перераб. и доп. – К.: Вища школа. 1986. – 238 с. 8. Лифшиц Н.А., Пугачев В.Н.. Вероятностный анализ систем автоматиче- ского управления. – М.: Советское радио. – 1963, 896 с. 9. Питерсон У. Коды, исправляющие ошибки. Пер. с англ. – М.: Мир, 1964. – 340 с. 10. Сойфер В.А. Теория информации. Учебное пособие, КуАИ, 1977, 80 с. 11. Фурсов В.А. Определение характеристик объектов в адаптивных систе- мах управления: Учебн. пособие. – Под ред. Б.М. Шамрикова – М.: МАИ, 1983. – 46 с. 12. Харкевич А.А. Спектры и анализ. – М.: Физматгиз, 1962. – 236 с. 13. Цыпкин Я.З. Основы информационной теории идентификации. – М.: Нау- ка. Главная редакция физико-математической литературы. 1984. – 320 с. 143 ОГЛАВЛЕНИЕ Предисловие ............................................................................................................ 3 Введение. Понятие информации. Предмет и задачи курса ................................... 5 Лекция 1. Модели детерминированных сигналов.............................................. 9 1.1 Понятие модели сигнала .................................................................................. 9 1.2 Обобщенное спектральное представление детерминированных сигналов ....................................................................... 10 1.3 Временная форма представления сигналов .................................................. 11 1.4 Частотное представление периодических сигналов..................................... 12 1.5 Распределение энергии в спектре периодического сигнала ........................ 14 1.6 Частотное представление непериодических сигналов ................................. 15 1.7 Распределение энергии в спектре непериодического сигнала .................... 17 1.8 Соотношение между длительностью сигналов и шириной их спектров .... 17 Лекция 2. Модели случайных сигналов ............................................................. 19 2.1 Случайный процесс как модель сигнала....................................................... 19 2.2 Спектральное представление случайных сигналов...................................... 22 2.3 Частотное представление стационарных случайных сигналов, дискретные спектры ....................................................................................... 24 2.4 Частотное представление стационарных случайных сигналов, непрерывные спектры .................................................................................... 25 2.5 Спектральная плотность мощности .............................................................. 27 Лекция 3. Преобразование непрерывных сигналов в дискретные................ 28 3.1 Формулировка задачи дискретизации........................................................... 28 3.2 Критерии качества восстановления непрерывного сигнала ........................ 29 3.3 Теорема Котельникова ................................................................................... 30 3.4 Квантование сигналов.................................................................................... 33 144 Лекция 4. Меры неопределенности дискретных множеств ............................ 36 4.1 Вероятностное описание дискретных ансамблей и источников ................. 36 4.2 Энтропия, как мера неопределенности выбора ............................................ 37 4.3 Свойства энтропии ......................................................................................... 38 4.4 Условная энтропия и её свойства.................................................................. 40 Лекция 5. Меры неопределенности непрерывных случайных величин....... 44 5.1 Понятие дифференциальной энтропии ......................................................... 44 5.2 Понятие дифференциальной условной энтропии ........................................ 45 5.3 Свойства дифференциальной энтропии........................................................ 47 5.4 Распределения, обладающие максимальной дифференциальной энтропией........................................................................................................ 48 Лекция 6. Количество информации как мера снятой неопределенности..... 50 6.1 Количество информации при передаче отдельного элемента дискретного сообщения ................................................................................. 50 6.2 Свойства частного количества информации ................................................ 51 6.3 Среднее количество информации в любом элементе дискретного сообщения ................................................................................. 51 6.4 Свойства среднего количества информации в элементе сообщения .......... 51 6.5 Количество информации при передаче сообщений от непрерывного источника........................................................................... 53 6.6 Эпсилон-энтропия случайной величины ...................................................... 54 6.7 Избыточность сообщений.............................................................................. 56 Лекция 7. Оценка информационных характеристик источников сообщений................................................................................ 57 7.1 Понятие эргодического источника сообщений ............................................ 57 7.2 Теорема о свойствах эргодических последовательностей знаков............... 58 7.3 Производительность источника дискретных сообщений ............................ 60 7.4 Эпсилон-производительность источника непрерывных сообщений .......... 61 145 Лекция 8. Информационные характеристики каналов связи ........................ 63 8.1 Модели дискретных каналов ......................................................................... 63 8.2 Скорость передачи информации по дискретному каналу............................ 64 8.3 Пропускная способность дискретного канала без помех............................. 65 8.4 Пропускная способность дискретного канала с помехами.......................... 66 8.5 Скорость передачи по непрерывному гауссову каналу связи ..................... 67 8.6 Пропускная способность непрерывного гауссова канала связи.................. 68 8.7 Согласование физических характеристик сигнала и канала........................ 70 Лекция 9. Эффективное кодирование ................................................................ 71 9.1 Цель кодирования. Основные понятия и определения ................................ 71 9.2 Основная теорема Шеннона о кодировании для канала без помех............. 73 9.3 Методы эффективного кодирования некоррелированной последовательности знаков, код Шеннона-Фано ......................................... 75 9.4 Методика кодирования Хаффмана................................................................ 76 9.5 Методы эффективного кодирования коррелированной последовательности знаков ........................................................................... 78 9.6 Недостатки системы эффективного кодирования ........................................ 79 Лекция 10. Введение в теорию помехоустойчивого кодирования ................. 80 10.1 Теорема Шеннона о кодировании для канала с помехами .......................... 80 10.2 Общие принципы построения помехоустойчивых кодов ............................ 84 10.3 Математическое введение к линейным кодам.............................................. 85 Лекция 11. Построение групповых кодов .......................................................... 87 11.1 Понятие корректирующей способности кода............................................... 87 11.2 Общая схема построения группового кода................................................... 88 11.3 Связь корректирующей способности с кодовым расстоянием.................... 89 11.4 Построение опознавателей ошибок............................................................... 91 11.5 Определение проверочных равенств и уравнений кодирования ................. 92 146 Лекция 12. Циклические коды ............................................................................ 94 12.1 Математическое введение к циклическим кодам......................................... 94 12.2 Понятие и общая схема построения циклического кода ............................. 96 12.3 Построение циклического кода на кольце многочленов ............................. 97 12.4 Выбор образующих многочленов для обнаружения и исправления одиночных ошибок ........................................................................................ 99 12.5 Методы формирования комбинаций и декодирования циклического кода........................................................................................ 100 Лекция 13. Матричные представления в теории кодирования ................... 102 13.1 Групповой код как подпространство линейного пространства................. 102 13.2 Понятие образующей матрицы. Построение разрешенных кодовых комбинаций с использованием образующей матрицы ............... 103 13.3 Построение матрицы-дополнения............................................................... 104 13.4 Понятие и построение проверочной (контрольной) матрицы ................... 105 13.5 Границы для числа разрешенных комбинаций .......................................... 106 13.6 Матричное представление циклических кодов .......................................... 108 13.7 Построение проверочной матрицы циклического кода............................. 109 Лекция 14. Кодирование линейными последовательными машинами ...... 110 14.1 Понятие линейной последовательной машины (ЛПМ) ............................. 110 14.2 Матричное описание ЛПМ .......................................................................... 111 14.3 Каноническая и естественная нормальная форма ЛПМ ............................ 111 14.4 Подобные и минимальные ЛПМ ................................................................. 112 14.5 Понятие простой автономной ЛПМ (АЛПМ.............................................. 114 14.6 Формирование разрешенных комбинаций циклического кода с помощью АЛПМ ....................................................................................... 114 14.7 Образующая матрица АЛПМ ...................................................................... 116 Лекция 15. Обнаружение и различение сигналов........................................... 117 15.1 Постановка задачи обнаружения сигналов при наличии помех................ 117 15.2 Обнаружение по критерию максимального правдоподобия ..................... 118 147 15.3 Обнаружение сигналов по критерию максимума апостериорной вероятности......................................................................... 119 15.4 Информационный критерий обнаружения ................................................. 120 15.5 Обнаружение по критерию Неймана-Пирсона........................................... 120 15.6 Обнаружение сигналов по критерию минимального риска....................... 122 15.7 Различение сигналов .................................................................................... 123 Лекция 16. Оценка параметров сигналов ........................................................ 124 16.1 Общая формулировка задачи восстановления сигналов............................ 124 16.2 Задача оценки параметров линейных моделей........................................... 125 16.3 Достижимая точность, неравенство Крамера-Рао ...................................... 126 16.4 Оценки, минимизирующие среднеквадратическую ошибку ..................... 127 16.5 Оценки максимального правдоподобия...................................................... 128 16.6 Оптимальность оценок МНК и максимального правдоподобия ............... 129 16.7 Байесовские оценки...................................................................................... 130 Список использованных источников.............................................................. 132 148 Учебное издание Фурсов Владимир Алексеевич ЛЕКЦИИ ПО ТЕОРИИ ИНФОРМАЦИИ Учебное пособие Технический редактор С.Б. Попов Редакторская обработка О.Ю. Дьяченко Корректорская обработка А.В. Ярославцева, О.Ю. Дьяченко Верстка Н.Е. Козин Доверстка А.А. Нечитайло Подписано в печать 1.12.06. Формат 6084 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 8,6. Усл. кр.-отт. 8,72. Печ. Л. 9.25 Тираж 50 экз. Заказ 211. ИП-86/2006 Самарский государственный аэрокосмический Университет/ 443086 Самара, Московское шоссе, 34 Bpl-dj Самарского государственного аэрокосмического университета. 443086 Самара, Московское шоссе, 34 |