ОТС №4. Группы итс32 бзс александров А. О вопросы рассматриваемые в презентации Энтропия источника независимых дискретных сообщений и её свойства
 Скачать 0.96 Mb.
|
Энтропия источника независимых дискретных сообщений. Свойства энтропии. Энтропия источника зависимых дискретных сообщений. Свойства энтропии. Избыточность источника. Производительность источника. Причины статистической избыточности сообщений и способы ее уменьшения. Информационные характеристики каналов связи. Пропускная способность дискретного и непрерывного каналов связи. Выполнил студентГруппы ИТС-32 БЗСАлександров А.ОВопросы рассматриваемые в презентации:
Энтропия источника информации (1) (2) Клод Элвуд Шеннон американский инженер, криптоаналитик и математик. Считается «отцом информационного века». Мера ШеннонаКоличественную меру информации, учитывающую статистику сообщений и сигналов, ввел Клод Шеннон. Её соответственно и называют мерой Шеннона:где I(ai) – количество информации, заключенное в некотором сообщении ai, Pi – вероятность появления сообщения ai.(3) Энтропия источника независимых дискретных сообщений (4) Свойства энтропии Энтропия – величина неотрицательная. Энтропия равна нулю, если одно событие достоверно, а остальные имеют нулевую вероятность. Свойства энтропии Энтропия совместного наступления независимых событий есть сумма их энтропий. Свойства энтропии Энтропия последовательности из n независимых символов в n раз больше энтропии одного символа. источник создает максимальное количество информации, если символы независимы и равновероятны. Свойства энтропии Свойства энтропии (5) Энтропия такого двоичного источника независимых сообщений рассчитывается по формуле: Энтропия двоичного источника независимых событий Энтропия источника зависимых дискретных сообщений Граф взаимосвязи символов дискретного источника Андрей Андреевич Марков русский математик, академик, внёсший большой вклад в теорию вероятностей, математический анализ и теорию чисел. Односвязная цепь Маркова Односвязная цепь Маркова Можно показать, что среднее количество информации, которое переносит символ на j-й позиции при влиянии предыдущего (j-1)-го символа меньше, чем без учета этого влияния, т. е. условная энтропия меньше безусловной: Избыточность источника Избыточность источника характеризует степень недоиспользования его предельных характеристик и определяется следующим коэффициентом: где Н(А) – энтропия реального источника; Нmax – максимальная энтропия источника, если бы все символы были независимы и равновероятны. Коэффициент избыточности ρ показывает, насколько можно сократить время передачи сообщений, если сократить избыточность ρ = 1 – μ, где Избыточность источника а μ – информационная насыщенность источника сообщений. Величина Нmax/Н(А) определяет коэффициент сжатия текста. Пример избыточности источника Рассмотрим передачу по системе связи текста на русском языке. Практически объем алфавита m = 32. Энтропия реального источника, вырабатывающего текст на русском языке, составляет величину порядка Н(А) = 1.5 бит. Максимума энтропии можно было бы достичь, если бы символы были равновероятны, т. е. при Пример избыточности источника Тогда коэффициент избыточности: Производительность источника Производительность источника определяется количеством собственной информации, вырабатываемой им в единицу времени: Сравнение двух независимых двоичных источников Причины статистической избыточности сообщений и способы ее уменьшения
Для увеличения энтропии и уменьшения избыточности осуществляют ослабление корреляционных связей. Один из способов декорреляции символов – укрупнение сообщений, т. е. символами кода будут не отдельные буквы, а целые слова. Корреляционные связи между словами гораздо меньше, чем между символами. Следовательно, укрупнение сообщений увеличит энтропию. Причины статистической избыточности сообщений и способы ее уменьшения
Для увеличения энтропии и уменьшения избыточностинадо перекодировать сообщения с учетом их вероятностей так,чтобы символы нового кода были бы практическиравновероятны. Такое кодирование, учитывающее статистикупередачи символов, носит название статистического (илиэффективного) кодирования. Информационные характеристики каналов связи
Информационные характеристики каналов связи Скорость (R) передачи информации по каналу связи определяется как количество информации, передаваемой по каналу связи в единицу времени. Пропускная способность (С) определяется как максимальная скорость передачи информации по каналу связи: Максимум ищется по всем возможным вероятностным распределениям источника и всем возможным способам передачи и приема. Поэтому пропускная способность не зависит от свойств источника, а зависит только от помеховой (шумовой) ситуации в канале связи Пропускная способность дискретного канала связи Н(Е) – энтропия шума Е в канале связи Пропускная способность непрерывного канала связи Формула Шеннона для пропускной способности непрерывного канала связи С: где F – полоса пропускания канала, в котором действует сигнал с мощностью Ps и нормальный белый шум с мощностью Рш. Пропускная способность непрерывного канала связи Информационная эффективность канала связи определяется отношением скорости передачи информации к его пропускной способности: Список использованных источников
2. Добаткина, Н. В. Основы теории телекоммуникаций / Н. В. Добаткина. – М. : Издательский центр «Интерэкомс», 2010. – 176 с. 3. Теория электрической связи : учебник для вузов / под ред. Д. Д. Кловского. – М. : Радио и связь, 1999. – 432 с. 4. Крук, Б. И. Телекоммуникационные системы и сети : учеб. пособие : в 3 т. Т. 1 : Современные технологии / Б. И. Крук, В. Н. Попантопуло, В. П. Шувалов; под ред. проф.172 В. П. Шувалова. – М. : Горячая линия – Телеком, 2003. - 647 с. 5. Прокис, Д. Цифровая связь / Д. Прокис ; под ред. Д. Д. Кловского. – М. : Радио и связь, 2000. – 800 с. Список использованных источников 6. Основы цифровой обработки сигналов: учеб. пособие / Ю. А. Брюханов и др. – Ярославль: ЯрГУ, 2013. – 344 с. 7. Гмурман, В. Е. Теория вероятностей и математическая статистика : учеб. пособие для бакалавров / В. Е. Гмурман ; М-во образования и науки РФ – 12-е изд. – М. : Юрайт, 2013. – 479 с. 8. Кремер, Н. Ш. Теория вероятностей и математическая статистика : учебник для вузов. / Н. Ш. Кремер ; М-во образования РФ – 3-е изд., перераб. и доп. – М. : ЮНИТИ, 2009. – 551 с. 9. Теория вероятностей и математическая статистика / сост. Л. П. Бестужева, Н. Л. Майорова; Яросл. гос. ун-т им. П. Г. Демидова, Науч.-метод. совет ун-та. Ч. 1 : практикум. – Б.м. : Б.и., 2012. – 47 с. 10. Hsu, H. Analog and Digital Communcations. Schaum's outline series / H. Hsu – McGraw Hill, 2003. – 330 p. Выводы
|