Шпоры тпс. печать. Перечень понятий, необходимых для освоения дисциплины Определение информации в статистической теории информации
 Скачать 0.91 Mb.
|
|
Перечень понятий, необходимых для освоения дисциплины 1. Определение информации в статистической теории информации Под информацией в теории информации понимают не любые сведения, а лишь те, которые снимают полностью или уменьшают существующую до их получения неопределенность. Информация – это снятая неопределенность. 2. Динамический диапазон сигнала Динамический диапазон сигнала – отношение максимальной мгновенной мощности сигнала к минимальной. 3. Ширина спектра сигнала Ширина спектра сигнала –диапазон частот в пределах которого сосредоточена основная энергия сигнала. 4. Объем сигнала Объёмом сигнала является произведение V = FHT. H - динамический диапазон , F - ширина спектра , T - длительность сигнала во времени. 5. Динамический диапазон канала Динамический диапазон канала – выраженное в децибелах отношение допустимой мощности передаваемого сигнала к мощности помехи. 6. Объем канала Объемом канала является произведение V k =T k D k F k T k – время передачи по каналу D k – динамический диапазон канала F k – полоса пропускания канала 7. Код, кодер, разрядность и основание кода Код – правило или алгоритм, в соответствии с которым символам источника присваивается определенная кодовая комбинация. Кодер – устройство, выполняющее алгоритм. Разрядность – условно это количество цифр в числе (символов в сообщении) Основание кода – количество элементарных символов, используемых для построения кода. 8. Первичный кодер Первичный кодер - кодирует знаки первичного алфавита n элементарными сигналами с алфавитом А. Первичный кодер является безызбыточным, то есть число возможных кодовых комбинаций равно объему алфавита источника(N=2n). 9. Вторичный кодер Вторичный кодер – устройство, которое к «к» символам первичного кодера (информационным) по определенному правилу прибавляет «r» проверочных. Общая длина кодовой комбинации становится равной n = k + r, число возможных кодовых комбинаций увеличивается: N=2k+r. 10. Интерфейс Интерфейс – устройство согласования сигнала с параметрами линии связи. 11. Модулятор, модуляция. Для чего нужна модуляция? Модулятор – устройство для согласования параметров сигнала с параметрами среды передачи, а также для частотного разделения канала. Модуляция - перенос спектра низкочастотного сигнала в область высоких частот (радиочастот). Суть модуляции заключается в том, что один из параметров высокочастотного гармонического колебания (его называют несущим колебанием, а частоту – несущей частотой) изменяется по закону низкочастотного (управляющего) сигнала, содержащего передаваемое сообщение. Для преобразования сигнала со вторичного кодера в сигнал линии связи. 12. Линия связи Линия связи – совокупность технических средств, необходимых для передачи информации от передатчика к приемнику. 13. Канал передачи информации Канал передачи информации - совокупность технических средств необходимых для передачи информации от источника к получателю. 14. Когерентный прием и некогерентный прием Когерентный прием - если на приеме известно время прихода сигнала S(t). В случае когерентного приема решающая схема должна сделать выбор из двух возможных ситуаций: принятая реализация соответствует «0»; принятая реализация соответствует «1». Некогерентный прием - если на приеме не известно время прихода сигнала. В этом случае решающая схема демодулятора делает выбор уже из трех возможных ситуаций: принятая реализация соответствует «0»; принятая реализация соответствует «1»; на входе приемника действует помеха. 15. Демодулятор Демодулятор – Устройство для преобразования сигнала линии связи в сигнал на вторичный декодер т.е. преобразование модулированного ВЧ сигнала в НЧ. 16. Помеха, аддитивные и мультипликативные помехи Помеха – внешнее или внутренне воздействие, приводящее к искажению сигнала или затруднению его приема. Аддитивные помехи – помехи, складывающиеся с полезным сигналом.(электромаг) Мультипликативные помехи – помехи, перемножающиеся с полезным сигналом.(дождь) 17. Плотность и функция распределения мгновенных значений случайных сигналов 18. Математическое ожидание и дисперсия Математическое ожидание – среднее значение случайной величины. Дисперсия – мера отклонения случайной величины от ее среднего значения. 19. Единица измерения информации 1 бит - единица измерения информации, равная количеству информации в сообщении о том, что произошло одно из двух равновероятных событий. 20. Мера Хартли. В каких случаях ее можно использовать? Мера Хартли определяет общее количество информации, содержащейся в сообщении, длинной n. Формула: J=log 2 m a. 21. Энтропия. Энтропия – среднее количество информации, приходящееся на один символ дискретного источника. 22. Марковский источник Источник информации, в котором существуют корреляционные связи между символами, т.е. вероятность появления символа зависит от того, какой символ появился ранее. 23. Избыточность, коэффициент сжатия Избыточность – величина, показывающая процент лишних символов. Коэффициент сжатия – отношение энтропии источника к максимальной энтропии. 24. Статистический (оптимальный) код Статистический код – код, в котором избыточность сообщения, вызванная неравновероятностью появления символов, минимальна. 25. Априорная и апостериорная вероятности Априорная вероятность – доопытная P(B/A); апостериорная вероятность – послеопытная P(A/B). 26. Однородный канал Однородный канал – канал, в котором для любых сочетаний принятых и передаваемых символов условные вероятности переходов не зависят от времени. 27. Симметричный канал Симметричный канал – канал, у которого объемы алфавитов приема и передачи одинаковы и равны двум. Вероятности правильного приема равны и одинаковы. Вероятности ошибок равны и одинаковы. 28. Канал без памяти Канал без памяти — это когда условные вероятности принятых и передаваемых символов не зависят от того, какие символы передавались или принимались ранее. 29. Канал со стиранием Канал со стиранием – это когда объем алфавита на передаче и приеме не совпадает (не приеме один лишний символ). Символ стирания — это запрос на повторную передачу. Возникает если была ошибка в кодовой комбинации. 30. Энтропия потерь J(B;A)=H(B)-H(B/A)=H(A)-H(A/B), где H(B) – энтропия принятого сообщения H(B/A) – энтропкия помех в канале H(A) – энтропия источника H(A/B) – энтропия потерь в канале или ненадежность канала 31. Энтропия помех J(B;A)=H(B)-H(B/A)=H(A)-H(A/B), где H(B) – энтропия принятого сообщения H(B/A) – энтропия помех в канале H(A) – энтропия источника H(A/B) – энтропия потерь в канале или ненадежность канала 32. Скорость передачи информации и скорость передачи символов по каналу. Единицы измерения Скорость передачи информации – объем информации, передаваемый в единицу времени (бит/сек). Скорость передачи символов – количество символов, передаваемых в единицу времени (симв/сек или бод). 33. Пропускная способность Максимальная скорость передачи информации по каналу. 1 Бод – один символ в секунду 34. Стационарный случайный процесс Стационарный случайный процесс – процесс вероятностные закономерности которого неизменны во времени. 35. Эргодический случайный процесс Стационарный случайный процесс называется эргодическим, если при определении любых статистических характеристик усреднение по множеству реализаций эквивалентно усреднению по времени одной бесконечно длинной реализации. 36. Нестационарный случайный процесс Нестационарный случайный процесс – процесс вероятностные закономерности которого изменяются во времени. 37. Плотность вероятности Плотность вероятности - вероятность попадания значения случайной величины в бесконечно малый интервал взятый относительного некоторого на перед заданного значения. 38. Функция распределения Функция распределения – вероятность того, что значение случайной величины не превысит некоторого наперед заданного значения. 39. Вес кодовой комбинации Вес кодовой комбинации – количество единиц в кодовой комбинации. 40. Кодовое расстояние Кодовое расстояние показывает, сколько ошибок должно произойти в одной кодовой комбинации, чтобы она превратилась в другую. 41. Скорость кода Скорость кода – отношение количества информационных разрядов к длине всей кодовой комбинации 42. Избыточность кода Избыточность кода - отношение количества проверочных символов к общему числу символов в сообщении. 43. Уравнение проверок Уравнения проверок – определенные правила, по которым из информационных символов формируются проверочные. 44. Синдром ошибки Синдром ошибки – комбинация двоичных разрядов, длина которых равна количеству проверочных символов. Наличие единицы в этой кодовой комбинации говорит о том, что произошла ошибка в принятой кодовой комбинации. Конфигурация синдрома указывает номер искаженного разряда. 45. Циклический код Циклический код — линейный код, обладающий свойством цикличности, то есть каждая циклическая перестановка кодового слова также является кодовым словом. 46. Производящий полином Производящий полином – полином g(x), старшая степень которого равна числу проверочных разрядов r=n-k. 47. Проверочный полином Проверочный полином – полиномh(x), являющийся результатом деления полинома X n +1 на производящий полином, где n – длина кодовой комбинации. Производящий полином Число проверочных разрядов r Число информаци онных разрядов k Обозна чение кода 𝑥 + 1 1 6 (7,6) 𝑥 3 + 𝑥 2 + 1 3 4 (7,4) 𝑥 3 + 𝑥 + 1 3 4 (7,4) 𝑥 4 + 𝑥 2 + 𝑥 + 1 4 3 (7,3) 𝑥 4 + 𝑥 3 + 𝑥 2 + 1 4 3 (7,3) 𝑥 6 + 𝑥 5 + 𝑥 4 + 𝑥 3 + 𝑥 2 + 𝑥 + 1 6 1 (7,1) 1. Координатный базис сигнала Набор базисных функций входящих в ряд Фурье. 2. Ортонормированные сигналы Это ортонормированная система элементов, линейного пространства, обладающая свойством полноты. Свойство ортогональности: энергия суммы сигналов u t и t равна сумме энергий сигналов. Для выполнения свойства ортогональности необходимо, чтобы взаимная энергия сигналов была равна 0. Норма сигнала – усредненный модуль (длина) вектора сигнала за все время его существования Функция, для которой квадрат нормы сигнала равен 1, называется нормированной. Свойство ортонормированности: 0 0, 1, с i k T u i k i k i k E u u t t dt i k 3. Спектр сигнала – набор взаимосвязанных по частоте, амплитуде и начальной фазе колебаний, сумма которых – форма сигнала. 4. Спектральная плотность сигнала – функция, которая показывает все гармонические составляющие находящихся внутри частотного интервала. 5. Понятия радио- и видеосигнала Видеосигнал – сигнал, у которого отношение ширины спектра сигнала к средней частоте в спектре сигнала больше единицы. Радиосигнал – сигнал, у которого отношение ширины спектра сигнала к средней частоте в спектре сигнала много меньше единицы. 6. Дискретизация сигналов – процесс замены аналогового сигнала набором отсчетных значений, взятый через интервал времени В 7. Теорема Котельникова Любой сигнал, в спектре которого не содержится частот выше В , может быть представлен набором своих мгновенных значений, взятых через интервал времени В 8. Частота дискретизации – частота с которой происходит оцифровка, хранение, обработка или перевод сигнала из аналогового в цифровой. 0 2 2 2 В В t 9. Интервал Котельникова Это всякий сигнал с ограничительным спектром. 0 В t 10. Многоканальные системы передачи – системы передачи, в которых несколько сообщений передаются по одной линии связи. 11. Модуляция – процесс изменения каких либо параметров, несущего колебания под действием информационного потока. 12. Частотное разделение каналов Разделение каналов по частоте, при котором каждому каналу выделяется определенный диапазон частот. 13. Временное разделение каналов Разделение каналов во времени, при котором каждому каналу выделяется квант времени. 14. Функция автокорреляции степень связи между значениями одного и того же сигнала, отстающими друг от друга на различные интервалы времени. 11 1 1 k S t S t dt 15. Функция взаимной корреляции степень связи между значениями двух сигналов при разных временных сдвигах. 12 1 2 k S t S t dt 16. Энергетический спектр сигнала – спектральная плотность распределения энергии по оси частот. 17. Ширина спектра сигнала – полоса частот, в пределах которой сосредоточена основная энергия сигнала. 18. Амплитудная, частотная, фазовая модуляции Пропорционально амплитуде (частоте, фазе) модулирующего сигнала изменяется амплитуда (частота, фаза) несущего сигнала. 19. Девиация амплитуды, фазы, частоты Девиация амплитуды (фазы, частоты) – максимальное отклонение амплитуды (фазы, частоты) модулированного сигнала от амплитуды (фазы, частоты) несущей. 20. Индекс модуляции Отношение девиации частоты к частоте моделирующего сигнала. Н U m U , ЧМ С , ФМ 21. Амплитудная, частотная, фазовая манипуляции Амплитудная манипуляция - изменение сигнала при котором скачкообразно меняется амплитуда несущего колебания. Частотная манипуляция – информационная последовательность соответствующей частоты синусоидального сигнала, при неизменной амплитуде. Фазовая манипуляция – фаза несущего колебания меняется скачкообразно в зависимости от информационного сообщения. 22. Несущая частота Несущая – высокочастотное колебание, которое не содержит полезной информации. 23. Модулирующий сигнал – сигнал, вызывающий изменение определенного параметра несущей. Содержит полезную информацию. 24. Модулированный сигнал Содержит полезную информацию, но имеет другой вид (отличный от модулирующего сигнала). Результат модуляции. 25 . Амплитудно-импульсная, широтно-импульсная, фазо-импульсная модуляции Амплитудно-импульсная – процесс изменения амплитуды несущего сигнала в соответствии с мгновенными значениями модулирующего сигнала. Широтно-импульсная – при которой от воздействия передаваемых сигналов изменяется длительность импульсов. Фазо-импульсная модуляция – это вид импульсной модуляции при котором изменяемым во времени параметром является положение импульсов относительно их исходных позиций. 26 . Импульсно-кодовая модуляция Используется для оцифровки аналогового кода в цифровой. Сначала измеряется величина аналогового сигнала, мгновенное значение округляется до ближайшего уровня. Далее кодирование, номер уровня представляется битами. 27. Корреляционный прием Корреляционный прием сравнение эталонного сигнала с действующим, подсчитывается степень схожести, вычисляется корреляционная функция. 28. Функция правдоподобия Произведение плотности вероятности мгновенных значений случайного процесса. 29. Согласованный линейный фильтр Фильтр согласован с формой сигнала. Согласованный фильтр – линейный оптимальный фильтр, предназначены для выделения сигналов известной формы на фоне шумов. ФОРМУЛЫ 1. Обобщенное преобразование Фурье k k k S t C u t k u t – базисная функция k C – весовой коэффициент, характеризующий вклад базисной функции в формирования сигнала 2. Энергия сигнала Для вещественного сигнала: 2 0 с T S E S t dt Для функции комплексной переменной * 0 с T S E S t S t dt * S t – коплексно-сопряженная 3. Взаимная энергия сигналов 0 с T u E u u t t dt 4. Разложение сигналов в базисе гармонических функций (ряд Фурье) 0 0 1 1 1 1 1 1 cos cos sin 2 2 k k k k k k k a a S t A k t a k t b k t 5. Определение коэффициентов ряда Фурье 2 0 2 1 2 T T a S t dt T 2 1 2 2 cos T k T a S t k tdt T 2 1 2 2 sin T k T b S t k tdt T 6. Амплитуды гармоник 2 2 k k k A a b 7. Начальные фазы гармоник arctg k k k b a 8. Частота первой гармоники 1 2 T (совпадает с частотой самого сигнала) 9. Прямое преобразование Фурье j t S S t e dt – спектральная плотность сигнала 10. Обратное преобразование Фурье 1 2 j t S t S e d 11. Ряд Котельникова 0 0 0 sin В k В t kt S t S kt t kt 12. Интервал дискретизации В t 13. Выражения для АМ, ЧМ и ФМ сигналов 0 0 1 cos АМ Н S t U mS t t 0 0 cos sin ЧМ Н ЧМ С u t U t t 0 0 cos ФМ Н u t U t S t 14. Индекс модуляции АМ, ЧМ, ФМ сигналов Н U m U , ЧМ С , ФМ 1. Условие передачи сигналов по каналу без искажений Объем канала должен быть больше или равен объему передаваемого сигнала 2. Количественная мера информации 3. Мера Хартли 4. Энтропия дискретного сообщения 5. Энтропия аналогового сообщения 6. Избыточность или 7. Коэффициент сжатия 8. Формула Байеса P(a i /a j )=P(a i )P(a j /a i )= P(a j )P(a i /a j ) 9. Среднее количество информации, переносимое одним символом по каналу 10. Пропускная способность дискретного канала C=V K (H max (A)-H(A/B)) 11. Пропускная способность аналогового канала с нормальным распределением шума C=1/2*V K *log 2 (1+h 2 ) 12. Пропускная способность двоичного симметричного канала C=V K (1+p 0 *log2 p 0 +(1- p 0 )*log 2 (1- p 0 )) 13. Формула Бернулли для определения вероятности ошибки кратностью Q в n-разрядной кодовой комбинации , где 14. Мощность кода M=2 k 15. Количество запрещенных кодовых комбинаций N-M=2 n -2 k , где N – число возможных кодовых комбинаций M – число разрешенных кодовых комбинаций n – длина кодовой комбинации k – количество информационных разрядов 16. Формула границы Хэмминга , где Е – число векторов ошибок, которые необходимо исправить 17. Скорость кода k/n т.е. количество информационных разрядов делим на длину кодовой комбинации 18. Избыточность кода 19. Вероятность некорректируемой ошибки 𝑃 𝐻𝑂 = 1 − (1 − 𝑝 0 ) 𝑛 − ∑ 𝐶 𝑛 𝑖 𝜃 𝑖=1 𝑝 0 𝑖 (1 − 𝑝 0 ) 𝑛−𝑖 20. Кратность исправляемой и обнаруживаемой ошибки Обнаруживающая способность Θ обн =d min - 1 Исправляющая способность для нечетного кодового расстояния Исправляющая способность для четного кодового расстояния 12. Информационные х-ки аналоговых сообщений. Диф энтропия источника аналого-вых сообщений: и вероятност плотность x i x W x i x p ma i i a p i a p A H ) ( 0 lim ) ( 1 ( 2 log ) ( ) ( Плотность в-ти W(x i ) – в-ть попадания значений СВ в б/м интервал, взятый относительно некоторого наперед заданного значения x i dx x W x W x H dx dx x W dx x W x W x H dx x i x x x W x i x W x x W x i x x W x x W x x H ) ( 2 log ) ( ) ( 2 log ) ( ) ( 2 log ) ( ) ( ______ , 2 log ) ( 0 lim ) ( 2 log ) ( 0 lim ) ( 2 log ) ( 0 lim ) ( Энтропия гармонического колебания со случайно распределенной начальной фазой: случайная t A t x ) 0 0 cos( ) ( Полная фаза ψ(t)=ω 0 t+φ 0 ЗР полной фазы: W(ψ)=1/2π ) ( 2 2 2 1 ) ( 2 2 2 2 2 2 2 1 ) ( 2 2 ) ( 2 2 1 ) ( _ ) ( 2 2 1 ) ( 2 2 cos 2 2 1 sin 1 ) cos ( 2 1 2 ) ( 2 ) ( 2 ) ( 2 cos 1 sin 0 ) ( 2 ) ( 2 _ _ ) ( _ _ 2 ) ( _ _ ) ( _ _ ) ( 2 ) ( cos 1 ) ( t x x W A A A A x A x dx x W x x t x A x W о т t x A t x A A A d A d d dx W dx d W x W d dx x x W x W в t СВ попадания ть в W x в t x СВ попадания ть в x x W СП t A СП t x Энтропия гармонического колебания с равномерно распределенной фазой: Энтропия случайного аналогового сигнала с нормальным ЗР мгновенных значений: e k x H e k dx x x W dx x W k dx x x W k A H x k x W x x W 2 2 ln ) ( ln 2 1 2 2 ln 2 2 ) ( 2 2 1 1 ) ( 2 2 ln 2 2 2 2 2 ln ) ( ) ( 2 2 2 2 ln ) ( 2 log 2 2 2 exp 2 1 ) ( 13. Среднее кол-во инф-ии, переносимой по каналу связи одним произвольным символом Инф х-ки аналоговых каналов Среднее кол-во инф-ии, переноси-мое одним произвольным значе-нием в сечении выборки СП по каналу: J=H(x)-H(x/z)=H(z)-H(z/x) x(t) – переданный сигнал, ξ(t)- помеха z(t)= x(t)+ ξ(t) – принятый сигнал P c =σ c 2 – мощность переданного сигнала, P п =σ п 2 – мощность помехи P z =σ c 2 + σ п 2 – мощность принятого сигнала Рассм. случай, когда и помеха, и сигнал распределены по нормальному закону: Энтропия помехи: e п k z H 2 2 ln ) ( Энтропия принятого сигнала при нормальном распределении сигнала и помехи: e п c k z H ) 2 2 ( 2 ln ) ( Среднее количество информации: п P c P I п c п e п c e п e п c e I 1 2 log 2 2 1 2 log 2 2 ) 2 2 ( 2 2 log 2 2 2 log ) 2 2 ( 2 2 log Ср кол-во информации, переноси-мое одним выборочным симво-лом, зависит от отношения мощ-ности сигнала к мощности помехи. Скорость передачи информации и пропускная способность АК: шум сигнул отношение п P c P h h в v I в v C R _ ), 1 ( 2 log 2 1 Для сигнала, распределенного по норм закону, скорость передачи информации совпадает с пропускной способностью канала, т.е. энтропия такого сигнала максимальна. 2 ln 2 1 2 2 ln ) ( _ 2 ln 2 1 2 2 ln 2 2 ln 2 ln ) ( 2 2 2 1 2 log ) ( 2 2 2 1 1 ) ( 2 log ) ( ) ( k x H о т k k dx t x A A t x dx x W x W x H |