Передача информации физический процесс, посредством которого осуществляется перемещение информации в пространстве
 Скачать 1.33 Mb.
|
|
· τ, а среднее время передачи кодовой комбинации одного знака первичного алфавита будет равно t = K(A, a)· τ. 6.3 Пропускная способность дискретных каналов связи Пропускная способность – метрическая характеристика, показывающая соотношение количества проходящих единиц (информации, предметов, объёма) в единицу времени через канал, систему, узел. Используется в различных сферах: в связи и информатике, пропускная способность - количество проходящей информации; в транспорте, машиностроении и т.п. Может измеряться в различных, иногда сугубо специализированных, единицах - штуки, кБит/сек, тонны, кубические метры и т.д. В информатике определение пропускной способности обычно применяется к каналу связи и определяется количеством переданной/полученной информации за единицу времени. Пропускная способность - один из важнейших с точки зрения пользователей факторов. Она оценивается количеством данных, которые сеть может передать в единицу времени от одного подсоединенного к ней устройства к другому. С передачей одного элементарного сигнала связано некоторое количество информации I s . Если общее число различных элементарных сигналов n, а вероятности их появления p(a i ) (i = 1...n), то согласно формуле Шеннона: ( ) ( ) ∑ = − = n i i i s a p a p I 1 2 log Оптимальным будет такой вариант кодирования, при котором появление всех элементарных сигналов (знаков вторичного алфавита) оказывается равновероятным – в таком случае: I s =I s max=log 2 n Это значение является предельным (наибольшим) для информационного содержания элементарного сигнала выбранного вторичного алфавита. Поскольку такое количество информации передается за время τ, можно ввести величину, характеризующую предельную интенсивность информационного потока через канал – пропускную способность канала C: max max s s I L I C ⋅ = = τ (4) Данная величина является характеристикой канала связи, поскольку зависит только от его особенностей. Это выражение служит определением пропускной способности как идеального канала (без помех), так и реального канала с помехами – просто, как мы увидим далее, информационное содержание элементарного сигнала в реальном канале оказывается меньше log 2n Если I smax выражено в битах, а τ 0 – в секундах, то единицей измерения C будет бит/с. При отсутствии в канале связи помех I smax = log 2 n; тогда http://profbeckman.narod.ru/InformLekc.htm n n n L C m 2 2 2 0 log log log ⋅ = = ⋅ = ν τ (5) – максимально возможное значение пропускной способности (это обстоятельство отражено индексом "0"); в реальном канале I smax ≤ log 2 n и, следовательно, C ≤ C 0 . Пусть количество информации, которое передается по каналу связи за время Т равно ( ) ( ) Y X H X H L T T T / − = Если передача сообщения длится Т единиц времени, то скорость передачи информации составит ( ) ( ) [ ] ( ) ( ) Y X H X H Y X H X H T T L R T T T / / 1 − = − = = Это количество информации, приходящееся в среднем на одно сообщение. Если в секунду передается n сообщений, то скорость передачи будет составлять [ ] ) / ( ) ( Y X H X H n R − = Пропускная способность канала есть максимально достижимая для данного канала скорость передачи информации: [ ] max ) / ( ) ( max Y X H X H n R C − = = (6) Или максимальное количество информации, передаваемое за единицу времени: max ) , ( Y X nI C = Информационная скорость или скорость передачи информации, определяется средним количеством информации, которое передается в единицу времени и измеряется (бит/сек): R=nH. Для равновероятных сообщений составленных из равновероятных взаимно независимых символов m R log 1 τ = В случае если символы не равновероятны ∑ − = i i i p p R log 1 τ В случае если символы имеют разную длительность ∑ ∑ − = i i i i i i p p p R τ log (7) Выражение для пропускной способности отличается тем, что характеризуется максимальной энтропией τ max max H C = бит/сек Для двоичного кода τ τ 1 2 log max = = C бит/сек Пропускная способность является важнейшей характеристикой каналов связи. Возникает вопрос: какова должна быть пропускная способность канала, чтобы информация от источника X к приемнику Y поступала без задержек? Ответ на этот вопрос даёт первая теорема Шеннона: Если имеется источник информации с энтропией Н(х) и канал связи с пропускной способностью С, то если С > H(X), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет передано без задержек. Если же, напротив, С < H(X), то передача информации без задержек невозможна. В любом реальном канале всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае среднее количество информации, переносимое одним символом равно I(X,Y)=I(X,X)=H(X). Максимальное значение H max =logm. Следовательно, пропускная способность дискретного канала без помех за единицу времени равна m n C log = Реальные каналы характеризуются тем, что на каналы всегда воздействуют помехи. Пропускная способность дискретного канала с помехами вычисляется по формуле C=n[H(Y)-H(Y/X)] max Где средняя, условная энтропия со стороны приемника сигналов http://profbeckman.narod.ru/InformLekc.htm ( ) ( ) ( ) ( ) ( ) ( ) ∑ ∑ ∑∑ − = − = j i j i j i i i j i j j i x y p x y p x p x y p y x p X Y H / log / / log / А энтропия принимаемых сигналов определяется из условия максимального значения H(y)= logm. Пример 1. Пусть требуется определить пропускную способность бинарного канала связи. При этом с вероятностью p каждый из двоичных сигналов может перейти в противоположный сигнал. Рис. .10. Симметричный канал передачи сигналов в условиях помех, где x 1 и х 2 передаваемые сигналы типа “0” или “1”, y 1 и y 2 , принимаемые сигналы На Рис. 10 представлена модель передачи бинарных сигналов. 1 −p вероятность неискаженной передачи сигналов; p - вероятность искажения сигналов Матрица для нахождения условной вероятности y 1 y 2 p p p p x y P x y P x y P x y P x x x y P − − = = 1 1 ) / ( ) / ( ) / ( ) / ( ) / ( 2 2 1 2 2 1 1 1 2 1 Найдем полную условную энтропию системы y относительно x ( ) ( ) ( ) ( ) ( ) ( ) ( ) [ ] ( ) ( ) ( ) [ ] ( ) ( ) ( ) ( ) [ ] ∑ ∑ − − + + − = − − + − − + − − − = − = j n n n n n n n n n n n n i j i j i i p p p p x p x p p p p p x p p p p p x p x y p x y p x p x y H 1 log 1 log 1 log 1 log log 1 log 1 / log / / 2 1 2 1 Откуда ( ) ( ) ( ) n n n n p p p p x y H − − − − = 1 log 1 log / H(y) находим из условия максимального значения H(y)=log 2 = 1 Формула для нахождения пропускной способности бинарного канала связи будет иметь вид ( ) ( [ ] n n n n p p p p n C ) − − + + = 1 log 1 log 1 График функции представлен на Рис. 11. Наибольшее значение эта функция принимает при p=0 (то есть при отсутствии помех) и при p=1 (т. е. при негативной передаче). При p=1/2 пропускная способность минимальна. Рис. 11. График функции С=f(p) Пример 2. Рассмотрим более общий случай передачи по дискретному каналу. Найдем пропускную способность m-ичного канала связи. На Рис. 12 представлена модель передачи m-ичных сигналов, где x 1 ,х 2 ,…,х m источники информации, y 1 , y 2 ,…, y m приёмники информации. Вероятность ошибки − p. Вероятность безошибочной передачи сигналов равняется 1 − p, а в случае ошибки переданный сигнал может с одинаковой вероятностью (равной p/(m- 1))быть воспринятым как любой из m-1 отличных от него сигналов. Рис. 12. m −ичный канал передачи информации Матрица условных вероятностей имеет вид ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ − − − − − − − − − = p m p m p m p p m p m p m p p x y p 1 1 1 1 1 1 1 1 1 ) / ( Полная условная энтропия системы Y относительно X http://profbeckman.narod.ru/InformLekc.htm ( ) ( ) ( ) ( ) ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − − − − − − − = 1 log 1 1 1 log 1 / m p m p m p p x y H H(y) = log m нахождения пропускной способности m -ного канала связи будет иметь вид: Формула для ( ) ( ) ( ) ⎥ ⎦ ⎤ ⎡ ⎞ ⎛ − + − − + = p p ⎢ ⎣ ⎟ ⎠ ⎜ ⎝ − − 1 log 1 1 1 log 1 log m m m p p m n C График функции С(p) пропускной способности канала связи при m=4 представлен на Рис.13 Рис.13. График функции C(p) Эта функция максимальна при p=0, при вероятности 75 0 1 = − = m m p C = 0. При p=1 1 log − = m m n C Для дискретных каналов с помехами Шеннон дал вторую теорем передача сообщений без задержек и и .4 Скорость передачи информации по дискретному каналу няя длина кода одного знака у: Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании скажений невозможна. Если же H(X) длинное сообщение можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице. 6 Если источник выдает L элементарных сигналов в единицу времени, а сред составляет K(A,a), то, очевидно, отношение L/K(A,a) будет выражать число знаков первичного алфавита, выдаваемых источником за единицу времени. Если с каждым из них связано среднее количество информации I(A), то можно найти общее количество информации, передаваемой источником за единицу времени – эта величина называется скоростью передачи или энтропией источника (будем обозначать её J): ( ) ( ) ) , ( ) , ( a A K I a A K J ⋅ = ⋅ = τ (8) Энтропия источника, в отличие от пропускной способности, является характеристикой источника, а не кан I L A A ала связи. Размерностью J, как и C, является бит/с. Каково соотношение этих характеристик? Рассмотрим канал без помех. Тогда выразив L из (3) и подставив в (4), получим: ( ) n a A K C I A 0 ⋅ J 2 log ) , ( ⋅ = Согласно первой теореме Шеннона при любом способе кодирования ( ) n I A a A K 2 log ) , ( ≥ , хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J ≤ C 0 , т.е. скорость авит состоит из трех знаков с вероятностями p 1 = 0,2; p 2 = 0,7; p 3 = 0,1. Для передачи по исло знаков первичного алфавита N = 3. Следовательно, из ( передачи информации по каналу связи не может превысить его пропускной способности. Это утверждение справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи). Пример 1. Первичный алф каналу без помех используются равномерный двоичный код. Частота тактового генератора 500 Гц. Какова пропускная способность канала и скорость передачи? Поскольку код двоичный, n = 2; из (3) C 0 = 500 бит/с. Ч I(A) = I 1 = – 0,2·log 2 0,2 – 0,7·log20,7 – 0,1·log20,1 = 1,16 бит K(A,2) ≤ log 2 N = 2 4) получаем: ( ) ( ) 290 2 16 1 500 ) 2 , ( ) 2 , ( 1 1 = ⋅ = ⋅ = ⋅ = A K I A K I J A A ν τ бит/с Пример 2. Юстасу необходимо передать следующее сообщение: «Дорогой Алекс! От всей души поздравляю с успешной сдачей экзамена по информатике. Желаю дальнейших успехов. Ваш Юстас». http://profbeckman.narod.ru/InformLekc.htm Пеленгатор определяет место передачи, если она длится не менее 3 минут. С какой скоростью (бит/с) Юстас должен передавать радиограмму? Решение: Бит — минимальная единица измерения количества информации. Подсчитаем . Используем для анализа процесса передачи й подход. но m. Опыт a состоит в выяснении того, к ого выражения в применении к рассматриваемой ситуации в том, что распознанный на приемном конце сигнал содержит информ рый был отправлен, но, в общем случае, инфор H b (a) – условная энтропия опыта a при условии, что ему предшествовал опыт b). В нашем случае: Окончательно для средней информации на один элементарный сигнал имеем: Часто бывает удобнее воспользоваться подобным же со которое получается на основе равенства: I(b,a) = (10) Проведенные рассуждения приводят к ряду заклю ени 1. Для определения информации сигнала, принятого на приемном конце канала, необходимо знание априор ение: знание априорных и апостериорных если a и варьир объем передаваемой информации. В тексте радиограммы содержится 118 символов, каждый символ несет 1 байт информации. Следовательно, должно быть передано 118 байт информации. 1 байт = 8 бит. 118 байт =118*8 бит == 944 бита. Время передачи должно быть меньше 180 с, что требует скорости передачи радиограммы не менее 5 бит/с (944/180=5,2). Ответ: Юстас должен передавать радиограмму со скоростью не меньше чем 5 бит/с. 6.5 Зашумлённый дискретный канал связи Рассмотрим влияние шумов на дискретный канал связи информации по дискретному каналу с помехами энтропийны Пусть опыт b состоит в выяснении того, какой сигнал был принят на приемном конце канала; исходами этого опыта являются сигналы b j , общее число которых рав акой сигнал был послан на вход канала; исходами этого опыта являются сигналы, образующие алфавит a i ; их общее количество равно n. Опыт b несёт в себе информацию относительно опыта a, значение которой равно: I(b,a) = H(a) – H b (a) Смысл эт ацию о сигнале, кото мацию не полную. Влияние помех в канале таково, что в процессе передачи часть начальной информации теряется, и исход опыта b не несёт полной информации относительно предшествующего исхода опыта a. H(a) – энтропия, связанная с определением того, какой сигнал передан, равна: n ( ) ( ) ∑ ⋅ − = i i a p a p a H 2 log ) ( = i 1 (энтропия ( ) ( ) n ∑ = ⋅ − = i i b i b b a p a p a H i i i 1 2 log ) ( ( ) ( ) ) ( ) ∑ ∑ ∑ = = = − = ⋅ − = m j i b m j n i i b j b j a a p a p b p a H b p b H i i i 1 2 1 1 log ) ( ) ( ( ( ) ( ) ( ) ( ) ( ) i b i b j i i a p a p b p a p a p a b I i i 2 1 1 1 2 log log ) , ( ∑ ∑ ∑ + ⋅ − = (9) m j n i n i = = = отношением, I(a,b) = H(b) – H a (b) n ( ) ( ) i i b p b p b a I 2 log ) , ( ∑ + ⋅ − = ( ) ( ) ( ) i a m j n i i a j i b p b p a p i i 2 1 1 1 log ∑ ∑ = = = ч й. ных и апостериорных вероятностей. И обратное утвержд вероятностей позволяет установить (вычислить) информацию, связанную с переданным сигналом. 2. Как отмечалось ранее, I(b,a) = H(a) лишь в том случае, когда исход опыта b однозначно определяет исход предшествующего опыта a – это возможно только при отсутствии помех в канале. I(b,a) = 0, b независимы, т.е. отсутствует связь между сигналами на входе и выходе канала. Действие помех состоит в том, что на выход канала приходят сигналы, содержащие меньше информации, чем они имели при отсылке. Как уже указывалось, апостериорные вероятности определяются свойствами канала связи, а априорные – особенностями источника (точнее, кодера). Следовательно, воспользовавшись (9) или (10) и уя значения p(a i ) в допустимых по условию задачи пределах, можно найти наибольшее значение max{I(b,a)}. Тогда: http://profbeckman.narod.ru/InformLekc.htm ( ) { a b I L I C s , max max ⋅ = = τ } ся (11) Полученное выражение определяет порядок решения задачи о нахождении пропускной способности конкретного канала: • исходя из особенностей канала, определить априорные и апостериорные вероятности; • варьируя p(a i ) и пользуясь (9), найти максимальное информационное содержание элементарного сигнала; • по (10) вычислить пропускную способность. |