ответы по типс. Перечень вопросов по дисциплине Теория информационных процессов и систем
 Скачать 158.93 Kb.
|
|
Методика формирования кода Шеннона-Фенно, его достоинства и недостатки. АЛГОРИТМ ШЕННОНА-ФЕННО Состоит в том, что расположенные в порядке убывания буквы алфавита делятся на две группы по возможности равной суммарной (в каждой группе) вероятности. Для первой группы символов на первом месте комбинации ставят 0 в качестве первой крайней слева позиции кодовых слов, а элементы второй группы – 1. Далее каждая группа снова делится на подгруппы по тому же правилу примерно равных вероятностей и в каждой подгруппе заполняется вторая слева позиция кодового слова (0,1).Процесс повторяется до кодирования всех элементов алфавита. ПРЕИМУЩЕСТВА –простота реализации и, как следствие этого, высокая скорость кодирования/раскодирования/ –удобно кодировать информацию в виде последовательности нулей и единиц, если представить эти значения как два возможных устойчивых состояния электронного элемента: 0 – отсутствие электрического сигнала; 1 – наличие электрического сигнала. К тому же в технике легче иметь дело с большим количеством простых элементов, чем с небольшим числом сложных. – По методу Ш-Ф получается, что чем более вероятно сообщение, тем быстрее оно образует самостоятельную группу и тем более коротким кодом оно будет представлено. Это обстоятельство обеспечивает высокую экономичность кода Ш-Ф. НЕДОСТАТКИ –Для декодирования полученного сообщения, таблицу кодов необходимо отправлять вместе с сообщением, что повысит объем данных конечного сообщения. –В случае обыкновенного кода (у которого все символы используются для передачи информации), при возникновении ошибки в коде, его расшифровка будет невозможна. Это обусловлено тем, что кодовые комбинации имеют разную длину, и в случае ошибки (заменяя символа 1 на 0, и наоборот) одна или несколько кодовых комбинаций в сообщении могут не совпасть с символами кодовой таблицы. –Кодирование Шеннона–Фано является достаточно старым методом сжатия, и на сегодняшний день оно не представляет особого практического интереса. Энтропия источника независимых сообщений. общая энтропия дискретных источников сообщений Х и У равна сумме энтропий источников. Hнз(X,Y) = H(X) + H(Y), где Hнз(X,Y) – суммарная энтропия независимых систем, H(X) – энтропия системы X, H(Y) – энтропия системы Y. Энтропия источника зависимых сообщений. количество информации об источнике X определяют как уменьшение энтропии источника X в результате получения сведений об источнике Y. Hз(X,Y) = H(X) + H(Y|X), где Hз(X,Y) – суммарная энтропия зависимых систем, H(X) – энтропия системы X, H(Y|X) – условная энтропия системы Y относительно X. Энтропия зависимых систем меньше, чем энтропия независимых систем. Если энтропии равны, то имеет место частный случай зависимых систем – системы независимы. Hз(X,Y) <= Hнз(X,Y) (<= – меньше или равно). Свойства энтропии. Мера Хартли. Энтропия - величина всегда положительная и конечная, поотому что значение вероятности находится в интервале от 0 до 1. Н(а) = -Logk P(a) 2. Аддитивность - свойство, согласно которому количество информации, содержащееся в нескольких независимых сообщений равно сумме количества информации, содержащейся в каждом из них. 3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1). Формула Хартли определяется: где I — количество информации, бит. Понятие о производительности источника и скорости передачи информации. ПРОИЗВОДИТЕЛЬНОСТЬ ИСТОЧНИКА ИНФОРМАЦИИ При работе источника сообщений отдельные сигналы появляются через интервалы времени, которые в общем случае могут быть не постоянными. Однако, если существует некоторая средняя длительность создания источником одного сигнала, то энтропия источника, приходящаяся на единицу времени, называется производительностью источника информации. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ Это скорость передачи данных, выраженная в количестве бит, символов или блоков, передаваемых за единицу времени. Теоретическая верхняя граница скорости передачи информации определяется теоремой Шеннона-Хартли. ТЕОРЕМА ШЕННОНА-ХАРТЛИ пропускная способность канала C, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала S через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна: C=B∙log2(1+S/N), где C – пропускная способность канала, бит/с; B – полоса пропускания канала, Гц; S – полная мощность сигнала, Вт; N – шумовая мощность, Вт. |