Шпоргалки по теории информации. Вопросы к зачету по курсу Теория информации
 Скачать 0.84 Mb.
|
|
Выходной алфавит символов источника сообщений:  Количество информации, приходящееся в среднем на один символ источника:  , где pi – вероятность появления символа ai на выходе источника.Среднее количество информации, выдаваемое источником в единицу времени – информационная производительность:  где  - среднее число символов, выдаваемое источником в единицу времени.Алфавиты символов канала связи:  Матрица переходных вероятностей:  Среднее количество информации на один входной и на один выходной символ канала:  Информация, которую несет выход канала о входе:  где  - ненадежность канала,  - энтропия шума.Скорость передачи информации по каналу:  где  -среднее число символов, передаваемое по каналу в единицу времени.Пропускная способность канала:  множество всех возможных распределений вероятностей входного алфавита символов канала  - hpy характеристики канала.Методы повышения помехоустойчивости В основах всех способов повышения помехоустойчивости информационных систем лежит использование определенных различий между полезным сигналом и помехой. Поэтому для борьбы с помехами необходимы априорные сведения о свойствах помехи и сигнала. В настоящее время известно большое число способов повышения помехоустойчивости систем. Эти способы удобно разбить на две группы. I группа – основана на выборе метода передачи сообщений. II группа – связана с построением помехоустойчивых приемников. Простым и применяемым способом повышения помехоустойчивости является увеличение отношения сигнал/помеха за счет увеличения мощности передатчика. Но этот метод может оказаться экономически не выгодным, так как связан с существенным ростом сложности и стоимости оборудования. Кроме того, увеличение мощности передачи сопровождается усилением мешающего действия данного канала на другие. Важным способом повышения помехоустойчивости передачи непрерывных сигналов является рациональный выбор вида модуляциисигналов. Применяя виды модуляции, обеспечивающие значительное расширение полосы частот сигнала, можно добиться существенного повышения помехоустойчивости передачи. Радикальным способом повышения помехоустойчивости передачи дискретных сигналов является использование специальных помехоустойчивых кодов. При этом имеется два пути повышения помехоустойчивости кодов:
Повышение помехоустойчивости передачи может быть также достигнуто путем повторной передачи одного и того же сообщения. На приемной стороне сравниваются полученные сообщения и в качестве истинных принимаются те, которые имеют наибольшее число совпадений. Чтобы исключить неопределенность при обработке принятой информации и обеспечить отбор по критерию большинства, сообщение должно повторяться не менее трёх раз. Этот способ повышения помехоустойчивости связан с увеличением времени передачи. Системы с повторением передачи дискретной информации делятся на системы с групповым суммированием, у которых сравнение производится по кодовым комбинациям, и на системы с посимвольным суммированием, у которых сравнение осуществляется по символам кодовых комбинаций. Посимвольная проверка является более эффективной, чем групповая. Разновидность систем, у которых повышение помехоустойчивости достигается за счет увеличения времени передачи, являются системы с обратной связью. При наличии искажений в передаваемых сообщениях информация, поступающая по обратному каналу, обеспечивает повторение передачи. Наличие обратного канала приводит к усложнению системы. Однако в отличие от систем с повторением передачи в системах с обратной связью повторение передачи будет иметь место лишь в случае обнаружения искажений в передаваемом сигнале, т.е. избыточность в целом оказывается меньшей. Помехоустойчивый прием состоит в использовании избыточности, а также априорных сведений о сигналах и помехах для решения оптимальным способом задачи приема: обнаружения сигнала, различия сигналов или восстановления сообщений. В настоящее время для синтеза оптимальных приемников широко используется аппарат теории статистических решений. Ошибки приемника уменьшаются с увеличением отношения сигнал/помеха на входе приемника. В связи с этим часто производят предварительную обработку принятого сигнала с целью увеличения отношений полезной составляющей к помехе. К таким методам предварительной обработки сигналов относится метод ШОУ (сочетание широкополосного усилителя, ограничителя и узкополосного усилителя), селекция сигналов по длительности, метод компенсации помехи, метод фильтрации, корреляционный метод, метод накопления и др. Современные технические средства обмена данными и каналообразующая аппаратура Передатчик – устройство, являющееся источником данных. Приемник – устройство, принимающее данные. Приемником могут быть компьютер, терминал или какое-либо цифровое устройство. Сообщение – цифровые данные определенного формата, предназначенные для передачи. Это может быть файл базы данных, таблица, ответ на запрос, текст или изображение. Средства передачи – физическая передающая среда и специальная аппаратура, обеспечивающая передачу сообщений Для передачи сообщений в вычислительных сетях используются различные типы каналов связи. Наиболее распространены выделенные телефонные каналы и специальные каналы для передачи цифровой информации. Применяются также радиоканалы и каналы спутниковой связи. Особняком в этом отношении стоят ЛВС, где в качестве передающей среды используются витая пара проводов, коаксиальный кабель и оптоволоконный кабель. Чтобы обеспечить передачу информации из ЭВМ в коммуникационную среду, необходимо согласовать сигналы внутреннего интерфейса ЭВМ с параметрами сигналов, передаваемых по каналам связи. При этом должно быть выполнено как физическое согласование (форма, амплитуда и длительность сигнала), так и кодовое. Технические устройства, выполняющие функции сопряжения ЭВМ с каналами связи, называются адаптерамиили сетевыми адаптерами. Один адаптер обеспечивать сопряжение с ЭВМ одного канала связи. Кроме одноканальных адаптеров используются и многоканальные устройства – мультиплексоры передачи данных или просто мультиплексоры. Мультиплексор передачи данных – устройство сопряжения ЭВМ с несколькими каналами связи. Мультиплексоры передачи данных использовались в системах телеобработки данных – первом шаге на пути к созданию вычислительных сетей. В дальнейшем при появлении сетей со сложной конфигурацией и с большим количеством абонентских систем для реализации функций сопряжения стали применяться специальные связные процессоры. Как уже говорилось ранее, для передачи цифровой информации по каналу связи необходимо поток битов преобразовать в аналоговые каналы, и при приеме информации из канала связи в ЭВМ выполнить обратное действие – преобразовать аналоговые сигналы в поток битов, которые может обрабатывать ЭВМ. Такие преобразования выполняет специальное устройство – модем. Модем – устройство, выполняющее модуляцию и демодуляцию информационных сигналов при передаче их из ЭВМ в канал связи и при приеме в ЭВМ из канала связи. Наиболее дорогим компонентом вычислительной сети является канал связи. Поэтому при построении ряда вычислительных сетей стараются сэкономить на каналах связи, коммутируя несколько внутренних каналов связи на один внешний. Для выполнения функций коммутации используются специальные устройств – концентраторы. Концентратор – устройство, коммутирующее несколько каналов связи на один путем частотного разделения. В ЛВС, где физическая передающая среда представляет собой кабель ограниченной длины, для увеличения протяженности сети используются специальные устройства – повторители. Повторитель – устройство, обеспечивающее сохранение формы и амплитуды сигнала при передаче его на большее, чем предусмотрено данным типом физической передающей среды, расстояние. Существуют локальные и дистанционные повторители. Локальные повторители позволяют соединять фрагменты сетей, расположенные на расстоянии до 50 м., а дистанционные – до 2000 м. Теорема Шеннона для канала с помехами При отсутствии помех ошибки при передаче могут возникать только за счет неоднозначного кодирования сообщений. Рассмотрим теперь ситуацию, когда в канале действуют помехи, вызывающие искажения передаваемых символов. Возникающие при этом ошибки носят случайный характер, они действуют при любой скорости передачи сообщений через канал, в том числе, когда Vu Возникает вопрос, возможен ли такой способ кодирования, при котором сообщения передаются через канал без ошибок с некоторой ненулевой скоростью Vk.  0 (действие ошибок полностью устраняется при кодировании)? В первой главе рассматривались методы помехоустойчивости кодирования, основанные на введении избыточности. Однако для полного устранения ошибок их применение потребовало бы введения бесконечной избыточности, что привело бы к снижению скорости передачи сообщений до нуля. Тем не менее, вторая теорема Шеннона утверждает, что такой способ возможен. Тогда возникает следующий вопрос: чем определяется максимальная скорость передачи сообщений по каналу с помехами? Оказывается, что, как и для канала без помех, она определяется соотношением информационных характеристик источника и канала. Вторая теорема Шеннона: для канала с помехами существует такой способ кодирования, при котором обеспечивается безошибочная передача всех сообщений источника, если только пропускная способность канала превышает производительность источника, т.е. Ck>Vu. Теорема Шеннона для канала с помехами не указывает конкретного способа кодирования, обеспечивающего достоверную передачу информации со скоростью сколь угодно близкой к пропускной способности канала, а лишь указывает на принципиальное существование такого способа. Кроме того, как и в первой теореме, кодирование будет сопровождаться задержкой сообщений не менее 2Т, где  . Поэтому идеальное кодирование технически нереализуемо. Однако из формулы для вероятности ошибки вытекает крайне важный практический вывод: достоверность передачи сообщений тем выше, чем больше длительность кодируемой последовательности и чем менее эффективно используется пропускная способность канала, т.е. чем больше запас Ck-Vu.Теорема Шеннона для канала с помехами оказала огромное влияние на становление правильных взглядов на возможности передачи сообщений и на разработку технически реализуемых методов помехоустойчивого кодирования. Шеннон показал, что для безошибочной передачи сообщений вовсе не обязательно вводить бесконечную избыточность и уменьшать скорость передачи информации до нуля. Достаточно ввести в сообщения источника такую избыточность, которая равна потерям количества информации в канале из-за действия помех. 12. Значение результатов Шеннона. Значение результатов Шеннона для задач передачи, хранения и поиска информации. Теорема Шеннона и передача информации. Основное значение результатов Шеннона в этой области состоит в том, что они дают универсальный критерий, позволяющий сравнивать технически различные устройства и системы с точки зрения их возможностей по передаче информации. Технически источники сообщений и каналы связи могут быть существенно разными устройствами по используемым сигналам, способам кодирования сообщений, форматам данных, скоростным характеристикам. В этих условиях информационная мера Шеннона и теоремы идеального кодирования позволяют оценить, в какой степени технически различные системы соответствуют друг другу для решения задачи передачи сообщений. Для этого требуется, исходя из технических показателей источника и канала, оценить их информационные показатели: информационную производительность и информационную пропускную способность. Соотношение информационных показателей и является той идеальной мерой, по которой можно судить о степени соответствия реальных систем. Особая заслуга Шеннона состоит в том, что он первым осознал действительную картину влияния случайных помех на процесс передачи сообщений. Принципиальное действие помех выражается в той степени, в какой они влияют на информационные показатели системы. Поэтому каналы с одинаковой пропускной способностью эквивалентны по возможности безошибочной передачи сообщений независимо от того, действуют ли в них помехи или нет. Для наглядного пояснения роли теоремы Шеннона прибегнем к следующему сравнению. Пусть имеется трубопровод для доставки от источника некоторого жидкого продукта. Технические возможности трубопровода определяются количеством жидкости, которое можно передать по нему в единицу времени. Производительность источника определим количеством чистого продукта, поступающего от него в единицу времени, а пропускную способность трубопровода – как максимально возможную скорость передачи чистого продукта, соответствующую условию, что от источника поступает чистый продукт без примесей. Аналогом канала с помехами может служить трубопровод с утечкой. Пропускная его способность будет меньше. Чем в трубопроводе без утечки, на величину утечки продукта за единицу времени. Можно теперь представить, какой эффект вызвало бы утверждение, что существует такой способ введения примеси («избыточности») в продукт, при котором, введя количество примеси, равное утечке в трубопроводе, можно по нему доставлять продукт без потерь со скоростью, отвечающей пропускной способности трубопровода с утечкой. Именно такой смысл имеет теорема Шеннона применительно к задаче передачи информации. Продолжая аналогию этого примера, можно сказать, что такой способ введения примеси требует наличия некоего «отстойника», в котором примесь будет отстаиваться в течение определенного времени перед подачей в трубопровод (в идеале – бесконечное время). После такого «отстоя» при движении жидкости по трубопроводу утечку будет уходить только примесь. Интерпретация результатов Шеннона для задач хранения и поиска информации. Результаты теорем Шеннона, традиционно формулируемые для задачи передачи сообщений, легко распространяются на задачи хранения и поиска информации. Рассмотрим задачу хранения данных в следующей обобщенной форме. Пусть данные в виде последовательности записей размещаются в ячейках запоминающего устройства (ЗУ); каждая запись помещается в отдельную ячейку. Записи, предназначенные для хранения, характеризуются некоторой совокупностью технических особенностей: размерами, способами кодирования данных, форматами кодов и т.п. Ячейки ЗУ, в которых размещаются записи, также характеризуются некоторой совокупностью своих технических особенностей: внутренним представлением данных, способом доступа, системой меток и рядом технических ограничений на процесс размещения данных. Кроме того, информация, размещаемая в ячейках ЗУ, может подвергаться воздействию помех, из-за чего в записях появляются ошибки. Возникает вопрос, при каких условиях возможно достоверное хранение информации, т.е. получение из ЗУ данных в том виде, в каком они были туда помещены. Для ответа на этот вопрос в соответствии с шенноновским подходом необходимо перейти от технических характеристик к информационным: - для запоминаемых данных определить среднюю энтропию записи; - для ЗУ определить максимальное количество информации, которое может быть размещено в ячейке с учетом ее технических ограничений и действующих в ней помех, то есть определить информационную емкость ячейки. Тогда для информационных пользователей будет справедлива следующая формулировка теоремы Шеннона для задачи хранения информации: для запоминающего устройства (с помехами и без помех) существует способ сколь угодно достоверного кодирования и декодирования хранимых данных, если только средняя энтропия записи меньше информационной емкости ячейки. Если рассмотреть применение идеального кодирования к задаче хранения информации, то станет ясно, что для этого потребуется ЗУ с потенциально бесконечным числом ячеек, чтобы разместить в нем типичные последовательности записей сколь угодно большой длины. В этом проявляется техническая нереализуемость идеального кодирования применительно к задаче хранения информации. К идеальному результату можно приблизиться, укрупняя хранимые записи. На практике в устройствах хранения данных для ЭВМ (например, в накопителях на магнитных лентах и дисках) широко применятся так называемое блокирование записей. При этом группы записей объединяются в блоки, которые размещаются в ЗУ как некоторые единые укрупненные записи. Этим достигается более экономное использование информационной емкости ячеек. Практическая реализация помехоустойчивого хранения информации основана на методах помехоустойчивого кодирования. Перед помещением записей в ЗУ искусственно увеличивается их избыточность за счет введения дополнительных контрольных символов. После считывания записей из ЗУ производится обнаружение и коррекция ошибок. Рассмотрим теперь задачу поиска в следующей обобщенной форме. Пусть имеется файл, записи которого идентифицируются ключами. Множество запросов записей образуют последовательность аргументов поиска. Знания ключей и аргументов поиска могут подвергаться искажением из-за действия случайных помех при формировании файла и при подготовке запросов. Возникает вопрос, при каких условиях возможен достоверный поиск информации, т.е. получение на каждый запрос именно тех записей, которые требуются. |