1. Визначення електронної системи(ЕС). Ціль побудови ес. Структура ес. Класи ес. Слово система (англ system) походить від грецького складений
 Скачать 2.18 Mb.
|
|
функция правдоподобия. В зависимости от того являються лих дискр. или непрер. величиной функция правдоподобн. может принять конечное или бесконечное множество значений. Значение функции правдоподобия w(y|x)=L(x) это условная плотность вероятности выборки у при наличии полезного сигнала х, а L(x 0 )=w(x|x 0 ) условная плотность вероятности выборки у при отсутствии х, в случае когда есть только шум. Потери, которые возникают при ошибочном решении, что был принят сигнал , когда на самом деле передавался обозначим . Естественно принять Условный риск при передаче есть (31) т.е. определяется суммой вероятностей ошибок с учѐтом потерь . Если – априорная вероятность передачи сигналов или средняя частота, с которой сигналы передаются в канал, тогда средний риск при передаче одного сигнала из m возможных равен (32) где – безусловная вероятность. Качество канала передачи сообщений тем выше, чем меньше средний риск R в (32). Критерий среднего риска является одним из наиболее общих. Это Байесовский критерий, поскольку он основан на априорно известных вероятности передачи отдельных сигналов и условной вероятности на приемной стороне, что позволяет воспользоваться формулой Байеса в (32).критерий Неймана-Пирсона можно интерпретировать как частный случай Байесовского критерия. Для случая различения сигналов используем соотношение (42) где – апостериорная вероятность того, что передавался сигнал при условии принятого сигнала x, p(x ) – безусловная плотность вероятности сигнала x . Согласно формуле Байеса, (43)Условие максимума апостериорной вероятности есть В случае обнаружения сигнала должно выполняться условие (44) или (45) (46) Левая часть неравенства (46) носит название отношения правдоподобия. Правая часть в случае неизвестных вероятностей отсутствия и наличия сигнала также неизвестна, поэтому принимают, что отношение правдоподобия должно быть выше заданного порогового значения P . Таким образом, пространство X реализаций x преобразуется в значения P на числовой оси, так что условные вероятности принять сигнал при условии его наличия или отсутствия выражаются в форме (47) (48) Поэтому при установленной границе принятия решений (49) (50) Структура оптимального приемника Неймана-Пирсона строится так, чтобы выполнялось условие 28. Критерії приймання рішення про наявність корисного сигналу: максимуму правдоподібності, максимума апостеріорної вірогідності, ідеального спостерігача Завдання ідентифікації, як відзначалося, полягає в тому, щоб у результаті обробки прийнятого сигналу встановити, чи міститься в ньому корисний чи сигнал ні. Нехай прийнятий сигнал є сумою корисного сигналу й завади Інформаційний сигнал може приймати два значення: і з апріорними відповідно ймовірностями й . Тому що сигнал напевно має одне із цих двох значень, те справедливе співвідношення Таким чином, можливі дві взаємно виключають (альтернативні) гіпотези: у прийнятому сигналі міститься корисний сигнал (гіпотеза ) і відсутній корисний сигнал (гіпотеза ). Вирішальний пристрій приймача за даними вибірки повинне встановити, яка із цих гіпотез є правдоподібною. У геометричній інтерпретації поставлене завдання може бути сформульована в такий спосіб. Простір прийнятих сигналів V умовно розбивається на дві частини: область відповідному прийняттю гіпотези про те, що й область відповідному прийняттю гіпотези про те, що Це значить, що якщо вектор прийнятого сигналу виявиться в межах області те приймається гіпотеза . Якщо ж вектор сигналу виявиться в області , то приймається гіпотеза У цих умовах можуть мати місце два значення апостеріорної ймовірності : — умовна ймовірність наявності корисного сигналу X при даному значенні вибірки , — умовна ймовірність відсутності X при даному значенні вибірки Аналогічно можна розглядати два значення функції правдоподібності : умовна щільність імовірності вибірки при наявності корисного сигналу ; умовна щільність імовірності вибірки при відсутності Відношення функцій правдоподібності прийнято називати відношенням правдоподібності. Для вибору гіпотези або повинне бути взяте за основи певне правило прийняття рішень. Вибір правила прийняття рішення в математичному відношенні зводиться до оптимальної розбивки простору прийнятих сигналів V на області й Для того щоб вибрати те або інше правило прийняття рішення, необхідно керуватися певними критеріями. Критерій максимуму правдоподібності. Цей критерій формулюється в такий спосіб: найбільше правдоподібно те значення параметра X, для якого функція правдоподібності максимальна. Відповідно до цього критерію у випадку двухальтернативної ситуації (виявлення сигналу) має два значення функції правдоподібності й і приймається та гіпотеза, який відповідає більше значення функції правдоподібності. Якщо, наприклад, то приймається гіпотеза . Якщо ж , то приймається гіпотеза Цей критерій можна записати в наступному вигляді через відношення правдоподібності: якщо , то при , то Таким чином, відповідно до даного критерію методика прийняття рішення зводиться до наступного: обчислюються функції правдоподібності й , визначається відношення правдоподібності , і залежно від того, більше, дорівнює або менше одиниці приймається відповідна гіпотеза. Критерій максимуму апостеріорної ймовірності. За цим критерієм при отриманому значенні вибірки приймається та гіпотеза, при якій апостеріорна ймовірність максимальна. Для випадку двухальтернативної ситуації маються два значення апостеріорної ймовірності й . Звичайно розглядається відношення цих величин і правило прийняття рішення записується у вигляді: якщо , то якщо , то Використовуючи формулу Байеса, виразимо відношення апостеріорних ймовірностей через відношення функцій правдоподібності Тоді критерій максимуму апостеріорної ймовірності може бути в такий спосіб виражений через відношення правдоподібності: якщо , то якщо , то Співвідношення можна представити у вигляді: якщо , то якщо , то де - граничне значення відносини правдоподібності. Таким чином, процедура прийняття рішення відповідно до критерію максимуму апостеріорної ймовірності така ж, як і відповідно до критерію максимуму правдоподібності. Відмінність полягає лише в тому, що в першому випадку відношення правдоподібності порівняється з одиницею, а в другому з відношенням апріорних ймовірностей При наявності апріорних даних і доцільно застосовувати критерій максимуму апостеріорної ймовірності, тому що при цьому є можливість користуватися додатковою інформацією, що дозволяє точніше вирішити завдання ідентифікації сигналу. Критерій ідеального спостерігача (критерій Котельникова). Відповідно до даного критерію приймається та гіпотеза, при якій забезпечується мінімум загальної помилки прийняття рішення. При рішенні завдання ідентифікації сигналу можуть мати місце помилки двох пологів: 1) при відсутності корисного інформаційного сигналу вектор прийнятого сигналу виявляється в області й приймається відповідно до цього гіпотеза , 2) при наявності корисного сигналу вектор виявляється в області й приймається гіпотеза . Перша помилка називається помилкою першого роду, або «фіктивною тривогою». Друга помилка називається помилкою другого роду, або «пропуском сигналу». Кількісно помилки першого й другого роду оцінюються умовними ймовірностями й помилковими рішеннями про наявність корисного сигналу, коли в дійсності він відсутній, і про відсутність сигналу, коли в дійсності він є Загальна безумовна ймовірність помилкового рішення визначається вираженням Отже, умова оптимального рішення за критерієм ідеального спостерігача має вигляд Цей критерій можна записати в наступному вигляді через відношення правдоподібності: якщо , то якщо , то д30. Роздільна здатність ЕС. Інформаційна електронна система. Роздільна здатність ЕС визначається залежно від призначення ЕС і задає: 1. Осцилографічні та ін вимірювальні системи - мінімальний інтервал часу між імпульсними сигналами, які відтворюються із заданими коефіцієнтами модуляції. 2. ЕС дефектоскопії - мінімальний розмір дефекту або вимірювального еталона, який виявляють на тлі шумів операторних або автоматизованим пристроєм. 3. ЕС електро-оптичного і опто-електричного перетворення (кінескопи, мікроскопи, РК- панелі, відікони і т.д.) - роздільна здатність відображає властивість електронної системи відображати найбільш дрібні деталі зображення. Граничну роздільну здатність визначає головним чином величина сигналу в ЕС, інформаційно представляє якусь фізичну величину (розмір, частотний інтервал та ін), яка починає не відрізнятися з іншим інформаційним сигналом. Інформацíйна систéма — сукупність організаційних і технічних засобів для збереження та обробки інформації з метою забезпечення інформаційних потреб користувачів. Інформаційні системи включають в себе: технічні засоби обробки даних, програмне забезпечення і відповідний персонал. Чотири складові частини утворюють внутрішню інформаційну основу: засоби фіксації і збору інформації; засоби передачі відповідних даних та повідомлень; засоби збереження інформації; засоби аналізу, обробки і представлення інформації. За ступенем автоматизації В залежності від ступеня (рівня) автоматизації виділяють ручні, автоматизовані й автоматичні інформаційні системи. Ручні ІС - характеризуються тим, що всі операції з переробки інформації виконуються людиною. Автоматизовані ІС - частина функції (підсистем) керування або опрацювання даних здійснюється автоматично, а частина — людиною. Автоматичні ІС - усі функції керування й опрацювання даних здійснюються технічними засобами без участі людини (наприклад, автоматичне керування технологічними процесами) За сферою призначення Оскільки ІС утворюються для задоволення інформаційних потреб в межах конкретної предметної галузі, то кожна предметна галузь (в сфері призначення) відповідає свій тип ІС. Перераховувати всі ці типи немає змісту, оскільки кількість предметних галузей велика, але можна вказати наприклад такі типи ІС: Економічна ІС — інформаційна система призначена для виконання функцій управління на підприємстві; Медична ІС — інформаційна система призначена для використання в лікувальному або лікувально-профілактичному закладі; Географічна ІС — інформаційна система, забезпечуюча збір, збереження, обробку, доступ, відображення і розповсюдження даних; Адміністративні; Виробничі; Навчальні; Екологічні; Криміналістичні; Військові та інші. Д31. Ентропія джерела, її визначення та міра: біт, нат. Міра невизначеності станів дискретного джерела за Шенноном, за Хартлі. Властивості ентропії. Энтропия - мера беспорядка системы, состоящей из многих элементов. Энтропия – это средняя информативность источника на 1 символ, которая определяет непредсказуемость или неожиданность сообщений полностью детерминирующего источника, который создает одну заранее известную последовательность символов, имеет информативность 0. -Шеннона(еѐ наз. энтропией дискретного источника) – N i i i p p N H 1 lg ) ( -Хартли – H(N) = lgN; Свойства энтропии: 1. Энтропия – это действительная неотрицательная величина 1≤ i ≤ N Вероятность изменяется от 0 до 1 lgp i < 0, а значит величина -p i lgp i - должна быть положительной. 2. Энтропия – величина ограниченная, для составляющих -p i lgp i при p i → 0 определяется правилом Ляпиталя U = 0. 3. Энтропия = 0, когда вероятность одного из состояний становится 1, тоесть когда состояние источника полностью определено. Тогда вероятность всех других состояний = 0. 4. Энтропия макс для равновероятных состояний источника, когда p1=p2=…=p N =1/N H max = N N N N i 1 log 1 log 1 Д32. Энтропия объединения нескольких статически независимых один от другого источников информации равно сумме энтропии непрерывных источников. Объединение двух источников информации U и V обобщенный источник информации р(U , V), Которое характеризуется вероятностями р(U i , V j ) всех возможных комбинаций состояний U i Источника U и V j источника V. (1.9) ,где - вероятность совместной реализации состояний В случае статической независим. Источника информации U и V В этом выражении учтем : Получим энтропию объединения двух статистически независимых источников, что равно сумме энтропии этих источников , тоесть: Теорема объединения энтропий. Под объединением двух систем и с возможными состояниями понимается сложная система , состояния которой представляют собой все возможные комбинации состояний систем и Очевидно, число возможных состояний системы равно . Обозначим вероятность того, что система будет в состоянии : . (18.3.1) Вероятности удобно расположить в виде таблицы (матрицы) Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком: (18.3.2) или, в других обозначениях: . (18.3.2') Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания: , (18.3.3) где - логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния). Предположим, что системы и независимы, т. е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий , откуда Подставляя в (18.3.3), получим , или , (18.3.4) т. е. при объединении независимых систем их энтропии складываются. Доказанное положение называется теоремой сложения энтропий. Теорема сложения энтропий может быть легко обобщена на произвольное число независимых систем: . (18.3.5) Если объединяемые системы зависимы, простое сложение энтропий уже неприменимо. В этом случае энтропия сложной системы меньше, чем сумма энтропий ее составных частей. Чтобы найти энтропию системы, составленной из зависимых элементов, нужно ввести новое понятие условной энтропии. 33. Умовна ентропія. Ентропія об’єднання двох або більшої кількості статистично зв язаних ансамблів. Диференціальна ентропія. Энтропия - мера беспорядка системы, состоящей из многих элементов. (вариант лекции этого года) Энтропия –как мера неопределенности, которая учитывает вероятность появления. Шеннона(еѐ наз. энтропией дискретного источника) – H(N)= - ; (1-p) Хартли – H(N) = logN; (1-2) Статически независимых – H(AB) = − ∑∑p(aibj)logp(aibj) Условная - Дифференциальная - Равномерный - Гауссовский закон - Энтропия 2-х статически зависимых ансамблей U и V = безусловной энтропие оного ансамбля ( ) H U или ( ) H V плюс условная энтропия другого ансамбля ( , ) ( ) ( ) ( ) ( ) U V H U V H U H V H V H U (19) 1 ( ) ( ) ( ) k V j Vj j H U p v H U 1 ( ) ( / ) log ( / ) k Vj i j i j j H U p u v p u v 34. Визначення, переваги та недоліки кодування у ЕС. Теорема Котельникова. Кодирование информации— процесс преобразования сигнала из формы, удобной для непосредственного использования информации, в форму, удобную для передачи, хранения или автоматической переработки. Преимущество цифрового представления информации заключается: - болем высокой помехоустойчивости; - позволяет обойтись конечным числом уровней квантования; - позволяет снизить затраты на хранение и обработку сигналов; -простота восстановления формы кодовых импульсов, которая искажается во время прохождения через канал связи. Недостатки: - передача аналогового сигнала в цифровой требует значительно более широкой полосы частот чем передача аналоговых сигналов полосе частот и ограничению ресурсов. - цифровая электронная система нуждается в прецезионной синхронизации передачи и приема. - несовместимы со старыми аналоговыми; - ухудшаются качества системы которая носит пороговое значение. Помехоустойчивость кодирования обеспечивается за счѐт введения избыточности в кодовые комбинации. Это значит, что не все n символов кодовой комбинации используются для кодирования информации Теорема Котельнікова – теорема, згідно котрої сигнал з обмеженим спектром частот можна поністю представити сукупністю відліків з тактовою частотою f S =1/T S , перевищуючою неменше ніж в 2 рази найвищу частоту спектру сигналу. Связываетаналоговые и дискретныесигналы и гласит, что, еслианалоговый сигнал x(t); имеетфинитный (ограниченный по ширине) спектр, то он можетбытьвосстановлен однозначно и без потерь по своимотсчѐтам, взятым с частотой, большейилиравнойудвоеннойверхнейчастоте. 35. Ефективні коди: Шеннона-Фано, Хафмена. Код Грея. Манчестерський код. Код Шеннона-Фано X P Коды x 1 1/4 0 0 ------- ------- 00 x 2 1/4 1 ------- ------- 01 x 3 , 1/8 1 0 0 ------- 100 x 4 1/8 1 ------- 101 x 5 1/16 1 0 0 1100 x 6 1/16 1 1101 x 7 1/16 1 0 1110 x 8 1/16 1 1111 Средняя длина полученного кода будет равна В коде Шеннона-Фано количество цифр в различных кодовых комбинациях разное, т.е. код неравномерный. Сообщения с большей вероятностью имеют более короткую кодовую комбинацию. Принцип построения: Сначала знаки алфавита записываются в столбец в порядке убывание вероятности. Потом а) список символов делится на две части так, чтобы суммы частот обеих были точно или примерно равны. В случае, когда точного равенства достичь не удается, разница между суммами должна быть минимальна; б) кодовым комбинациям первой части дописывается 1, кодовым комбинациям второй части дописывается 0; в) анализируют первую часть: если она содержит только один символ, работа с ней заканчивается, – считается, что код для ее символов построен, и выполняется переход к шагу г) для построения кода второй части. Если символов больше одного, переходят к шагу а) и процедура повторяется с первой частью как с самостоятельным упорядоченным списком; г) анализируют вторую часть: если она содержит только один символ, работа с ней заканчивается и выполняется обращение к оставшемуся списку (шаг д). Если символов больше одного, переходят к шагу а) и процедура повторяется со второй частью как с самостоятельным списком; д) анализируется оставшийся список: если он пуст – код построен, работа заканчивается. Если нет, – выполняется шаг а). |