Лекции по теории информации. Фурсов teoria_informacii. Лекции по теории информации под редакцией Н. А. Кузнецова
 Скачать 1.32 Mb.
|
|
X , 2 x X , …, m x X Процедура различения гипотез строится как дерево решений. По принято- му вектору Y определяются функции правдоподобия: 1 1 2 2 / , / , ... , / m m L x p x L x p x L x p x Y Y Y и вычисляются отношения правдоподобия 133 , / / j i j i p x p x Y Y для всех возможных сочетаний пар , i j x x Полученные значения , i j сравниваются с заданными пороговыми и при- нимается гипотеза, для которой все , 0, 1, i j j m . Описанная выше процеду- ра может быть реализована в сочетании с любым из рассмотренных выше кри- териев. 134 Лекция 16 Оценка параметров сигналов 16.1 Общая формулировка задачи восстановления сигналов Восстановление сигналов сводится к оценке некоторого числа параметров. Задача ставится следующим образом [12]. Пусть сигнал является функцией не- которого аргумента, например, времени t : 1 ,..., , , M y t f c c t f t c (16.1) Задача состоит в том, чтобы по принятой последовательности (вектору 1 2 , ,..., T N y y y Y ) определить вектор параметров 1 ,..., T M c c c Другими словами, ищется ˆc : ˆ min Q Q c c c , (16.2) где Q c – некоторый критерий, характеризующий качество восстановления сигнала. Вид критерия качества определяется доступной априорной информа- цией. Наиболее широко в задачах восстановления используются линейные зави- симости сигнала от искомых параметров. При оценке параметров динамических моделей это достигается линеаризацией в окрестности рабочей точки. При этом искомые параметры имеют смысл коэффициентов влияния малых отклонений сигналов от некоторого заданного (установившегося) рабочего режима. Часто функциональную зависимость общего вида (16.1) специально пред- ставляют в виде, допускающем преобразование ее к линейной модели, напри- мер, экспоненциальными зависимостями. При этом преобразование к линейной относительно искомых параметров модели осуществляется путем логарифми- рования. В качестве зависимостей (16.1) широко используются также ортогональ- ные представления сигналов (см. раздел 1.2): 1 M k k k y t c t , 135 где k t – заданные ортогональные или ортонормированные базисные функ- ции, а k c – искомые коэффициенты. Нетрудно заметить, что эти модели также линейные по искомым параметрам. 16.2 Задача оценки параметров линейных моделей В случае дискретного аргумента и аддитивных ошибок измерений k , 1, 2, k линейную модель сигнала можно представить в виде , 1, 2, T k k k y k x c (16.3) Если вектор искомых параметров c в пределах допустимой точности мо- дели считается неизменным для различных k , после проведения N измерений , , 1, k k y k N x в соответствии с (16.3) можно записать векторно-матричное соотношение [9] Y Xc ξ , (16.4) где Y , ξ – 1 N -векторы, а X – N M -матрица. Задача оценки 1 M -вектора параметров c состоит в построении прибли- женных соотношений ˆ h c ξ Естественно стремление строить оценки, обладающие «хорошими» свойствами. Обычно рассматривают следующие свойства оценок. 1. Несмещенность. Оценка ˆc векторного параметра c называется несме- щенной, если ˆ M c c (16.5) 2. Состоятельность. Последовательность оценок ˆ k c называется состоятель- ной, если для сколь угодно малого 0 с ростом k ˆ lim P 0 k k c c , (16.6) т.е. ˆ k c сходится по вероятности к истинному значению c 3. Эффективность. Оценка ˆc называется эффективной, если для любой не- смещенной оценки ˆ b 136 ˆ ˆ ˆ ˆ T T M M c c c c b c b c (16.7) Неравенство A B здесь понимается в том смысле, что матрица B A неотри- цательно-определенная. 16.3 Достижимая точность, неравенство Крамера-Рао При построении оценок одним из основных является следующий вопрос: какова наивысшая (предельная) точность возможна на имеющихся наблюдени- ях и на каких оценках она достигается. Важнейшей характеристикой точности оценивания векторного параметра является ковариационная матрица ˆ ˆ ˆ T M D c c c c c (16.8) Построим неравенство (Крамера-Рао), характеризующее ее нижнюю границу. Пусть выборочный вектор ξ : ξ Y Xc (16.9) обладает плотностью распределения w ξ . Введем в рассмотрение так назы- ваемую информационную матрицу Фишера: ln ln T M w w с с I c ξ ξ (16.10) с элементами , ln ln i j i j M w w c c I c ξ ξ Теперь запишем заведомо неотрицательно-определенную матрицу: 1 1 ˆ ln ˆ ln 0. T M w w с с B I c ξ c c I c ξ c c (16.11) После перемножения и взятия операции математического ожидания с учетом (16.8), (16.10) имеем (для краткости, вместо I c здесь и далее используется обозначение I ) 1 1 1 1 ˆ ln ˆ ˆ ln 0. T T M w M w с с B I I I I ξ c c c c ξ I D c (16.12) 137 Предполагая, что функция плотности вероятности w ξ допускает диффе- ренцирование под знаком интеграла, вычислим градиент от обеих частей ра- венства нормировки 1 w d ξ ξ : 1 ln 0 w d w w d M w w с с с ξ ξ ξ ξ ξ ξ ξ (16.13) Аналогично из условия несмещенности оценок параметров ˆw d с ξ ξ с с учетом того, что T T с с c c E , где E – единичная матрица, имеем ˆ ˆ ˆ ˆ ln ln T T T T w w d w d w M w M w с с с с ξ с ξ ξ с ξ ξ ξ с ξ ξ с E (16.14) С учетом (16.13), (16.14) и очевидного равенства 1 I I E неравенство (16.12) можно переписать в виде 1 1 1 ˆ 0 D I I I c или 1 ˆ D c I c (16.15) Мы получили неравенство Крамера-Рао, которое устанавливает нижнюю границу дисперсий оценок в классе всех несмещенных оценок. Заметим, что это неравенство получено при самых общих предположениях о выполнении усло- вия нормировки и свойства несмещенности оценок, не связанных с методом оценивания. Оно позволяет судить, насколько данная оценка близка к опти- мальной. 16.4 Оценки, минимизирующие среднеквадратическую ошибку Они используются в условиях статистической неопределенности, когда нет сведений о распределении ошибок. В этом случае, опираясь на восходящее к Гауссу мнение, считают, что наилучшей является оценка, минимизирующая средневзвешенную квадратическую ошибку: 138 , , 1 1 2 N i j i j i j Q g c В векторно-матричной форме критерий запишется в виде 1 2 T Q с ξ G ξ , (16.16) где G – заданная положительно-определенная N N -матрица. Если известна ковариационная матрица T M K ξ ξ коррелированной помехи с нулевым средним, то матрицу G , обычно, задают в виде 1 G K : 1 1 2 T Q с ξ K ξ (16.17) Оценку (16.17) называют оценкой обобщенного метода наименьших квадратов (ОМНК) или оценкой Гаусса-Маркова. Если об ошибках измерений ничего не известно и нет никаких оснований, отдать предпочтение каким либо измерениям, полагают G E : 1 2 T Q с ξ ξ (16.18) Соответствующая этому критерию оценка наиболее широко используется на практике и называется оценкой метода наименьших квадратов (МНК). 16.5 Оценка максимального правдоподобия Метод максимального правдоподобия используется в случае, когда априо- ри известна плотность распределения w ξ . Он основан на интуитивном пред- ставлении, что наиболее правдоподобна оценка, соответствующая максималь- ному значению плотности распределения. Поскольку функция ln w ξ достигает максимума в тех же точках, что и w ξ , в качестве функции потерь обычно применяют ln Q w с ξ с (16.19) В случае гауссовых помех совместная плотность вероятности 1 1 2 2 1 2 det exp 2 N T w ξ K ξ K ξ (16.20) 139 При этом в соответствии с (16.19) получаем 1 1 2 2 1 ln ln 2 det 2 N T Q w с ξ K ξ K ξ (16.21) Нетрудно заметить, что первое слагаемое в правой части не зависит от искомых параметров, а второе слагаемое совпадает (16.17). Следовательно, критерий максимального правдоподобия совпадает с ОМНК при гауссовых помехах. 16.6 Оптимальность оценок МНК и максимального правдоподобия Покажем, что в случае нормального распределения ошибок ОМНК-оценка и совпадающая с ней оценка максимального правдоподобия оптимальны в смысле минимума дисперсии. Для этого достаточно показать, что ковариаци- онная матрица ошибок оценивания совпадает с обратной информационной мат- рицей Фишера. Выпишем ковариационную матрицу ошибок оценивания. В соответствии с (16.17) с учетом того, что ξ Y Xc , искомая ОМНК-оценка является решени- ем уравнения 1 1 1 1 1 ˆ 0 2 T T T T Q c c с ξ K ξ X K ξ X K Y X K Xc , т.е. ˆ c RY , (16.22) где 1 1 1 T T R X K X X K (16.23) Подставляя в (16.22) Y Xc ξ из (16.4), с учетом того, что в соответствии с (16.23) 1 1 1 T T RX X K X X K X E , имеем ˆ c RXc Rξ c Rξ . (16.24) Теперь, с использованием (16.24) запишем ковариационную матрицу оши- бок оценивания: ˆ ˆ ˆ T T T T T M M M D c c c c c Rξ Rξ R ξξ R RKR Наконец, подставляя в последнее равенство матрицу R из (16.23), окончатель- но получаем 140 1 1 1 1 1 1 1 1 ˆ T T T T D c X K X X K KK X X K X X K X (16.25) Теперь запишем информационную матрицу Фишера (16.10) для гауссовой плотности (16.20). С учетом (16.21) 1 1 1 ln 2 T T w с с ξ ξ K ξ X K ξ Отсюда в соответствии с определением (16.10) сразу получаем 1 1 1 1 1 T T T T T M M I c X K ξξ K X X K ξξ K X X K X . (16.26) Подставляя полученные выражения для ˆ D c и I c из (16.25) (16.26) в нера- венство (16.15) (Крамера-Рао) убеждаемся, что оно превращается в равенство, следовательно, оценки максимального правдоподобия и ОМНК-оценки опти- мальны и достигается нижняя граница дисперсий. 16.7 Байесовские оценки Два метода: максимальной апостериорной вероятности и минимального среднего риска обычно называют байесовскими, т.к. для их построения исполь- зуется формула Байеса (15.1): w w w w с Y с с Y Y , где w w w d c Y с Y с с Апостериорная плотность вероятности описывает частоты появления значений параметров после того, как к априорной информации добавлена информация, извлеченная из наблюдений. Поэтому естественно в качестве оценок принять значения, соответствующие наибольшим апостериорным вероятностям или ми- нимуму взятого со знаком минус логарифма плотности: ˆс : ˆ min ln ln ln Q w w w с с Y с Y с (16.27) Первый член в квадратных скобках не зависит от c , поэтому в качестве функции потерь можно принять ln ln Q w w с с Y с Если плотности вероятностей гауссовы, критерий принимает вид 1 1 T T Q с с ξ K ξ с с K с с , (16.28) 141 где , с K с – ковариационная матрица и априорное среднее вектора c соответ- ственно. Сравнивая (16.28) с (16.17), (16.21) легко заметить отличие метода максимальной апостериорной вероятности от ОМНК и метода максимального правдоподобия. Пусть теперь вдобавок к априорной информации, которая использовалась при построении оценок максимальной апостериорной вероятности, известны также потери ˆ , П |