Программам высшего профессионального образо вания по специальности Программное обеспечение вычислительной техники и автоматизированных систем
 Скачать 0.95 Mb.
|
|
3.2 Обработка результатов пассивного эксперимента методом рег- рессионного анализа 3.2.1 Основные понятия классического регрессионного анализа В пассивном эксперименте исходная информация о функционировании сложной системы может быть получена путем непрерывной или дискретной фиксации уровней исследуемых входных факторов и выходных параметров системы в условиях ее нормального функционирования. В данном случае, как уровни, так и сочетания уровней всех входных факторов в каждый момент времени будут являться случайными величинами. Случайными величинами будут являться и выходные параметры системы. При проведении пассивного эксперимента исследователь каждому сочетанию уровней всех входных фак- торов должен поставить в соответствие текущий уровень выходных парамет- ров системы. Полученная таким образом информация может быть представле- на в виде следующей таблицы. Таблица 3.1 – Результаты пассивного эксперимента Входные параметры Выходные параметры Опыты x 1 … x i … x k y 1 … y s … y 2 1 2 … j … N x 11 x 21 … x j1 … x N1 … … … … … … x 1i x 2i … x ji … x Ni … … … … … … x 1k x 2k … x jk … x Nk y 11 y 21 … y j1 … y N1 … … … … … … y 1s y 2s … y js … y Ns … … … … … … y 1r y 2r … y jr … y Nr Выходные параметры системы y s стохастически связаны с входными факторами x i . В общем виде, эту связь можно представить выражением: ε ϕ + = ) ( i s x y , (3.3) где i=1,k; 50 ε – аддитивная помеха, то есть величина, учитывающая случай- ные ошибки измерений, случайные шумы, влияние неучтен- ных факторов. Данную аналитическую зависимость принято называть математиче- ской моделью системы, полученной по результатам пассивного эксперимента. Так как математическая модель вида (3.3) находится для каждого выходного параметра системы y 1 , y 2 , ..., y s , ..., y r в отдельности, то в дальнейшем будем рассматривать способ ее нахождения лишь в общем виде для одного выходно- го параметра y. Выше было отмечено, что истинную зависимость величин X и Y харак- теризует зависимость условного математического ожидания M[Y/X=x] от па- раметра. Следовательно, математическую модель (3.3) целесообразно искать в виде уравнения регрессии. Если принять условие, что математическое ожида- ние аддитивной помехи M[ ε ]=0, то условное математическое ожидание выходного параметра y будет совпадать со значением функции ϕ (x i ): M[Y/X i =x i ]=y= ϕ (x i ); (3.4) где ϕ (x i ) – функция регрессии. Условное математическое ожидание M[Y/X i =x i ], как правило, зависит не только от входных факторов x i , но и от некоторых параметров β i , тогда M[Y/X i =x i ]=y= ϕ (x i , β i ). (3.5) В зависимости от того, как данные параметры β i входят в функцию рег- рессии, модели (3.5) делятся на линейные и нелинейные (по параметрам). Мы будем рассматривать только линейные регрессионные модели. Точное уравнение регрессии можно получить, только зная M[Y/X i =x i ] для всех допустимых значений переменной x i Практически, при проведении экспериментальных исследований такая ситуация невозможна, так как даже отдельные значения M[Y/X i =x i ] не могут быть найдены точно. В связи с этим мы можем искать лишь уравнения при- ближенной регрессии, оценивая величину и вероятность этой приближенно- сти. Уравнение приближенной регрессии будем записывать в виде: 51 M[Y/X i =x i ]= ), ( , / i i x y b x f y a = ≈ (3.6) где y – оценка условного математического ожидания; f(x i ,b i ) – функция приближенной регрессии; b i – оценки параметров регрессии. Вид уравнения приближенной регрессии существенно зависит от вы- бранного метода приближения. В качестве такого метода в "классическом" регрессионном анализе используется метод наименьших квадратов. Следует отметить, что принцип применения метода наименьших квадратов пригоден для сравнения любого числа функций. Однако при этом удобнее всего сравни- вать функции, накладывающие на выборку одинаковое число связей, так как при этом можно сравнивать просто суммы квадратов отклонений. Рассмотрим теоретические основы его применения при обработке результатов пассивного эксперимента. Так как уровни входных факторов, полученных при испытаниях (смот- реть таблицу 3.1), как правило, имеют различный порядок, то для упрощения вычислений все ячейки таблицы 3.1. необходимо отцентрировать и, кроме то- го, целесообразно добавить первый столбец (x 0 -фиктивный фактор), состоя- щий из единиц. Тогда таблица результатов эксперимента приобретет оконча- тельный вид. Таблица 3.2 - Результаты пассивного эксперимента Входные параметры Выходные параметры Опыты x 0 1 x& … i x& … K x& y 1 … y s … y r 1 2 … j … N 1 1 … 1 … 1 11 x & 21 x & … j1 x& … N1 x & … … … … … … 1i x & 2i x & … ji x& … Ni x & … … … … … … 1K x & 2K x & … jK x& … NK x & y 11 y 21 … y j1 … y N1 … … … … … … y 1s y 2s … y js … y Ns … … … … … … y 1r y 2r … y jr … y Nr В данной таблице ji x & = x ji - i x ; (3.7) N x x N j ij i ∑ = = 1 Очевидно, что ошибка в j-м опыте, которая будет характеризовать точ- ность подбираемой нами математической модели системы, может быть запи- сана в виде: 52 j jэ j y y e − = , где y jэ – величина выходного параметра системы, полученная по результатам эксперимента в j-м опыте; j y – величина выходного параметра системы, рассчитан- ная для j-го опыта по подобранной математической модели (3.6). Целесообразно так подобрать математическую модель, чтобы по всем опытам выполнялось условие ∑ = = N j j e 1 min . (3.8) Однако, чтобы избежать выполнения данного условия из-за взаимного погашения слагаемых с различными знаками, следует взять условие ∑ = = N j j e 1 min ) ( 2 . (3.9) Таким образом, мы пришли к методу наименьших квадратов: ∑ = = − = Φ N j j jэ y y 1 min ) ( 2 . (3.10) Выражение (3.10) минимизирует сумму квадратов остатков или невя- зок, которые вызываются двумя причинами: отличием оценок b i от истинных параметров β i и наличием аддитивной помехи ε. Если в выражении (3.10) функция Ф есть дифференцируемая функция по всем своим параметрам b i и требуется так подобрать данные параметры, чтобы выполнялось условие минимума, то необходимым условием этого будет являться равенство нулю ее частных производных по всем параметрам b i : 0 ..., ; 0 ; 0 1 0 = ∂ ∂ = ∂ ∂ = ∂ ∂ i b Ф b Ф b Ф . (3.11) Эти равенства можно рассматривать как уравнения относительно неиз- вестных параметров b 0 , b 1 , ..., b i , ..., b k , которые в математической статистике принято называть "системой нормальных уравнений". Так как функция 0 ≥ Φ при любых значениях b i , то у нее обязательно существует хотя бы один мини- мум. Используя правила дифференцирования, системе уравнений (3.11) обыч- но придают несколько иной вид: 53 ∑ ∑ = = = ∂ ∂ ⋅ − = ∂ ∂ ⋅ − N j N j k j j jэ j j jэ b y y y b y y y 1 1 0 ) ( 2 0 ) ( 2 0 . (3.12) Или после дальнейших преобразований ∑ ∑ = ∂ ∂ ⋅ − ∂ ∂ ∑ = ∑ ∂ ∂ − ∂ ∂ = = = = N j N j N j N j k j j k j jэ j jэ b y y b y y b j y j y b y y 1 1 1 1 0 0 0 0 . (3.13) Решить систему уравнений (3.13) в общем виде нельзя, для этого следу- ет задаться конкретным видом функции ) , ( i i b x f y = Так как подбираемая по результатам эксперимента математическая мо- дель системы, как правило, по своему виду не имеет ничего общего с природой процессов, происходящих в системе, то в качестве функции f(x i ,b i ) целесооб- разно выбирать простые аналитические зависимости. Таковыми могут быть системы ортогональных полиномов того или иного класса (полиномов Эрмита, Лежандра и другие) тригонометрические функции и т.п. На практике наиболее часто используются полиномы - многочлены различной степени. Вид многочлена (порядок) можно выбирать, исходя из визуальной оценки характера расположения точек на поле корреляции, опыта предыдущих исследований или исходя из соображений профессионального характера, осно- ванные на знании физической сущности исследуемого процесса. Однако счи- тается, что на начальном этапе исследования более целесообразно ограничить- ся полиномом первого порядка. Таким образом, теоретически считается, что в регрессионном анализе вид функции f(x i ,b i ) известен и требуется по экспериментальным данным с по- мощью N опытов найти лишь неизвестные параметры b i Для решения системы (3.13) выдвигаем гипотезу о наиболее простом (линейном) виде функции f(x i ,b i ), то есть ∑ = = + + + = = k i k k i i i i x b x b x b x b b x f y 0 1 0 0 0 0 1 0 0 ) , ( , (3.14) где b 0 , b 1 ,…, b k – вектор независимых коэффициентов (параметров) линейного полинома. 54 В данном случае частные производные в выражении (3.13) будут равны 1 0 0 = = ∂ ∂ j j x b y ; 1 1 0 j j x b y = ∂ ∂ ; … ; jk k j x b y 0 = ∂ ∂ . (3.15) Тогда система уравнений (3.13) с учетом (3.15) преобразуется к виду: − − ∑ ∑ ∑ ∑ ∑ ∑ = = = = = = = = N j k i N j N j k i N j ji i jk jk jэ ji i j j jэ x b x x y x b x x y 1 0 1 1 0 1 0 0 0 0 0 0 0 0 . (3.16) Решение системы нормальных уравнений (3.16) целесообразно вести в матричной форме. С этой целью представим ее в следующем виде: B X X Y X T T 0 0 0 = , (3.17) где 0 X – матрица входных переменных; 0 T X – транспонированная матрица к матрице 0 X ; Y – матрица – столбец выходного параметра; B – матрица- столбец коэффициентов регрессии. Для определения коэффициентов регрессии умножим обе части выра- жения (3.17) на 1 0 0 − X X T слева, тогда получим B X X X X Y X X X T T T T 0 0 0 0 0 0 0 1 1 − − = , откуда Y X X X BE T T 0 0 0 1 − = , где Е – единичная матрица или Y X X X B T T 0 0 0 1 − = , (3.18) 55 где 1 0 0 − X X T – матрица, обратная матрице 0 0 X X T Следует отметить, что для существования обратной матрицы матрица 0 0 X X T должна быть невырожденной (неособенной). В связи с этим при ис- пользовании данного вычислительного метода необходимо, чтобы входные переменные х 1 , х 2 , …, х k были линейно независимы. Тогда в матрице независи- мых входных переменных элементы одного столбца не будут линейной ком- бинацией соответствующих элементов других столбцов. Если же, по каким-то причинам, матрица 0 0 X X T является вырожденной, то следует либо попытать- ся выразить модель через меньшее число параметров, либо выдвинуть допол- нительные ограничения на параметры. Нахождение обратной матрицы 1 0 0 − X X T – это задача более сложная, чем просто решение системы линейных алгебраических уравнений, так как ее элементы определяются путем деления алгебраического дополнения элемента ∑ = N i ij uj x x 1 0 0 в матрице 0 0 X X T на ее определитель. В качестве примера приведем общие формулы для обращения матриц порядка 2 и 3, которые имеют вид: ∆ ∆ − ∆ − ∆ = = − − a c b d d c b a M 1 1 , где ∆=ad-bc – определитель 2*2 – матрицы М; K H G F E D C B A k h g f e d c b a Q = = − − 1 1 , где ∆ − − = ∆ − = ) ( ; ) ( ch bk B fh ek A ; ; ) ( ; ) ( ∆ − − = ∆ − = fg dk D ce bf C 56 ∆ − − = ∆ − = ) ( ; ) ( cd af F cg ak E ; ∆ − − = ∆ − = ) ( ; ) ( bg ah H eg dh G ; ∆ − = ) ( bd ae K ; gec dbh ahf cdh bfg aek eg dh c fg dk b fh ek a − − − + + = − + − − − = ∆ ) ( ) ( ) ( , где ∆ – определитель матрицы Q. Матрицы вида 0 0 X X T , встречающиеся в регрессионном анализе, все- гда симметричны. У этой матрицы элемент j -ой строки и i -го столбца равен элементу i -й строки и j -го столбца, то есть имеет место симметрия элементов квадратной матрицы относительно ее главной диагонали, соединяющей левый верхний элемент с правым нижним. Следовательно, транспонирование сим- метричной матрицы не меняет ее. Таким образом, если матрица М порядка 2 симметрична, то b = c и обратная матрица будет также симметричной. Если матрица Q , упомянутая выше, симметрична, то b = d, c = g, f = h . Тогда пе- реобозначая матрицу Q в матрицу S , мы получим также симметричную обрат- ную матрицу K F C F E B C B A k f c f e b c b a S = = − − 1 1 , где ; ) ( ; ) 2 ( ∆ − − = ∆ − = cf bk B f ek A ; ) 2 ( ; ) ( ∆ − = ∆ − = c ak E ce bf С ; ) 2 ( ; ) ( ∆ − − = ∆ − − = b ae K bc af F e c k b af bcf aek ce bf c cf bk b f ek a 2 2 2 2 ) ( ) ( ) 2 ( − − − + = − + − − − = ∆ , где ∆ – определитель матрицы S. 57 Итак, можно сделать следующий вывод: обратная матрица от любой симметричной матрицы есть симметричная матрица. Матрицы, имеющие порядок больше трех, обычно трудно обращать, если они не имеют специальной формы. Матрица, которая легко обращается независимо от ее порядка, - это диагональная матрица, которая содержит не- нулевые элементы только на главной диагонали, а остальные элементы нули. Обратная матрица от нее получается путем обращения всех ненулевых эле- ментов и сохранения их на тех же позициях, что и в исходной матрице. На- пример, a a a a a a a a 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 = − На этом важном свойстве мы остановимся ниже более подробно. Таким образом, решение системы нормальных уравнений (3.16) в мат- ричной форме (3.17) имеет вид: Y X X X T T B 0 0 0 1 − = Каждый коэффициент уравнения регрессии будет определяться по фор- муле: ∑ ∑ = = = N j N j ji j iu i x y c b 0 0 , где с iu – элементы обратной матрицы 1 0 0 − X X T В результате проведения всех этих операций получим полином первой степени (3.14) с известными коэффициентами b i . Этот полином является ап- проксимацией функции (3.5), вид которой исследователю неизвестен. После расчета коэффициентов b i полученное уравнение приближенной регрессии (3.14) подвергается статистическому анализу. При этом оценивают ошибку от замены истинной регрессии прибли- женной и проверяют значимость всех слагаемых найденного уравнения в сравнении со случайной ошибкой наблюдений. Данный комплекс мероприятий носит название «регрессионного анализа». Особо следует подчеркнуть, что излагаемый порядок проведения «классического» регрессионного анализа возможен только при выполнении следующих предпосылок. 58 1 Ошибка измерения входных факторов Х равна нулю. Данное катего- рическое требование, конечно, никогда не может быть выполнено в полной мере. Его следует понимать таким образом, что фактор, вносимый случайными ошибками измерения факторов Х в дисперсию воспроизводимости экспери- мента, должен быть пренебрежимо мал по сравнению с действием других не- контролируемых факторов, образующих ошибку эксперимента. 2 Аддитивная помеха (шум эксперимента) ε является случайной вели- чиной, распределенной по нормальному закону с математическим ожиданием M[ ε ]=0 и постоянной дисперсией const = 2 ε σ . Значения помехи ε в различных наблюдениях являются некоррелированными величинами, то есть ( ) 0 , = j i N ε ε µ 3 При наличии параллельных опытов оценки дисперсий выходного па- раметра S 1 2 , S 2 2 , …, S N 2 должны быть однородны. (Однородность оценок дис- персий при одинаковом числе параллельных опытов для каждой серии реали- заций проверяют по критерию Кохрена, а при разном – по критерию Бартлет- та). 4 Результаты наблюдений над выходной величиной Y представляют со- бой независимые, нормально распределенные случайные величины. Данное требование не является безусловным, так как метод наименьших квадратов можно применять для определения коэффициентов уравнения регрессии, если даже нет нормального распределения Y , но при этом уже ничего нельзя сказать о его эффективности, особенно при выборках малого объема. Поэтому целесо- образно попытаться преобразовать случайную величину Y к нормальному за- кону. |