Программам высшего профессионального образо вания по специальности Программное обеспечение вычислительной техники и автоматизированных систем
 Скачать 0.95 Mb.
|
|
3.2.2 Статистический анализ уравнения регрессии Статистический анализ уравнения регрессии начинается с проверки адекватности полученного уравнения приближенной регрессии (3.14) резуль- татам эксперимента. В общем случае гипотеза об адекватности должна быть принята, если выполняется условие ) , , ( 2 1 2 2 f f F S S табл воспр ост α < , (3.19) где ) , , ( 2 1 f f F табл α – табличное значение критерия Фишера при уровне значимости α и числа степеней свободы числи- теля f 1 и знаменателя f 2 ; S 2 ост – остаточное дисперсия, обусловленная влиянием неучтенных факторов и ошибками измерений в ходе проведения эксперимента; 59 S 2 воспр. – дисперсия воспроизводимости, характеризующие рассеивание значений выходного параметра Y при повторении одного и того же опыта, при од- ном и том же сочетании уровней факторов. Следует, однако, подчеркнуть, что при выполнении пассивного экспе- римента, вследствие трудности повторения опытов при неизменных условиях функционирования системы, получение дисперсии воспроизводимости стано- вится практически невозможным. В рассматриваемых условиях для проверки адекватности целесообразно воспользоваться эмпирической зависимостью , 10 5 2 2 ≥ ост Y S S (3.20) где 2 Y S – оценка дисперсии выходного параметра Y; 2 ост S – остаточная дисперсия. Оценки дисперсии рассчитываются по следующим формулам: 1 ) ( 1 2 2 − − = ∑ = N y y S N j Э jЭ Y , (3.21) N y y N j jЭ Э ∑ = = 1 , (3.22) 1 ) ( 1 2 − − ∑ − = = k N y y S N j j jЭ ост , (3.23) где j y – оценка выходного параметра, вычисления для j-го опыте по зависимости (3.14). Если условие (3.20) выполняется, то гипотезу об адекватности полу- ченного уравнения приближенной регрессии (3.14) результатам пассивного эксперимента следует принять. В противном случае, при неизменном составе входных факторов, следует выдвинуть конкурирующую гипотезу о нелиней- ном виде математический модели и весь процесс вычислений повторить для получения модели в виде неполного квадратного или полного квадратного по- линома. Так, повышая постепенно степень полинома, можно получить в ко- нечном итоге адекватную математическую модель. 60 Если по каким-то причинам проверить адекватность полученного урав- нения не удалось, то следует проверить работоспособность полученной рег- рессивной модели, что хотя и косвенным образом, но даст некоторое пред- ставление об адекватности. Анализ работоспособности, как правило, включает в себя две основные процедуры: 1 Исследование остатков N j y y e j jЭ j , 1 , = − = , то есть разностей между результатами эксперимента y jЭ и соответствующими, предсказанными по уравнению регрессии j y . Если полученная математиче- ская модель адекватно описывает процесс, то остатки e j будут характеризовать свойства шума – аддитивной помехи, о законе распределения и характеристи- ках которой нами были приняты вполне определенные предположения (смот- реть пункт 3.2.1). Таким образом, одно из основных направлений исследования остатков - это анализ справедливости исходных предположений о свойствах шума [ ] 2 2 2 ) 1 ( ) 1 ( 1 Y ост S N S K N R − + − − = , который показывает, какая доля из общего рассеяния экспериментальных зна- чений выходного параметра относительно своего среднего обусловлена рег- рессивной зависимостью. Величина R 2 может изменяться в пределах от 0 до 1. Если расчетное значение R 2 меньше R min = 0,75, то уравнение регрессии можно считать неработоспособным. Если расчетное значение R 2 близко к единице, то можно говорить о хорошем качестве моделирования при условии, что N доста- точно велико по сравнению с (К+1). После получения адекватной модели переходят ко второму этапу стати- стического анализа. На данном этапе производится селекция входных факто- ров, суть которой заключается в следующем. На величину входного параметра системы, как правило, существенно влияет лишь часть из всей совокупности К включенных в эксперимент факторов. Тогда без особого ущерба для точности математической модели все остальные факторы можно из уравнения регрессии исключать. Для выявления незначимых факторов производится проверка зна- чимости всех коэффициентов регрессии b i с помощью t – критерия Стьюдента. Факторы, для которых выполняется условие ) , ( | | f t S b t табл i b i i α > = , (3.24) где t табл. (α,f) – табличное значение критерия Стьюдента для уровня значимости α и числа степеней свободы; f = N-K-1; 61 i b S – оценка среднего квадратического отклонения i-го коэффициента регрессии. Являются значимыми, и их следует оставить в уравнении регрессии. Величины оценок среднеквадратических отклонений коэффициентов регрессии i b S можно получить умножением оценки дисперсии воспроизводи- мости S 2 воспр. на ковариационную матрицу 1 0 0 − X X T , которая получается в процессе вычисления вектора коэффициентов регрессии: 2 0 1 2 0 2 1 0 0 2 ) 1 ( ) ( ) ( ) ( ) ( ) ( 1 0 1 1 0 0 k b k k b k b X T X воспр S b k b сов b b сов b b сов S b b сов b b сов b b сов S S K K K K K K K = − . (3.25) В матрице (3.25) элементы, лежащие на главной диагонали, есть не что иное, как оценки дисперсий соответствующих коэффициентов уравнения рег- рессии, а недиагональные элементы – ковариации (корреляционные моменты) соответствующих пар коэффициентов регрессии. Ранее мы отмечали, что при проведении пассивных экспериментов, как правило, параллельные опыты не проводятся, а следовательно, дисперсия вос- производимости S 2 воспр. нам не известна. Поэтому для вычисления матрицы (3.25) следует принять 2 2 ост воспр S S ≈ при условии, что получена адекватная математическая модель (3.14). Следует особо остановиться на процедуре исключения незначимых факторов, для кото- рых условие (3.24) не выполняется. Исключение из полученного уравнения регрессии хотя бы одного незначимого фактора требует удаления из исходной матрицы 0 X входных переменных соответствующего столбца. Но так как кова- риационная матрица 1 0 0 − X X T при обработке результатов пассивного экспе- римента не является диагональной, то исключения даже одного столбца из матрицы 0 X повлечет за собой существенно изменение всех величин коэффициентов b i особенно тех, которые находятся в тесной стохастической связи с коэффициентами при исключенных факторах. Следовательно, все оставшиеся коэффициенты должны быть рассчитаны заново и проведена проверка адекватности полученного уравнения регрессии. Процесс отбрасывания незначимых коэффициентов последовательно повторяется до тех пор, пока в адекватном уравнении останутся только значимые 62 ном уравнении останутся только значимые коэффициенты регрессии. Полу- ченное таким образом уравнение приближенной регрессии вида (3.14) может быть использовано для анализа влияния входных факторов на выходной пара- метр исследуемой системы и для прогнозирования величин выходного пара- метра. В последнем случае в уравнение регрессии следует подставлять цен- трированные значения входных факторов 0 i x . Это не всегда удобно. Поэтому целесообразно перейти к модели с нецентрированными значениями входных факторов, выполнив обратное преобразование по зависимости (3.7). Подводя краткий итог вышеизложенному, следует отметить, что наряду с очень большим объемом вычислений, даже для сравнительно небольшого числа исследуемых входных факторов, применение регрессионного анализа для обработки результатов пассивных экспериментов редко дает интересные результаты. Это связано, прежде всего, со значительным смещением оценок выходных параметров системы вследствие воздействия на исследуемый про- цесс большой группы неконтролируемых факторов, которые сильно корелиро- ваны с исследуемыми факторами. 3.3 Особенности обработки результатов эксперимента методом рег- рессионного анализа 3.3.1 Особенности расчета коэффициентов регрессии Существенно новые возможности открылись после того, как в регрес- сионный анализ были привнесены идеи планирования эксперимента. Так, при ортогональном планировании матрица коэффициентов нормальных уравнений 0 0 X X T становится диагональной, и ее диагональные элементы равны числу опытов N в матрице планирования. Это резко уменьшает трудности, связанные с расчетом коэффициентов уравнения регрессии. В связи с тем, что ковариаци- онная матрица 1 0 0 − X X T также является диагональной, все коэффициенты уравнения регрессии будут некоррелированы между собой. В этом случае зна- чимость коэффициентов можно проверять для каждого из них в отдельности и, соответственно, исключение из уравнения регрессии любого незначимого ко- эффициента никак не скажется на остальных. При этом коэффициенты b i будут являться несмешанными оценками для соответствующих генеральных коэф- фициентов i β , и их величины будут характеризовать вклад каждого фактора в выходной параметр Y. Кроме того, следует отметить, что диагональные эле- менты ковариационной матрицы будут равны между собой, поэтому все коэф- фициенты регрессии b i будут определяться с одинаковой точностью. С учетом сказанного, при обработке результатов активного эксперимента коэффициенты уравнения регрессии по методу наименьших квадратов будут определяться следующим образом: 63 = = = − Y X X X b b b b B T T k 1 2 1 0 ) ( N N N 1 0 0 0 1 0 0 0 1 ∑ ∑ ∑ = = = N j N j N j j jk j j j j y x y x y x 1 1 1 1 0 . (3.26) Из выражения (3.26) следует, что любой коэффициент уравнения рег- рессии b i определяется скалярным произведением столбца y на соответствую- щий столбец x i деленным на число опытов N в матрице планирования: ∑ = = N j j ji i y x N b 1 1 . (3.27) Вычислив вектор В и записав уравнение приближенной регрессии, при- ступают к его статистическому анализу. 3.3.2 Особенности статистического анализа уравнения регрессии Так же, как и при обработке результатов пассивного эксперимента, ста- тистический анализ начинают с проверки адекватности уравнения приближен- ной регрессии результатам эксперимента. Адекватность уравнения проверяет- ся по критерию Фишера: 2 2 воспр ад расч S S F = . (3.28) При этом сравниваются между собой дисперсия адекватности 2 ад S и дис- персия воспроизводимости 2 воспр S . Рассмотрим физический смысл и причины использования в зависимости (3.28) оценок дисперсий 2 ад S и 2 воспр S 64 Если бы заранее нам было известно, что полученная математическая модель адекватно описывает процесс, то в качестве оценки дисперсии адап- тивной помехи (шума эксперимента) 2 e σ можно было бы взять остаточную дисперсию (смотреть 3.23) 2 ост S . В этом случае, согласно (3.19) для проверки адекватности следовало бы воспользоваться отношением остаточной диспер- сии 2 ост S к дисперсии воспроизводимости 2 воспр S То есть для адекватной модели единственной причиной различий меж- ду фактическим значением отклика jэ y и предсказанным по уравнению рег- рессии j y может быть влияние шума ε . Именно поэтому остаточная диспер- сия служит оценкой для 2 ε σ . В случае, когда математическая модель неадек- ватна, остаточная дисперсия 2 ост S будет оценивать одновременно 2 ε σ и плюс еще некоторую дополнительную компоненту рассеяния, обусловленную не- адекватностью модели. Но так как адекватность модели нам заранее не известна, то оценку дисперсии аддитивной помехи 2 ε σ на практике определяют по результатам па- раллельных опытов (повторных наблюдений при одинаковых значениях вход- ных факторов). Эту оценку принято называть дисперсией воспроизводимости 2 воспр S Исходя из вышеизложенного, дисперсия адекватности в зависимости (3.28) может быть определена следующим образом: воспр ост воспр ост ад ад ад f f SS SS f SS S − − = = 2 2 , (3.29) где 2 ад SS – сумма квадратов адекватности; h N f ад − = – число степеней свободы дисперсии адекватности; 1 + = k h – число оценок коэффициентов в уравнении при- ближенной регрессии (линейный случай); ост SS – остаточная сумма квадратов; воспр SS – сумма квадратов, связанная с дисперсией воспро- изводимости; ост f – число степеней свободы остаточной дисперсии; воспр f – число степеней свободы дисперсии воспроизво- димости. Вид расчётных зависимостей для оценок дисперсий, входящих в (3.28), существенно зависит от порядка проведения активного эксперимента. Следует выделить следующие четыре случая. Случай первый соответствует условиям эксперимента, когда в каждой ячейке матрицы планирования проведено не- равное число параллельных опытов, то есть: 65 N j l l l l ≠ ≠ ≠ ≠ ≠ 2 1 Для данного, наиболее общего случая дисперсия адекватности может быть определена по зависимостям: = = ; ; 2 2 воспр воспр воспр ад ад ад f SS S f SS S , (3.30) где воспр ост ад SS SS SS − = ; ∑∑ = = − = N j j l j jэ ост y y SS 1 1 ; ) ( 2 γ γ ∑ ∑ − = = = N j j l jэ jэ воспр y y SS 1 1 ; ) ( 2 γ γ ; 1 1 ∑ = = j l jэ j jэ y l y γ γ воспр ост ад f f f − = ; ∑ − = = N j h l f j ост 1 ; ∑ − = = N j j воспр l f 1 ). 1 ( Второй случай соответствует условиям эксперимента, когда в каждой ячейке матрицы планирования проведено равное число параллельных опытов, то есть: l l l l l N j = = = = = = 2 1 Данное условие существенно упрощает расчёты, поэтому, проводя ак- тивный эксперимент, исследователь, как правило, стремится к его выполне- нию. В рассматриваемых условиях оценки дисперсий имеют вид: 66 − ∑ ∑ − = − ∑ − = = = = ) 1 ( ) ( ; ) ( 1 1 1 2 2 2 2 l N y y S h N y y l S N j l N j jэ jэ воспр j jэ ад γ γ . (3.31) Третий случай соответствует условиям, когда по какой-либо причине параллельные опыты в каждой ячейке матрицы планирования не были прове- дены. В данных условиях для определения оценок дисперсий целесообразно поставить дополнительную серию из l-го опыта в центре плана эксперимента (когда исследуемые входные факторы находятся на базовых уровнях). В этом случае − ∑ − = − ∑ − = = = = 1 ) ( ) ( 1 1 2 0 0 2 2 2 2 l y y S h N y y S S l N j э э воспр j jэ ост ад γ γ , (3.32) где ∑ = = l jэ Э y l y 1 ; 1 0 0 γ 0 э y γ – значение выходного параметра в γ-м эксперимен- те для базового уровня входных факторов. Для учета различных вариантов дублирования опытов при практиче- ском решении задач можно пользоваться таблицей 3.3. Четвертый случай соответствует условиям, когда параллельные опыты не проводились, и дополнительный эксперимент в центре планов по какой- либо причине поставить не удалось. В этом случае качество аппроксимации опытных данных, полученным уравнением приближенной регрессии, можно оценить, сравнив по критерию Фишера остаточную дисперсию S 2 ост. и относи- тельно среднего S 2 у, то есть: , 1 ) ( , 1 2 2 2 2 − ∑ − = = = N y y S S S F N j э jЭ у ост у расч (3.33) 67 , 1 1 2 2 ) ( , 1 h N y y S y N y N j N j j jэ ост jэ э − ∑ − = ∑ = = = где f 1 =N - 1 – число степеней свободы дисперсии относительно среднего S 2 y; f 2 =N - h – число степеней свободы остаточной дисперсии. 68 Таблица 3.3 – Суммы квадратов и число степеней свободы при различных вариантах дублирования опытов. Источник Рассеяния Характер дублирования опытов Суммы квадратов Число степеней свободы Неравномерный ∑ ∑ ∑ = − = = = = N j j l j j l j jэ j jэ jэ jэ воспр y l y y y SS 1 1 1 1 1 1 ; ) ( 2 γ γ ∑ − = = N j j воспр l f 1 ) 1 ( Равномерный ∑ ∑ ∑ = − = = = = N j j l j j l j jэ jэ jэ jэ воспр y l y y y SS 1 1 1 1 1 1 ; ) ( 2 γ γ ) 1 ( − = l N f воспр Дублирование в одной точке плана (например, j=1) ∑ ∑ = − = = = j l j j l j jэ j jэ jэ jэ воспр y l y y y SS 1 1 1 1 1 ) ( ; 2 γ γ 1 1 − = l f воспр Ошибка экс- перимента Дублирование в отдельной серии из l опытов (например, в центре плана) ∑ ∑ = − = = = j l j j l j jэ j jэ jэ jэ воспр y l y y y SS 1 1 1 1 1 ; ) ( 2 γ γ 1 − = l f воспр Неравномерный ∑ − = = N j j jэ j ад y y l SS 1 2 ) ( f ад =N-h Равномерный ∑ − = = N j j jэ ад y y l SS 1 2 ) ( f ад =N-h Дублирование в одной точке плана (например, j=1) ∑ − + − = = N j j jэ э ад y y y y l SS 2 2 2 1 1 1 ) ( ) ( f ад =N-h Неадекват- ность моде- ли Дублирование в отдельной серии из l-го опыта (например, в центре пла- на) ∑ − = = N j j jэ ад y y SS 1 2 ) ( f ад =N-h 69 Таким образом, рассчитав оценки дисперсий воспроизводимости S 2 воспр и адекватности S 2 ад по зависимости (3.30), (3.31) или (3.32), вычисляют по формуле (3.28) расчетное значение F – критерия и сравнивают его с таблич- ным F табл . (α, f 1 , f 2 ), определенным для уровня значимости α и чисел степеней свободы f 1 числителя и f 2 знаменателя в формуле (3.28). Если выполняется условие , ) , , ( 2 1 f f F F табл расч α ≤ то нет оснований сомневаться в адекватности полученного уравнения прибли- женной регрессии результатам эксперимента. Если же ), , , ( 2 1 f f F F табл расч α > то следует сделать вывод о неадекватности полученной модели и принять ме- ры по ее совершенствованию (например, выбрать полином более высокого по- рядка или осуществить нелинейное преобразование факторов) с тем, чтобы в конечном итоге получить модель, адекватно отражающую свойства исследуе- мой системы. При проверке адекватности уравнения приближенной регрессии по за- висимости (3.33) следует помнить, что критериальное отношение показывает, во сколько раз уменьшается рассеяние относительно полученного уравнения регрессии по сравнению с рассеянием относительно среднего. Поэтому, чем больше значение F расч. , полученное по формуле (3.33), будет превышать таб- личное F табл. (α, f 1 , f 2 ) определенное для уровня значимости α и чисел степей свободы f 1 – числителя и f 2 – знаменателя в формуле (3.33) тем эффективнее будет уравнение приближенной регрессии. Получив адекватное уравнение приближенной регрессии, приступают к проверке значимости оценок коэффициентов регрессии. Задача данной про- верки, также как и при обработке пассивных экспериментов, заключается в ус- тановлении статистической значимости или не значимости отличия оценок ко- эффициентов регрессии от нуля. В результате этого мы устанавливаем, обу- словлено ли отличие b i от нуля чисто случайным влиянием помехи ε (шума эксперимента) или же это отличие не случайно и вызвано тем, что в истинной регрессионной модели присутствует соответствующий коэффициент регрес- сии 0 ≠ i β Оценка значимости коэффициентов производится по t – критерию Стьюдента: i b i S b t расч i = , (3.34) где i b S – оценка среднего квадратического отклонения коэффи- циента b i. 70 Как было отмечено выше, для активного (спланированного) эксперимента все коэффициенты уравнения приближенной регрессии определяются с одинаковой точностью. В случае, когда параллельные опыты отсутствуют, ее можно определить по формуле: N S S S S воспр b b b i 2 1 0 = = = = . (3.35) Для различных условий проведения активного эксперимента оценка дисперсии воспроизводимости в формуле (3.35) должна быть рассчитана по зависимостям (3.30), (3.31) или (3.32). Проверка значимости сводится к последовательной проверке нулевой гипотезы H 0 и конкурирующей гипотезы H 1 : , 1 , 0 : ; , 1 , 0 : 1 0 h i H h i H i i = ≠ = = β β С этой целью расчетное значение t – критерия t i расч для i-й оценки ко- эффициента регрессии b i сравнивается с табличным, критическим значением t табл. (α, f), взятым для уровня значимости α, и числа степеней свободы f=f воспр. Если выполняется условие t iрасч. > t табл. (α, f ), то нулевая гипотеза H 0 принимается. В этом случае коэффициент b i cчитают статистически не значимым, а его отличие от нуля объясняется лишь действи- ем чисто случайных обстоятельств. Следовательно. Данный коэффициент из уравнения приближенной регрессии может быть исключен при условии, что у исследователя нет никаких дополнительных доводов в пользу его сохранения. Как было сказано выше, при обработке результатов активного (спланирован- ного) эксперимента исключение из уравнения регрессии любого числа незна- чимых коэффициентов никак не отражается на оставшихся, следовательно, никаких дополнительных перерасчетов делать не следует. После исключения всех незначимых коэффициентов следует вновь проверить адекватность уравнения приближенной регрессии и, если оно оста- лось адекватным, можно приступить к его интерпретации. |