Анализ данных. Разложение суммы квадратов в однофакторном да
 Скачать 2.64 Mb.
|
|
Теоретические критерии планирования эксперимента. Все многообразие критериев планирования эксперимента можно разбить на две большие группы. Первую составляют критерии, непосредственно учитывающие точностные свойства получаемых оценок. Среди них можно выделить критерии, связанные с точностью нахождения коэффициентов регрессии (критерии A- и D-оптимальности), и критерии, требующие максимальной точности оценки выходной переменной (критерий G-оптимальности). Смысл перечисленных критериев можно пояснить, используя понятие эллипсоида рассеяния случайного вектора. Для случайного вектора а размерности  , ковариационная матрица которого есть cova, эллипсоид рассеяния задается выражением  ,описывающим эллипсоид в  -мерном пространстве с центром в точке Ма. Эта геометрическая фигура имеет такие размеры, что ковариационная матрица случайного вектора, равномерно распределенного в пределах эллипсоида, совпадает с матрицей cova. Следовательно, чем больше рассеяние вектора относительно его математического ожидания, тем большие размеры имеет эллипсоид рассеяния. Критерий А-оптимальности Поскольку точностной характеристикой вектора коэффициентов регрессии является ковариационная матрица, а критерии планирования желательно иметь в скалярной форме, то необходима некоторая свертка ковариационной матрицы. Критерий A-оптимальности в качестве такой свертки использует след матрицы  . Поскольку диагональные элементы матрицы С пропорциональны дисперсии оценок коэффициентов регрессии, то при минимизации следа матрицы С минимизируется, по сути дела, суммарная либо средняя дисперсия оценок коэффициентов модели:  .Известно, что сумма диагональных элементов матрицы равняется сумме её собственных значений. Поскольку квадраты длины осей эллипсоида рассеяния пропорциональны собственным значениям ковариационной матрицы, то критерий A-оптимальности требует минимизации диагонали параллелепипеда, описанного у эллипсоида рассеяния. Критерий D-оптимальности Критерий D-оптимальности требует такого расположения точек в области планирования  , при котором определитель матрицы  имеет минимальную величину. Иными словами, план  D-оптимален, если  .Известно, что объем  эллипсоида рассеяния пропорционален корню из величины определителя ковариационной матрицы, т.е.  . С учетом (3.8) V .Чем меньше величина определителя, тем меньше, как правило, разброс оценок коэффициентов относительно их математических ожиданий. Исключением является случай, когда эллипсоид рассеяния имеет сильно вытянутую форму. Критерий G-оптимальности План  G-оптимален, если он обеспечивает наименьшую величину максимальной дисперсии оценки зависимой переменной:  .
 , которая является информационной основой второго этапа выделения факторов. На этом этапе решают тем или иным способом матричное уравнение  , получая в итоге ортогональную матрицу A. Возможно большое число матриц A, которые одинаково хорошо будут воспроизводить матрицу . Из них должна быть выбрана одна, что составляет содержание третьего этапа – вращения факторов. И, наконец, на последнем, четвертом, этапе оцениваются значения факторов для каждого объекта (индивида). На практике, однако, из-за большого объема вычислений часто ограничиваются первыми тремя этапами, причем первый и второй выполняются одновременно. Выделение факторов. Выделение факторов предполагает установление числа и направления осей координат, соответствующих общим факторам, необходимым для отображения корреляции исходных переменных. С алгебраической точки зрения проблема факторов означает определение ранга матрицы А и оценивание ее элементов. Для решения задачи выделения факторов разработано достаточно много методов, однако основными в настоящее время следует признать два: метод главных факторов, наиболее широко употребляемый на практике, и метод максимального правдоподобия, имеющий прочный математико-статистический фундамент. Метод главных факторов. Как следует из фундаментальной теоремы факторного анализа (11.3),  . Приравняем вначале W нулевой матрице. Получим матричное уравнение  (11.6)Матричное уравнение (11.6) имеет множество решений: любое ортогональное преобразование Т, переводящее матрицу В в G, т.е. G = ВТ, удовлетворяет (11.6). Действительно, в силу ортогональности Т имеет место  и, значит,  . Подставляя выражение для В в (11.6), получаем , поскольку T′T=I.Как известно из линейной алгебры, ортогональное преобразование системы координат означает поворот системы как целого на некоторый угол вокруг начала координат. Выделяя некоторое предпочтительное направление и фиксируя тем самым угол поворота системы координат, можно обойти проблему неоднозначности решения системы (11.6). Вернемся на время к методу главных компонент. Выбор осей координат здесь подчинен определенному требованию: каждая следующая ось ориентирована по направлению максимальной дисперсии в пространстве, ортогональном предыдущим главным компонентам. Матрица весовых коэффициентов А при этом составлена из собственных векторов ковариационной (корреляционной R) матрицы. Следовательно,  , (11.7)где  – диагональная матрицa с элементами, равными собственным значениям корреляционной матрицы. Умножая (11.7) на  справа и учитывая ортогональность A , а значит  , получаем:  .Обозначим через  матрицу порядка  , элементы которой равняются квадратному корню из соответствующих элементов матрицы Λ. Перейдем от A к  . Выражение для R примет вид: . (11.8)Сравнивая (11.6) и (11.8), получаем, что в качестве оценки матрицы В можно взять матрицу .Таким образом, матрица факторных нагрузок получается из матрицы, составленной из собственных векторов корреляционной матрицы исходных признаков, с последующим умножением элементов собственного вектора, отвечающего i-му собственному значению  на  .Матрицы B и Qимеют разный порядок:  у В и  у Q, поэтому правильнее говорить, что оценкой будут первые m столбцов матрицы Q.Посчитав матрицу W равной нулю, мы для оценки матрицы B воспользовались моделью главных компонент. Строго говоря, под методом главных факторов понимают способ расчета, принятый в методе главных компонент, но примененный к матрице (оценка общностей рассматривается ниже).0ценка числа общих факторов. ……. Метод максимального правдоподобия. В этом методе по выборочной корреляционной матрице  исходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матриц В и W для генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица (11.9)имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии. Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:  . (11.10)Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения B и W. В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для m общих факторов. Для проверки гипотезы о существовании m общих факторов можно воспользоваться критерием  c  степенями свободы.В этой формуле  – определитель матрицы корреляций, воспроизведенных с помощью m общих факторов. Если вычисленное значение критерия превышает табличное значение  при выбранном уровне значимости, то необходимо выделить факторов больше, чем m, по крайней мере , m+1.
Дробный факторный эксперимент (ДФЭ) Из-за показательного роста числа экспериментов с увеличением размерности пространства ПФП оказываются практически неприемлемыми при больших  . Однако из матрицы ПФП  может быть отобрана некоторая часть, называемая дробным факторным планом (ДФП), которая сохраняет свойство ортогональности. Правило построения ДФП состоит в следующем. Задается порядок дробности  . Из входных переменных отбирают n-pпеременных (их называют основными), и для них строят полный факторный план  . Этот план затем дополняют столбцами, соответствующими оставшимся переменным. Для определения способа образования этих столбцов вводится понятие генератора (генерирующего соотношения) плана. Генератор представляет собой произведение граничных значений ( ) основных переменных, определяющее граничные значения элементов каждого из дополнительных столбцов матрицы плана. Так, для построения линейной модели от трех переменных  можно воспользоваться ДФП типа  с генератором  : Чем выше размерность пространства , тем большее число генераторов плана можно предложить. Целесообразно выбирать такие из них, которые соответствуют незначимым взаимодействиям. Действительно, в состав базисных функций входят и левая и правая части генератора и, поскольку от эксперимента к эксперименту они меняются одинаковым образом, различить эффекты, соответствующие частям генератора, не представляется возможным. Так, если в качестве генератора выбрано соотношение  , то получить раздельные оценки для  и  нельзя. Соответствующий ДФП позволяет оценить лишь суммарное воздействие линейного фактора  и тройного взаимодействия  . Подобные оценки называют смешанными. Однако, если взаимодействие незначимо, т.е.  , то  будет практически несмешанной оценкой. Для определения порядка смешивания вводят понятие контраста плана. Контраст – это генерирующее соотношение, задающее элементы столбца свободного члена матрицы  . (Со свободным членом уравнения регрессии связывается фиктивная переменная  , тождественно равная единице.) Контраст получают из генерирующего соотношения умножением на переменную, стоящую слева от знака равенства. Для ДФП с генератором контраст есть  , так как  . Чтобы определить, с какими переменными или взаимодействиями смешана оценка некоторой данной переменной, необходимо умножить обе части контраста на эту переменную. При этом получают порядок смешивания оценок коэффициентов при использовании данного плана. Пусть, к примеру, исследуется объект из трех переменных  полная модель которого есть (В выражении (6.3) и далее случайное возмущение опускается.) В ходе исследования было решено ограничиться линейным (по переменным) описанием , (6.4)что дало основание воспользоваться ДФЭ с генератором с определяющим контрастом  . Порядок смешивания для переменных следующий:  ,  , . (6.5)С учетом (6.5) сгруппируем подобные члены в модели (6.3):  . (6.6)Сравнивая (6.6) и (6.4) , видим, что при оценивании линейной модели (6.4) получаются не чистые оценки свободного члена  и линейных эффектов  а оценки комбинаций, включающих двойные и тройные (для свободного члена) эффекты:  .Таким образом, платой за сокращение числа экспериментов стала совместность оценок. Если же поставить дополнительно четыре эксперимента с генератором  , то получим оценки .Восемь оценок  дают возможность получить раздельные оценки эффектов. Так,  есть оценка  , а  – оценка  и так далее. Это и понятно, поскольку две серии экспериментов с генераторами и дают вкупе полный факторный эксперимент, который обеспечивает раздельное оценивание коэффициентов. В отсутствии априорной информации о значимости взаимодействий предпочтение отдается генераторам, отвечающим взаимодействиям высокого порядка, поскольку коэффициенты регрессии при них по абсолютной величине, как правило, меньше. К достоинствам факторных планов следует отнести их хорошие точностные свойства. Легко доказать, что они являются D-, G-, A- оптимальными. К примеру, у ПФП  , используемого для оценки коэффициентов модели вида  , матрица плана X и матрица значений базисных функций F имеют вид:  ,  .Отсюда  , а  . Левая часть выражения (6.2) примет вид  , поскольку  . Максимум этой формы достигается в вершинах квадрата:  ,  и равняется четырем. Число оцениваемых коэффициентов (k+1) также четыре. Следовательно, условие (6.2) выполняется.
Критерий D-оптимальности Критерий D-оптимальности требует такого расположения точек в области планирования , при котором определитель матрицы имеет минимальную величину. Иными словами, план D-оптимален, если .Известно, что объем эллипсоида рассеяния пропорционален корню из величины определителя ковариационной матрицы, т.е. . С учетом (3.8) V.Чем меньше величина определителя, тем меньше, как правило, разброс оценок коэффициентов относительно их математических ожиданий. Исключением является случай, когда эллипсоид рассеяния имеет сильно вытянутую форму. Критерий G-оптимальности План G-оптимален, если он обеспечивает наименьшую величину максимальной дисперсии оценки зависимой переменной: .На практике желательно использовать планы, удовлетворяющие одновременно нескольким критериям. В общем случае такого сочетания свойств не наблюдается. В теории планирования эксперимента доказано, что непрерывный D-оптимальный план является также G-оптимальным. Условие D-оптимальности дискретного плана  имеет следующий вид:  . (6.2)Если для дискретного D-оптимального плана имеет место  , то этот план является также A-оптимальным. Построение D-оптимальных планов является сложной вычислительной задачей. Аналитический путь здесь оказывается возможным в некоторых простейших случаях (полиномиальная модель от одной переменной, квадратичная регрессия от переменных для стандартной области (гиперкуб)). В общем случае для построения D-оптимальных планов используются численные методы, связанные с минимизацией определителя матрицы С либо максимизацией определителя информационной матрицы F’F, что несомненно проще в вычислительном отношении.
Рассматривается функция одной переменной y=f(x). Предпола-гается, что функция имеет только один экстремум (унимодальна); интервал поиска ограничен:  ; значения выходной переменной неслучайны. Поиск осуществляется последовательно путем сравнения значений целевой функции в двух точках, выбираемых определенным образом. Эффективность E поиска характеризуется степенью локализации области экстремума после N экспериментов и выражается отношением длины начального интервала к остаточному  , внутри которого находится экстремум целевой функции:  .Далее для определенности будем полагать, что ищется максимум функции. Эквидистантные планы Начальный отрезок делится на (N-1) равных частей, опыты проводятся при значениях:  . Поиск прекращается как только  .В зависимости от вида функции поиск прекращается при различных i, так что средняя эффективность составит E=(N–1)/2. Метод деления отрезка пополам (метод последовательной дихотомии) Эксперименты ставят парами в точках, отстоящих по обе стороны от середины отрезка. Координаты первой пары:  где – малая величина.Если  , то максимальное значение надо ожидать на отрезке  ; при  на отрезке  . Этот новый отрезок объявляется исходным, и далее процесс повторяется. Мера эффективности равна  .Заметим, что при наличии случайного компонента значение не должно быть малым, что иллюстрируется рис.3.                  xРис. 3. Метод деления отрезка пополам Если в точке х1 случайная компонента окажется отрицательной, а в точке х2 положительной, и значительной по величине в обеих точках, результаты сравнения значений отклика в этих точках направят поиск в противоположную сторону, Вот почему применение метода деления отрезка пополам в этих условиях становится проблематичным. Поиск с использованием чисел Фибоначчи Числа Фибоначчи задаются по следующим правилам:  ,   На первом шаге ставятся два эксперимента в точках x1=a+(b-a)q и x2=b-(b-a)q при q=FN-2/FN, (6.10) где N выбирается заранее. При максимальное значение следует искать на отрезке , при  – на отрезке . На последующих шагах ставят по одному эксперименту, меняя q по закону  , где j – номер шага (j=2,3,…).Легко показать, опираясь на определение чисел Фибоначчи, что одна из координат, подсчитанная по формулам, аналогичным (6.10), будет совпадать с одной из предыдущих точек. Далее происходит сравнение значений функций в этих двух точках и процесс повторяется. Мера эффективности метода составляет  .Так, при N=10  =144, а значит с помощью 11 экспериментов можно локализовать экстремум в области, не превышающей 1% размера начальной области поиска. Этот метод существенно эффективнее предыдущего. К его недостатку можно отнести необходимость заранее задавать число экспериментов.Метод золотого сечения Этот метод базируется на методе Фибоначчи и не требует предварительного задания числа экспериментов. В методе золотого сечения вместо величины  на каждом шаге используется ее предельное значение при  :  . Мера эффективности метода  .11. Многомерные методы экспериментальной оптимизации. Для поиска экстремума функции многих переменных применяется ряд методов, среди которых отметим: метод покоординатной оптимизации; метод Бокса − Уилсона; последовательный симплексный метод. Метод покоординатной оптимизации Метод покоординатной оптимизации, называемый также методом Гаусса–Зейделя, сводит многомерную оптимизацию к последовательному применению одномерной к сечениям функции. Для этого фиксируют значения всех переменных, кроме одной, к которой применяется один из методов одномерной оптимизации. Затем начинают поиск по второй переменной, фиксируя первую на значении, обеспечившем экстремум, и т. д. После того как список переменных исчерпался, возвращаются к первой переменной, и так до тех пор, пока значение отклика возрастает (убывает). Метод отличается простотой, однако для функций овражистого типа, для которых линии равного уровня сильно вытянуты в направлении, не параллельном осям координат, поиск может продолжаться довольно долго. Метод Бокса−Уилсона На основе малой серии опытов строится линейное описание поверхности отклика в окрестности начальной точки. В центре этой локальной области определяется значение градиента, после чего начинаются опыты в направлении градиента. Бокс и Уилсон предложили использовать дробные факторные планы для поиска линейной модели. Метод состоит из последовательности циклов, каждый из которых содержит два шага. 1. Построение линейной модели в окрестности некоторой начальной точки  с использованием подходящего факторного плана. Окрестность начальной точки, определяемая интервалами варьирования переменных, должна быть не слишком малой, чтобы можно было выявить линейные эффекты на фоне случайных возмущений, и не настолько большой, чтобы обеспечить адекватность линейного приближения. Соотношение между интервалами варьирования  по отдельным переменным должно быть таким, чтобы величины коэффициентов регрессии в случае их значимости имели бы одинаковый порядок. В случае адекватности линейной модели  коэффициенты регрессии  совпадают с компонентами градиента, т.е.   , где i, j,…,k – направляющие векторы осей координат. Обычно переходят к нормированному градиенту делением его компонент на норму  либо просто на  . Компоненты нормированного градиента обозначим  .2. Пошаговое увеличение величины целевой функции (движение в направлении градиента). Координаты точки наблюдения на  -м шаге при движении в направлении градиента определяются по формуле: , где  ≥1 – параметр, позволяющий управлять величиной шага, а следовательно, скоростью движения. Чем ближе исследователь подходит к стационарной области, тем меньше . Движение в направлении градиента продолжается до тех пор, пока возрастают значения выходной переменной. В противном случае вновь реализуют факторный план, находят новое линейное приближение и цикл повторяется снова. Если же модель оказывается неадекватной, то это означает, что исследователь либо достиг стационарной области, либо необходимо линейную модель дополнить взаимодействиями. В стационарной области метод Бокса−Уилсона неработоспособен, здесь необходимо переходить к квадратичным моделям. Геометрическая интерпретация метода приведена на рис.4. Здесь поверхность отклика задается линиями уровня. x2  x1  Рис. 4. Схема метода Бокса–Уилсона Рассмотрим в качестве примера использование метода Бокса−Уилсона для поиска максимума функции  . (6.11)Допустимая область изменения переменных: 0х120, 0х210, 1х315. Начальная точка поиска х0=  =(3,2,4). Линейное приближение будем строить в окрестности начальной точки, задаваемой условиями:  , i=1,2,3. Значения i желательно подбирать такими, чтобы приращения функции по каждому из аргументов были сопоставимы, то есть   . Примем 1=1, 2=2, 3=3. В соответствии с (6.1) стандартизованная переменная  , если  , и  при  .Линейная модель  требует для своей оценки не менее четырех экспериментов. Воспользуемся ДФЭ 23-1 с ГС:  (табл. 16).Таблица 16
В последнем столбце табл.16 содержатся значения функции (6.11) для исходных переменных, то есть 40,8=у(4,4,7) и так далее. МНК-оценки коэффициентов линейной модели составят:  ; ; .Отнормируем полученные компоненты градиента, поделив их на максимальное значение  :  b1=3,4/4,3=0,79, b2=1, b3=0,91. Движение в направлении градиента представлено в табл.17. Таблица 17
Движение в направлении градиента после четвертого шага невозможно из-за ограничения на х3. Теперь следует определить градиент в точке x0+3bii. Поскольку темп роста функции замедлился на последних шагах, область линейного описания следует сузить, уменьшив значения i. 12. Симплекс-метод экспериментальной оптимизации. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||