Анализ данных. Разложение суммы квадратов в однофакторном да

• Название: Разложение суммы квадратов в однофакторном да
• Анкор: Анализ данных.doc
• Дата: 16.02.2018
• Размер: 2.64 Mb.
• Имя файла: Анализ данных.doc
• Тип: Документы; #15612
• Категория: Информатика. Вычислительная техника
• страница: 4 из 6

15. Анализ главных компонент. Геометрическая интерпретация.

Геометрическая интерпретация главных компонент. Для n-мерного вектора с ковариационной матрицей С можно построить так называемый эллипсоид рассеяния: ,

где – вектор средних значений элементов .

Точки, соответствующие наблюдениям вектора а, будут располагаться примерно в очертаниях этого эллипсоида. На рис. 11 приведена двумерная иллюстрация эллипсоида рассеяния.

В методе главных компонент исходные наблюдения предполагаются центрированными. Переход к центрированным наблюдениям означает перенос начала координат в точку . Затем оси координат поворачивают на угол так, чтобы ось шла вдольглавной оси эллипсоида рассеяния. Наблюдения в новых координатах и станут независимыми.



Рис.11. Двумерный эллипсоид рассеяния
Чем теснее наблюдения группируются около главной оси эллипсоида рассеяния, являющейся теперь новой координатой , тем менее значащим является для исследователя разброс точек в направлении оси , а следовательно, и сама эта координата (рис.12).


Рис.12. «Вытянутый» эллипсоид рассеяния
16. Модель и основная теорема факторного анализа.

В отличие от метода главных компонент факторный анализ заранее объясняет ковариационную (либо корреляционную) матрицу исходных переменных (признаков) наличием небольшого числа гипотетических факторов, присутствующих в исходных переменных. На языке корреляций это можно интерпретировать следующим образом. Вначале анализируется на значимость исходная корреляционная матрица, т.е. отличается ли корреляционная матрица значимо от единичной. Если это имеет место, то возникает вопрос: существует ли скрытая, иначе латентная, случайная величина такая, что попарные корреляции между исходными переменными станут равными нулю, если влияние уже учтено? Пусть после этого элементы корреляционной матрицы все еще отличны от нуля. Тогда пытаются найти две случайные величины и такие, что корреляции между исходными переменными станут нулевыми, если влияние и уже учтено, и так далее.

Тем самым корреляция между n наблюдаемыми признаками связывается с тем фактом, что эти признаки зависят от меньшего числа других, непосредственно неизмеряемых переменных , которые принято называть общими факторами.

Модель факторного анализа В общем случае нельзя гарантировать, что каждый из исходных признаков зависит лишь от m общих факторов, одних и тех же для всех признаков. Поэтому в факторном анализе постулируется, что наблюдаемый признак x_i(i=1,2,…,n) зависит также и от некоторой характерной для себя остаточной (шумовой) случайной компоненты . Итак, линейная модель факторного анализа имеет вид:

, (11.1)

где коэффициенты называют нагрузкой j-го общего фактора на i-й исходный признак, а матрицу , i=1,2,…, n; j=1,2,.., m –факторным отображением, либо матрицей факторных нагрузок.

Предпосылки факторного анализа. Предполагают, что исходные признаки подчиняются многомерному нормальному распределению; общие факторы некоррелированы, а их дисперсии равны единице, следовательно, корреляционная матрица общих факторов является единичной, т.е. ; характерные (остаточные) факторы – нормально распределенные случайные величины, не зависимые друг от друга и от общих факторов. Это означает, что корреляционная матрица V характерных факторов имеет диагональный вид. Все случайные величины имеют нулевое математическое ожидание.

Факторные нагрузки и дисперсии характерных факторов являются неизвестными параметрами, подлежащими оценке.

Вводя векторные обозначения: ,

перепишем модель факторного анализа (11.1) в виде: . (11.1а)

Ковариационная матрица исходных признаков с учетом их центрированности по определению есть C_x = M[xx^/],

где математическое ожидание берется по множеству реализаций вектора x.

Подставим в выражение (11.1а): C_x = M[(Ay+u)(Ay+u)′] = M[(Ay+u)(y′A′+u′)].

Раскрывая скобки в последнем выражении и учитывая, что общие и характерные факторы некоррелированы и, следовательно, M[u′y]=0, M[yu′]=0, а также неслучайный характер матрицы A, что позволяет выносить А за знак М, получаем C_x= AM[yy′]A′+M[uu′].

M[yy′] есть не что иное, как ковариационная матрица общих факторов, а M[uu′] ковариационная матрица V характерных факторов. Таким образом, . (11.2)

Согласно предпосылкам факторного анализа есть единичная диагональная матрица. Следовательно,

. (11.2а)

Соотношение (11.2) либо (11.2а) иногда называют фундаментальной теоремой факторного анализа. Она утверждает, что ковариационная матрица исходных признаков может быть воспроизведена с помощью матрицы факторных нагрузок и дисперсионной матрицы характерных факторов.

На практике обычно используют не ковариационную , а корреляционную матрицу Rисходных признаков. Переход от ковариационной к корреляционной матрице означает, что исходные центрированные переменные подвергаются нормированию делением значений каждого признака на среднее квадратическое отклонение этого признака. Такое преобразование позволяет избежать влияния масштаба измерения на результаты анализа. Преобразованные признаки будут иметь, очевидно, единичную дисперсию, их ковариационная матрица совпадает с корреляционной, а соотношение (11.2) примет вид: , (11.3)

где В и W имеют тот же смысл, что A и V, но для нормированных признаков.

Для диагональных элементов матрицы R выполняется соотношение: ,

где – диагональные элементы матрицы W.

Сумму квадратов нагрузок общих факторов называют общностью: . (11.4)

Общность указывает ту долю единичной дисперсии исходного признака, которую можно приписать общим факторам. Часть единичной дисперсии, которая не связана с общими факторами, называют характерностью : . (11.5)

Характерность иногда разбивают на две составляющих, одна из которых, , называется специфичностью, а другая, , является дисперсией, обусловленной ошибкой, т.е. .

Факторное изображение допускает геометрическую интерпретацию. Согласно (11.1) точка в n-мерном пространстве исходных признаков представляется в виде линейной комбинации m+n координат точки в пространстве общих и характерных факторов, называемом также полным факторным пространством. Так как нагрузки общих факторов однозначно определяют дисперсии характерных факторов, то достаточно представлять признаки в m-мерном ортогональном пространстве общих факторов. Поскольку пространство общих факторов имеет размерность на n меньшую размерности полного факторного пространства, в факторном анализе используют обычно пространство общих факторов. Строки матрицы В факторных нагрузок рассматривают как точки в пространстве общих факторов. Координаты i-й точки есть . Соединяя эти точки с началом координат, получаем n векторов-признаков. Длина вектора, отвечающего i-му признаку, равняется, как видно из (11.4), корню квадратному из общности.

На рис. 13 в качестве примера приведена графическая иллюстрация факторного отображения.



Рис.13. Графическая иллюстрация факторного отображения

Числа 1,2,…,5 около точек соответствуют номерам строк матрицы В, иначе номерам исходных признаков.

17. Основные этапы факторного анализа

Вычислительный аспект факторного анализа связан с определением факторного отображения В, дисперсий характерных факторов и оценкой значений общих факторов. Оценка этих параметров производится на основании экспериментальных данных, полученных в ходе наблюдений над N объектами (индивидами). Результаты наблюдений представляются в виде матрицы исходных данных, аналогичной (11.1). По матрице Х вычисляется корреляционная матрица R. Затем начинаются этапы собственно факторного анализа. Первый этап – оценка общностей. Если общности оценены, то по формуле (11.5) можно оценить характерности, а следовательно, и матрицу W, которая является диагональной согласно предпосылкам факторного анализа. Заменяя диагональные элементы матрицы R на оценки общностей, получают матрицу , которая является информационной основой второго этапа выделения факторов. На этом этапе решают тем или иным способом матричное уравнение , получая в итоге ортогональную матрицу A. Возможно большое число матриц A, которые одинаково хорошо будут воспроизводить матрицу . Из них должна быть выбрана одна, что составляет содержание третьего этапа – вращения факторов. И, наконец, на последнем, четвертом, этапе оцениваются значения факторов для каждого объекта (индивида). На практике, однако, из-за большого объема вычислений часто ограничиваются первыми тремя этапами, причем первый и второй выполняются одновременно.

Выделение факторов. Выделение факторов предполагает установление числа и направления осей координат, соответствующих общим факторам, необходимым для отображения корреляции исходных переменных. С алгебраической точки зрения проблема факторов означает определение ранга матрицы А и оценивание ее элементов. Для решения задачи выделения факторов разработано достаточно много методов, однако основными в настоящее время следует признать два: метод главных факторов, наиболее широко употребляемый на практике, и метод максимального правдоподобия, имеющий прочный математико-статистический фундамент.

Метод главных факторов. Как следует из фундаментальной теоремы факторного анализа (11.3), . Приравняем вначале W нулевой матрице. Получим матричное уравнение . (11.6)

Матричное уравнение (11.6) имеет множество решений: любое ортогональное преобразование Т, переводящее матрицу В в G, т.е. G = ВТ, удовлетворяет (11.6). Действительно, в силу ортогональности Т имеет место и, значит, . Подставляя выражение для В в (11.6), получаем , поскольку T′T=I.

Как известно из линейной алгебры, ортогональное преобразование системы координат означает поворот системы как целого на некоторый угол вокруг начала координат. Выделяя некоторое предпочтительное направление и фиксируя тем самым угол поворота системы координат, можно обойти проблему неоднозначности решения системы (11.6).

Вернемся на время к методу главных компонент. Выбор осей координат здесь подчинен определенному требованию: каждая следующая ось ориентирована по направлению максимальной дисперсии в пространстве, ортогональном предыдущим главным компонентам. Матрица весовых коэффициентов А при этом составлена из собственных векторов ковариационной (корреляционной R) матрицы. Следовательно,

, (11.7)

где – диагональная матрицa с элементами, равными собственным значениям корреляционной матрицы. Умножая (11.7) на справа и учитывая ортогональность A , а значит , получаем: .

Обозначим через матрицу порядка , элементы которой равняются квадратному корню из соответствующих элементов матрицы Λ. Перейдем от A к . Выражение для R примет вид:

. (11.8)

Сравнивая (11.6) и (11.8), получаем, что в качестве оценки матрицы В можно взять матрицу .

Таким образом, матрица факторных нагрузок получается из матрицы, составленной из собственных векторов корреляционной матрицы исходных признаков, с последующим умножением элементов собственного вектора, отвечающего i-му собственному значению на .

Матрицы B и Qимеют разный порядок: у В и у Q, поэтому правильнее говорить, что оценкой будут первые m столбцов матрицы Q.

Посчитав матрицу W равной нулю, мы для оценки матрицы B воспользовались моделью главных компонент. Строго говоря, под методом главных факторов понимают способ расчета, принятый в методе главных компонент, но примененный к матрице (оценка общностей рассматривается ниже).

0ценка числа общих факторов. Общепризнанного метода определения числа m общих факторов, подлежащих выделению, не существует. Однако разработан ряд критериев, с помощью которых можно сделать достаточно обоснованное заключение.

Широкое применение получил сравнительно простой критерий собственных значений: выделять только те факторы, которые соответствуют собственным значениям, большим единицы.

Рассмотрим матрицу .Справедлива следующая цепочка равенств: .

Полученное соотношение показывает, что сумма квадратов нагрузок i-го общего фактора на исходные признаки равняется i-му собственному значению . Но характеризует вклад i-го общего фактора в полную дисперсию (напомним, что полная дисперсия равняется следу корреляционной матрицы R и ). Поэтому факторы, вклады которых меньше единицы, имеют долю дисперсии, меньшую единичной дисперсии исходных признаков, и их нецелесообразно включать в число общих факторов.

Считается также, что вклад общих факторов в суммарную общность должен составлять около 90%, а число общих факторов не должно превышать половины числа исходных признаков, т.е. m<n/2, а более точно, .

К проблеме оценки числа факторов можно подойти со статистической точки зрения. Ранее отмечалось, что если коэффициенты корреляции после учета m факторов незначимо отличаются от нуля, то нет необходимости вводить (m+1)-й фактор. Другими словами, равенство должно выполняться в статистическом смысле (здесь − матрица факторных нагрузок с числом факторов, равным m). Для оценки значимости матрицы R (в самом начале факторного анализа) либо матрицы используется критерий Бартлетта − Уилкса

с n(n-1)/2 степенями свободы, либо его аппроксимация , где – элементы матрицы .

Если все эти критерии дают не противоречащие друг другу решения, то удовлетворяются этими m факторами.

Метод максимального правдоподобия. В этом методе по выборочной корреляционной матрице исходных признаков ищутся состоятельные и эффективные оценки неизвестных параметров − элементов матриц В и W для генеральной совокупности. При построении функции максимального правдоподобия существенно используются предпосылки факторного анализа. Максимизация функции правдоподобия приводит к множественности результатов. Неоднозначность обходится требованием, чтобы матрица

(11.9)

имела диагональный вид. Это условие соответствует требованию метода главных факторов о взаимной ортогональности факторов и их ориентации по направлению максимума дисперсии.

Система (11.9) может быть приведена к виду, удобному для вычислений итерационным путем:

. (11.10)

Скорость сходимости итерационной процедуры является весьма медленной и зависит от начального приближения B и W.

В методе максимального правдоподобия проблема определения числа факторов также существует. Пусть расчеты по (11.10) проведены для m общих факторов. Для проверки гипотезы о существовании m общих факторов можно воспользоваться критерием

c степенями свободы.

В этой формуле – определитель матрицы корреляций, воспроизведенных с помощью m общих факторов. Если вычисленное значение критерия превышает табличное значение при выбранном уровне значимости, то необходимо выделить факторов больше, чем m, по крайней мере , m+1.