Выбор формы уравнения регрессии
 Скачать 8.7 Mb.
|
|
46. Коэффициент частной детерминации В множественном регрессионном анализе часто полезно определять долю тех изменений, которые в данном явлении зависят от одного фактора-переменного при исключении влияния остальных рассматриваемых в регрессии переменных. Для этого используется коэффициент частной детерминации. Ограничимся обсуждением коэффициента частной детерминации для случая двух объясняющих переменных. Для оценки доли вариации у, объясняемой линейной зависимостью у от х1 при исключении влияния х2, вычисляется коэффициент частной детерминации  , индекс которого указывает на эту зависимость. При этом получаем значения переменных с исключением эффекта от влияния х2: и  (27)причем  и  (28)Воспользуемся методикой определения коэффициента детерминации для простой линейной регрессии применительно к значениям (28) и (27). Используя формулу (10) из раздела 2, после некоторых преобразований с учетом того, что  , получим выражение коэффициента частной детерминации: (29)После дополнительных преобразований  (30)Таким образом, коэффициент частной детерминации определяется по коэффициентам парной детерминации. С помощью формулы (29) или (30) устанавливается доля вариации, обусловленная зависимостью переменной у от х1 при исключении влияния х2. Отсюда становится очевидным отличие коэффициента частной детерминации от коэффициента множественной детерминации. Они имеют различное содержание и не заменяют друг друга. Формулу (29) путем соответствующих преобразований можно привести к такому виду, который позволяет находить коэффициент частной детерминации непосредственно по эмпирическим данным. Вообще целесообразнее вычислять коэффициент частной детерминации по соответствующим коэффициентам частной корреляции. 47. Коэффициент детерминации между объясняющими переменными Для решения системы нормальных уравнений очень важно знать соотношения между объясняющими переменными xk. Используя понятие коэффициента детерминации, введем меру зависимости этих переменных между собой. Обозначим через  коэффициент детерминации, характеризующий степень обусловленности k-й объясняющей переменной остальными объясняющими переменными, входящими в данную регрессию.Укажем формулу для вычисления коэффициента детерминации между объясняющими переменными. Для ее вывода исходят из матрицы дисперсий и ковариаций объясняющих переменных  : (31)где  - дисперсия объясняющей переменной xk,а  при  - ковариация объясняющих переменных xkи xl. Умножив каждый элемент (31) на n-1, получим матрицу  сумм квадратов отклонений и произведений отклонений: (32)где  , а  . Матрицу, обратную к , обозначим через  :  (33)Коэффициент детерминации между объясняющими переменными вычисляется по формуле  (34)где  и  — элементы k-й строки и k-гo столбца матриц и соответственно.Пример. Вернемся к примеру с тремя объясняющими переменными из приложения Б. Построим следующие матрицы:    (Элементы матрицы указаны с округлением.) По (34) получим:   В силу того что величина коэффициента детерминации между переменными также заключена в пределах от 0 до 1, результаты вычислений отражают небольшую зависимость между объясняющими переменными. Различные коэффициенты детерминации не могут быть единственным критерием оценки регрессии. Неосторожное их использование может привести к ошибочным заключениям. Например, если эмпирические данные представляют собой временной ряд или между переменными существуют не только непосредственные, но и многообразные косвенные связи, то применение коэффициента детерминации становится весьма проблематично. Поэтому далее мы еще будем обсуждать способы оценки точности подбора функции регрессии. 48. Стандартные ошибки оценок Качество подбора функции регрессии можно оценить с помощью стандартных ошибок или дисперсий остатков и оценок параметров регрессии. Стандартная ошибка или дисперсия остатков. Стандартная ошибка остатков называется также стандартной ошибкой оценки регрессии в связи с интерпретацией возмущающей переменной и как результата ошибки спецификации функции регрессии. Возмущающая переменная и является случайной с определенным распределением вероятностей. Математическое ожидание этой переменной равно нулю, а дисперсия —  . Таким образом, — это дисперсия возмущения в генеральной совокупности. Нам неизвестны значения возмущающей переменной. Можно судить о ней только по остаткам  . Вычисленная по этим остаткам дисперсия  является оценкой дисперсии возмущающей переменной. Несмещенной оценкой дисперсии возмущающего воздействия будет, следующее выражение: (35)В знаменателе формулы (35) стоит число степеней свободы  , где n — объем выборки, a m — число объясняющих переменных. Такое выражение числа степеней свободы связано с тем, что остатки должны удовлетворять m + 1 условиям. Кратко поясним это утверждение. Параметры множественной регрессии (36)вычисляют путем решения системы нормальных уравнений, в матричной форме записи имеющих вид  (37)Подставим (36) в (37):  Раскрыв скобки и сделав соответствующие выкладки, получим  (38)Матричное уравнение (38) содержит m + 1 условий (уравнений), которые накладываются на остатки, и это приводит к уменьшению числа степеней свободы. При k = 0 в силу того, что х1 = 1 для всех i,  (39)что является следствием того, что математическое ожидание возмущающей переменной равно нулю. Из (38) при k = 1, … , m, т также получим  (40)что вытекает из следующего: переменные xk (k = 1, … , m) не коррелируют со значениями возмущения, т. е. xk (k = 1, … , m) являются действительно объясняющими, а не подлежащими объяснению переменными. Следовательно, в регрессионном анализе могут обсуждаться только односторонне направленные зависимости. Поскольку термин «степень свободы» используется для обозначения независимой информации, в данном случае число связей, налагаемых на n независимых случайных наблюдений, можно интерпретировать как m + 1 параметров (b0, b1 ..., bm), которыми определяется функция регрессии. В связи с тем что вычисление числителя в формуле (35) довольно затруднительно, мы хотим, опустив вывод, привести более простой способ его определения:  (41)или в матричной форме записи:  Выражения сумм в правой части (41) содержатся в рабочей таблице для построения регрессии, а оценки параметров уже получены. Если снова обратиться к понятию коэффициента детерминации, введенному в разделах 1 и 2, то станет ясным физический смысл дисперсии (или стандартного отклонения) остатков — это та доля общей дисперсии  , которая не может быть объяснена зависимостью переменной у от переменных xk (k = 1, … , m).Стандартные ошибки или дисперсии оценок параметров регрессии. При описании этих показателей будем исходить из заданных значений объясняющих переменных. Оценки параметров регрессии являются случайными величинами, имеющими определенное распределение вероятностей. Возможные значения оценок рассеиваются вокруг истинного значения параметра β. Определим меру рассеяния оценки параметра. Обозначим через  матрицу дисперсий и ковариаций оценок параметров регрессии: (42)Симметрическая матрица (42) на главной диагонали содержит дисперсии оценок параметров регрессии βk ,k = 0,1,…,m  (43)а вне главной диагонали — их ковариации  (44)дляk≠l и k = 0,1,…,m, l = 0,1,…,m. Краткая форма записи матрицы (42):  (45)Подставив в (45) формулу (46)  (46)получим  или  (47)Далее, в силу того, что  (48)имеем  (49)Так как неизвестно, используем его оценку . В результате получаем оценку матрицы (49), (50)элементами главной диагонали которой являются искомые оценки дисперсий. Матрицу  легко определить, поскольку матрица  известна (см. приложение Б), a вычисляется по (35).Если мы обозначим через  элемент главной диагонали матрицы , то оценка дисперсии параметра регрессии bk будет определяться выражением (51)т. е. она равна произведению дисперсии остатков на k-й элемент главной диагонали обратной матрицы ,. Таким образом, стандартная ошибка оценки параметра регрессии bk определяется как (52)Найдем дисперсию и стандартную ошибку оценок параметров b0 и b1 простой линейной регрессии. В случае простой линейной регрессии имеем  .а также  .Согласно формуле (50) получим  .Умножая на первый элемент главной диагонали матрицы , получим оценку дисперсии постоянной уравнения регрессии b0: (53)а также ее стандартную ошибку:  (54)Умножив на второй элемент главной диагонали матрицы , получим оценку дисперсии коэффициента регрессии b1 (55)а также стандартную ошибку этого коэффициента:  (56)Рассмотрим более обстоятельно стандартную ошибку коэффициента b1, простой линейной регрессии. Для этого сумму квадратов отклонений в (56) заменим на выражение, полученное путем преобразования формулы (  ): Формула (56) приобретет вид  (57)Итак, стандартная ошибка коэффициента регрессии зависит: от рассеяния остатков. Чем больше доля вариации значений переменной у, необъясненной ее зависимостью от х, найденной методом наименьших квадратов, тем больше стандартная ошибка коэффициента регрессии. Следовательно, чем сильнее наблюдаемые значения переменной у отклоняются от расчетных значений регрессии, тем менее точной является полученная оценка параметра регрессии; от рассеяния значений объясняющей переменной х. Чем сильнее это рассеяние, тем меньше стандартная ошибка коэффициента регрессии. Отсюда следует, что при вытянутом облаке точек на диаграмме рассеяния получаем более надежную оценку функции регрессии, чем при небольшом скоплении точек, близко расположенных друг к другу; от объема выборки. Чем больше объем выборки, тем меньше стандартная ошибка коэффициента регрессии. Здесь существует непосредственная связь с таким свойством оценки параметра регрессии, как асимптотическая несмещенность. Стандартная ошибка оценки параметра регрессии используется для оценки качества подбора функции регрессии. Для этого вычисляется относительный показатель рассеяния, обычно выражаемый в процентах:  (58)Чем больше относительная стандартная ошибка оценки параметра, тем более оцененные величины отличаются от наблюдаемых значений зависимой переменной и тем менее надежны оценки прогноза, основанные на данной функции регрессии. 1 |