Автокорреляция. Тест Дарвина Уотсона Цели лекции
 Скачать 1.28 Mb.
|
Тест Дарвина –УотсонаЦели лекции
Понятие автокорреляцииМодель называется автокоррелированной, если не выполняется третья предпосылка теоремы Гаусса-Маркова:Cov(ui,uj)≠0 при i≠j.Автокорреляция (последовательная корреляция) – это корреляция между наблюдаемыми показателями во времени (временные ряды) или в пространстве (перекрестные данные).Причина – неправильный выбор спецификации модели.- оценки коэффициентов теряют эффективность;- стандартные ошибки коэффициентов занижены.Виды автокорреляцииПричины чистой автокорреляции1. Инерция факторовТрансформация, изменение многих экономических факторов обладает инерционностью.2. Эффект паутиныМногие экономические факторы реагируют на изменение экономических условий с запаздыванием (временным лагом)3. Сглаживание данных.Усреднение данных по некоторому продолжительному интервалу времени.Автокорреляция первого порядка коэффициент автокорреляции первого порядка,Сезонная автокорреляция коэффициент сезонной автокорреляции,Автокорреляция второго порядка1, 2 коэффициенты автокорреляции,Авторегрессия 1-го порядка : AR(1) Авторкорреляция скользящих средних 3-го порядка: MA(5) Авторегрессия 5-го порядка : AR(5) 6 Примеры более сложных авторегрессионных корреляций Классический случайный член (автокорреляция отсутствует)Положительная автокорреляцияПоложительная автокорреляция – наиболее важный для экономики случай Отрицательная автокорреляцияПОЛОЖИТЕЛЬНАЯ АВТОКОРРЕЛЯЦИЯ Третье условие теоремы Гаусса-Маркова – независимость случайных возмущений друг от друга. На диаграмме видно, что это условие нарушено. Если за положительными отклонениями следуют положительные или за отрицательными – отрицательные - это положительная автокорреляция. y x y = a + bx ОТРИЦАТЕЛЬНАЯ АВТОКОРЕЛЛЯЦИЯ 3 Пример отрицательной автокорреляции. За положительными чаще всего следуют отрицательные значения и наоборот. y y = a + bx x Рассмотрим пример с выборкой из 50 независимых нормально распределенных с нулевым средним значений i.et – распределена по стандартному нормальному закону с 0 средним и дисперсией 1, r (ρ) меняется.С целью ознакомления с влиянием автокорреляции будем вводить в нее положительную, а затем отрицательную автокорреляцию.ρ = 0, т.е. автокорреляция отсутствует. Процесс - нормальная случайная величина начинает проявляться небольшая положительная автокорреляция С ρ = 0.6 u подвержена положительной автокорреляции. Положительные значения чаще следуют за положительными, а отрицательные за отрицательными. С ρ = 0.9 последовательность значений с одним знаком становится длинной, а тенденция возврата к 0 слабо При больших значениях ρ процесс становится нестационарным, приближаясь к случайному блужданию Примеры отрицательной автокорреляции для тех же значений et С ρ = 0.6 можно видеть что положительные значения имеют тенденцию следовать за отрицательными и наоборот. Отрицательная автокорреляция становится очевидно АВТОКОРЕЛЛЯЦИЯ На графике видно, что случайные возмущения подвержены положительной автокорреляции. Сравнивая с примерами имитационного моделирования можно предполагать, что коэффициент корреляции r не ниже 0.6. ============================================================ Dependent Variable: LGHOUS Method: Least Squares Sample: 1959 2003 Included observations: 45 ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C 0.005625 0.167903 0.033501 0.9734 LGDPI 1.031918 0.006649 155.1976 0.0000 LGPRHOUS -0.483421 0.041780 -11.57056 0.0000 ============================================================ R-squared 0.998583 Mean dependent var 6.359334 Adjusted R-squared 0.998515 S.D. dependent var 0.437527 S.E. of regression 0.016859 Akaike info criter-5.263574 Sum squared resid 0.011937 Schwarz criterion -5.143130 Log likelihood 121.4304 F-statistic 14797.05 Durbin-Watson stat 0.633113 Prob(F-statistic) 0.000000 ============================================================ АВТОКОРРЕЛЯЦИЯ ПРИМЕР Зависимость расходов на жилье от располагаемого дохода и индекса цен на жилье График остатков соответствует коэффициенту автокорреляции, равному примерно 0,75. АВТОКОРРЕЛЯЦИЯ ПРИМЕР Ложная автокорреляция (автокорреляция, вызванная ошибочной спецификацией)X2 сама является автокоррелированной переменной, а значение мало по сравнению с величинойЛожная автокорреляция как результат неправильного выбора функциональной формы1. Истинная автокорреляция не приводит к смещению оценок регрессии, но оценки перестают быть эффективными.2. Автокорреляция (особенно положительная) часто приводит к уменьшению стандартных ошибок коэффициентов, что влечет за собой увеличение t-статистик.3. Оценка дисперсии остатков Se2 является смещенной оценкой истинного значения e2 , во многих случаях занижая его.4. В силу вышесказанного выводы по оценке качества коэффициентов и модели в целом, возможно, будут неверными. Это приводит к ухудшению прогнозных качеств модели.Обнаружение автокорреляции1. Графический метод.2. Метод рядов.3. Специальные тесты.Динамика реальных расходов на жилье4 Присутствует положительная автокорреляция. Расходы на жилье в зависимости от доходов и реальных цен Тест Дарбина-Уотсона
Ограничения:1. Тест не предназначен для обнаружения других видовавтокорреляции (более чем первого) и не обнаруживает ее.2. В модели должен присутствовать свободный член.3. Данные должны иметь одинаковую периодичность (не должно быть пропусков в наблюдениях).4. Тест не применим к авторегрессионным моделям, содержащих в качестве объясняющей переменной зависимую переменную с единичным лагом:Тест Дарбина-Уотсона1. Предпосылки тестаСлучайные возмущения распределены по нормальному закону.Имеет место авторегрессия первого порядка:М(εt)=0; σ2(εt)=Const Тест Дарбина-Уотсона
Тест Дарбина-Уотсона3. Свойства статистики DW.где: r (ρ) - коэффициент корреляции между случайными возмущениями. Из этого выражения следует: Для больших выборок DW = 2 - 2ρ DW изменятся в пределах (0 – 4). При этом если ρ → + 1, DW близко к 0 - положительная корреляция; если ρ → 0, DW близко к 2 – корреляция отсутствует; если ρ → - 1, DW близко к 4 - отрицательная корреляция. Тест Дарбина-УотсонаДля статистики DW невозможно найти его критическое значение, т.к. оно зависит не только от Рдов и степеней свободы k и n-1, но и от абсолютных значений регрессоров.Можно определить границы интервала DL и Du, внутри которого находится критическое значение DWкр:DL ≤ DWкр ≤ DuЗначения Du и DL находятся по таблицам.Тест Дарбина-УотсонаНет автокорреляции Положительная автокорреляция Отрицательная автокорреляция Интервалы (DL, Du) и (4-DL, 4-Du) зоны неопределенности Нулевая гипотеза H0: r = 0 (нет автокорреляции). Если DW лежит в доверительном интервале 2 ± dcr то гипотеза не отвергается с заданной вероятностью. 10 2 4 0 dL dU dcrit положительная автокорреляция отрицательная автокорреляция нет автокорреляции dcrit Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ Если DW меньше dL, то то нулевая гипотеза отвергается. Автокорреляция положительная. 2 4 0 dL dU dcrit положительная автокорреляция отрицательная автокорреляция нет автокорреляции dcrit
Нет автокорреляции Положительная автокорреляция Отрицательная автокорреляция ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ Если DW больше dU, то нулевая гипотеза (H0) не отвергается, но необходимо проверить модель на отрицательную автокорреляцию. Если DW лежит в интервале [dL , dU], то тест не дает определенной оценки. 2 4 0 dL dU dcrit положительная автокорреляция отрицательная автокорреляция нет автокорреляции dcrit При DW=1,42, большим 1,35 и меньшим 1,59, тест не дает определенной оценки. DW=1,86 Если 1.59 < DW < 2.41, нулевая гипотеза не отвергается и можно утверждать, что автокорреляция остатков отсутствует ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ На рисунке приведены значения dL и dU для модели с 2-мя объясняющими переменными (k=2), построенной по 35 (n=35) наблюдениям при 5% пороге значимости. При DW=0,63, как в данном примере, 0,63 < 1,35, то нулевая гипотеза отвергается с 95% вероятностью. Автокорреляция остатков положительна. 2 4 0 dL dU dcrit положительная автокорреляция отрицательная автокорреляция нет автокорреляции dcrit 1.35 1.59 2.41 2.65 DW=0,63 Если 2.41 < DW < 2.65, тест не дает однозначной оценки. Если 2.65 < DW < 4, нулевая гипотеза отвергается и можно утверждать, что имеется отрицательная автокорреляция остатков Интервалы оценки гипотез при 1% пороге значимости проводятся аналогично. ТЕСТ ДАРБИНА-УОТСОНА ДЛЯ AR(1) АВТОКОРРЕЛЯЦИИ 2 4 0 dL dU dcrit положительная автокорреляция отрицательная автокорреляция нет автокорреляции dcrit 1.35 1.59 2.41 2.65 DW=2,51 DW=2,79
Государственные расходы на образование в различных странах Модель: Y= - 2.32 + 0.669X +U(0.9) (0.002)RSS=Σui2=710.34Σ(ui-ui-1)2 = 832.4DW = 832.4 / 710.3=1.17Для n= 30 k=1Границы интервалаdL=1.35; du=1.49DW< dLВывод: модель автокоррелированаРассматривается случай авторегрессии первого порядка:Yt=a0+a1x1t+a2x2t+UtUt =ρUt-1+εtПри этом:M(εt)=0 σ2(εt ) = σ2t |ρ|<1Тогда:σ2(Ut ) = ρ2 σ2(Ut-1 ) + σ2t + 2Cov(ρ,Ut-1)Cov(ρ,Ut-1)=0 , т.к. ρ = ConstСледовательноσ2(Ut ) = ρ2 σ2(Ut-1 ) + σ2t (1)Множитель (1-ρ2) обеспечивает стационарность σ2(Ut), т.е. постоянство σ2(Ut) (2) σ2(Ut ) = ρ2 σ2(Ut-1 ) + σ2t Т.к. U0 отсутствует, полагаем, что σ2(U1) =σ2(U0) Тогда из (1) следует: Выражение (2) – начальное условие для σ2(U0) Из выражения (1) с учетом (2) вытекает: (1) Для произвольного наблюдения t в силу рекурентности (1) имеем: (3) Вывод: введение корректирующего множителя (1-ρ2) обеспечивает постоянство σ2(u) во всех наблюдениях и, следовательно, отсутствие автокорреляции между случайными возмущениями. Рассмотрим два последовательных уравнения наблюдения (4) (5) Умножим уравнение (5) на ρ и вычтем из (4) Учитывая, что Ut - ρUt-1= εt и делая замену переменных получим систему уравнений, в которых дисперсия случайных возмущений постоянна. (6) Параметры уравнения (6) можно оценить с помощью МНК. Если значение ρ известно, то решение окончено.Замечание. Уравнение (6) имеет смысл при t = 2, т.к. при t=1 оно не может быть получено.Для включения первого уравнения наблюдений в систему (6) его умножают на (1-ρ)½.Этот множитель (поправка Прайса-Уинстона) обеспечивает уменьшение влияния первого уравнения на все остальные при ρ близких к единице.Тогда окончательно система уравнений наблюдений принимает вид:УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ Автокорреляция AR(1) может быть устранена в лаговых моделях. Для этого нужно множить уравнение для yt-1 на ρ и вычесть из yt. Случайный член et, (инновация) не является автокоррелированным. Проблема автокорреляции устранена. Есть только одна проблема: нелинейность лаговой модели относительно xt-2. В силу этого обычный МНК не применим из за конфликта параметров (0,5*0,8 ≠ 0,6). Проблема может быть решена численными методами подбора параметров. УСТРАНЕНИЕ AR(1) АВТОКОРРЕЛЯЦИИ Аналогично устраняется влияние автокорреляции в множественной регрессионной модели. Вновь получаем нелинейную лаговую модель свободную от автокорреляции. 4 Метод решения состоит в оценке и последовательном уточнении коэффициента корреляции ρ. Модель может быть преобразована к (*) свободной от автокорреляции модели. Если автокорреляция AR(1) типа, то CORR(et, et-1) ≈ CORR(ut, ut-1). Используя это ρ, можно вычислить коэффициенты α’ и β для модели (*) и вновь провести оценку ρ. ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА 1. Построить регрессию yt от xt используя МНК 2. Вычислить et = yt - a - bxt и найти с помощью регрессии et от et-1 оценку r. 3. Вычислить yt и xt и найти регрессию yt от xt по которой определить оценки для a и b. Повторить с шага 2 до выполнения сходимости. Сходимость алгоритма достигается когда оценка коэффициента корреляции будет изменяться на величину меньшую заданной точности. ИТЕРАТИВНАЯ ПРОЦЕДУРА КОКРАНА - ОРКАТТА Устранение автокорреляции первого порядка (при известном коэффициенте автокорреляции)Пусть имеем:( известно)Процедура устранения автокорреляции остатков:Отсюда:Проблема потери первого наблюдения преодолевается с помощью поправки Прайса-Винстена:Устранение автокорреляции первого порядка. ОбобщенияРассмотренное авторегрессионное преобразование может быть обобщено на:1) Произвольное число объясняющих переменных2) Преобразования более высоких порядков AR(2), AR(3) и т.д.:Однако на практике значения коэффициента автокорреляции обычно неизвестны и его необходимо оценить. Существует несколько методов оценивания. Способы оценивания коэффициента автокорреляции 1. На основе статистики Дарбина-Уотсона.2. Процедура Кохрейна-Оркатта.3. Процедура Хилдрета-Лу.4. Процедура Дарбина5. Метод первых разностей.Определение коэффициента на основе статистики Дарбина-УотсонаЭтот метод дает удовлетворительные результаты при большом числе наблюдений.Итеративная процедура Кохрейна-Оркатта (на примере парной регрессии)1. Определение уравнения регрессии и вектора остатков:2. В качестве приближенного значения берется его МНК-оценка:3. Для найденного * оцениваются коэффициенты 0 1:4. Подставляем в (*) и вычисляемВозвращаемся к этапу 2.Критерий остановки: разность между текущей и предыдущей оценками * стала меньше заданной точности. Итеративная процедура Хилдрета-Лу (поиск по сетке)2. Оцениваем регрессиюдля каждого возможного значения [1,1] с некоторымдостаточно малым шагом, например 0,001; 0,01 и т.д.3. Величина *, обеспечивающая минимум стандартной ошибки регрессии принимается в качестве оценки автокорреляции остатков.Итеративные процедуры оценивания коэффициента . Выводы1. Сходимость процедур достаточно хорошая.2. Метод Кохрейна-Оркатта может «попасть» в локальный, а не глобальный минимум.3. Время работы процедуры Хилдрета-Лу значительно сокращается при наличии априорной информации об области возможных значений .Пусть имеет место автокорреляция остатков:Процедура Дарбина представляет собой традиционный МНК с нелинейными ограничениями типа равенств:Способы решения: 1. Решать задачу нелинейного программирования. 2. Двухшаговый МНК Дарбина (полученный коэффициент автокорреляции используется в поправке Прайса-Винстена). 3. Итеративная процедура расчета. Процедура Дарбина Ограничения на коэффициенты записываются в явном виде ============================================================ Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): 1960 2003 LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) 0.154815 0.354989 0.436111 0.6651 C(2) 0.719102 0.115689 6.215836 0.0000 C(3) 1.011295 0.021830 46.32641 0.0000 C(4) -0.478070 0.091594 -5.219436 0.0000 ============================================================ R-squared 0.999205 Mean dependent var 6.379059 Adjusted R-squared 0.999145 S.D. dependent var 0.421861 S.E. of regression 0.012333 Akaike info criter-5.866567 Sum squared resid 0.006084 Schwarz criterion -5.704368 Log likelihood 133.0645 Durbin-Watson stat 1.901081 ============================================================ ============================================================ Dependent Variable: LGHOUS Method: Least Squares Sample(adjusted): 1960 2003 Included observations: 44 after adjusting endpoints Convergence achieved after 21 iterations ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C 0.154815 0.354989 0.436111 0.6651 LGDPI 1.011295 0.021830 46.32642 0.0000 LGPRHOUS -0.478070 0.091594 -5.219437 0.0000 AR(1) 0.719102 0.115689 6.215836 0.0000 ============================================================ R-squared 0.999205 Mean dependent var 6.379059 Adjusted R-squared 0.999145 S.D. dependent var 0.421861 S.E. of regression 0.012333 Akaike info criter-5.866567 Sum squared resid 0.006084 Schwarz criterion -5.704368 Log likelihood 133.0645 F-statistic 16757.24 Durbin-Watson stat 1.901081 Prob(F-statistic) 0.000000 ============================================================ Либо в список регрессоров включается авторегриссионный член 1 порядка AR(1) Процедура Дарбина ============================================================= Dependent Variable: LGHOUS LGHOUS=C(1)*(1-C(2))+C(2)*LGHOUS(-1)+C(3)*LGDPI-C(2)*C(3) *LGDPI(-1)+C(4)*LGPRHOUS-C(2)*C(4)*LGPRHOUS(-1) ============================================================ Coefficient Std. Error t-Statistic Prob. ============================================================ C(1) 0.154815 0.354989 0.436111 0.6651 C(2) 0.719102 0.115689 6.215836 0.0000 C(3) 1.011295 0.021830 46.32641 0.0000 C(4) -0.478070 0.091594 -5.219436 0.0000 ============================================================ ============================================================ Variable Coefficient Std. Error t-Statistic Prob. ============================================================ C 0.154815 0.354989 0.436111 0.6651 LGDPI 1.011295 0.021830 46.32642 0.0000 LGPRHOUS -0.478070 0.091594 -5.219437 0.0000 AR(1) 0.719102 0.115689 6.215836 0.0000 ============================================================ Процедура Дарбина Итеративная процедура метода Дарбина1. Считается регрессия и находятся остатки.2. По остаткам находят оценку коэффициента автокорреляции остатков.3. Оценка коэффициента автокорреляциииспользуется для пересчета данных и циклповторяется.Процесс останавливается, как толькообеспечивается достаточная точность (результаты перестают существенно улучшаться).Обобщенный метод наименьших квадратов. Замечания1. Значимый коэффициент DW может указывать просто на ошибочную спецификацию.2. Последствия автокорреляции остатков иногда бывают незначительными.3. Качество оценок может снизиться из-за уменьшения числа степеней свободы (нужно оценивать дополнительный параметр).4. Значительно возрастает трудоемкость расчетов.Не следует применять обобщенный МНК автоматически |