Учебнометодическое пособие Москва Берлин 2020 удк 330. 43(075) ббк 65в631я7 з рецензенты
 Скачать 1.43 Mb.
|
|
План 1. Метод наименьших квадратов. 2. Допущения классической линейной модели регрессии Теорема Гаусса — Маркова. 5.1. Метод наименьших квадратов Классическая модель линейной регрессии (для случая множественной регрессии) имеет вид (4.1): 1 2 0 1 2 = + + + + + ε p i i i p i i y b b X b X b Для простоты ограничимся рассмотрением парной линейной регрессии, то есть модели вида (3.2): 0 1 = + + i i i y b b x u . Напомним, что оценкой этой модели является уравнение регрессии где оценки коэффициентов регрессии b Для расчета неизвестных параметров ( ) 0 b и ( ) 1 b применяют метод наименьших квадратов (МНК). В основе данного метода лежит поиск таких значений коэффициентов ( ) 0 b и ( ) 1 b , при которых сумма квадратов ошибок была бы наименьшей 2 2 2 0 1 1 1 ˆ ( ) ( ) min = = = − = − − → ∑ ∑ n n i i i i i s y y b b y (5.1) Согласно методу наименьших квадратов 1 ˆ ( ) − = − y y b x x ; (5.2) 42 ( ) 1 2 2 − × = − xy x y b x x ; (5.3) 0 1 = − b y b x . (5.4) 5.2. Допущения классической линейной модели регрессии Теорема Гаусса — Маркова Возникает вопрос, являются ли оценки i b параметров i b наилучшими. Ответ на этот вопрос дает теорема Гаусса — Мар- кова: Если регрессионная модель (3.2) удовлетворяет предпосылкам аз) (тема № 3), то оценки 0 b (5.4) и 1 b (5.3) имеют наименьшую дисперсию в классе всех линейных несмещенных оценок. Свойства оценок параметров классической линейной регрессионной модели изложены в теме № 6. Контрольные вопросы к теме № 5 В чем заключается метод наименьших квадратов. 2. Какие допущения лежат в основе классической модели линейной регрессии. Для чего нужны эти допущения. Сформулируйте теорему Гаусса — Маркова. Задача 5.1. Поданным задачи 3.3: А) найти уравнение регрессии (Y) по (Х. В) найти коэффициент детерминации и пояснить его смысл. Задача 5.2. Имеется зависимость между сменной добычей угля на одного рабочего (Y) (т) и мощностью пласта (Хм, полученная по n =10 шахтам Х 11 12 9 8 8 9 9 8 12 Y i 5 10 10 7 5 6 6 5 6 8 Требуется найти 1) уравнение регрессии (Y) по (Хи построить ее график) коэффициент корреляции между (Y) и (Х сменную среднюю добычу угля на одного рабочего для шахт с мощностью пластам) 95% -ые доверительные интервалы для индивидуального и среднего значений сменной добычи угля на одного рабочего для шахт с мощностью пластам с надежностью 0,95 % интервальные оценки коэффициента регрессии (В) и дисперсии ( ) 2 δ Задача 5.3. Имеется информация о n = 10 парах наблюдений экзогенной переменной (Хи эндогенной переменной (Y): Х 15,8 8,4 14,5 8,6 11,8 19,5 21,4 4,7 9,8 13,5 Y 18,3 10,1 16,9 11,4 14,9 19,9 22,8 7,8 10,3 16,6 Требуется с помощью МНК оценить параметры линейного од- нофакторного уравнения регрессии Y = А + АХ U i , i = 1, 2…n. Задача 5.4. Имеется информация о взаимосвязи экзогенной (Хи эндогенной (Y) переменной, данные представлены в таблице Х 50 60 80 100 110 120 130 150 160 180 200 310 Y i 14 14 17 19 17 20 24 22 25 24 18 20 26 Требуется с помощью МНК оценить параметры регрессионного уравнения Y i = В + АХ U i , i = 1, 2…13. ТЕМА № 6 СВОЙСТВА ОЦЕНОК МНК План Свойства оценок параметров классической линейной регрессионной модели • состоятельность; • несмещенность: • эффективность. Если выполняются допущения (аз, Тема № 3), лежащие в основе модели линейной регрессии, то оценки коэффициентов ( ) i b , полученные с помощью МНК, являются BLUE, что означает В (best) — наилучшая L (linear) — линейная U (unbiased) — несмещенная E (estimator) — оценка. Рассмотрим эти свойства. Линейная — свойство линейной функциональной зависимости оценки параметров от выборочных наблюдений. Несмещенная — математическое ожидание оценки параметров равно параметру генеральной совокупности, то есть оценка неизвестного параметра называется несмещенной, если при любом объеме выборки результат ее осреднения по всем возможным выборкам данного объема равен истинному значению параметра 0 0 1 1 ( ) ( М b b M Наилучшая (эффективная) — оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок. Означает, что если оценка эффективна, то распределение значений сосредоточено вокруг истинной величины оцениваемого параметра. Состоятельность. Оценка неизвестного параметра называется состоятельной, если по мере роста числа наблюдений она стремится по вероятности к оцениваемому параметру 45 где сколь угодно малая величина = δ Контрольные вопросы к теме № 6 Какие свойства имеют оценки параметров классической линейной регрессионной модели. ТЕМА № 7 ЛИНЕЙНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ С ГЕТЕРОСКЕДАСТИЧНЫМИ И АВТОКОРРЕЛЯЦИОННЫМИ ОСТАТКАМИ План Последствия нарушения допущений классической модели линейной регрессии. 2. Гетероскедастичность: обнаружение и устранение. 3. Автокорреляция регрессионных остатков тестирование и устранение. Последствия нарушения допущений классической модели линейной регрессии В классической модели линейной регрессии делается ряд допущений, для того, чтобы оценки коэффициентов, полученные методом наименьших квадратов, имели ряд желательных свойств — состоятельность, несмещенность, эффективность. Однако при моделировании реальных экономических процессов возможны ситуации, в которых условия классической линейной модели регрессии оказываются нарушенными. В итоге все результаты моделирования потеряют свою легитимность. Рассмотрим нарушения каждого из допущений в отдельности Если математическое ожидание регрессионных остатков неравно нулю, то возможны следующие проблемы оценки коэффициентов регрессии могут быть смещенными, а коэффициенты детерминации и 2 ˆ R могут иметь негативные (бессмысленные) значения. Чтобы избежать подобных проблем, следует включать в линейную модель регрессии свободный член Допущение о постоянстве дисперсии регрессионных остатков известно как допущение о гомоскедастичности (равно- изменчивости). Если дисперсия регрессионных остатков не является постоянной, то говорят, что оценки гетероскедастичны. Гетероскедастичность приводит к тому, что результаты, связанные 47 с анализом точности модели, оценкой значимости и построением интервальных оценок ее коэффициентов, оказываются непригодными. Обнаружить гетероскедастичность возможно с помощью теста 1) Тест Голдфелда — Квандта Предполагает, что гипотеза об отсутствии гетероскедастич- ности отвергается, если 2 1 , , 2 1 = α − − = − + = ∑ ∑ m i i m p m p n i i g m u F F u , , - , - где — число экзогенных переменных число наблюдений; — табличное значение критерия Фишера-Снедекора. α m p m Эффективность теста максимальна, если 3 = n m 2) Тест Глейзера Для изучения гетероскедастичности оценивается абсолютная величина регрессионных остатков, то есть модель вида ( ) , где 1, 2, 3, = ϕ + = i i e x u i n В качестве функции выбирается функция вида δ ϕ = α + γx . Регрессия осуществляется при разных значениях ( ) δ , затем выбирается то значение, при котором коэффициент ( ) γ оказывается наиболее значимым, то есть имеет наибольшее значение t — статистики. Тест Уайта 1. Имеется исходная модель вида 2 2 3 3 = β + β + β + t t t t t y x x u . В результате оценки данной модели получаем регрессионные остатки ˆ t u . 48 7.2. Гетероскедастичность: обнаружение и устранение Оцениваем вспомогательную регрессию вида 2 2 2 1 2 2 3 3 4 2 5 3 6 2 3 ˆ = α + α + α + α + α + α + ν t t t t t t t u x x x x x x , t где — нормально распределенная ошибка, независимая от u . ν t 3. Исследуем статистику 2 2 ∞χ m nR , где — количество независимых переменных количество наблюдений. m n 4. Проверяем нулевую гипотезу 3 4 5 6 0 0 0 0 0 α = α = α = α = α = . Если фактические значения статистики превышают критические величины распределения 2 χ , то нулевая гипотеза о гомоске- дастичности остатков отвергается, то есть делается вывод о присутствии гетероскедастичности. Если известна причина и форма гетероскедастичности, то для ее устранения применяют обобщенный метод наименьших квадратов (ОМНК), речь о котором пойдет в Теме № 8. 7.3. Автокорреляция регрессионных остатков тестирование и устранение Регрессионная модель МНК позволяет получить несмещенную оценку с минимальной дисперсией при условии, что регрессионные остатки независимы друг от друга, то есть с u Если это условие нарушено, то имеет место автокорреляция, при которой коэффициенты регрессии несмещены, но стандартные ошибки недооценены, а проверка статистической значимости коэффициентов ненадежна. Автокорреляция бывает 49 — положительной, когда завышенные значения в предыдущих наблюдениях приводят к их завышению в наблюдениях последующих отрицательной когда завышенные значения в предыдущих наблюдениях приводят к занижению их в наблюдениях последующих. Для проверки автокорреляции существуют ряд тестов • Тест Дарбина — Уотсона Определяет наличие автокорреляции междусоседними членами регрессии. С этой целью рассчитывают критерий ( ) 2 1 2 2 1 ( ) 2 1 − = = − = ≈ − ∑ ∑ n t t t n t t u u d r u , где — остатки регрессии выборочный коэффициент корреляции. t u r Если в в 4 − d d d , то гипотеза об отсутствии автокорреляции не отвергается н в d d d , то вопрос о принятии гипотезы остается открытым н d d , то принимается альтернативная гипотеза о положительной автокорреляции; 4 4 − н, то принимается альтернативная гипотеза об отрицательной автокорреляции, где н в , d d — пороговые значения критерия Дарбина — Уотсона. Таким образом, близость наблюдаемого значения (d) к нулю должна означать наличие положительной автокорреляции, к четырем отрицательной. Данный тест применим в случае, если в регрессионной модели присутствует свободный член, экзогенные переменные являются нестохастическими. Кроме того, надо учитывать, что тест проверяет только наличие автокорреляции между регрессионными остатками в последовательных наблюдениях. 50 Тест Бреуша — Годфри Тест проводится согласно алгоритму. 1. Проводится оценка линейной регрессии с помощью МНК и рассчитываются регрессионные остатки. Проводится оценка вспомогательной регрессии 2 2 3 3 4 4 1 1 2 2 2 ˆ ˆ ˆ (0, ). − − − ν = γ + γ + γ + γ + ρ + ρ + ρ + ν ν ∞ δ t t t t t t r t На основе вспомогательной регрессии рассчитывается коэффициент детерминации ( ) 2 R 3. Рассчитывается статистика ( ) 2 2 − ∞χ r n r R , где n — объем выборки. Если значение статистики превосходит критическую величину ( ) 2 χ , то отвергается нулевая гипотеза об отсутствии автокорреля- ции. Тест Льинга — Бокса Статистика Льинга — Бокса имеет вид 1 ( ) ( 2) τ= τ = + − τ ∑ p p r Q n Если верна гипотеза Но равенстве нулю всех коэффициентов корреляции ( , ) −τ ρ t t e e , где 1, 2, τ = p , то статистика имеет распределение 2 χ c ( ρ ) степенями свободы. Заметим, что провести вручную вышеуказанные тесты достаточно трудно, поэтому в большинстве компьютерных пакетов тесты выполняются специальными командами. Для устранения автокорреляции можно воспользоваться обобщенным методом наименьших квадратов (ОМНК) (Тема № 8). Контрольные вопросы к теме № 7 Какие последствия имеют нарушения допущений классической модели линейной регрессии. Каковы последствия нарушения допущения ( ) 0 = i M u 51 3. Каковы последствия нарушения допущения ( ) — const i D u 4. Каким образом можно обнаружить гетероскедастичность. 5. Каким образом можно устранить гетероскедастичность. 6. Каковы последствия нарушения допущения cov( , ) 0 = i j u u 7. Как проводится проверка уравнения на автокорреляцию. 8. Каким образом можно устранить автокорреляцию. Задача 7.1. Поданным наблюдений о доходе человека (Y) , уровне его образования (Хи возрасте (Х) выяснить, можно ли считать на уровне значимости а =0.05 линейную модель Y = –3,06 + 3, 25 Х + 0,48 Х) (5,96) (8,35) в скобках указаны значения статистик коэффициентов регрессии) гетероскедастичной. Исходные данные 50 2 1 = ∑ i i e = 894,1 150 2 101 = ∑ i i e = 3918,2. Задача 7.2. В таблице приведены данные по 18 наблюдениям модели пространственной выборки е 21,3 2,3 10 71,5 23,8 2 22,6 5,6 11 75,7 45,7 3 32,7 12,8 12 76 34,7 4 41,9 10,1 13 78,9 56,9 5 43,8 14,6 14 79,8 56,8 6 49,7 13,9 15 80,7 49,8 7 56,9 24 16 80,8 58,9 8 59,7 21,9 17 96,9 87,8 9 67,8 19,7 18 97 87,5 Предполагая, что ошибки регрессии представляют собой нормально распределенные случайные величины, проверить гипотезу о гомоскедастичности, используя тест Голдфелда — Квандта. 52 Задача 7.3. Для линейного однофакторного уравнения регрессии А + АТ) имеется Т =20 пар наблюдений целевой переменной (Y) и экзогенной переменной (Х, которые представлены в таблице. Х 8,5 20,1 24,5 17 22 19 16 5 13,4 Y t 4,5 10 18,5 20 18,5 25 8,5 13 7,4 15,6 Х 6, 1 22,2 20,1 8 12 14 19,5 18 15,1 Y t 5,5 5, 2 18,5 18,0 8 9,8 12 14,8 15,2 12 Автокорреляция отсутствует, ошибки регрессии распределены нормально. Имеется подозрение на гетероскедастичность. Для уровня α = 0,05 проверить гипотезу, что дисперсии ошибки для первых и последних 10 пар наблюдений различны. ТЕМА № 8 ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ План Обобщенная линейная модель множественной регрес- сии. 2. Теорема Айткена Обобщенный метод наименьших квадратов. Обобщенная линейная модель множественной регрессии Имеет вид 11 1 0 1 1 1 1 1 = + = = = = k n n n kn k Y XB Описывается системой условий U — случайный вектор, Х — неслучайная матрица ( ) 0 = n M u , 0 n — нулевая матрица-столбец размера (n); = Ω ∑ u , Ω — положительно определенная матрица ( ) 1 = + r X p n , где p — число экзогенных переменных n — число наблюдений. Обобщенная линейная модель множественной регрессии отличается от классической модели тем, что в ней ковариации и дисперсии могут быть произвольными. 8.2. Теорема Айткена. Обобщенный метод наименьших квадратов Обычный метод наименьших квадратов в обобщенной линейной регрессионной модели дает смещенную оценку ковариационной матрицы ( вектора оценок ( ) B . Оценка ( ) B , определенная побудет состоятельной, ноне оптимальной в смысле теоремы Гаусса — Маркова. Для получения эффективной оценки нужно 54 использовать оценку, полученную обобщенным методом наименьших квадратов (ОМНК). Вопрос об эффективности несмещенной оценки вектора ( ) B для обобщенной модели регрессии решается с помощью теоремы Айткена: В классе линейных несмещенных оценок вектора ( ) B для обобщенной регрессионной модели оценка ( ) 1 имеет наименьшую ковариационную матрицу. Оценка дисперсии вектора ( рассчитывается по формуле 1 2 0 ( ) ( ) S 1 ∗ − • ∗ ′ − Ω − = − − Y Xb Y Xb n p ; 1 2 0 1 2 1 1 1 − − − − Ω = где (p) — неизвестный параметр, который нужно оценить (коэффициент авторегрессии). В модели с гетероскедастичными остатками ковариационная матрица вектора возмущений имеет следующую структуру 2 1 2 2 2 0 0 0 0 0 0 δ Ω = δ δ n , где дисперсии ошибок. δ i В модели с автокорреляционными остатками ковариационная матрица вектора ошибок имеет вид 1 2 2 0 2 1 2 1 1 1 1 − − − − δ Ω = − n n n n p p p p p p p , где р — коэффициент авторегрессии; 2 0 δ — нулевая дисперсия. 55 Таким образом, для применения обобщенного метода наименьших квадратов необходимо знание ковариационной матрицы вектора возмущений ( ) U = Ω ∑ , что встречается редко в практике эконометрического моделирования. Поэтому часто применяется реализуемый доступный обобщенный метод наименьших квадратов. Оценкой доступного обобщенного метода наименьших квадратов вектора ( ) B есть ( ) 1 1 1 0 0 ˆ ˆ − ∗ − − ′ ′ = Ω Ω b X X X Y . Контрольные вопросы к теме № 8 1. Является ли коэффициент детерминации удовлетворительной мерой качества обобщенной регрессионной модели. 2. Почему для практической реализации обобщенного метода наименьших квадратов необходимо вводить дополнительные условия на структуру ковариационной матрицы вектора возмущений ошибок. 3. Какова структура ковариационной матрицы вектора ошибок в модели с автокорреляционными и гетероскедастичными остатками. Задача 8.1. Для линейного однофакторного уравнения регрессии А + АХ + Е ; t = 1, 2, …, Т. Имеется Т = 12 пар наблюдений целевой переменной (Y) и экзогенной переменной (Х, которые представлены в таблице Х 2,5 1,8 6,8 9 3,8 6,5 9 1 3,5 7, 1 10 Y t 5 4,8 3,1 8,2 8,6 5,5 6,5 11,1 2,1 4,5 8,9 11,8 Для ошибки уравнения (Е) выполняются предпосылки авторе- грессии первого порядка с известными значениями p = 1 и 2 = Требуется оценить параметры уравнения (Аи (Ас помощью ОМНК. 56 Задача 8.2. Имеется гетероскедастичная однофакторная регрессионная модель С = А + А +Е t = 1, 2, …, Т, где С — потребление домохозяйства определенной структуры, Y — доход этого домохозяйства. Ошибки попарно не коррелированы, дисперсии ошибки при доходе от 50 до 100 единиц в 2 раза больше, чем при доходе до 50 единиц. Имеется выборка объемом 9 наблюдений Y t 30 35 35 45 50 60 70 90 160 С 30 35 35 40 50 70 80 120 Требуется 1) Определить ковариационную матрицу ошибок для этой модели. 2) Оценить параметры уравнения при помощи ОМНК. Задача 8.3. Для линейного однофакторного уравнения регрессии А + АХ + Е ; t = 1, 2, …, Т. Имеется Т = 18 пар наблюдений переменной (Y) и экзогенной переменной (Х, которые представлены в таблице Х 0, 15 0, 2 0, 25 0,3 0,35 0,4 0,45 0,5 Y t 0, 019 0,019 0,027 0,051 0,093 0,136 0,171 0,198 0, 26 7 Х 0,6 0,65 0,7 0,75 0,8 0,85 0,9 0,95 Y t 0, 314 0,365 0,396 0,482 0,569 0,627 0,71 0,835 0, 91 3 Для ошибки уравнения (u) выполняется предпосылка авторе- грессии первого порядка. Требуется определить оценку параметра авторегрессии ошибки. |