Эконометрика Введение в регрессионный анализ временных рядо - Носко В.П.. Эконометрика Введение в регрессионный анализ временных рядо - Но. В. П. Носко Эконометрика Введение в регрессионный анализ временных рядов
 Скачать 3.08 Mb.
|
|
Процесс авторегрессии порядка p (в кратком обозначении – AR(p) ) определяется соотношениями X t = a 1 X t–1 + a 2 X t–2 + … + a p X t–p + ε t , a p ≠ 0, где ε t – процесс белого шума с D(ε t ) = σ ε 2 . Для простоты мы будем теперь сразу полагать, что Cov(X t–s , ε t ) = 0 для всех s > 0; при этом говорят, что случайные величины ε t образуют инновационную (обновляющую) последовательность , а случайная величина ε t называется инновацией для наблюдения в момент t .Такая терминология объясняется тем, что наблюдаемое значение ряда в момент t получается здесь как линейная комбинация p предшествующих значений этого ряда плюс не коррелированная с этими предшествующими значениями случайная составляющая ε t , отражающая обновленную информацию, скажем, о состоянии экономики, на момент t , влияющую на наблюдаемое значение X t При рассмотрении процессов авторегрессии и некоторых других моделей удобно использовать оператор запаздывания L (lag operator) , который воздействует на временной ряд и определяется соотношением L X t = X t–1 ; Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 9 в некоторых руководствах его называют оператором обратного сдвига и используют для него обозначение B (backshift operator). Если оператор запаздывания применяется k раз, что обозначается как L k , то это дает в результате L k X t = X t–k Выражение a 1 X t–1 + a 2 X t–2 + … + a p X t–p можно записать теперь в виде (a 1 L + a 2 L 2 + … + a p L p ) X t , а соотношение, определяющее процесс авторегрессии p-го порядка, в виде a(L) X t = ε t , где a(L) = 1– (a 1 L + a 2 L 2 + … + a p L p ). Для того, чтобы такой процесс был стационарным, все корни алгебраического уравнения a(z) = 0 (вещественные и комплексные) должны лежать вне единичного круга z ≤ 1. (В частности, для процесса AR(1) имеем a(z) = 1– a z , уравнение a(z) = 0 имеет корень z = 1/a , и условие стационарности z > 1 равносильно уже знакомому нам условию a < 1. ) При этом решение уравнения a(L) X t = ε t можно представить в виде X t = ) ( 1 L a ε t = ∑ ∞ = − 0 j j t j b ε , где , 0 ∞ < ∑ ∞ = j j b откуда, в частности, следует, что E(X t ) = ∑ ∑ ∞ = − ∞ = − = = 0 0 0 ) ( j j t j j j t j E b b E ε ε Стационарный процесс AR(p) с ненулевым математическим ожиданием µ удовлетворяет соотношению a(L) ( X t – µ ) = ε t , или a(L) X t = δ + ε t , где δ = a(L) µ = µ (1 – a 1 – a 2 – …– a p ) = µ a(1). При этом решение уравнения a(L) ( X t – µ ) = ε t имеет вид X t = µ + ) ( 1 L a ε t Таким образом, если стационарный процесс AR(p) задан в виде a(L) X t = δ + ε t , то следует помнить о том, что в этом случае математическое ожидание этого процесса равно не δ, а ) 1 ( 2 1 p a a a − − − − = K δ µ Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 10 Для процесса AR(1) имеем a(L) = 1– aL , так что (вне зависимости от того, равно µ нулю или нет) X t – µ = (1/ (1– aL)) ε t = (1 + aL + a 2 L 2 + … ) ε t = ε t + aε t–1 + a 2 ε t–2 + … . Из последнего выражения сразу видно, что ρ(k) = Corr(X t , X t+k ) = a k , k = 0, 1, 2, … . При 0 < a < 1 коррелограмма (график функции ρ(k) для k = 0, 1, 2, … ) отражает показательное убывание корреляций с возрастанием интервала между наблюдениями; при –1 < a < 0 коррелограмма имеет характер затухающей косинусоиды. Сравним поведение коррелограмм стационарного процесса AR(1) при a = ±0.8 : 0.0 0.2 0.4 0.6 0.8 1.0 5 10 15 20 25 30 35 a = 0.8 -1.0 -0.5 0.0 0.5 1.0 1.5 5 10 15 20 25 30 35 a = - 0.8 Коррелограмма процесса AR(p) при p > 1 имеет более сложную форму, зависящую от расположения (на комплексной плоскости) корней уравнения a(z) = 0. Однако для больших значений k автокорреляция ρ(k) хорошо аппроксимируется значением Aθ k , где θ = 1/z min и z min – наименьший по абсолютной величине корень уравнения a(z) = 0, если этот корень является вещественным и положительным, или заключена в интервале ± A θ k в противном случае. Здесь A > 0 – некоторая постоянная, определяемая коэффициентами a 1 , … , a p Если умножить на X t–k (k >0) обе части соотношения, определяющего процесс AR(p), и после этого взять от обеих частей математическое ожидание, то получим соотношение γ (k) = a 1 γ (k–1) + a 2 γ (k–2) + … + a p γ (k–p) , k > 0 . Разделив обе части последнего на γ (0), приходим к системе уравнений Юла– Уокера ρ(k) = a 1 ρ(k–1) + a 2 ρ(k–2) + … + a p ρ(k–p) , k > 0 . Эта система позволяет последовательно находить значения автокорреляций и дает возможность, используя первые p уравнений, выразить коэффициенты a j через значения первых p автокорреляций, что можно непосредственно использовать при подборе модели авторегрессии к реальным статистическим данным (см.разделы 3.1 и 3.2). Пример. Рассмотрим процесс авторегрессии AR(2) X t = 4.375 + 0.25X t–1 – 0.125X t–2 + ε t Уравнение a(z) = 0 принимает в этом случае вид 1 – 0.25z + 0.125z 2 = 0, или z 2 – 2z + 8 = 0, и имеет корни z 1,2 = 1± i √7 . Оба корня по абсолютной величине больше единицы, так что процесс стационарный. Математическое ожидание этого процесса равно Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 11 µ = δ / (1– a 1 – a 2 ) = 4.375/(1– 0.25 + 0.125) = 5, так что траектории этого процесса флуктуируют вокруг уровня 5. Для построения коррелограммы воспользуемся уравнениями Юла – Уокера . У нас p = 2, так что ρ(k) = 0.25 ρ(k–1)– 0.125 ρ(k–2), k > 0 . По определению, ρ(0) = 1. Для ρ(1) имеем ρ(1) = 0.25 ρ(0)– 0.125 ρ(–1) = 0.25– 0.125 ρ(1), откуда находим: ρ(1) = 0.25 / (1 + 0.125) = 2/9 = 0.222. Далее последовательно находим: ρ(2) = 0.25 ρ(1)– 0.125 ρ(0) = 0.25 * 0.222 – 0.125 = – 0.069, ρ(3) = – 0.045, ρ(4) = – 0.003, ρ(5) = 0.005и т.д. Корреляции даже между соседними наблюдениями очень малы, и можно ожидать, что поведение траекторий такого ряда не очень существенно отличается от поведения реализаций процесса белого шума. Теоретическая коррелограмма рассматриваемого процесса и смоделированная реализация этого процесса приведены ниже. -0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 1 2 3 4 5 6 7 8 9 RHO 0 2 4 6 8 10 50 100 150 200 250 300 350 400 450 AR(2) 2.4. Процесс скользящего среднего Еще одной простой моделью порождения временного ряда является процесс скользящего среднего порядка q (MA(q)) . Согласно этой модели, X t = ε t + b 1 ε t–1 + b 2 ε t–2 + … + b q ε t–q , b q ≠ 0 , где ε t – процесс белого шума. Такой процесс имеет нулевое математическое ожидание. Модель можно обобщить до процесса, имеющего ненулевое математическое ожидание µ , полагая X t – µ = ε t + b 1 ε t–1 + b 2 ε t–2 + … + b q ε t–q , т.е. X t = µ + ε t + b 1 ε t–1 + b 2 ε t–2 + … + b q ε t–q Для процесса скользящего среднего порядка q используется обозначение MA(q) (скользящее среднее – moving average ). При q = 0 и µ = 0 получаем процесс белого шума. Если q = 1 , то X t – µ = ε t + bε t–1 – скользящее среднее первого порядка . В последнем случае D(X t ) = (1 + b 2 ) σ ε 2 , E [(X t – µ )(X t–1 – µ )] = b σ ε 2 , E [(X t – µ )(X t–k – µ )] = 0, k > 1, Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 12 так что процесс X t является стационарным с E(X t ) = 0 , D(X t ) = (1 + b 2 ) σ ε 2 , γ (k) = ( ) 1 , 0 , 1 , , 0 , 1 2 2 2 > = = + k k b k b ε ε σ σ Автокорреляции этого процесса равны ρ(k) = , 1 , 0 , 1 , ) 1 ( , 0 , 1 2 > = + = k k b b k т.е. коррелограмма процесса имеет весьма специфический вид. Коррелированными оказываются только соседние наблюдения. Корреляция между ними положительна, если b > 0, и отрицательна при b < 0. Соответственно, процесс MA(1) с b > 0 имеет более гладкие, по сравнению с белым шумом, реализации, а процесс MA(1) с b < 0 имеет менее гладкие, по сравнению с белым шумом, реализации. Заметим, что для любого процесса MA(1) ρ(1) ≤ 0.5 , т.е. корреляционная связь между соседними наблюдениями невелика, тогда как у процесса AR(1) такая связь может быть сколь угодно сильной (при значениях a , близких к 1). Модель MA(q) кратко можно записать в виде X t – µ = b(L) ε t , где b(L) = 1 + b 1 L + … + b q L q Для нее γ (k) = E [(X t – µ )(X t–k – µ )] = > ≤ ≤ + − = ∑ , , 0 , 0 , 2 0 q k q k b b k j k q j j ε σ так что MA(q) является стационарным процессом с нулевым математическим ожиданием, дисперсией σ X 2 = (1 + b 1 2 + … + b q 2 ) σ ε 2 и автокорреляциями ρ k = + + = = ∑ ∑ = + − = , 2 1, , 0 , , 1, , 0 , 0 2 0 K K q q k q k b b b q j j k j k q j j Здесь статистическая связь между наблюдениями сохраняется в течение q единиц времени (т.е. “длительность памяти” процесса равна q). Подобного рода временные ряды соответствуют ситуации, когда некоторый экономический показатель находится в равновесии, но отклоняется от положения Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 13 равновесия в силу последовательно возникающих непредсказуемых событий, причем система такова, что влияние таких событий отмечается на протяжении некоторого периода времени. Если влияние прошлых событий ослабевает с течением времени показательным образом, так что b j = j a , 0 < a < 1, то искусственное предположение о том, что ряд ε t начинается в “бесконечном прошлом”, приводит к модели бесконечного скользящего среднего MA(∞) X t = ∑ ∞ = 0 j j a ε t – j = ∑ ∞ = − 0 j j t j b ε , где 0 ∞ < ∑ ∞ = j j b Ранее мы видели, что такое же представление допускает стационарный процесс авторегрессии первого порядка AR(1) X t = a X t–1 + ε t , a < 1, т.е. в рассматриваемом случае процесс MA(∞) эквивалентен процессу AR(1). Вообще, всякий стационарный процесс AR(p) можно записать в форме процесса MA(∞): X t = µ + ) ( 1 L a ε t = µ + ∑ ∞ = 0 j j b ε t – j = µ + b(L) ε t , где b(L) = ∑ ∞ = 0 j j b L j = ) ( 1 L a и 0 ∞ < ∑ ∞ = j j b Примеры. a) Рассмотрим процесс MA(1) с b = 0.8 и E(X t ) = 6 , т.е. X t = 6 + ε t + 0.8 ε t–1 Для него ρ(1) = 0.8/(1+ 0.8 2 ) = 0.488. b) Для процесса MA(1) с b = – 0.8 и E(X t ) = 6 имеем ρ(1) = – 0.8/(1+0.8 2 ) = – 0.488. Коррелограммы этих двух процессов имеют вид -0.6 -0.4 -0.2 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 7 8 9 b = 0.8 -0.6 -0.4 -0.2 0.0 0.2 0.4 0.6 0.8 1.0 0 1 2 3 4 5 6 7 8 9 b = - 0.8 Смоделированные реализации этих двух процессов с σ ε 2 = 1: Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 14 0 2 4 6 8 10 12 50 100 150 200 250 300 350 400 450 b = 0.8 0 2 4 6 8 10 12 50 100 150 200 250 300 350 400 450 b = - 0.8 c) Для MA(2) процесса X t = 5 + ε t – 0.75ε t–1 + 0.125 ε t–2 имеем: ρ(1) = (b 0 b 1 + b 1 b 2 )/(b 0 2 + b 1 2 + b 2 2 ) = (– 0.75 – 0.75·0.125)/(1 + 0.75 2 + 0.125 2 ) = – 0.535, ρ(2) = 0.125/1.578 = 0.079. Ниже приводятся коррелограмма и смоделированная реализация этого процесса. -0.8 -0.4 0.0 0.4 0.8 1.2 0 1 2 3 4 5 6 7 8 9 rho 0 2 4 6 8 10 50 100 150 200 250 300 350 400 450 MA(2) 2.5. Смешанный процесс авторегрессии – скользящего среднего (процесс авторегрессии с остатками в виде скользящего среднего) Процесс X t с нулевым математическим ожиданием, принадлежащий такому классу процессов, характеризуется порядками p и q его AR и МA составляющих и обозначается как процесс ARMA(p, q) (autoregressive moving average, mixed autoregressive moving average) . Более точно, процесс X t с нулевым математическим ожиданием принадлежит классу ARMA(p, q), если X t = ∑ = p j j a 1 X t – j + ∑ = q j j b 0 ε t – j , a p ≠ 0 , b q ≠0 , где ε t – процесс белого шума и b 0 = 1. В операторной форме последнее соотношение имеет вид a(L) X t = b(L) ε t , где a(L) и b(L) имеют тот же вид, что и в определенных ранее моделях AR(p) и MA(q). Если процесс имеет постоянное математическое ожидание µ , то он является процессом типа ARMA(p, q), если X t – µ = ∑ = p j j a 1 (X t – j – µ ) + ∑ = q j j b 0 ε t – j Отметим следующие свойства процесса ARMA(p, q) с E(X t ) = µ • Процесс стационарен, если все корни уравнения a(z) = 0 лежат вне единичного круга z ≤ 1. Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 15 • Если процесс стационарен, то существует эквивалентный ему процесс MA(∞) X t – µ = ∑ ∞ = 0 j j c ε t – j , c 0 = 1, , 0 ∞ < ∑ ∞ = j j c или X t – µ = c(L) ε t , где c(z) = ) ( ) ( 0 ∑ ∞ = = j j j z a z b z c • Если все корни уравнения b(z) = 0 лежат вне единичного круга z ≤ 1 ( условие обратимости ), то существует эквивалентное представление процесса X t в виде процесса авторегрессии бесконечного порядка AR(∞) X t – µ = ∑ ∞ =1 j j d (X t – j – µ ) + ε t , или d(L)(X t – µ ) = ε t , где d(z) = − 1 ) ( ) ( 1 z b z a z d j j j = ∑ ∞ = Отсюда вытекает, что стационарный процесс ARMA(p, q) всегда можно аппроксимировать процессом скользящего среднего достаточно высокого порядка, а при выполнении условия обратимости его можно также аппроксимировать процессом авторегрессии достаточно высокого порядка. Специфику формы коррелограммы процесса ARMA(p, q) в общем случае указать труднее, чем для моделей AR(p) и MA(q). Отметим только, что для значений k > q коррелограмма процесса a(L) X t = b(L) ε t выглядит так же, как и коррелограмма процесса авторегрессии a(L) X t = ε t . Так, для процесса ARMA(1, 1) ρ(k) = a 1 ρ(k –1) для k = 2, 3, … , как и у процесса X t = a 1 X t–1 + ε t . При этом, однако, ρ(1) ≠ a 1 Предпосылкой для обоснования использования моделей ARMA является следующий факт. Если ARMA(p 1 , q 1 ) ряд X t и ARMA(p 2 , q 2 ) ряд Y t статистически независимы между собой, и Z t = X t + Y t , то типичным является положение, когда Z t является ARMA(p, q) рядом, у которого p = p 1 + p 2 , q = p 1 + q 2 ,если p 1 + q 2 > p 2 + q 1 , q = p 2 + q 1 ,если p 2 + q 1 > p 1 + q 2 Возможны также ситуации, когда значения p и q оказываются меньше указанных значений. (Такие ситуации возникают в случаях, когда многочлены a X (z)и a Y (z) , соответствующие авторегрессионным частям процессов X t и Y t , имеют общие корни.) В частном случае, когда оба ряда имеют тип AR(1), но с различными параметрами, их сумма имеет тип ARMA(2, 1). В экономике многие временные ряды являются агрегированными. Из указанного выше факта вытекает, что если каждая из компонент отвечает простой модели AR, то при независимости этих компонент их сумма будет ARMA процессом. Такого же рода Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 16 процесс мы получим, если часть компонент имеет тип AR, а остальные компоненты имеют тип MA. Единственным исключением является случай, когда все компоненты являются MA процессами – в этом случае в результате получаем MA процесс. Предположим, наконец, что “истинный ” экономический ряд отвечает AR(p) модели, но значения этого ряда измеряются со случайными ошибками, образующими процесс белого шума (т.е. MA(0)). Тогда наблюдаемый ряд имеет тип ARMA(p, p). Замечание Ранее мы уже говорили о том, что если ARMA(p, q) процесс X t удовлетворяет условию обратимости, то его можно представить в виде стационарного процесса AR(∞). Последний, в свою очередь, можно аппроксимировать стационарным процессом AR(p), быть может, достаточно высокого порядка. Таким образом, в практических задачах можно было бы и вовсе обойтись без использования моделей ARMA, ограничиваясь либо AR либо MA моделями. При этом, однако, количество коэффициентов, подлежащих оцениванию, может оказаться слишком большим (что снижает точность оценивания) и даже превосходить количество имеющихся наблюдений. В этом смысле модели ARMA могут быть “более экономными” 2.6. Модели ARMA, учитывающие наличие сезонности Если наблюдаемый временной ряд обладает выраженной сезонностью, то модель ARMA, соответствующая этому ряду, должна содержать составляющие, обеспечивающие проявление сезонности в порождаемой этой моделью последовательности наблюдений. Для квартальных данных чисто сезонными являются стационарные модели сезонной авторегрессии первого порядка (SAR(1)) X t = a 4 X t–4 + ε t , a 4 < 1 и сезонного скользящего среднего первого порядка (SMA(1)) X t = ε t + b 4 ε t–4 В первой модели ρ(k) = a 4 k/4 для k = 4m, m = 0, 1, 2, …, ρ(k) = 0 для остальных k > 0. Во второй модели ρ(0) = 1, ρ(4) = b 4 , ρ(k) = 0 для остальных k > 0. Ниже приведены смоделированные реализации модели SAR(1) с a 4 = 0.8 и модели SMA(1) с b 4 = 0.8. -4 -2 0 2 4 6 10 20 30 40 50 60 70 80 90 100 X_SAR -4 -2 0 2 4 6 10 20 30 40 50 60 70 80 90 100 X_SMA Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 17 Комбинации несезонных и сезонных изменений реализуются, например, в моделях ARMA((1, 4), 1) X t = a 1 X t–1 + a 4 X t–4 + ε t + b 1 ε t–1 и ARMA(1, (1,4)) X t = a 1 X t–1 + ε t + b 1 ε t–1 + b 4 ε t–4 Cледующие два графика показывают поведение смоделированных реализаций таких рядов при a 1 = 2/3, a 4 = – 1/48, b 4 = 1/5 у первого ряда и при a 1 = 0.4, b 1 = 0.3, b 4 = 0.8 у второго ряда. -4 -2 0 2 4 10 20 30 40 50 60 70 80 90 100 ARMA((1, 4), 1) -4 -2 0 2 4 10 20 30 40 50 60 70 80 90 100 ARMA(1, (1,4)) Зметим, что для первой модели уравнение a(z) = 0 принимает вид 1– 2/3z + 1/48 z 4 = 0, т.е. z 4 – 32z + 48 = 0; корни этого уравнения z 1 = 2, z 2 = 2, z 3 = – 2 + i√8, z 4 = – 2 – i√8 лежат вне единичного круга, что обеспечивает стационарность рассматриваемого процесса. Во второй модели a(z) = 0 принимает вид 1 – 0.4 z = 0; корень этого уравнения z = 2.5 > 1, так что и эта модель стационарна. Кроме рассмотренных примеров аддитивных сезонных моделей, употребляются также и мультипликативные спецификации, например, (1– a 1 L)X t = (1+ b 1 L)(1+ b 4 L 4 ) ε t , (1– a 1 L)(1– a 4 L 4 ) X t = (1+ b 1 L) ε t Первая дает X t = a 1 X t–1 + ε t + b 1 ε t–1 + b 4 ε t–4 + b 1 b 4 ε t–5 , а вторая X t = a 1 X t–1 + a 4 X t–4 – a 1 a 4 X t–5 + ε t + b 1 ε t–1 В первой модели допускается взаимодействие составляющих скользящего среднего на лагах 1 и 4 (т.е. значений ε t–1 и ε t–4 ), а во второй – взаимодействие авторегрессионных составляющих на лагах 1 и 4 (т.е. значений X t–1 и X t–4 ). Конечно, эти две модели являются частными случаями аддитивных моделей X t = a 1 X t–1 + ε t + b 1 ε t–1 + b 4 ε t–4 + b 5 ε t–5 , X t = a 1 X t–1 + a 4 X t–4 + a 5 X t–5 + ε t + b 1 ε t–1 c b 5 = b 1 b 4 , a 5 = – a 1 a 4 . При приближенном выполнении последних соотношений (по крайней мере, если гипотезы о наличии таких соотношений не отвергаются), естественно перейти от оценивания аддитивной модели к оцениванию мультипликативной модели, опять следуя принципу “экономности” модели (“parsimony model”) . Впрочем, каких-либо теоретических оснований, ведущих к предпочтению одной формы сезонности перед другой (мультипликативной или аддитивной), не существует. Более подробно с сезонными ARMA моделями можно ознакомиться, например, в книге [Enders (1995)]. Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru www.iet.ru/mipt/2/text/curs_econometrics.htm 18 |