Выбор формы уравнения регрессии
 Скачать 8.7 Mb.
|
|
15. Отбор факторов при построении множественной регрессии Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи. Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми. Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором  факторов, то для нее рассчитывается показатель детерминации  , который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как  с соответствующей остаточной дисперсией  .При дополнительном включении в регрессию  фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться: и  .Если же этого не происходит и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор  не улучшает модель и практически является лишним фактором.Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента. Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии. Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если  . Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.Пусть, например, при изучении зависимости  матрица парных коэффициентов корреляции оказалась следующей:Таблица 2.1
Очевидно, что факторы  и  дублируют друг друга. В анализ целесообразно включить фактор , а не , хотя корреляция с результатом  слабее, чем корреляция фактора с  , но зато значительно слабее межфакторная корреляция  . Поэтому в данном случае в уравнение множественной регрессии включаются факторы ,  .По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности. Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий: Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл. Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования. Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами. Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы   были бы равны нулю. Так, для уравнения, включающего три объясняющих переменных  матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:  .Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:  .Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов. Существует ряд подходов преодоления сильной межфакторной корреляции. Самый простой путь устранения мультиколлинеарности состоит в исключении из модели одного или нескольких факторов. Другой подход связан с преобразованием факторов, при котором уменьшается корреляция между ними. Одним из путей учета внутренней корреляции факторов является переход к совмещенным уравнениям регрессии, т.е. к уравнениям, которые отражают не только влияние факторов, но и их взаимодействие. Так, если  , то возможно построение следующего совмещенного уравнения: .Рассматриваемое уравнение включает взаимодействие первого порядка (взаимодействие двух факторов). Возможно включение в модель и взаимодействий более высокого порядка, если будет доказана их статистическая значимость по  -критерию Фишера, но, как правило, взаимодействия третьего и более высоких порядков оказываются статистически незначимыми.Отбор факторов, включаемых в регрессию, является одним из важнейших этапов практического использования методов регрессии. Подходы к отбору факторов на основе показателей корреляции могут быть разные. Они приводят построение уравнения множественной регрессии соответственно к разным методикам. В зависимости от того, какая методика построения уравнения регрессии принята, меняется алгоритм ее решения на ЭВМ. Наиболее широкое применение получили следующие методы построения уравнения множественной регрессии: Метод исключения – отсев факторов из полного его набора. Метод включения – дополнительное введение фактора. Шаговый регрессионный анализ – исключение ранее введенного фактора. При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.16. Мультиколлениарность При изучении множественной линейной регрессии часто сталкиваются с наличием линейной связи между всеми или некоторыми объясняющими переменными. Это явление называется мультиколлинеарностью. На наш взгляд, впервые на проблему мультиколлинеарности обратил внимание Р. Фриш. Мультиколлинеарность между объясняющими переменными вызывает технические трудности, связанные с уменьшением точности оценивания или даже с невозможностью оценки влияния тех или иных переменных. Причина заключается в том, что вариации в исходных данных перестают быть независимыми и поэтому невозможно выделить воздействие каждой объясняющей переменной в отдельности на зависимую переменную. Продемонстрируем это на простом примере. Пусть исследуется зависимость себестоимости от объема производства и введенных в действие основных фондов. Следует ожидать, что объем производства зависит также от основных фондов. Если мы обе переменные выберем в качестве объясняющих, то, очевидно, коэффициенты регрессии не будут точно отражать зависимость себестоимости от обоих факторов, так как основные фонды оказывают дополнительное влияние на себестоимость через объем производства. Каковы последствия мультиколлинеарности в регрессионном и корреляционном анализе? Прежде чем ответить на этот вопрос, рассмотрим формы ее возникновения. Мультиколлинеарность может проявляться в функциональной (явной) и стохастической (скрытой) форме. Функциональная форма мультиколлинеарности возникает, когда по крайней мере одна из объясняющих переменных связана с другими объясняющими переменными линейным функциональным соотношением. Линейный коэффициент корреляции между этими двумя переменными в таком случае равен + 1 или -1. Пусть следует построить уравнение регрессии в виде  . При этом известно, что переменные х2 и х1 связаны линейным соотношением  . В этом случае можно показать, что определитель матрицы (X' X) равен нулю, т.е. ранг матрицы X меньше т+1, и матрица (Х'Х) вырожденная. Это приводит к нарушению предпосылки и к тому, что система нормальных уравнений не имеет однозначного решения, если по крайней мере одна из объясняющих переменных может быть представлена в виде линейной комбинации остальных.Однако на практике функциональная форма мультиколлинеарности встречается довольно редко. Значительно чаще мультиколлинеарность проявляется в стохастической форме. Она имеет место, когда по крайней мере между двумя объясняющими переменными существует более или менее сильная корреляция. Система нормальных уравнений тогда хотя и имеет решение (так как определитель матрицы Х'Х отличен от нуля и матрица Х'Х невырожденная), но обнаруживаются необычайно большие стандартные ошибки. Под стохастической формой мультиколлинеарности может скрываться функциональная из-за накладывающихся на нее ошибок наблюдения, измерения или спецификации модели, когда нелинейная регрессия рассматривается как линейная или учитываются не все переменные. Чем сильнее корреляция между объясняющими переменными, тем меньше определитель матрицы Х'Х. Это приводит к серьезному понижению точности оценки параметров регрессии, искажению оценок дисперсии остатков, дисперсии коэффициентов регрессии и ковариации между ними. В этом случае говорят, что стандартная ошибка «взрывается». Следствием падения точности является ненадежность коэффициентов регрессии и отчасти неприемлемость их использования для интерпретации как меры воздействия соответствующей объясняющей переменной на зависимую переменную. Оценки коэффициентов становятся очень чувствительны к выборочным наблюдениям. Небольшое увеличение объема выборки может привести к очень сильным сдвигам в значениях оценок. Кроме того, стандартные ошибки входят в формулы критериев значимости. Поэтому применение самих критериев становится также ненадежным. Из сказанного ясно, что исследователь должен пытаться установить стохастическую мультиколлинеарность и по возможности устранить ее. Причина возникновения мультиколлинеарности в экономических явлениях — многообразие объективно существующих соотношений между объясняющими переменными. Это касается регрессии, построенной как на результатах одновременных обследований, так и по данным, полученным из временных рядов. В общем случае во временных рядах имеют дело с трендом, который, во-первых, не требует обязательной для регрессии независимости отдельных наблюдений, а во-вторых, в определенной степени автоматически приводит к регрессии с другими объясняющими переменными, если они обладают такой же тенденцией. Кроме того, следует отметить, что для тех переменных, которые находятся в объективной связи, ошибка прогноза при мультиколлинеарности объясняющих переменных в общем относительно мала, если на время упреждения не изменяются все прочие условия. Теперь перейдем к вопросам установления функциональной и стохастической мультиколлинеарности. Функциональную мультиколлинеарность установить легко, так как получающаяся система нормальных уравнений не имеет однозначного решения. Стохастическую форму мультиколлинеарности мы можем обнаружить с помощью следующих показателей. Для измерения стохастической мультиколлинеарности можно использовать коэффициент множественной детерминации. В разделе 4.6 мы показали, что при отсутствии корреляции между объясняющими переменными, т. е. при отсутствии мультиколлинеарности, коэффициент множественной детерминации равен сумме соответствующих коэффициентов парной детерминации:  (1.1)где у — зависимая переменная, a xk — объясняющая, k = 1, .., т. При наличии мультиколлинеарности соотношение (9.1) не соблюдается. Поэтому в качестве меры мультиколлинеарности можно предложить разность M1:  (1.2) Чем меньше эта разность, тем меньше мультиколлинеарность. Другой показатель разработан А. Е. Хорлом *, он основан на использовании для измерения мультиколлинеарности числителя формулы коэффициента множественной детерминации. В предположении множественной регрессии числитель коэффициента детерминации можно представить следующим образом: является числителем формулы коэффициента парной корреляции между переменными Xj и хк. При отсутствии коллинеарности между этими переменными он равен нулю. Поэтому в качестве общего показателя мультиколлинеарности можно использовать разность М2:  (1.5)Если значение M2 мало, то считаем, что мультиколлинеарность тоже незначительна. В качестве показателя мультиколлинеарности можно также воспользоваться выражением (9.2), разделив его на Ву.12...m:  (1.6)Чем больше M3, тем интенсивнее мультиколлинеарность. Известен также показатель мультиколлинеарности, являющийся производным от (1.5). Разделив правую и левую части выражения (1.5) на  , получим (1.7)Величина М4 заключена в границах  . Чем больше M4 приближается к 1, тем сильнее мультиколлинеарность. Показатели M1, М2, М3 и М4 являются весьма приближенными. Их недостаток заключается в том, что неизвестны их распределения и поэтому нельзя установить их критические значения. Кроме того, с помощью этих показателей нельзя определить, какие из переменных «ответственны» за мультиколлинеарность. Теперь рассмотрим методы исключения или уменьшения мультиколлинеарности. Часто довольно трудно решить, какие из набора линейно связанных объясняющих переменных исключить, а какие наиболее полно раскрывают природу и физическую сущность явления и поэтому должны быть учтены в корреляционном и регрессионном анализе. В области экономики эти вопросы должны решаться прежде всего исходя из логически-профессиональных соображений. Итак, разработаны следующие методы уменьшения мультиколлинеарности:а) Исключение переменных б) Линейное преобразование переменных в) Исключение тренда г) Использование предварительной информации д) Пошаговая регрессия е) Метод главных компонент |