Лекция. Метод наименьших квадратов (мнк) Оценка параметров линейных уравнений регрессии

• Название: Метод наименьших квадратов (мнк) Оценка параметров линейных уравнений регрессии
• Анкор: Лекция
• Дата: 30.06.2021
• Размер: 69 Kb.
• Имя файла: 082_Lektsiya24_MNK.doc
• Тип: Документы; #222536

Метод наименьших квадратов (МНК)

Оценка параметров линейных уравнений регрессии

Процедура построения системы нормальных уравнений и исходное соотношение, используемое в МНК. Для определения параметров функции, используемой в эконометрической модели, разработаны различные методы, наиболее простым и известным из которых является метод наименьших квадратов (МНК). Рассмотрим суть этого метода на примере парной линейной регрессии.

Применение МНК к парной линейной регрессии. Итак, необходимо определить параметры а и b для функции
y = f(x) = ax + b. Пусть значения показателей y и x измерялись n раз, т.е. имеются значения показателей y₁, y₂, …, y_n и x₁, x₂, …, x_n, всего n пар значений обоих показателей. Определим сумму квадратов отклонений фактических значений признака-результата y_i от значений, подсчитанных по уравнению регрессии f(x_i):



Чтобы построенная модель была как можно ближе к реальности, эта сумма должна быть как можно меньше. Отметим, что полученная сумма представляет собой функцию от двух переменных а и b, и чтобы найти ее минимум, приравняем к нулю ее частные производные по а и по b:







Итак, получено два линейных уравнения с двумя неизвестными – а и b (система линейна относительно параметров регрессии). Такую систему называют системой нормальных уравнений. Решив ее, можно определить искомые параметры.
Применение МНК к множественной линейной регрессии. Если необходимо определить параметры множественной линейной регрессии, т.е. параметры функции y = f(x₁, x₂, …, x_m) = a₁x₁ + a₂x₂ + … +a_mx_m +
+ b, имея в запасе n наблюдений для каждого признака-фактора и для признака результата, то можно аналогичным образом получить систему нормальных уравнений, состоящую из (m + 1) линейного уравнения для
(m + 1) неизвестной a₁, a₂, …, a_m, b:



где ,

- i-ые значения наблюдаемых показателей (для каждого показателя их n).
Отметим, что систему уравнений для нахождения стандартизованных коэффициентов регрессии, которую мы рассматривали на лекции 31, также получают путем применения МНК к стандартизированному уравнению регрессии и преобразования полученных выражений.
Методы решения системы нормальных уравнений. Решение построенной системы может быть осуществлено различными способами:

1) методом Гаусса, который заключается в том, что матрицу коэффициентов в уравнениях поэтапно преобразуют в единичную матрицу путем линейных преобразований этих уравнений (разрешающее уравнение делят на разрешающий элемент, получая на его месте единицу, а из всех остальных уравнений вычитают преобразованное разрешающее, умноженное на те коэффициенты, которые стоят в этих уравнениях в разрешающем столбце, с целью получить на их месте нули);

2) методом Крамера, который заключается в том, что рассчитывают определитель матрицы коэффициентов в уравнениях, а затем рассчитывают частные определители, поочередно заменяя один из столбцов в этой матрице столбцом свободных членов; значения переменных равны отношениям соответствующих частных определителей к определителю первой матрицы;

3) методом обратной матрицы и т.д.

Матричная форма МНК

Рассмотрим систему нормальных уравнений МНК, используя обозначения матричной алгебры. А именно, введем следующие обозначения:


где m – число признаков-факторов,

n - число наблюдений.

Каждая строка матрицы соответствует одному из наблюдений, а каждый столбец, кроме первого, - одному из факторов.

Если транспонировать матрицу X размерности n x (m + 1), в полученной матрице X^Т размерности (m + 1) x n каждый столбец будет соответствовать одному из факторов, а строки - наблюдениям. Перемножив полученную матрицу X^Т на X, получим симметричную матрицу размерности (m + 1) x (m + 1):



Тогда система уравнений примет вид X^ТXА = X^ТY. Умножим слева обе части этого выражения на матрицу (X^ТX)^-1, получим:
(X^ТX)^-1X^ТXА = (X^ТX)^-1X^ТY. Поскольку (X^ТX)^-1X^ТX = I (где I - единичная матрица), формула для нахождения вектора параметров А примет вид:

А = (X^ТX)^-1X^ТY
Контрольные вопросы
1. Пусть yi – фактические значения, - расчетные значения, , тогда система нормальных уравнений получается из условия …

2. Для нахождения параметров линейной регрессии минимизируют сумму квадратов отклонений фактических значений результата от подсчитанных по уравнению регрессии. Метод, в основе которого лежит эта идея, - метод … (напишите два слова в родительном падеже)
3. В рамках метода наименьших квадратов (МНК) система нормальных уравнений - это система, решением которой являются оценки ...
4. Формулы для решения системы нормальных уравнений, по которым частные определители делят на определитель системы, - формулы… (напишите фамилию ученого в родительном падеже)

5. В модель множественной регрессии включено семь факторов. Сколько уравнений будет в системе нормальных уравнений?
6. Для нахождения параметров линейной регрессии минимизируют сумму квадратов отклонений фактических значений результата от подсчитанных по уравнению регрессии. Метод, в основе которого лежит эта идея, - метод … (напишите два слова в родительном падеже)

7. В модель множественной регрессии включено три фактора. Сколько уравнений будет в системе нормальных уравнений?
8. В модель множественной регрессии включено семь факторов. Сколько неизвестных будет в системе нормальных уравнений?

9. В модель множественной регрессии включено три фактора. Сколько неизвестных будет в системе нормальных уравнений?
10. В основе идеи МНК лежит … суммы квадратов отклонений фактических значений результата от теоретических.