Контрольная работа по статистике. Анализ. 1. Оценка уравнения регрессии

• Название: 1. Оценка уравнения регрессии
• Анкор: Контрольная работа по статистике
• Дата: 18.02.2023
• Размер: 25.37 Kb.
• Имя файла: Анализ.docx
• Тип: Документы; #943477

1. Оценка уравнения регрессии.

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения: s = (X^TX)^-1X^TY

К матрице с переменными X_j добавляем единичный столбец:

1	35	61
1	38	60
1	40	63
1	42	40
1	45	71
1	51	75
1	55	93
1	75	50
1	82	63
1	87	94

Матрица Y

35
36
40
40
42
45
46
50
55
70

Матрица X^T

1	1	1	1	1	1	1	1	1	1
35	38	40	42	45	51	55	75	82	87
61	60	63	40	71	75	93	50	63	94

Умножаем матрицы, (X^TX)
В матрице, (X^TX) число 10, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X

Умножаем матрицы, (X^TY)
Находим обратную матрицу (X^TX)^-1

=

Вектор оценок коэффициентов регрессии равен

= =

Уравнение регрессии (оценка уравнения регрессии)

Y = 10.7099 + 0.4617X₁ + 0.1462X₂

Интерпретация коэффициентов регрессии. Константа оценивает агрегированное влияние прочих (кроме учтенных в модели х_i) факторов на результат Y и означает, что Y при отсутствии x_i составила бы 10.7099. Коэффициент b₁ указывает, что с увеличением x₁ на 1, Y увеличивается на 0.4617. Коэффициент b₂ указывает, что с увеличением x₂ на 1, Y увеличивается на 0.1462.

2. Матрица парных коэффициентов корреляции R.

Число наблюдений n = 10. Число независимых переменных в модели равно 2, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 4. Матрица, независимых переменных Х имеет размерность (10 х 4).

Матрица A, составленная из Y и X

1	35	35	61
1	36	38	60
1	40	40	63
1	40	42	40
1	42	45	71
1	45	51	75
1	46	55	93
1	50	75	50
1	55	82	63
1	70	87	94

Транспонированная матрица.

1	1	1	1	1	1	1	1	1	1
35	36	40	40	42	45	46	50	55	70
35	38	40	42	45	51	55	75	82	87
61	60	63	40	71	75	93	50	63	94

Матрица X^TX.

10	459	550	670
459	22051	26938	31595
550	26938	33602	37844
670	31595	37844	47510

Полученная матрица имеет следующее соответствие:

∑n	∑y	∑x1	∑x2
∑y	∑y2	∑x1 y	∑x2 y
∑x1	∑yx1	∑x1 2	∑x2 x1
∑x2	∑yx2	∑x1 x2	∑x2 2

Найдем парные коэффициенты корреляции.

Значения парного коэффициента корреляции свидетельствует о весьма сильной линейной связи между x₁ и y.
Значения парного коэффициента корреляции свидетельствует о умеренной линейной связи между x₂ и y.
Значения парного коэффициента корреляции свидетельствует о не сильной линейной связи между x₂ и x₁.

Признаки x и y	∑xi		∑yi		∑xi*yi
Для y и x1	550	55	459	45.9	26938	2693.8
Для y и x2	670	67	459	45.9	31595	3159.5
Для x1 и x2	670	67	550	55	37844	3784.4

Дисперсии и среднеквадратические отклонения.

Признаки x и y
Для y и x1	335.2	98.29	18.308	9.914
Для y и x2	262	98.29	16.186	9.914
Для x1 и x2	262	335.2	16.186	18.308

Матрица парных коэффициентов корреляции R:

-	y	x1	x2
y	1	0.9327	0.5247
x1	0.9327	1	0.3354
x2	0.5247	0.3354	1

Частные коэффициенты корреляции.

Коэффициент частной корреляции отличается от простого коэффициента линейной парной корреляции тем, что он измеряет парную корреляцию соответствующих признаков (y и x_i) при условии, что влияние на них остальных факторов (x_j) устранено.

На основании частных коэффициентов можно сделать вывод об обоснованности включения переменных в регрессионную модель. Если значение коэффициента мало или он незначим, то это означает, что связь между данным фактором и результативной переменной либо очень слаба, либо вовсе отсутствует, поэтому фактор можно исключить из модели.

Частные коэффициенты корреляции вычисляются по формуле:
где R_ij - алгебраическое дополнение элемента r_ij матрицы R.

=
Теснота связи весьма сильная.

=
Теснота связи умеренная.

=
Теснота связи умеренная.

При сравнении коэффициентов парной и частной корреляции видно, что из-за влияния межфакторной зависимости между x_i происходит завышение оценки тесноты связи между переменными.

Анализ мультиколлинеарности.

1. Анализ мультиколлинеарности на основе матрицы коэффициентов корреляции.

Если в матрице есть межфакторный коэффициент корреляции r_xjxi>0.7, то в данной модели множественной регрессии существует мультиколлинеарность.

В нашем случае все парные коэффициенты корреляции |r|<0.7, что говорит об отсутствии мультиколлинеарности факторов.

2. Ридж-регрессия.

Наиболее детальным показателем наличия проблем, связанных с мультиколлинеарностью, является коэффициент увеличения дисперсии, определяемый для каждой переменной как:
где R_j² коэффициент множественной детерминации в регрессии X_j на прочие X.

О мультиколлинеарности будет свидетельствовать VIF от 4 и выше хотя бы для одного j.
По данному критерию мультиколлинеарность отсутствует.

3. Критерием плохой обсуловленности является высокая величина отношения λ_max/λ_min максимального и минимального собственных чисел матрицы X^TX — называемого показателем обусловленности. Это соотношение также позволяет судить о степени серьезности проблем мультиколлинеарности: показатель обусловленности в пределах от 10 до 100 свидетельствует об умеренной коллинеарности, свыше 1000 — об очень серьезной коллинеарности.

Модель регрессии в стандартном масштабе.

Модель регрессии в стандартном масштабе предполагает, что все значения исследуемых признаков переводятся в стандарты (стандартизованные значения) по формулам:
где х_ji - значение переменной х_ji в i-ом наблюдении.
Таким образом, начало отсчета каждой стандартизованной переменной совмещается с ее средним значением, а в качестве единицы изменения принимается ее среднее квадратическое отклонение S.

Если связь между переменными в естественном масштабе линейная, то изменение начала отсчета и единицы измерения этого свойства не нарушат, так что и стандартизованные переменные будут связаны линейным соотношением:

t_y = ∑β_jt_xj

Для оценки β-коэффициентов применим МНК. При этом система нормальных уравнений будет иметь вид:

r_x1y=β₁+r_x1x2•β₂ + ... + r_x1xm•β_m

r_x2y=r_x2x1•β₁ + β₂ + ... + r_x2xm•β_m

...

r_xmy=r_xmx1•β₁ + r_xmx2•β₂ + ... + β_m

Для наших данных (берем из матрицы парных коэффициентов корреляции):

0.933 = β₁ + 0.335β₂

0.525 = 0.335β₁ + β₂

Данную систему линейных уравнений решаем методом Гаусса: β₁ = 0.853; β₂ = 0.239;

Искомое уравнение в стандартизованном масштабе: t_y=β₁t_x1+β₂t_x2

Расчет β-коэффициентов можно выполнить и по формулам:

=

=

Стандартизированная форма уравнения регрессии имеет вид:

t_y = 0.853x₁ + 0.239x₂

Найденные из данной системы β–коэффициенты позволяют определить значения коэффициентов в регрессии в естественном масштабе по формулам:

3. Анализ параметров уравнения регрессии.

Перейдем к статистическому анализу полученного уравнения регрессии: проверке значимости уравнения и его коэффициентов, исследованию абсолютных и относительных ошибок аппроксимации

Для несмещенной оценки дисперсии проделаем следующие вычисления:

Несмещенная ошибка ε = Y - Y(x) = Y - X*s (абсолютная ошибка аппроксимации)

Y	Y(x)	ε = Y - Y(x)	ε2	(Y-Yср)2	|ε : Y|
35	35.788	-0.788	0.622	118.81	0.0225
36	37.027	-1.027	1.056	98.01	0.0285
40	38.389	1.611	2.594	34.81	0.0403
40	35.95	4.05	16.401	34.81	0.101
42	41.868	0.132	0.0175	15.21	0.00315
45	45.223	-0.223	0.0496	0.81	0.00495
46	49.701	-3.701	13.7	0.01	0.0805
50	52.649	-2.649	7.016	16.81	0.053
55	57.782	-2.782	7.737	82.81	0.0506
70	64.622	5.378	28.918	580.81	0.0768
			78.111	982.9	0.462

Средняя ошибка аппроксимации
Оценка дисперсии равна:

s_e²=(Y-Y(X))^T(Y-Y(X))=78.111

Несмещенная оценка дисперсии равна:
Оценка среднеквадратичного отклонения (стандартная ошибка для оценки Y):
Найдем оценку ковариационной матрицы вектора k = S² • (X^TX)^-1

= =

Дисперсии параметров модели определяются соотношением S²_i = K_ii, т.е. это элементы, лежащие на главной диагонали


Множественный коэффициент корреляции (Индекс множественной корреляции).

=

Коэффициент множественной корреляции можно определить через матрицу парных коэффициентов корреляции:
где Δ_r - определитель матрицы парных коэффициентов корреляции; Δ_r11 - определитель матрицы межфакторной корреляции.

Коэффициент множественной корреляции
Аналогичный результат получим при использовании других формул:

Связь между признаком Y и факторами X_i весьма сильная.

Коэффициент детерминации.

R²= 0.9594² = 0.9205

Более объективной оценкой является скорректированный коэффициент детерминации:

Чем ближе этот коэффициент к единице, тем больше уравнение регрессии объясняет поведение Y.

Добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.

Выводы.

В результате расчетов было получено уравнение множественной регрессии: Y = 10.7099 + 0.4617X₁ + 0.1462X₂. Возможна экономическая интерпретация параметров модели: увеличение X₁ на 1 ед.изм. приводит к увеличению Y в среднем на 0.462 ед.изм.; увеличение X₂ на 1 ед.изм. приводит к увеличению Y в среднем на 0.146 ед.изм.