Лекции по теории вероятности. Лекции Тер. Вер.. Лекция 1 Случайные события

• Название: Лекция 1 Случайные события
• Анкор: Лекции по теории вероятности
• Дата: 13.04.2022
• Размер: 1.66 Mb.
• Имя файла: Лекции Тер. Вер..pdf
• Тип: Лекция; #470380
• страница: 17 из 21

x
n
),
b
a = x −
√
3 b
σ(x
n
).
Окончательно имеем bb(
X
n
) = X +
√
3 b
σ(
X
n
),
b
a(
X
n
) = X −
√
3 b
σ(
X
n
).
Метод максимального правдоподобия
Одним из наиболее универсальных методов оценивания параметров является метод максималь-
ного правдоподобия (предложенный Р. Фишером), суть которого состоит в следующем.
Рассмотрим функцию правдоподобия случайной выборки
X
n
из генеральной совокупности X,
плотность распределения p
¡
x; θ
¢
которой известна с точностью до параметра θ ∈ Θ:
L(X
1
, . . . , X
n
, θ) =
n
Y
i=1
p
¡
X
i
; θ
¢
.
70

По определению, оценкой максимального правдоподобия параметра θ называют статистику b
θ(
X
n
), значения b
θ которой для любой выборки x
n
удовлетворяют условию
L(x
n
;
b
θ) = max

θ∈Θ
L(x
n
; θ),
(15.2)
т.е. для выборки функция правдоподобия, как функция аргумента θ, достигает максимума.
Если функция L(x
n
;
b
θ) дифференцируема как функция аргумента θ при любом значении x
n
из множества X
n
значений случайной выборки
X
n
и максимум L
¡
x
n
; θ
¢
достигается во внутрен- ней точке из Θ, то значение точечной оценки максимального правдоподобия в случае скалярного параметра удовлетворяет уравнению (необходимому условию экстремума)
∂L
¡
x
n
; θ
¢
∂θ
= 0,
или
∂ ln L
¡
x
n
; θ
¢
∂θ
= 0,
(15.3)
так как при логарифмировании точки экстремума остаются теми же, а уравнение, как правило,
упрощается.
Если распределение случайной величины X зависит от вектора параметров θ = (θ
1
; . . . ; θ
r
), то второе из уравнений (15.3) заменяется системой уравнений
∂ ln L
¡
x
n
; θ
¢
∂θ
k
= 0,
k = 1, r.
(15.4)
Уравнения (15.3) и (15.4) называют уравнениями правдоподобия. Для наиболее важных се- мейств распределений p
¡
x; θ
¢
уравнение правдоподобия имеет единственное решение bθ = bθ
1
; . . . ; b
θ
r
Во многих случаях решение системы (15.4), являющейся, как правило, нелинейной, приходится искать численными методами.
Пример 15.3 Пусть
X
n
— случайная выборка из N (θ
1
, θ
2 2
). Методом максимального правдоподо- бия найдем оценку вектора параметров θ = (θ
1
; θ
2
).
В этом случае функция правдоподобия
L
¡

X
n
; θ
1
, θ
2
¢
=
1
¡
θ
2
√
2π
¢
n
exp
³
−
1 2θ
2 2
n
X
i=1
(X
i
− θ
1
)
2
´
и, как следствие,
ln L
¡
x
n
; θ
1
, θ
2
¢
= −n ln
√
2π − n ln θ
2
−
1 2θ
2 2
n
X
i=1
(x
i
− θ
1
)
2
.
Поскольку число неизвестных параметров r = 2, система уравнений правдоподобия (15.4) будет состоять из двух уравнений:









∂
∂θ
1
ln L =
1
θ
2 2
n
X
i=1
(x
i
− θ
1
) = 0,
∂
∂θ
2
ln L = −
n
θ
2
+
1
θ
3 2
n
X
i=1
(x
i
− θ
1
)
2
= 0.
Решая систему, получаем b
θ
1
=
1
n
n
X
i=1
x
i
,
b
θ
2 2
=
1
n
n
X
i=1
(x
i
− x)
2
.
Следовательно, оценками максимального правдоподобия для математического ожидания MX = θ
1
и дисперсии DX = θ
2 2
случайной величины, распределенной по нормальному закону, являются со- ответственно выборочное среднее
X =
1
n
n
X
i=1
X
i
и выборочная дисперсия
b
σ
2
(
X
n
) =
1
n
n
X
i=1
(X
i
− X)
2
. #
71

Лекция 16
Интервальные оценки и доверительные интервалы
Некоторые важные распределения
Обозначим Γ(p) — гамма-функцию, определяемую формулой
Γ(p) =
∞
Z
0
t
p−1
e
−t
dt,
а B(x, y) — бета-функцию, определяемую формулой
B(p, q) =
Γ(p)Γ(q)
Γ(p + q)
=
1
Z
0
u
p−1
(1 − u)
q−1
du.
Определение 16.1 Случайную величину с плотностью
p(x) =



1 2
m/2
Γ(m/2)
x
m/2−1
e
−x/2
, x > 0,
0,
x 6 0,
называют случайной величиной, имеющей распределение
χ
2
(хи-квадрат) или χ
2
-
распределение с m степенями свободы.
Определение 16.2 Случайную величину с плотностью
p(x) =
1
√
πm
Γ((m + 1)/2)
Γ(m/2)
1
(1 + x
2
/m)
m/2
,
−∞ < x < ∞,
называют случайной величиной, имеющей распределение Стьюдента с n степенями свободы.
При n → ∞ плотность распределения Стьюдента стремится к плотности стандартного нормаль- ного распределения N (0, 1). Для квантилей t
p
(m) распределения Стьюдента уровня p с m степенью свободы справедливо соотношение
t
p
(m) = −t
1−p
(m),
которое следует из четности плотности распределения Стьюдента.
Определение 16.3 Случайную величину с плотностью
p(x) =













³
n
m
´
n/2
B
³
n
2
,
m
2
´
x
n
2
−1
³
1 +
nx
m
´
n+m
2
, x > 0;
0,
x < 0,
назовем случайной величиной, имеющей распределение Фишера (F -распределение, распределе- ние Снедекора) с числом степеней свободы n и m.
72

Для квантилей F
p
(n, m) распределения Фишера уровня p с n и m степенями свободы имеет место соотношение
F
p
(n, m) =
1
F
1−p
(m, n)
.
Справедливы следующие теоремы.
Теорема 16.1 Пусть (X
1
, . . . , X
n
) — выборка из распределения N (µ, σ
2
). Тогда выборочное среднее
X =
1
n
n
P
i=1
X
i
и исправленная выборочная дисперсия S
2
(
X
n
) =
1
n − 1
n
P
i=1
(X
i
− X)
2
независимы; при
этом случайная величина
√
n(X − µ)
σ
имеет стандартное нормальное распределение, случайная
величина
√
n(X − µ)
S(
X
n
)
— распределение Стьюдента с n − 1 степенью свободы, а случайная величина
(n − 1)S
2
(
X
n
)
σ
2
— χ
2
-распределение с n − 1 степенью свободы.
Теорема 16.2 Пусть X = (X
1
, . . . , X
n
) и Y = (Y
1
, . . . , Y
m
) — две независимые выборки из распреде-
лений N (µ
1
, σ
2 1
) и N (µ
2
, σ
2 2
) соответственно,
X =
1
n
n
X
i=1
X
i
,
S
2
(
X
n
) =
1
n − 1
n
X
i=1
(X
i
− X)
2
,
Y =
1
m
m
X
i=1
Y
i
,
S
2
(
Y
n
) =
1
m − 1
m
X
i=1
(Y
i
− Y )
2
.
Тогда случайная величина
S
2
(
X
n
)
S
2
(
Y
n
)
имеет распределение Фишера с числом степеней свободы n − 1
и m − 1.
Понятия интервальной оценки и доверительного интервала
При оценивании неизвестных параметров наряду с рассмотренными выше точечными оценками
используются также интервальные оценки. В отличие от точечной оценки интервальная оценка позволяет получить вероятностную характеристику точности оценивания неизвестного параметра.
Пусть
X
n
— случайная выборка объема n из генеральной совокупности X с функцией распре- деления F
¡
x; θ
¢
, зависящей от параметра θ, значение которого неизвестно. Предположим, что для параметра θ построен интервал
¡
θ(
X
n
), θ(
X
n
)
¢
, где θ(
X
n
) и θ(
X
n
) являются функциями случайной выборки
X
n
, такими, что выполняется равенство
P
n
θ(
X
n
) < θ < θ(
X
n
)
o
= γ.
(16.1)
В этом случае интервал
¡
θ(
X
n
), θ(
X
n
)
¢
называют интервальной оценкой для параметра θ с
коэффициентом доверия γ (или, сокращенно, γ-доверительной интервальной оценкой), а
θ(
X
n
) и θ(
X
n
) соответственно нижней и верхней границами интервальной оценки.
Интервальная оценка
¡
θ(
X
n
), θ(
X
n
)
¢
представляет собой интервал со случайными границами,
который с заданной вероятностью γ накрывает неизвестное истинное значение параметра θ. Таким образом, для различных реализаций случайной выборки
X
n
, т.е. для различных элементов выбороч-
ного пространства X
n
, статистики θ(
X
n
) и θ(
X
n
) могут принимать различные значения. Более того, согласно (16.1), существует подмножество K ⊂ X
n
, такое, что если x
n
∈ K, то θ /
∈
¡
θ(x
n
), θ(x
n
)
¢
Вероятностной характеристикой точности оценивания параметра θ является случайная величина
l(
X
n
) = θ(
X
n
) − θ(
X
n
),
которая для любой реализации x
n
случайной выборки
X
n
есть длина интервала
¡
θ(x
n
), θ(x
n
)
¢
Интервал
¡
θ(x
n
), θ(x
n
)
¢
называют доверительным интервалом для параметра θ с коэффи- циентом доверия γ или γ-доверительным интервалом.
Наряду с термином “коэффициент доверия” широко используют также термины доверитель-
ная вероятность и уровень доверия. При этом коэффициент доверия γ чаще всего выбирают равным 0,9, 0,95 или 0,99, т.е. близким к 1.
В некоторых ситуациях (например, при рассмотрении дискретных случайных величин) вместо равенства (16.1) удается обеспечить лишь неравенство
P
©
θ(
X
n
) < θ < θ(
X
n
)
ª
> γ,
т.е. построить интервальную оценку для параметра θ с коэффициентом доверия, не меньшим γ.
73

Примеры построения интервальных оценок для параметров нормальной случайной величины
Доверительная оценка для математического ожидания при известной дис- персии
Пусть
X
n
= (X
1
, . . . , X
n
) — случайная выборка объема n из генеральной совокупности X, распреде- ленной по нормальному закону с параметрами µ и σ
2
, σ
2
известна.
В данном случае статистика
X − µ
σ
√
n
имеет стандартное нормальное распределение N (0, 1). Поэтому
P
½
−u
1−α
<
X − µ
σ
√
n < u
1−α
¾
= 1 − 2α,
где u
1−α
— квантиль уровня 1 − α стандартного нормального распределения. Умножая все части двойного неравенства на −
σ
√
n
, а затем прибавляя X, получим
P
½
X −
σ
√
n
u
1−α
< µ < X +
σ
√
n
u
1−α
¾
= 1 − 2α,
т.е. случайный интервал
³
X −
σ
√
n
u
1−α
, X +
σ
√
n
u
1−α
´
накрывает неизвестное математическое ожи- дание µ с необходимой доверительной вероятностью 1 − 2α.
Доверительная оценка для математического ожидания при неизвестной дисперсии
При неизвестной дисперсии σ
2
статистика
X − µ
S(
X
n
)
√
n
имеет распределение Стьюдента с n − 1 степенями свободы. Поэтому
P
(
t
α
(n − 1) <
X − µ
S(
X
n
)
√
n < t
1−α
(n − 1)
)
= 1 − 2α,
где t
q
(n − 1) — квантиль уровня q распределения Стьюдента с n − 1 степенями свободы. Поскольку плотность распределения Стьюдента — четная функция, то t
q
(n − 1) = −t
1−q
(n − 1). Умножая все части двойного неравенства на −
S(
X
n
)
√
n
, а затем прибавляя X, заключаем, что нижняя и верхняя границы интервальной оценки с коэффициентом доверия γ = 1 − 2α для параметра µ в случае с неизвестной дисперсией можно определить по формулам
µ(
X
n
) = X −
S(
X
n
)
√
n
t
1−α
(n − 1),
µ(
X
n
) = X +
S(
X
n
)
√
n
t
1−α
(n − 1).
Доверительная оценка для разности математических ожиданий нормаль- ных случайных величин с известными дисперсиями
Пусть
X
n
= (X
1
, . . . , X
n
) и
Y
n
= (Y
1
, . . . , Y
m
) — две независимые выборки из распределений N (µ
1
, σ
2 1
)
и N (µ
2
, σ
2 2
) соответственно,
X =
1
n
n
X
i=1
X
i
,
Y =
1
n
n
X
i=1
Y
i
.
Нетрудно показать, что случайная величина
(X − Y ) − (µ
1
− µ
2
)
r
σ
2 1
n
+
σ
2 2
m
74

имеет распределение