Лекции по теории вероятности. Лекции Тер. Вер.. Лекция 1 Случайные события

• Название: Лекция 1 Случайные события
• Анкор: Лекции по теории вероятности
• Дата: 13.04.2022
• Размер: 1.66 Mb.
• Имя файла: Лекции Тер. Вер..pdf
• Тип: Лекция; #470380
• страница: 16 из 21

x
(8)
= 223. Подсчитываем частоту n
k
, k = 1, 8, каждого из восьми различных значений в выборке и строим таблицу 14.2. #
Рассмотрим функцию n(x,
X
n
), которая для каждого значения x ∈ R и каждой реализации x
n
случайной выборки
X
n
принимает значение n(x,x
n
), равное числу элементов в выборке x
n
, меньших
x.
Определение 14.7 Функцию b
F (x,
X
n
) =
n(x,
X
n
)
n
,
x ∈ R,
(14.2)
где n — объем случайной выборки, будем называть выборочной функцией распределения.
Согласно определению 14.7, при любом фиксированном x функция b
F
¡
x;
X
n
¢
есть случайная величина, которая принимает одно из значений 0,
1
n
,
2
n
,. . . ,
n−1
n
,
n
n
= 1 и имеет биномиальное рас- пределение с параметром p, равным значению функции распределения генеральной совокупности
X в точке x, т.е. p = F (x).
Теорема 14.1 Для любого фиксированного x последовательность случайных величин { b
F
¡
x;
X
n
¢
}
сходится по вероятности при n → ∞ к значению F (x) функции распределения генеральной сово-
купности X в точке x.
Доказательство. При любом фиксированном x выборочная функция распределения b
F
¡
x;
X
n
¢
есть относительная частота события {X < x}. В соответствии с законом больших чисел в форме
Бернулли, относительная частота при n → ∞ сходится по вероятности к вероятности события {X <
x}. Следовательно,
b
F
¡
x;
X
n
¢
P
−→
n→∞
P
©
X < x
ª
= F (x).
66

Если все выборочные значения x
1
, . . . , x
n
различны, то функцию ˆ
F (x,x) можно записать в виде
F
n
(x) =





0,
x 6 x
(1)
;
i
n
, x
(i)
< x 6 x
(i+1)
, i = 1, n − 1;
1,
x > x
(n)
,
т.е. в каждой точке x
(i)
функция F
n
(x) имеет скачок величиной 1/n. График функции F
n
(x) изоб- ражен на рис. 14.1.
При больших объемах выборки n (n > 50)обычно производят группирование исходных данных следу- ющим образом. Промежуток J = [x
(1)
, x
(n)
], содержа- щий все выборочные значения, разбивают на m полу- интервалов J
1
, . . . , J
m
, как правило, одинаковой дли- ны ∆ и таких, что каждый из них, кроме послед- него, содержит левую границу, а последний содер- жит обе границы, и подсчитывают число n
i
элемен- тов выборки, попавших в i-ый промежуток J
i
, i = 1, m,
n = n
1
+ · · · + n
m
, а результаты представляют в виде следующей таблицы 14.2, которую называют интер-
Рис. 14.1.
вальным статистическим рядом.
Иногда в верхней строке таблицы 14.3 указывают не интервал, а его середину e
x
i
, а в нижней строке вместо частоты n
i
записывают от- носительную частоту n
i
/n.
Число промежутков m, на которые разбивают промежуток J =
[x
(1)
, x
(n)
], содержащий все выборочные значения, выбирают в зави-
J
1
J
2
. . . J
m
n
1
n
2
. . . n
m
m
P
i=1
n
i
Таблица 14.3.
симости от объема выборки n. Для ориентировочной оценки величины m можно пользоваться следующей приближенной формулой.
m ≈ log
2
n + 1,
Определение 14.8 График функции
p
n
(x) =



n
i
n∆
, x ∈ J
i
;
0,
x /
∈ J,
(14.3)
представляющий собой кусочно постоянную функцию называют гистограммой (см. рис. 14.2).
Часто гистограммой называют диаграмму, составлен- ную из прямоугольников с основанием ∆ и высотами
n
i
/(n∆), i = 1, m. Нетрудно увидеть, что суммарная пло- щадь всех прямоугольников, образующих такую диа- грамму, равна 1, так как
m
P
i=1
n
i
n∆
∆ =
1
n
m
P
i=1
n
i
= 1. Площадь каждого прямоугольника n
i
/n есть частота попадания элементов выборки в соответствующий интервал J
i
ста- тистического ряда.
Рассмотрим случайную величину n
i
(
X
n
)/n, которая для
Рис. 14.2.
каждой реализации
x
n
случайной выборки

X
n
равна ча- стоте n
i
/n. В соответствии с законом больших чисел в форме Бернулли n
i
(
X
n
)/n при n → ∞ бу- дет сходиться по вероятности к вероятности попадания случайной величины X в промежуток J
i
,
i = 1, m, т.е.
n
i
(
X
n
)
n
P
−→
n→∞
P
©
X ∈ J
i
ª
=
Z
J
i
p(x) dx,
где p(x) — плотность распределения генеральной совокупности X. Если длина ∆ промежутков достаточно мала и объем выборки n велик, то с вероятностью, близкой к 1, можно утверждать, что
n
i
n
≈ p(e
x
i
)∆,
или
n
i
n∆
≈ p(e
x
i
),
67

где e
x
i
— середина промежутка J
i
, i = 1, m. Таким образом, при большом объеме выборки n и до- статочно малом ∆ с вероятностью, близкой к 1, можно считать, что p
n
(x) ≈ p(x). Иными словами,
функция p
n
(x) является статистическим аналогом плотности распределения p(x), наблюдаемой в эксперименте случайной величины X, а гистограмма выглядит приблизительно как график плот- ности случайной величины X.
Пусть
X
n
— случайная выборка из генеральной совокупности X с функцией распределения F (x)
(и плотностью распределения p(x) в случае непрерывной статистической модели).
Случайную величину b
µ
k
(
X
n
) =
1
n
n
X
i=1
X
k
i
(14.4)
называют выборочным начальным моментом k-го порядка. В частности, выборочный на- чальный момент первого порядка X = b
µ
1
(
X
n
) называют выборочным средним.
Случайную величину b
ν
k
(
X
n
) =
1
n
n
X
i=1
¡
X
i
− X
¢
k
(14.5)
называют выборочным центральным моментом k-го порядка. В частности, выборочный центральный момент 2-го порядка b
σ
2
(
X
n
) = b
ν
2
(
X
n
) называют выборочной дисперсией.
Выборочную характеристику b
σ(
X
n
) =
q b
σ
2
(
X
n
) называют выборочным средним квадратич-
ным отклонением.
Случайную величину b
K(
X
n
,
Y
n
) =
1
n
n
X
i=1
¡
X
i
− X
¢¡
Y
i
− Y
¢
(14.6)
называют выборочным корреляционным моментом.
Выборочную характеристику b
ρ(
X
n
,
Y
n
) =
b
K(
X
n
,
Y
n
)
b
σ
x
(
X
n
) b
σ
y
(
Y
n
)
,
(14.7)
где b
σ
2
x
(
X
n
) =
1
n
n
X
i=1
¡
X
i
− X
¢
2
,
b
σ
2
y
(
Y
n
) =
1
n
n
X
i=1
¡
Y
i
− Y
¢
2
,
называют выборочным коэффициентом корреляции.
Значения выборочных моментов (неслучайные числа) будем для краткости называть теми же терминами, что и сами моменты (случайные величины).
Основное свойство выборочных моментов состоит в том, что при увеличении объема выборки n
они сходятся по вероятности к соответствующим теоретическим моментам. В частности, при n → ∞
имеем X
P
−→
n→∞
MX, а b
σ
2
(
X
n
)
P
−→
n→∞
DX.
68

Лекция 15
Точечные оценки
Одной из задач математической статистики является оценка неизвестных параметров выбранной
параметрической модели.
Предположим, что закон распределения генеральной совокупности принадлежит множеству
{F (x; θ) : θ ∈ Θ}, где вид функции распределения задан, а вектор параметров θ = (θ
1
; . . . ; θ
r
) неизве- стен. Требуется найти оценку для θ или некоторой функции от него (например, математического ожидания, дисперсии) по случайной выборке (X
1
; . . . ; X
n
) из генеральной совокупности X.
Например, предположим, что масса X детали имеет нормальный закон распределения, но его параметры θ
1
= MX и θ
2
= DX неизвестны. Нужно найти приближенное значение параметров по результатам наблюдений x
1
, . . . , x
n
, полученным в эксперименте (по реализации случайной выбор- ки).
Пусть
X
n
= (X
1
; . . . ; X
n
) — случайная выборка из генеральной совокупности X, функция распре- деления F
¡
x; θ
¢
которой известна, а θ — неизвестный параметр, т.е. рассматривается параметриче-
ская модель {F (x; θ) : θ ∈ Θ} (для простоты изложения будем считать пока, что θ — скаляр).
Требуется построить статистику b
θ(
X
n
), которую можно было бы принять в качестве точечной
оценки параметра θ.
Определение 15.1 Точечной оценкой параметра θ ∈ Θ назовем любую функцию от наблюдений
(т.е. любую статистику) ˆ
θ(
X
n
).
Определение 15.2 Статистику b
θ(
X
n
) называют состоятельной оценкой параметра θ ∈ Θ, если с ростом объема выборки n она сходится по вероятности к оцениваемому параметру θ, т.е.
b
θ(
X
n
)
P
−→
n→∞
θ.
Определение 15.3 Статистику b
θ(
X
n
) называют несмещенной оценкой параметра θ, если ее математическое ожидание совпадает с θ, т.е. Mb
θ(
X
n
) = θ для любого фиксированного n.
Замечание 15.1 Можно показать, что статистика
S
2
=
1
n − 1
n
X
i=1
¡
X
i
− X
¢
2
является несмещенной и состоятельной оценкой дисперсии DX генеральной совокупности. Ее на- зывают исправленной выборочной дисперсией.
Замечание 15.2 Можно доказать, что выборочные начальные и центральные моменты являются состоятельными оценками соответствующих теоретических моментов, если только они существуют.
Однако эти оценки, кроме X, являются смещенными.
Пример 15.1 Пусть X
1
, . . . , X
n
— случайная выборка из генеральной совокупности X, имеющей нормальное распределение с неизвестным средним значением θ и известной дисперсией σ
2
Оценка b
θ = b
θ(X
1
, . . . , X
n
) = X
1
является несмещенной для θ, ибо MX
1
= MX = θ, но не является состоятельной, так как, во-первых, X
1
не зависит от объема выборки и, следовательно, ее распре- деление не меняется с ростом n, а во-вторых,
P
©
|X
1
− θ| < ε
ª
=
2
σ
√
2π
ε
Z
0
e
−
t
2 2σ
2
dt 6= 1.
69

Метод моментов
Метод моментов был предложен английским статистиком К. Пирсоном и является одним из первых общих методов оценивания. Он состоит в следующем.
Пусть имеется случайная выборка
X
n
= (X
1
; . . . ; X
n
) из генеральной совокупности X, распреде- ление которой p
¡
x; θ
¢
известно с точностью до вектора параметров θ = (θ
1
; . . . ; θ
r
). Требуется найти
оценку параметра θ по случайной выборке
X
n
Обозначим
µ
k
(θ) = M(X)
k
,
ν
k
(θ) = M(X − MX)
k
—
начальный и центральный моменты порядка k, k = 1, 2, . . . . В методе моментов в качестве точечной оценки bθ( X
n
) = (b
θ
1
(
X
n
); . . . ; b
θ
r
(
X
n
)) вектора параметров θ берут решение системы r уравнений
(
b
µ
i
α
(
X
n
) =µ
i
α
(θ),
α = 1, k,
b
ν
j
β
(
X
n
) =ν
j
β
(θ),
β = 1, l,
,
k + l = r,
(15.1)
относительно неизвестных θ
1
, . . . , θ
r
. Индексы i
α
и j
β
выбирают так,чтобы система уравнений ре- шалась как можно проще. Можно показать,что при условии непрерывной зависимости решения этой системы от b
µ
i
α
и b
ν
j
β
, оценка, полученная методом моментов, является состоятельной и име- ет асимптотически нормальное распределение, т.е. ее распределение при n → ∞ стремится к нормальному. При этом уравнения (15.1) во многих случаях просты и их решение не вызывает больших вычислительных сложностей.
Понятно, что метод моментов не примен´
им, когда моменты генеральной совокупности нужно- го порядка не существуют (например, для распределения Коши, у которого не существует даже начальный момент первого порядка — математическое ожидание).
Пример 15.2 Пусть дана случайная выборка (X
1
; . . . ; X
n
) объема n из генеральной совокупности
X, имеющей равномерный закон распределения
p(x) =
(
1
b − a
, x ∈ (a, b);
0,
x /
∈ (a, b),
с неизвестными параметрами a и b. Найдем методом моментов точечные оценки этих параметров.
Известно, что для равномерно распределенной случайной величины X
MX =
a + b
2
,
DX =
(b − a)
2 12
.
Выборочное среднее X и выборочная дисперсия b
σ
2
(
X
n
) вычисляются по формулам
X =
1
n
n
X
i=1
X
i
,
b
σ
2
(
X
n
) =
1
n
n
X
i=1
(X
i
− X)
2
.
Составляем систему двух уравнений





a + b
2
= x,
(b − a)
2 12
= b
σ
2
(x
n
).
Решая систему, получаем bb = x +
√
3 b
σ(