Главная страница

Лекции теория вероятностей 2019. Вероятностное пространство


Скачать 2.67 Mb.
НазваниеВероятностное пространство
Дата17.02.2022
Размер2.67 Mb.
Формат файлаpdf
Имя файлаЛекции теория вероятностей 2019.pdf
ТипДокументы
#365721
страница9 из 9
1   2   3   4   5   6   7   8   9
Что можно сказать про две остальных сходимости?
Лемма 14.8. Пусть 𝑋
𝑛,1
→ 𝑋
1
п.н. при 𝑛 → ∞, 𝑋
𝑛,2
→ 𝑋
2
п.н. при 𝑛 → ∞, . . . , 𝑋
𝑛,𝑘
→ 𝑋
𝑘
п.н. при 𝑛 → ∞.
Тогда для любой непрерывной функции 𝑔 : R
𝑘
→ R п.н.
𝑔(𝑋
𝑛,1
, . . . , 𝑋
𝑛,𝑘
) → 𝑔(𝑋
1
, . . . , 𝑋
𝑘
).
Доказательство.
Рассмотрим 𝐴
𝑖
= {𝜔 : 𝑋
𝑛,𝑖
(𝜔) → 𝑋
𝑖
(𝜔)}
. По условию P(𝐴
𝑖
) = 1
при всех 𝑖. Значит,
P
(︃
𝑘
⋂︁
𝑖=1
𝐴
𝑖
)︃
= 1 − P
(︃
𝑘
⋃︁
𝑖=1
𝐴
𝑖
)︃
≥ 1 −
𝑘
∑︁
𝑖=1
P(𝐴
𝑖
) = 1.
При всех 𝜔 ∈ ⋂︀
𝑘
𝑖=1
𝐴
𝑖
верны все 𝑘 сходимостей 𝑋
𝑛,𝑖
(𝜔) → 𝑋
𝑖
, 𝑖 ≤ 𝑘. Следовательно,
𝑔(𝑋
𝑛,1
(𝜔), . . . , 𝑋
𝑛,𝑘
(𝜔)) → 𝑔(𝑋
1
(𝜔), . . . , 𝑋
𝑘
(𝜔)), 𝑛 → ∞.
Следовательно,
P (𝑔(𝑋
𝑛,1
(𝜔), . . . , 𝑋
𝑛,𝑘
(𝜔)) → 𝑔(𝑋
1
(𝜔), . . . , 𝑋
𝑘
(𝜔))) ≥ P
(︃
𝑘
⋂︁
𝑖=1
𝐴
𝑖
)︃
≥ 1,
что и означает сходимость п.н.
Как и сходимость п.н. сходимость по вероятности устойчива к действию непрерывных функций:
Лемма 14.9. Пусть 𝑋
𝑛,1
𝑃
→ 𝑋
1
при 𝑛 → ∞, 𝑋
𝑛,2
𝑃
→ 𝑋
2
при 𝑛 → ∞, . . . , 𝑋
𝑛,𝑘
𝑃
→ 𝑋
𝑘
при 𝑛 → ∞. Тогда для любой непрерывной функции 𝑔 : R
𝑘
→ R
𝑔(𝑋
𝑛,1
, . . . , 𝑋
𝑛,𝑘
)
𝑃
→ 𝑔(𝑋
1
, . . . , 𝑋
𝑘
), 𝑛 → ∞.
Доказательство.
Заметим, что при любом 𝜀
1
> 0
и любом 𝑖 найдется такое 𝑀 > 0, что
P(𝑋
𝑖
̸∈ [−𝑀, 𝑀 ]) < 𝜀
1
(9)
91

Это утверждение прямо следует из непрерывности вероятностной меры: {𝜔 : 𝑋
𝑖
(𝜔) ̸∈ [−𝑀, 𝑀 ]}
c ростом 𝑀
сужаются к пустому множеству, а значит их вероятность стремится к нулю. Выберем 𝑀 так, чтобы выполнялось свойство (
9
), причем 𝑀 и −𝑀 есть точки непрерывности 𝐹
𝑋
𝑖
: P(𝑋
𝑖
= −𝑀 ) = P(𝑋
𝑖
= 𝑀 ) = 0
. Это можно сделать, поскольку 𝑀, удовлетворяющих (
9
), континуум, а точек разрыва ф.р. не более чем счетное.
Тогда при достаточно больших 𝑛 в силу сходимости
𝐹
𝑋
𝑛,𝑖
(−𝑀 ) < 𝐹
𝑋
𝑖
(−𝑀 ) + 𝜀
1
/2,
𝐹
𝑋
𝑛,𝑖
(𝑀 ) > 𝐹
𝑋
𝑖
(𝑀 ) − 𝜀
1
/2,
откуда P(𝑋
𝑛,𝑖
̸∈ [−𝑀, 𝑀 ]) < 2𝜀
1
при всех достаточно больших 𝑛 и всех 𝑖. Значит,
P( ⃗
𝑋
𝑛
̸∈ [−𝑀, 𝑀 ]) < 2𝑘𝜀
1
,
P( ⃗
𝑋 ̸∈ [−𝑀, 𝑀 ]) < 2𝜀
1
При этом функция 𝑔 на компакте 𝐷 = [−𝑀, 𝑀]
𝑘
является равномерно непрерывной на нем, а значит для любого 𝜀 > 0 найдется 𝛿 > 0, для которого из ||⃗𝑥 − ⃗𝑦|| < 𝛿, ⃗𝑥, ⃗𝑦 ∈ 𝐷, то |𝑔(⃗𝑥) − 𝑔(⃗𝑦)| < 𝜀. Выберем n достаточно большим, что
P(|| ⃗
𝑋
𝑛
− ⃗
𝑋|| ≥ 𝛿) <
𝑘
∑︁
𝑖=1
P(|𝑋
𝑛,𝑖
− 𝑋
𝑖
| ≥ 𝛿/

𝑘) < 𝜀
1
,
пользуясь сходимостью по вероятности. Тогда
P(|𝑔( ⃗
𝑋
𝑛
) − 𝑔( ⃗
𝑋)| > 𝜀) < P(|| ⃗
𝑋
𝑛
− ⃗
𝑋)|| ≥ 𝛿) + P( ⃗
𝑋
𝑛
̸∈ 𝐷) + P( ⃗
𝑋 ̸∈ 𝐷) + P(|| ⃗
𝑋
𝑛
− ⃗
𝑋|| < 𝛿, ⃗
𝑋
𝑛
∈ 𝐷, ⃗
𝑋 ∈ 𝐷).
В силу наших условий первые три вероятности в сумме не превосходят (2𝑘 + 3)𝜀
1
, а последняя равна 0 в силу равномерной непрерывности. В силу произвольности 𝜀
1
имеем требуемое.
В частности, отсюда сходящиеся п.н. и по вероятности последовательности можно суммировать, вычитать,
умножать или делить.
Для сходимости по распределению можно получать какие-то результаты про сходимость сумм или произве- дений, если одна из величин вырождена:
Лемма 14.10
(Лемма Слуцкого). Пусть 𝑋
𝑛
𝑑
→ 𝑋, 𝑌
𝑛
𝑑
→ 𝑐. Тогда
1. 𝑋
𝑛
+ 𝑌
𝑛
𝑑
→ 𝑋 + 𝑐, 𝑛 → ∞;
2. 𝑋
𝑛
𝑌
𝑛
𝑑
→ 𝑐𝑋, 𝑛 → ∞;
Пример 14.5.
В качестве примера докажем, что если 𝑋
𝑛
𝑑
→ 𝑋
, 𝑌
𝑛
𝑑
→ 0
, то 𝑋
𝑛
𝑌
𝑛
𝑑
→ 0
. Фиксируем 𝑥 > 0
P(𝑋
𝑛
𝑌
𝑛
≥ 𝑥) = P(𝑋
𝑛
𝑌
𝑛
≥ 𝑥, |𝑌
𝑛
| ≤ 𝜀) + P(𝑋
𝑛
𝑌
𝑛
≥ 𝑥, |𝑌
𝑛
| ≥ 𝜀) ≤ P(|𝑋
𝑛
| ≥ 𝑥/𝜀) + P(|𝑌
𝑛
| ≥ 𝜀),
где 𝜀 выбрано так, что 𝑥/𝜀 — точка непрерывности 𝐹
𝑋
()
(а точек разрыва у монотонной ограниченной функции не более чем счетное число). Устремляя 𝜀 к 0, имеем P(𝑋
𝑛
𝑌
𝑛
≥ 𝑥) ≤ P(|𝑋| ≥ 𝑥/𝜀)+P(0 ≥ 𝜀)
, 𝑥 > 0. Эта величина засчет выбора 𝜀 может быть сделана сколь угодно малой, откуда P(𝑋
𝑛
𝑌
𝑛
≤ 𝑥) → 1
, 𝑛 → ∞. Аналогично для отрицательных 𝑥 P(𝑋
𝑛
𝑌
𝑛
≤ 𝑥) → 0
. Что и требовалось доказать.
15
Предельные теоремы
Завершим наш курс мы рядом важных результатов, связанных с предельным поведением сумм независимых величин.
15.1
Закон больших чисел
Определение 15.1.
Говорят, что последовательность 𝑋
𝑛
удовлетворяет закону больших чисел (ЗБЧ), если
𝑋
1
+ · · · + 𝑋
𝑛
𝑛
𝑃
→ 𝑎, 𝑛 → ∞,
где 𝑎 — некоторая константа.
92

Определение 15.2.
Говорят, что последовательность 𝑋
𝑛
удовлетворяет усиленному закону больших чисел
(УЗБЧ), если п.н.
𝑋
1
+ · · · + 𝑋
𝑛
𝑛
→ 𝑎, 𝑛 → ∞,
где 𝑎 — некоторая константа.
Поскольку из сходимости п.н. следует сходимость по вероятности, усиленный закон более сильный.
Заметим, что если бы из сходимости по вероятности следовала бы сходимость математических ожиданий, то можно было бы найти 𝑎 как
𝑎 = lim
𝑛→∞
E
(︂ 𝑋
1
+ · · · + 𝑋
𝑛
𝑛
)︂
= lim
𝑛→∞
E𝑋
1
+ · · · + E𝑋
𝑛
𝑛
Однако, вообще говоря, это не так, и есть примеры, когда величины 𝑋
𝑖
не имеют математического ожидания,
но удовлетворяют ЗБЧ. Тем не менее именно такое выражение для 𝑎 бывает во многих типичных ситуациях.
Простейшим примером ЗБЧ является хорошо понятный житейский факт: при большом числе бросаний мо- неты скорее всего доля выпавших орлов будет близка к вероятности выпадания орла.
Таким образом, если мы покажем, что в схеме Бернулли выполнен ЗБЧ, то фактически обоснуем эмпирическое определение вероятности, о котором мы говорили на первой лекции. Если определять вероятность так, как ее определили мы, то эмпирическое определение также будет верным: если 𝐴
𝑖
независимые события с равной вероянтостью, то доля случившихся за 𝑛 испытаний событий 𝐴
𝑖
будет близка к вероятности P(𝐴
1
)
:
1
𝑛
𝑛
∑︁
𝑖=1
𝐼
𝐴
𝑖
𝑃
→ P(𝐴
1
), 𝑛 → ∞.
15.1.1
ЗБЧ Чебышева
Теорема 15.1. Пусть 𝑋
𝑖
— некоррелированные (то есть cov(𝑋
𝑖
, 𝑋
𝑗
) = 0 при 𝑖 ̸= 𝑗) величины, E𝑋
𝑖
= 0,
𝜎
2
𝑖
= D𝑋
𝑖
таковы, что
∑︀
𝑛
𝑖=1
𝜎
2
𝑖
= 𝑜(𝑛
2
), 𝑛 → ∞. Тогда 𝑋
𝑖
удовлетворяют ЗБЧ с 𝑎 = 0.
Доказательство.
Фиксируем 𝜀 > 0. Воспользуемся неравенством Чебышева, доказанным на прошлой лекции:
P (|𝑆
𝑛
− E𝑆
𝑛
| > 𝑛𝜀) ≤
D𝑆
𝑛
𝑛
2
𝜀
2
=
∑︀
𝑛
𝑖=1
𝜎
2
𝑖
𝑛
2
𝜀
2
= 𝑜(1),
где в предпоследнем равенстве мы воспользовались тем, что D𝑆
𝑛
= D𝑋
1
+· · ·+D𝑋
𝑛
в силу некоррелированности
𝑋
𝑖
. При этом E𝑆
𝑛
= 0
, откуда
P
(︂⃒



𝑆
𝑛
𝑛




> 𝜀
)︂
→ 0, 𝑛 → ∞.
Теорема доказана.
Замечание 15.1.
Если 𝑋
𝑖
— некоррелированные величины с ненулевым средним, удовлетворяющие теореме,
то переходя к 𝑌
𝑖
= 𝑋
𝑖
− E𝑋
𝑖
, получаем
𝑋
1
+ · · · + 𝑋
𝑛
𝑛

E𝑋
1
+ · · · + E𝑋
𝑛
𝑛
𝑃
→ 0, 𝑛 → ∞.
Следствие 15.1.
Если 𝑋
𝑖
— некоррелированные величины с нулевым средним и их дисперсии ограничена в совокупности, то они удовлетворяют ЗБЧ.
15.1.2
ЗБЧ Хинчина
В случае независимых одинаково распределенных величин условие существования дисперсии не требуется:
Теорема 15.2. Пусть 𝑋
𝑖
— независимые одинаково распределенные величины c конечным математическим ожиданием E𝑋
1
. Тогда 𝑋
𝑖
удовлетворяют ЗБЧ с 𝑎 = E𝑋
1 93

Доказательство.
Воспользуемся тем, что сходимость по распределению к E𝑋
1
равносильна сходимости по вероятности, поскольку это константа. Значит, достаточно показать, что
𝜓
(𝑆
𝑛
−𝑛𝑎)/𝑛
(𝑡) → 1, 𝑛 → ∞,
при любом 𝑡. При этом
𝜓
(𝑆
𝑛
−𝑛𝑎)/𝑛
(𝑡) = 𝜓
𝑆
𝑛
−𝑎𝑛
(𝑡/𝑛) = 𝜓
𝑛
𝑋
1
−𝑎
(𝑡/𝑛)
в силу свойств х.ф. При этом
𝜓
𝑋
1
−𝑎
(︂ 𝑡
𝑛
)︂
= 1 +
𝑖𝑡E(𝑋
1
− 𝑎)
𝑛
+ 𝑜
(︂ 1
𝑛
)︂
= 1 + 𝑜
(︂ 1
𝑛
)︂
,
откуда
𝜓
𝑛
𝑋
1
−𝑎
(𝑡/𝑛) =
(︂
1 + 𝑜
(︂ 1
𝑛
)︂)︂
𝑛
→ 1,
что и требовалось доказать.
Оказывается, что в условиях ЗБЧ Хинчина выполнено более сильное утверждение: усиленный закон больших чисел Колмогорова:
Теорема 15.3. Пусть 𝑋
𝑖
— независимые одинаково распределенные величины c конечным математическим ожиданием E𝑋
1
. Тогда 𝑋
𝑖
удовлетворяют УЗБЧ с 𝑎 = E𝑋
1
Этот факт мы доказывать не будем.
15.2
Центральные предельные теоремы
Сам факт сходимости в законе больших чисел недостаточен для практических целей. Более точные результаты дает центральная предельная теорема:
Теорема 15.4. Пусть 𝑋
𝑖
— н.о.р. сл. в., E𝑋
1
= 𝑎, D𝑋
1
= 𝜎
2
> 0. Тогда
P
(︂ 𝑆
𝑛
− 𝑛𝑎

𝑛𝜎
≤ 𝑥
)︂
→ Φ(𝑥) =
1

2𝜋
∫︁
𝑥
−∞
𝑒
−𝑡
2
/2
𝑑𝑡, 𝑛 → ∞.
Иначе говоря, (𝑆
𝑛
− 𝑛𝑎)/(

𝑛𝜎) сходится по распределению к 𝑍 ∼ 𝒩 (0, 1).
Доказательство.
Доказательство ЦПТ также будет основано на характеристических функциях. Покажем, что
𝜓
𝑆𝑛−𝑛𝑎
𝜎

𝑛
(𝑡) = 𝜓
𝑆𝑛−𝑛𝑎
𝜎
(︂
𝑡

𝑛
)︂
= 𝜓
𝑛
𝑋1−𝑎
𝜎
(︂
𝑡

𝑛
)︂
При этом при 𝑠 → 0
𝜓
𝑋1−𝑎
𝜎
(𝑠) = 1 +
𝑖𝑠E(𝑋
1
− 𝑎)
𝜎
+
(𝑖𝑠)
2
E(𝑋
1
− 𝑎)
2 2𝜎
2
+ 𝑜(𝑠
2
) = 1 −
𝑠
2 2
+ 𝑜(𝑠
2
).
Значит,
𝜓
𝑆𝑛−𝑛𝑎
𝜎

𝑛
(𝑡) =
(︂
1 −
𝑡
2 2𝑛
+ 𝑜
(︂ 1
𝑛
)︂)︂
𝑛
→ 𝑒
−𝑡
2
/2
, 𝑛 → ∞.
Характеристическая функция в правой части является х.ф. 𝒩 (0, 1) величины, что и доказывет теорему.
Мы уже обсуждали пользу этой теоремы в дискретном случае, а теперь только заметим новый аспект пони- мания этой теоремы: по необъяснимой причине наши центрированные и нормированные суммы
𝑆
𝑛
− 𝑛𝑎

𝑛𝜎
при больших 𝑛 имеют распределение близкое к стандартному нормальному. Тем самым мы можем приближать распределения таких сумм распределением 𝒩 (0, 1).
94

Правда, мы по-прежнему можем утверждать только сходимость и не можем, вообще говоря, оценить по- грешность такого приближения при заданном 𝑛. Оказывается, что в общем случае неравенство Берри-Эссеена,
которое мы формулировали для дискретных величин, также справедливо.
15.3
Теорема Ляпунова
Откажемся от условия одинаковой распределенности.
Предположим, что 𝑋
𝑛,𝑖
, 𝑖 ≤ 𝑛, при каждом 𝑛 есть независимые величины, E𝑋
𝑛,𝑖
= 0
, E𝑋
2
𝑛,𝑖
= 𝜎
2
𝑛,𝑖
, E|𝑋
𝑛,𝑖
|
3
=
𝜌
𝑛,𝑖
< +∞
, 𝑆
𝑛
= 𝑋
𝑛,1
+ · · · + 𝑋
𝑛,𝑛
Таким образом, у нас есть одна величина 𝑋
1,1
, две независимых величины 𝑋
2,1
, 𝑋
2,2
, три независимых величи- ны 𝑋
3,1
, 𝑋
3,2
, 𝑋
3,3
и так далее. Мы рассматриваем суммы по строкам таких величин и изучаем их распределение.
Такая же схема серий изучалась нами для теоермы Пуассона.
Предположим, что 𝐵
2
𝑛
=
∑︀
𝑛
𝑖=1
𝜎
2
𝑛,𝑖
, 𝐶
3
𝑛
=
∑︀
𝑛
𝑖=1
𝜌
𝑛,𝑖
. Условием Ляпунова назовем условие
𝐶
𝑛
𝐵
𝑛
→ 0,
𝑛 → ∞.
Оказывается, что это достаточное условие для того, чтобы распределение 𝑆
𝑛
/𝐵
𝑛
приближалось к нормальному распределению.
Теорема 15.5. При выполнении условия Ляпунова
𝑆
𝑛
𝐵
𝑛
𝑑
→ 𝑍 ∼ 𝒩 (0, 1), 𝑛 → ∞.
Доказательство.
Доказательство также проведем через характеристические функции
𝜓
𝑆𝑛
𝐵𝑛
(𝑡) = 𝜓
𝑆
𝑛
(︂
𝑡
𝐵
𝑛
)︂
=
𝑛
∏︁
𝑗=1
𝜓
𝑋
𝑛,𝑗
(︂
𝑡
𝐵
𝑛
)︂
При этом при любом 𝑠




𝜓
𝑋
𝑛,𝑗
(𝑠) − 1 − 𝑖𝑠E𝑋
𝑛,𝑗

(𝑖𝑠)
2 2
E𝑋
2
𝑛,𝑗




=




E𝑒
𝑖𝑠𝑋
𝑛,𝑗
− 1 − 𝑖𝑠E𝑋
𝑛,𝑗

(𝑖𝑠)
2 2
E𝑋
2
𝑛,𝑗




≤ E




𝑒
𝑖𝑠𝑋
𝑛,𝑗
− 1 − 𝑖𝑠𝑋
𝑛,𝑗

(𝑖𝑠𝑋
𝑛,𝑗
)
2 2




Воспользуемся неравенством




𝑒
𝑖𝜙
− 1 − 𝑖𝜙 −
(𝑖𝜙)
2 2





|𝜙|
3 6
,
справедливым при всех вещественных 𝜙, которое мы оставим без доказательства. Значит,




𝜓
𝑋
𝑛,𝑗
(𝑠) − 1 −
(𝑖𝑠𝜎
𝑛,𝑗
)
2 2





|𝑠|
3
𝜌
𝑛,𝑗
6
Значит,
𝜓
𝑋
𝑛,𝑗
(𝑠) = 1 −
𝜎
2
𝑛,𝑗
𝑠
2 2

𝜃
𝑖
(𝑠)𝜌
𝑛,𝑗
|𝑠|
3 6
,
где |𝜃
𝑖
| ≤ 1
. Значит,
𝑛
∏︁
𝑗=1
𝜓
𝑋
𝑛,𝑗
(︂
𝑡
𝐵
𝑛
)︂
=
𝑛
∏︁
𝑗=1
(︃
1 −
𝜎
2
𝑛,𝑗
𝑡
2 2𝐵
2
𝑛

𝜃
𝑖
(𝑡/𝐵
𝑛
)𝜌
𝑛,𝑗
|𝑡|
3 6𝐵
3
𝑛
)︃
При этом в силу неравенства Ляпунова
𝜎
2
𝑛,𝑗
𝐵
2
𝑛
= E
(︂ 𝑋
𝑛,𝑗
𝐵
𝑛
)︂
2

(︂ E|𝑋
𝑛,𝑗
|
3
𝐵
3
𝑛
)︂
2/3
=
(︂ 𝜌
𝑛,𝑗
𝐵
3
𝑛
)︂
2/3

𝐶
2
𝑛
𝐵
2
𝑛
→ 0, 𝑛 → ∞.
Таким образом, второй и третий член в разложении х.ф. равномерно по 𝑖 стремятся к нулю, а значит мы можем
95
разложить ln 𝜓 в окрестности точки 1:
ln 𝜓
𝑋
𝑛,𝑗
(︂
𝑡
𝐵
𝑛
)︂
= −
𝜎
2
𝑛,𝑗
𝑡
2 2𝐵
2
𝑛

𝜃
𝑖
(𝑡/𝐵
𝑛
)𝜌𝑛, 𝑗|𝑡|
3 6𝐵
3
𝑛
+ 𝑜(1)
(︃
𝜎
2
𝑛,𝑗
𝑡
2 2𝐵
2
𝑛
+
𝜃
𝑖
(𝑡/𝐵
𝑛
)𝜌
𝑛,𝑗
|𝑡|
3 6𝐵
3
𝑛
)︃
,
где 𝑜(1) равномерно мало по 𝑖. Вообще-то с функцией ln 𝜓 для комплексных 𝜓 могут быть проблемы (в частности,
она неоднозначна), но мы рассматриваем ее в окрестности точки 1, в которой для нее справедливо разложение
Тейлора. Значит,
𝑛
∑︁
𝑗=1
ln 𝜓
𝑋
𝑛,𝑗
(︂
𝑡
𝐵
𝑛
)︂
= −
(1 + 𝑜(1))
∑︀
𝑛
𝑗=1
𝜎
2
𝑛,𝑗
𝑡
2 2𝐵
2
𝑛

(1 + 𝑜(1))
∑︀
𝑛
𝑗=1
𝜃
𝑛,𝑗
𝜌
𝑛,𝑗
|𝑡|
3 6𝐵
3
𝑛
= −
1 2
𝑡
2
+ 𝑟
𝑛
+ 𝑜(1)(1 + |𝑟
𝑛
|),
где
|𝑟
𝑛
| ≤
∑︀
𝑛
𝑗=1
|𝜃
𝑛,𝑗
|𝜌
𝑛,𝑗
|𝑡|
3 6𝐵
3
𝑛

𝐶
3
𝑛
6𝐵
3
𝑛
= 𝑜(1).
Таким образом,
𝜓
𝑆
𝑛
/𝐵
𝑛
(𝑡) = 𝜓
𝑋
𝑛,𝑗
(︂
𝑡
𝐵
𝑛
)︂
→ exp
(︂

𝑡
2 2
)︂
Что и требовалось доказать.
96
1   2   3   4   5   6   7   8   9


написать администратору сайта