Лекции теория вероятностей 2019. Вероятностное пространство
 Скачать 2.67 Mb.
|
|
что он, стоя в очереди 𝑚-м, вытянет знакомый билет? Этот опыт соответствует модели 2) — упорядоченный выбор без возвращения. Соответственно, Ω = {(𝑖 1 , . . . , 𝑖 𝑚 ), 𝑖 𝑗 ̸= 𝑖 𝑙 , 𝑗 ̸= 𝑙}, |Ω| = 𝐴 𝑘 𝑚 , P(𝜔 𝑗 ) = 1 𝐴 𝑘 𝑚 Нас интересует событие 𝐵 = {(𝑖 1 , . . . , 𝑖 𝑚 ) ∈ Ω : 𝑖 𝑚 ∈ {1, . . . , 𝑘}} . Аналогично тому, как мы нашли количество исходов в модели 2), мы можем понять, что |𝐴| = 𝑘 · (𝑛 − 1) · · · (𝑛 − 𝑚 + 1), поскольку билет для Иванова выбирается 𝑘 способами, для первого из студентов — 𝑛 − 1 способом и так далее. Итого, P(𝐴) = |𝐴| |Ω| = 𝑘(𝑛 − 1) · · · (𝑛 − 𝑚 + 1) 𝑛(𝑛 − 1) · · · (𝑛 − 𝑚 + 1) = 𝑘 𝑛 Как и следовало ожидать, Иванову совершенно неважно каким тянуть билет, шансы у него те же. В каких-то случаях его шансы вытянуть удачный билет повышаются, в каких-то понижаются, но все эти случаи волшебным образом воплощаются в той же вероятности, что и у первого студента. Отметим, что здесь мы использовали такой прием — в нашем словесном представлении исходной задачи нам трудно заставить сперва выбрать билет Иванова, а потом всех остальных. А вот в пространстве элементарных исходов мы считаем последовательности и нам совершенно неважно, в каком порядке пронумерованы их члены. Вероятностная модель позволила нам избавиться от лишних условностей, которыми нас связывает физическая постановка задачи. 1.4 Ответы на вопросы 1. (c), потому что два остальных события по существу включаются в в третье. 2. Событий станет 13. К 9 предыдущим события добавятся еще 4 — ”монета потерялась при первом броске”, ”монета выпала на орла, а потом потерялась”, ”монета выпала на решку, а потом потерялась”, ”монета встала на ребро, а потом потерялась”. 3. Нет, неверно. Такие события не так уж часты, они называются независимыми, и мы поговорим о них на следующей лекции. В частности, если 𝐴 = 𝐵, то мы придем к равенству только если P(𝐴) = P(𝐴) 2 , то есть P(𝐴) ∈ {0, 1} . Аналогично, если 𝐴𝐵 = ∅, то мы придем к равенству только если P(𝐴) = 0 или P(𝐵) = 0. 4. 𝐶 5 7 = 7 · 6/2 = 21 2 Условная вероятность. Независимость 2.1 Счетное вероятностное пространство Сегодня мы будем рассматривать пространства с, вообще говоря, бесконечным числом элементарных исходов, но не более чем счетным. При этом мы дополнительно требуем от вероятности выполнения свойства счетной аддитивности P(𝐴 1 + · · · + 𝐴 𝑛 + · · · ) = ∞ ∑︁ 𝑛=1 P(𝐴 𝑛 ). 8 Как и прежде мы будем задавать набор вероятностей 𝑝 𝑖 элементарных исходов, в сумме дающих единицу: ∞ ∑︁ 𝑖=1 𝑝 𝑖 = 1. Отсюда автоматически задается вероятность любого события P(𝐴) = ∑︁ 𝑘: 𝜔 𝑘 ∈𝐴 P(𝜔 𝑘 ) = ∑︁ 𝑘: 𝜔 𝑘 ∈𝐴 𝑝 𝑘 , только теперь сумма может быть бесконечной. 2.2 Введение Наше представление о вероятности события зависит от нашей информированности. Вероятность того, что у моего соперника среди пяти карт будет туз пик равна 5/52. Если я знаю 5 карт в своей руке, то эта вероятность уже 5/47 (или 0, конечно же). А если я помню три карты, которые обменял ходом раньше, то уже 5/44. А если у него за спиной стоит зеркало и я вижу там туза пик, то она равна 1. В наш век информации мы постоянно получаем новые сведения, которые в силу вышесказанного, меняют нашу вероятность. Сегодня мы поговорим о том, как работать в вероятностной модели в условиях поступающей информации. Часть до начала раздела 2.3 ”Условная вероятность” имеет целью только объяснить происхож- дение формул, но безболезненно может быть пропущена 2.2.1 Классический случай Пусть Ω = {𝜔 1 , . . . , 𝜔 𝑁 } — конечное пространство элементарных исходов с классически заданной вероятностью P(𝜔 𝑖 ) = 1/𝑁 . Тогда вероятность события 𝐴 определяется соотношением P(𝐴) = |𝐴| 𝑁 Предположим, что мы узнали о том, что выполнено событие 𝐵. Тогда 𝐵 становится нашим новым вероятност- ным пространством, а наше событие 𝐴 превращается в 𝐴 ∩ 𝐵. При этом из соображений симметрии все исходы остаются равновероятными, поэтому P 𝐵 (𝐴) = |𝐴 ∩ 𝐵| |𝐵| Можно заметить, что можно записать эту вероятность и в старых терминах. P 𝐵 (𝐴) = |𝐴 ∩ 𝐵|/𝑁 |𝐵|/𝑁 = P(𝐴𝐵) P(𝐵) Итак, вероятность 𝐴, ”при условии, что случилось 𝐵” задается формулой P(𝐴𝐵)/P(𝐵). 2.2.2 ”Рациональный” случай Пусть (Ω, ℱ, P) — вероятностное пространство, где Ω = {𝜔 1 , . . . , 𝜔 𝑁 } — конечное пространство элементарных исходов, вероятности исходов равны 𝑝 1 , . . . , 𝑝 𝑁 , соответственно, где 𝑝 1 = 𝑎 1 /𝑏 1 , . . . , 𝑝 𝑁 = 𝑎 𝑁 /𝑏 𝑁 — рациональные числа. Введем новое пространство ̃︀ Ω = { ̃︀ 𝜔 1 , . . . , ̃︀ 𝜔 𝑀 } , где 𝑀 = 𝑏 1 · · · 𝑏 𝑁 , первые 𝑎 1 𝑏 2 · · · .𝑏 𝑁 новых исходов в объеди- нении дают 𝜔 1 , вторые 𝑏 1 𝑎 2 𝑏 3 · · · 𝑏 𝑁 — 𝜔 2 и так далее. Если мы определим вероятность ̃︀ P на пространстве ̃︀ Ω классическим образом, то (Ω, ℱ, P) и ( ̃︀ Ω, ̃︀ ℱ , ̃︀ 𝑃 ) окажутся согласованными — любом событие 𝐴 имеет ту же ве- роятность P(𝐴), что и соответствующее ему событие ̃︀ 𝐴 из ̃︀ ℱ . Иначе говоря, мы разбили каждый исход в старом пространстве Ω на части так, чтобы они получились равной вероятности. Не так важно, как это реализовано физически, для нас существенно, что нашему пространству соответствует пространству с классически определенной вероятностью, на котором соображения симметрии и равноправия позволяют понять как надо определять вероятность. Мы будем прибегать к этому мысленному эксперименту 9 Рис. 6: Пример разбиения пространства с неклассически заданной вероятностью и впредь — если мы хотим определить какое-то понятия с физически понятным подтекстом, то мы будем естественным образом определять его на классическом пространстве, а затем переносить его на произвольное. В пространстве ̃︀ Ω мы определяем вероятность события 𝐴 ”при условии, что случилось 𝐵” формулой ̃︀ P(𝐴𝐵)/ ̃︀ P(𝐵) Значит в старом пространстве естественно определять ее формулой P(𝐴𝐵) P(𝐵) 2.2.3 Общий конечный случай Пусть (Ω, ℱ, P) — вероятностное пространство, где Ω = {𝜔 1 , . . . , 𝜔 𝑁 } — конечное пространство элементарных исходов, вероятности исходов равны 𝑝 1 , . . . , 𝑝 𝑁 , соответственно, где 𝑝 1 , . . . , 𝑝 𝑁 не обязательно рациональны. Для любого 𝜀 > 0 мы можем выбрать такой набор рациональных вероятностей ̃︀ 𝑝 1 , . . . , ̃︀ 𝑝 𝑁 , что ̃︀ 𝑝 𝑖 (1 − 𝜀) < 𝑝 𝑖 < (1 + 𝜀) ̃︀ 𝑝 𝑖 При этом для любого события 𝐴 ∈ ℱ ̃︀ P(𝐴) − 𝜀 < P(𝐴) < ̃︀ P(𝐴) + 𝜀. Итак, пространства очень похожи, все события в них имеют практически те же вероятности. Если мы определяем во втором пространстве вероятность события 𝐴 ”при условии, что случилось 𝐵” формулой ̃︀ P(𝐴𝐵)/ ̃︀ P(𝐵) , то и в первом естественно определять ее формулой P(𝐴𝐵)/P(𝐵). 2.2.4 Общий случай Наконец, если Ω = {𝜔 1 , . . . , 𝜔 𝑛 , . . . } — бесконечное пространство элементарных исходов с вероятностями 𝑝 1 , 𝑝 2 , . . . , то для любого положительного 𝜀 мы можем найти такое 𝑁, что ∞ ∑︁ 𝑖=𝑁 +1 𝑝 𝑖 < 𝜀. Возьмем пространство ̃︀ Ω = {𝜔 1 , . . . , 𝜔 𝑁 , ̃︀ 𝜔} , где ̃︀ 𝜔 = ∪ ∞ 𝑖=𝑁 +1 𝜔 𝑖 . Попросту говоря, соединим все исходы начиная с 𝑁 + 1 в один исход. Событию 𝐴 ⊂ Ω сопоставим событие ̃︀ 𝐴 ⊂ ̃︀ Ω , которое совпадает с 𝐴 при 𝐴 ∩ ̃︀ 𝜔 = ∅ и равно 𝐴 ∪ ̃︀ 𝜔 при 𝐴 ∩ ̃︀ 𝜔 ̸= ∅ То есть если хотя бы один из исходов после 𝑁 + 1 попал в 𝐴, то мы весь объединенный кусочек ̃︀ 𝜔 отнесем в ̃︀ 𝐴 Тогда ̃︀ P( ̃︀ 𝐴) − 𝜀 < P(𝐴) < ̃︀ P( ̃︀ 𝐴). Значит вероятности событий 𝐴 и ̃︀ 𝐴 достаточно близки при достаточно малом 𝜀. Пространство ( ̃︀ Ω, ̃︀ 𝐹 , ̃︀ 𝑃 ) подхо- дит под условия прошлого случая, поэтому на нем мы определяем вероятность события ̃︀ 𝐴 ”при условии, что 10 случилось ̃︀ 𝐵 ” с помощью формулы ̃︀ P( ̃︀ 𝐴 ̃︀ 𝐵) ̃︀ P( ̃︀ 𝐵) Тогда и вероятность события 𝐴 ”при условии, что случилось 𝐵” естественно определять как P(𝐴𝐵)/P(𝐵). 2.3 Условная вероятность Итак, мы пришли к следующему определению Определение 2.1. Условной вероятностью события 𝐴 при условии 𝐵 называют P(𝐴|𝐵) := P(𝐴𝐵) P(𝐵) Здесь предполагается, что P(𝐵) > 0 (то есть не ноль). Если рассуждения предыдущего раздела вам не понравились, то вы можете просто пропустить их и считать, что это определение и всё тут. Содержательно мы понимаем под условной вероятностью вероятность события 𝐴, когда мы уже знаем, что случилось 𝐵. Вопрос 2.1. При броске двух костей выпали два четных числа. Какая вероятность, что в сумме выпало 8 очков? a) 4/9; b) 1/3; c) 2/5; d) 11/36. Пример 2.1. Пусть в урне 15 шаров из которых 5 белых и 10 черных шаров, мы выбираем три шара без возвращения. Пусть 𝐴 — событие ”первый шар белый”, 𝐵 — событие ”второй шар белый”, 𝐶 — событие ”третий шар черный”. Пространство элементарных исходов имеет вид Ω = {(𝑖, 𝑗, 𝑘), 𝑖 ̸= 𝑗, 𝑖 ̸= 𝑘, 𝑗 ̸= 𝑘, 𝑖, 𝑗, 𝑘 ∈ {1, . . . , 15}}, 𝐴 = {(𝑖, 𝑗, 𝑘) ∈ Ω : 𝑖 ∈ {1, . . . , 5}}, 𝐵 = {(𝑖, 𝑗, 𝑘) ∈ Ω : 𝑗 ∈ {1, . . . , 5}}, 𝐶 = {(𝑖, 𝑗, 𝑘) ∈ Ω : 𝑘 ∈ {6, . . . , 15}}. Тогда P(𝐴) = 5 · 14 · 13 15 · 14 · 13 = 1 3 , P(𝐴𝐵) = 5 · 4 · 13 15 · 14 · 13 = 2 21 , P(𝐴𝐵𝐶) = 5 · 4 · 10 15 · 14 · 13 = 10 39 Следовательно, P(𝐵|𝐴) = 5 · 4 · 13 5 · 14 · 13 = 4 14 , P(𝐶|𝐴𝐵) = 5 · 4 · 10 5 · 4 · 13 = 10 13 Ответы совпадают с нашими ожиданиями. Действительно, вероятность 𝐵 при условии 𝐴 — это вероятность вытянуть белый шар вторым из урны в мире, в котором первым вытянутым шар был белым. В этом мире в урне перед вторым вытягиванием было 14 шаров, из которых 4 белых. Точно также вероятность 𝐶 при условии 𝐴𝐵 — это вероятность вытянуть черный шар из урны, где 10 черных и 3 белых шара. Зачастую хочется записать что-то в духе двойной условной вероятности P((𝐶|𝐵)|𝐴) (так писать неправильно) — вероятность, что случится 𝐶, если уже случилось 𝐵, а перед этим случилось 𝐴. Однако, это просто P(𝐶|𝐴𝐵) как из формального определения, так и из его физической интерпретации. Как мы видим из примера c шарами, зачастую мы легко можем найти условные вероятности (потому что легко работаем в новой реальности, заданной условием), а вот вероятности пересечения нам получить сложнее. В связи с этим полезно перевернуть определение условной вероятности: P(𝐴𝐵) = P(𝐵|𝐴)P(𝐴). Аналогичный результат можно доказать в случае 𝑛 событий 𝐴 1 , . . . , 𝐴 𝑛 : P(𝐴 𝑛 · · · 𝐴 1 ) = P(𝐴 𝑛 |𝐴 𝑛−1 · · · 𝐴 1 ) · · · P(𝐴 2 |𝐴 1 )P(𝐴 1 ). 11 Этот результат иногда называют теоремой умножения. Доказательство. Докажем этот факт по индукции. При 𝑛 = 2 он верен. Пусть при 𝑛 = 𝑘 он верен, докажем его при 𝑛 = 𝑘 + 1. В силу предположения и базы индукции P(𝐴 𝑘+1 · · · 𝐴 1 ) = P(𝐴 𝑘+1 |𝐴 𝑘 · · · 𝐴 1 )P(𝐴 𝑘 · · · 𝐴 1 ) = P(𝐴 𝑘+1 |𝐴 𝑘 · · · 𝐴 1 )P(𝐴 𝑘 |𝐴 𝑘−1 · · · 𝐴 1 ) · · · P(𝐴 2 |𝐴 1 )P(𝐴 1 ), что и требовалось доказать. Эту формулу удобно использовать для подсчета вероятностей пересечения событий. Вопрос 2.2. Чему равна вероятность того, что при трех вытягиваниях без возвращения из урны с 8 черными, 5 белыми и 3 красными шарами, мы вытянем черный, белый и снова черный шары. a) 1/12 b) 5/64 c) 1/27 d) 4/21. 2.4 Формула полной вероятности и формула Байеса Пример 2.2. Предположим, что мы хотим найти вероятность события 𝐵: второй шар, взятый из урны с 5 белыми и 10 черными шарами, будет белым. Давайте разберемся какой шар выпал первым. Пусть 𝐴 — событие, заключающееся в том, что первый шар белый. Мы легко можем найти P(𝐴𝐵) = P(𝐵|𝐴)P(𝐴) = 5 15 4 14 = 2 21 , P(𝐴𝐵) = P(𝐵|𝐴)P(𝐴) = 10 15 5 14 = 5 21 , откуда P(𝐵) = P(𝐵|𝐴)P(𝐴) + P(𝐵|𝐴)P(𝐴) = 2 21 + 5 21 = 7 21 = 1 3 Мы уже знаем этот ответ с прошлого занятия: вероятность, что второй шар белый та же, что и для первого. Но теперь мы получили новый инструмент получения такой формулы. В общем случае аналогичная формула также справедлива. Сформулируем ее. Определение 2.2. События 𝐵 1 , . . . , 𝐵 𝑁 называются разбиением, если Ω = 𝑁 ∑︁ 𝑛=1 𝐵 𝑛 , то есть если 𝐵 𝑖 не пересекаются, и их объединение есть все Ω. Мы предполагаем, что 𝑁 может быть конечным или бесконечным. Пусть 𝐵 1 , 𝐵 2 , . . . . — события c ненулевой вероятностью, образующие разбиение Ω. Тогда P(𝐴) = P (︃ 𝑛 ∑︁ 𝑖=1 𝐴𝐵 𝑖 )︃ = 𝑛 ∑︁ 𝑖=1 P(𝐴𝐵 𝑖 ) = 𝑛 ∑︁ 𝑖=1 P(𝐴|𝐵 𝑖 )P(𝐵 𝑖 ). Это соотношение называют формулой полной вероятности. Если число событий счетно, то формула остается в силе, но конечная сумма превращается в ряд. Почему эта формула так полезна? Она позволяет посчитать вероятность в сложно устроенных экспериментах. Пример 2.3. Пусть мы подбросили кубик, а затем бросили монету c вероятностью орла 𝑝 столько раз, сколько очков выпало на кубике. Какая вероятность того, что выпала хотя бы одна решка? Есть некоторые сложности с тем, чтобы построить пространство элементарных исходов. Рассмотрим такие пространство и вероятность на нем: Ω = {(𝑛, 𝑥), 𝑛 ∈ {1, . . . , 6}, 𝑥 ∈ {0, 1} 𝑛 }, P((𝑛, 𝑥)) = 𝑝 ∑︀ 𝑛 𝑖=1 𝑥 𝑖 (1 − 𝑝) ∑︀ 𝑛 𝑖=1 (1−𝑥 𝑖 ) 12 В этом пространстве не слишком удобно работать. Куда удобнее зафиксировать 𝑛 и после этого уже работать с более простым пространством. Пусть 𝐵 𝑛 — событие ”на кубике выпало 𝑛”, 𝐴 — событие ”есть хотя бы одна решка”. Тогда P(𝐴) = 6 ∑︁ 𝑛=1 P(𝐴|𝐵 𝑛 )P(𝐵 𝑛 ) = 1 6 6 ∑︁ 𝑛=1 P(𝐴|𝐵 𝑛 ). При этом P(𝐴|𝐵 𝑛 ) = 1 − P(𝐴|𝐵 𝑛 ) = 1 − 𝑝 𝑛 , а значит P(𝐴) = 1 6 6 ∑︁ 𝑛=1 (1 − 𝑝 𝑛 ) = 1 − 𝑝(1 − 𝑝 6 ) 6(1 − 𝑝) Как мы видим, с помощью формулы полной вероятности можно свести сложную задачу к нескольким про- стым, не погружаясь в запутанное конструирование общего вероятностного пространства. Вопрос 2.3. Мы подбрасываем монету c вероятностью орла 1/3. Если она выпадает на решку, то мы вытаски- ваем шар из урны с 3 белыми и 7 черными шарами, а если на орла, то из урны с 9 белыми и 1 черным шаром. Какая вероятность того, что мы вытащим белый шар? a) 3/5 b) 7/10. c) 2/5. d) 1/2. Отметим еще одну формулу, легко вытекающую из формулы полной вероятности. Предположим, что мы знаем P(𝐵 1 ), . . . , P(𝐵 𝑛 ) для разбиения 𝐵 1 , . . . , 𝐵 𝑛 . Пусть также известны P(𝐴|𝐵 1 ), . . . , P(𝐴|𝐵 𝑛 ) . Тогда P(𝐵 1 |𝐴) = P(𝐴|𝐵 1 )P(𝐵 1 ) P(𝐴) = P(𝐴|𝐵 1 )P(𝐵 1 ) ∑︀ 𝑛 𝑖=1 P(𝐴|𝐵 𝑖 )P(𝐵 𝑖 ) Данная формула называется формулой Байеса. Пример 2.4. Представим, что в последнем вопросе мы видим, что шар белый, и хотим восстановить на что упала монета. Тогда если 𝐵 1 — монета упала на орла, 𝐴 — шар белый, то P(𝐵 1 |𝐴) = P(𝐴|𝐵 1 )P(𝐵 1 ) P(𝐴|𝐵 1 )P(𝐵 1 ) + P(𝐴|𝐵 1 )P(𝐵 1 ) = 1 3 · 9 10 1 3 · 9 10 + 2 3 · 3 10 = 3 5 После вытягивания белого шара вероятность того, что монета упала на орла сильно возросла — от 0.(3) до 0.6, то есть почти вдвое. 2.5 Независимость Это понятие является ключевым для развития теории вероятностей в отдельности от общей теории меры. Итак, дадим следующее естественное определение. Определение 2.3. События 𝐴 и 𝐵 называются независимыми, если P(𝐴|𝐵) = P(𝐴), где предполагается, что P(𝐵) > 0 Это определение в силу определения условной вероятности переписывается в виде Определение 2.4. События 𝐴 и 𝐵 называются независимыми, если P(𝐴𝐵) = P(𝐴)P(𝐵). Второе определение чуть более общее (не требует P(𝐵) > 0) и мы будем использовать его. Вопрос 2.4. Какие из соотношений между событиями невозможны? (a) P(𝐴𝐵) < P(𝐴)P(𝐵); (b) P(𝐴𝐵) > P(𝐴)P(𝐵); (с) невозможны оба неравенства (a) и (b); (d) возможны оба неравенства (a) и (b). 13 Начнем с нескольких простых замечаний, которые вам предстоит доказать самостоятельно: • Если 𝐴 и 𝐵 независимы, то 𝐴 и 𝐵 независимы, 𝐵 и 𝐴 независимы, 𝐴 и 𝐵 независимы • События вероятности 0 и 1 независимы от любых событий. • Событие независимо от самого себя только если оно имеет вероятность 0 или 1. • Непересекающиеся события независимы только если одно из них имеет вероятность 0. • Если 𝐴 не зависит от 𝐵 и 𝐴 независит от 𝐶, где 𝐵𝐶 = ∅, то 𝐴 независит от 𝐵 + 𝐶. Нам понадобится более общее определение независимости 𝑛 событий. Определение 2.5. События 𝐴 1 , . . . , 𝐴 𝑛 — независимы (в совокупности), если для любых 1 ≤ 𝑖 1 < 𝑖 2 < . . . < 𝑖 𝑘 ≤ 𝑛 P(𝐴 𝑖 1 · · · 𝐴 𝑖 𝑘 ) = P(𝐴 𝑖 1 ) · · · P(𝐴 𝑖 𝑘 ). Давайте поймем почему нужно такое сложное определение. Неужели не хватит просто независимости каждого события с каждым (такую независимость называют попарной)? Пример 2.5. Предположим, что мы бросаем симметричную монету дважды. Рассмотрим события A = {первый бросок оказался на орла}, B = {второй бросок оказался на орла}, C = {ровно один бросок оказался на орла}. Тогда P(𝐴|𝐵) = P(𝐴) = 1 2 , P(𝐶|𝐴) = P(𝐶) = 1 2 , P(𝐶|𝐵) = P(𝐶) = 1 2 Поэтому каждые два события независимы. Однако, P(𝐴𝐵𝐶) = 0 ̸= P(𝐴)P(𝐵)P(𝐶) = 1 8 Поэтому каждое из событий не влияет на шансы каждого из других случиться, но два события вместе делают невозможным третье. Точно также можно построить 𝑛 событий, любые 𝑛 − 1 из которых независимы, а все 𝑛 вместе зависимы. Можно привести следующий критерий независимости, обобщающий первое свойство независимости двух со- бытий, указанное выше: Лемма 2.1. События 𝐴 1 , . . . , 𝐴 𝑛 независимы тогда и только тогда, когда P (︁ 𝐴 𝛿 1 1 · · · 𝐴 𝛿 𝑛 𝑛 )︁ = P (︁ 𝐴 𝛿 1 1 )︁ · · · P (︁ 𝐴 𝛿 𝑛 𝑛 )︁ , (1) где 𝛿 𝑖 ∈ {0, 1}, 𝐴 1 = 𝐴, 𝐴 0 = 𝐴. Доказательство. 1) Докажем достаточность. Пусть 𝐴 1 , . . . , 𝐴 𝑛 независимы. Покажем большее, чем нам требу- ется — что P(𝐴 𝛿 𝑖1 𝑖 1 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 ) = P(𝐴 𝛿 𝑖1 𝑖 1 ) · · · P(𝐴 𝛿 𝑖𝑙 𝑖 𝑙 ) при любых 𝑙, 1 ≤ 𝑖 1 < . . . < 𝑖 𝑙 ≤ 𝑛 , 𝛿 𝑖 1 , . . . , 𝛿 𝑖 𝑙 ∈ {0, 1} . Доказательство проведем индукцией по 𝑘 = 𝛿 𝑖 1 + · · · . + 𝛿 𝑖 𝑙 База индукции: при 𝑘 = 0 утверждение вытекает из того, что 𝐴 1 , . . . , 𝐴 𝑛 независимы. Переход индукции: пусть при 𝑘 ≤ 𝑚 при некотором 𝑚 утверждение доказано, докажем при 𝑘 = 𝑚 + 1. Без ограничения общности считаем 𝛿 𝑖 1 = 0 . Тогда P (︁ 𝐴 0 𝑖 1 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ = P (︁ 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ − P (︁ 𝐴 1 𝑖 1 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ (2) при любых 𝑖 1 , . . . , 𝑖 𝑙 . В силу предположения индукции P (︁ 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ = 𝑙 ∏︁ 𝑖=1 P (︁ 𝐴 𝛿 𝑖2 𝑖 2 )︁ · · · P (︁ 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ , P (︁ 𝐴 1 𝑖 1 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ = P (︀𝐴 1 𝑖 1 )︀ P (︁ 𝐴 𝛿 𝑖2 𝑖 2 )︁ · · · P (︁ 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ (3) 14 Подставляя ( 3 ) в ( 2 ), получаем P (︁ 𝐴 0 𝑖 1 𝐴 𝛿 𝑖2 𝑖 2 · · · 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ = (1 − P (𝐴 𝑖 1 )) P (︁ 𝐴 𝛿 𝑖2 𝑖 2 )︁ · · · P (︁ 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ P (︀𝐴 0 𝑖 1 )︀ P (︁ 𝐴 𝛿 𝑖2 𝑖 2 )︁ · · · P (︁ 𝐴 𝛿 𝑖𝑙 𝑖 𝑙 )︁ Достаточность показана. 2) Докажем необходимость. Пусть мы знаем ( 1 ). Докажем, что P (𝐴 𝑖 1 · · · 𝐴 𝑖 𝑙 ) = P (𝐴 𝑖 1 ) · · · P (𝐴 𝑖 𝑙 ) при всех 𝑙 ≤ 𝑛. Для удобства будем считать, что 𝑖 1 = 1, . . . , 𝑖 𝑙 = 𝑙 (это вопрос нумерации 𝐴 𝑖 ). Тогда P (𝐴 1 · · · 𝐴 𝑙 ) = ∑︁ 𝛿 𝑙+1 ,...,𝛿 𝑛 ∈{0,1} P (︁ 𝐴 1 · · · 𝐴 𝑙 𝐴 𝛿 𝑙+1 𝑙+1 · · · 𝐴 𝛿 𝑛 𝑛 )︁ = ∑︁ 𝛿 𝑙+1 ,...,𝛿 𝑛 ∈{0,1} P (𝐴 1 ) · · · P (𝐴 𝑙 ) P (︁ 𝐴 𝛿 𝑙+1 𝑙+1 )︁ · · · P (︁ 𝐴 𝛿 𝑛 𝑛 )︁ = P (𝐴 1 ) · · · P (𝐴 𝑙 ) ∑︁ 𝛿 𝑙+1 ,...,𝛿 𝑛 ∈{0,1} P (︁ 𝐴 𝛿 𝑙+1 𝑙+1 )︁ · · · P (︁ 𝐴 𝛿 𝑛 𝑛 )︁ Остается показать, что сумма в правой части равна единице. Для этого заметим, что это в точности (︀P (︀𝐴 0 𝑙+1 )︀ + P (︀𝐴 1 𝑙+1 )︀)︀ · · · (︀P (︀𝐴 0 𝑛 )︀ + P (︀𝐴 1 𝑛 )︀)︀ = 1 · 1 · · · · 1 = 1. Лемма доказана. 2.6 Ответы на вопросы 1. Наше пространство состоит из пар (2𝑖, 2𝑗), 𝑖, 𝑗 ∈ {1, 2, 3}, следовательно в нем 9 исходов. Нам подходят 3 пары (2, 6), (4, 4), (6, 2). Итого 1/3. 2. В силу теоремы произведения 8 16 · 5 15 · 7 14 = 1 12 3. В силу формулы полной вероятности искомая вероятность есть 2 3 · 3 10 + 1 3 · 9 10 = 5 10 = 1 2 4. Возможны все эти соотношения. Наши неравенства удобнее переписать как соотношения между P(𝐴|𝐵) и P(𝐴). В первом примере с шариками мы видели оба вида неравенств: P(𝐵|𝐴) = 4 14 < 5 15 = P(𝐵), P(𝐶|𝐴𝐵) = 10 13 > 10 15 = P(𝐶). Это вполне логично, случившиеся события могут повышать вероятность других, а могут понижать. Вы- таскивая белые шары мы повышаем шансы вытаскивать черные и понижаем шансы выстаскивать белые. 3 Случайные величины 3.1 Последовательность независимых испытаний Мы научились рассматривать независимые события на одном вероятностном пространстве, но зачастую мы сталкиваемся с другой ситуацией. Мы проводим испытания для каждого из которых вероятностное пространство у нас известно, и хотим построить новое пространство, которое включает их все. Итак, пусть (Ω 1 , ℱ 1 , P 1 ) ,. . . с,(Ω 𝑛 , ℱ 𝑛 , P 𝑛 ) — вероятностные пространства, каждое из которых описывает свой опыт. Определение 3.1. Пространство (Ω, ℱ, P), где Ω = Ω 1 × · · · × Ω 𝑛 , ℱ = 2 Ω , P((𝜔 1,𝑖 1 , . . . , 𝜔 𝑛,𝑖 𝑛 )) = P 1 (𝜔 1,𝑖 1 ) · · · P 𝑛 (𝜔 𝑛,𝑖 𝑛 ) 15 называют прямым произведением пространств (Ω 1 , ℱ 1 , P 1 ), . . . , (Ω 𝑛 , ℱ 𝑛 , P 𝑛 ) Прямое произведение будет соответствовать независимому проведению всех этих опытов. Наш новый элемен- тарный исход представляет собой вектор (𝜔 1,𝑖 1 , . . . , 𝜔 𝑛,𝑖 𝑛 ) из исходов каждого из опытов, а вероятность такого исхода будет равна произведению вероятностей. Мы уже делали это, например, при работе с монетой. При этом для любых 𝐵 1 ∈ ℱ 1 , . . . , 𝐵 𝑛 ∈ ℱ 𝑛 события 𝐴 𝑘 = {(𝜔 1,𝑖 1 , . . . , 𝜔 𝑛,𝑖 𝑛 ) : 𝜔 𝑘,𝑖 𝑘 ∈ 𝐵 𝑘 } при 𝑘 = 1, . . . , 𝑛 будут независимыми. Это вполне естественно, поскольку события 𝐴 𝑘 относятся к разным опытам. Пример 3.1. Представим себе, что все (Ω 𝑖 , ℱ 𝑖 , 𝑃 𝑖 ) одинаковы и соответствуют одному бросанию монеты: Ω = {0, 1}, ℱ = {∅, {0}, {1}, Ω}, P(0) = 1 − 𝑝, P(1) = 𝑝. Тогда прямое произведение пространств будет представлять собой Ω = {(𝑖 1 , . . . , 𝑖 𝑛 ) : 𝑖 𝑗 ∈ {0, 1}}, ℱ = 2 Ω , P((𝑖 1 , 𝑖 2 , . . . , 𝑖 𝑛 )) = 𝑝 #{𝑗:𝑖 𝑗 =1} (1 − 𝑝) #{𝑗:𝑖 𝑗 =0} , где # — количество элементов в множестве. Это так называемая схема Бернулли, описывающая результат 𝑛 независимых бросаний несимметричной монеты. Кстати, для вероятностей элементарных исходов можно напи- сать более изящную формулу P((𝑖 1 , 𝑖 2 , . . . , 𝑖 𝑛 )) = 𝑝 𝑖 1 +···+𝑖 𝑛 (1 − 𝑝) 𝑛−𝑖 1 −···−𝑖 𝑛 3.2 Случайные величины Люди стараются оперировать с количественными показателями явлений, что упрощает работу с ними. Мы измеряем температуру, время, вес, рост и другие показатели. Также и в теории вероятностей чаще всего нас интересует не сам исход, а некоторая его числовая характеристика — число, выпавшее на кубике, число орлов при 𝑛 бросаниях монеты и так далее. Определение 3.2. Пусть (Ω, 2 Ω , P) — конечное или счетное вероятностное пространство. Случайной величиной на (Ω, 2 Ω , P) называют отображение 𝑋 : Ω → R. Обратите внимание, что мы определяем так величину только в том случае, если пространство событий есть 2 Ω . О том, как быть, если это не так, мы поговорим позднее. В нашем случае конечных или счетных пространств вполне достаточно рассматривать именно случай ℱ = 2 Ω Пример 3.2. Наиболее простую величину представляет собой 𝐼 𝐴 — индикатор события 𝐴, то есть 𝐼 𝐴 (𝜔) = {︂ 1, 𝜔 ∈ 𝐴, 0, 𝜔 ̸∈ 𝐴. Определение 3.3. Распределением вероятностей случайной величины 𝑋 называют отображение P 𝑋 : 2 R → [0, 1] , заданное соотношением P 𝑋 (𝐵) := P(𝜔 : 𝑋(𝜔) ∈ 𝐵) = ∑︁ 𝑖:𝑋(𝜔 𝑖 )∈𝐵 𝑝 𝑖 , 𝐵 ⊆ R. где 𝑝 𝑖 = P(𝜔 𝑖 ) . Здеcь 2 R — множество всех подмножеств R. Поскольку распределение вероятностей в нашем случае полностью задается набором вероятностей P 𝑋 (𝑥 𝑖 ) = P(𝜔 : 𝑋(𝜔) = 𝑥 𝑖 ) для всевозможных 𝑥 𝑖 из множества 𝒳 = Im 𝑋 (то есть всевозможных значений, принимаемых случайной величиной), то для задания распределения вероятностей мы будем находить их. Будем называть функцию P 𝑋 (𝑥) = P(𝜔 : 𝑋(𝜔) = 𝑥) (вероятностной) функцией масс. 16 Немного о терминологии. В русскоязычной традиции, к сожалению, функцию масс также принято называть распределением вероятностей случайной величины. Это создает путаницу. Более правильно, вероятно, было бы называть ее функцией распределения вероятностей случайной величины, но этот термин занят другим объ- ектом. В некоторых источниках (например, русскоязычной википедии) ее называют функцией вероятностей случайной величины, однако, насколько я могу судить, это не слишком распространенное обозначение, которое, на мой взгляд, достаточно неудачно. В английской терминологии все намного четче. Существует probability distribution — распределение вероятно- стей и множество разных функций: cdf (cumulative distribution function) — то, что в русском языке называют функцией распределения, pmf (probability mass function) — то, что мы назвали функцией масс (а еще есть pdf, pgf и так далее). Поэтому мы позаимствуем этот термин из английского. Учтите, что в других источниках вместо него может использоваться слово распределение. Функция масс будет равна нулю во всех точках кроме точек из 𝒳 , поэтому можно охарактеризовать распре- деление (или функцию масс) с помощью таблицы распределения: значение 𝑥 1 𝑥 2 𝑥 𝑛 вероятность 𝑝 1 𝑝 2 𝑝 𝑛 Пример 3.3. Рассмотрим схему Бернулли: Ω = {(𝑖 1 , . . . , 𝑖 𝑛 ) : 𝑖 𝑗 ∈ {0, 1}}, ℱ = 2 Ω , P((𝑖 1 , . . . , 𝑖 𝑛 )) = 𝑝 𝑖 1 +···+𝑖 𝑛 (1 − 𝑝) 𝑛−𝑖 1 −···−𝑖 𝑛 Естественно рассмотреть случайные величины 𝑋 𝑘 ((𝑖 1 , . . . , 𝑖 𝑛 )) = 𝑖 𝑘 , характеризующие результаты 𝑘-го броска. При этом таблицы распределения величин 𝑋 𝑘 одинаковые: значение 0 1 вероятность 1-p p соответственно, у них одинаковые функции масс 𝑝(𝑥) = P 𝑋 (𝑥) = ⎧ ⎨ ⎩ 𝑝, 𝑥 = 1, 1 − 𝑝, 𝑥 = 0, 0, 𝑥 ̸∈ {0, 1}. и распределения P 𝑋 (𝐵) = ⎧ ⎪ ⎪ ⎨ ⎪ ⎪ ⎩ 1, 0 ∈ 𝐵, 1 ∈ 𝐵, 1 − 𝑝, 0 ∈ 𝐵, 1 ̸∈ 𝐵, 𝑝, 0 ̸∈ 𝐵, 1 ∈ 𝐵, 0, 0 ̸∈ 𝐵, 1 ̸∈ 𝐵. Для случайной величины 𝑋((𝑖 1 , . . . , 𝑖 𝑛 )) = 𝑖 1 + · · · + 𝑖 𝑛 (то есть числа орлов за 𝑛 бросков монеты) мы также можем вычислить требуемые параметры. Понятно, что 𝒳 в данном случае представляет собой {0, 1, . . . , 𝑛}. Найдем функцию масс: при 𝑘 ∈ {0, . . . , 𝑛} P 𝑋 (𝑘) = P(𝜔 : 𝑋(𝜔) = 𝑘) = ∑︁ (𝑖 1 ,...,𝑖 𝑛 ):𝑖 1 +···+𝑖 𝑛 =𝑘 P((𝑖 1 , . . . , 𝑖 𝑛 )) = ∑︁ (𝑖 1 ,...,𝑖 𝑛 ):𝑖 1 +···+𝑖 𝑛 =𝑘 𝑝 𝑘 (1 − 𝑝) 𝑛−𝑘 = 𝑝 𝑘 (1 − 𝑝) 𝑛−𝑘 #{(𝑖 1 , . . . , 𝑖 𝑛 ) ∈ Ω : 𝑖 1 + · · · + 𝑖 𝑛 = 𝑘}, где последний множитель представляет собой количество элементарных исходов, в которых ровно 𝑘 единиц. Число способов выбрать места для 𝑘 единиц на 𝑛 местах есть 𝐶 𝑘 𝑛 , откуда P 𝑋 (𝑘) = 𝐶 𝑘 𝑛 𝑝 𝑘 (1 − 𝑝) 𝑛−𝑘 , 𝑘 ∈ {0, . . . , 𝑛}. Обратим внимание, что если мы изучаем случайную величину, то фактически мы создаем отдельное вероят- ностное пространство (𝒳 , 2 𝒳 , P 𝑋 ). 17 Как мы видели выше, разные физически величины (например, результат первого броска и результат второго броска монеты) могут задавать одно и то же пространство. Таким образом, есть смысл рассматривать распре- деления сами по себе, не описывая явно (Ω, ℱ, P), а работая с (𝒳 , 2 𝒳 , P 𝑋 ) 3.3 Классические дискретные распределения Выпишем несколько полезных дискретных распределений. 1. Бернуллиевское распределение 𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(𝑝). При этом 𝒳 = {0, 1}, P 𝑋 (0) = 1 − 𝑝 , 𝑃 𝑋 (1) = 𝑝 Как мы уже говорили — это соотвествует одному бросанию несимметричной монеты. 2. Биномиальное распределение 𝐵𝑖𝑛𝑜𝑚(𝑛, 𝑝). При этом 𝒳 = {0, 1, . . . , 𝑛}, P 𝑋 (𝑘) = 𝐶 𝑘 𝑛 𝑝 𝑘 (1 − 𝑝) 𝑘 , 𝑘 ∈ {0, . . . , 𝑛}. Как мы видели выше — оно описывает число орлов при 𝑛 бросаниях несимметричной монеты. 3. Дискретное равномерное распределение 𝑅{1, . . . , 𝑁} (или другое обозначение 𝑈{1, . . . , 𝑁}). При этом 𝒳 = {1, . . . , 𝑁 } , P 𝑋 (𝑘) = 1 𝑁 , 𝑘 ∈ {1, . . . , 𝑁 }. Это распределение описывает номер шара, извлеченного из урны с 𝑁 шарами. 4. Геометрическое распределение 𝐺𝑒𝑜𝑚(𝑝). При этом 𝒳 = N ∪ {0}, P 𝑋 (𝑘) = (1 − 𝑝) 𝑘 𝑝. Это распределение, как мы увидим ниже, соответствует количеству решек, выпавших при бросании монеты до первого орла. 5. Пуассоновское распределение 𝑃 𝑜𝑖𝑠𝑠(𝜆). При этом 𝒳 = N ∪ {0}, P 𝑋 (𝑘) = 𝜆 𝑘 𝑘! 𝑒 −𝜆 Это распределение не имеет столь простого описания как предыдущие. Впрочем, как мы увидим на сле- дующих занятиях, у него есть естественная интерпретация — оно хорошо приближает биномиальное рас- пределение 𝐵𝑖𝑛𝑜𝑚(𝑛, 𝑝 𝑛 ) с 𝑝 𝑛 ∼ 𝜆/𝑛 при больших 𝑛. 6. Отрицательное биномиальное распределение 𝑁𝑒𝑔𝐵𝑖𝑛𝑜𝑚(𝑟, 𝑝). При этом 𝒳 = N ∪ {0}, P 𝑋 (𝑘) = 𝐶 𝑟−1 𝑟+𝑘−1 (1 − 𝑝) 𝑘 𝑝 𝑟 Это распределение, как мы увидим ниже, соответствует количеству решек, выпавших при бросании монеты до 𝑟-о орла. 7. Гипергеометрическое распределение 𝐻𝑦𝑝𝑒𝑟𝐺𝑒𝑜𝑚(𝑁, 𝑀, 𝑛). При этом 𝒳 = {max(0, 𝑛−𝑁+𝑀), . . . , min(𝑀, 𝑛)}, 𝑃 𝑋 (𝑘) = 𝐶 𝑘 𝑀 𝐶 𝑛−𝑘 𝑁 −𝑀 𝐶 𝑛 𝑁 Это распределение, как мы увидим ниже, соответствует количеству белых шаров среди 𝑛 извлеченных шаров из урны с 𝑁 шарами, из которых 𝑀 белых. Не пугайтесь некрасивого 𝒳 , наложенные условия просто не дают обнулиться биномиальным коэффициентам. Вопрос 3.1. |