Лекции теория вероятностей 2019. Вероятностное пространство
 Скачать 2.67 Mb.
|
|
1 Вероятностное пространство Начнем с такого вопроса, чтобы проверить вашу вероятностную интуцию: Вопрос 1.1. Какое из событий более вероятно при бросании симметричной монеты: (a) выпадет орел, решка, орел, решка, орел, решка; (b) выпадет орел, орел, орел, решка, решка, решка; (c) выпадет решка, решка, решка; (d) (a) и (b) вместе. 1.1 Введение Если спросить у вас что такое вероятность какого-либо события, то, скорее всего, вы дадите эмпирическое определение — вероятность события есть доля случаев, в которых оно произойдет, если много раз его повторять. Это определение полностью соответствует нашим интуитивным представлениям о вероятности. Однако, с точки зрения науки оно не слишком удачно. Вот лишь два из множества вопросов, на которые достаточно затруднительно ответить с точки зрения эмпирического определения. 1. Что такое повторение? Допустим, я вытащил карту наугад из колоды карт. Теперь я планирую перевернуть верхнюю карту и хочу узнать какая вероятность того, что это дама пик. С точки зрения эмпирического определения я должен повторить эксперимент много раз и посмотреть на долю успехов. Но ведь верхняя карта уже есть какая-то, если я буду повторять эксперимент (то есть брать верхнюю карту, смотреть на нее и класть ее обратно), то я всегда буду получать один и тот же результат. Нет, скажете вы, повторять эксперимент нужно более полно — каждый раз заново раскладывать колоду в случайном порядке и брать верхнюю карту. Однако, попробуйте объяснить в сколько-то общей постановке задачи насколько сильно мне нужно воз- вращаться в прошлое, чтобы повторить опыт. Нужно ли мне каждый раз покупать новую колоду? Или может быть я должен заново начать эволюцию жизни на Земле, дождаться появления человека, создания печатной промышленности и так далее? Мы интуитивно понимаем о каком именно повторении идет речь (хотя и это не всегда), но включить это в определение достаточно затруднительно. 2. Как быть с событиями, которые нельзя повторить? Что такое вероятность победы ”Барселоны” в завтрашнем противостоянии с ”Реал Мадрид”? Мы не сможем повторить этот эксперимент, завтрашний матч случится только один раз. А любой последующий матч уже не будет повторением завтрашнего, это будет другой матч с другими начальными условиями. В этом случае математикам остается одно — отказаться от эмпирического определения вероятности, а считать, что вероятность — это что-то данное нам изначально. В этой модели, в которой вероятности нам даны, мы можем получить какие-то законы и правила. Одним из таким законов будет, как мы выясним позже, закон больших чисел (теорема 15.2 ), который и покажет, что вероятность должна соответствовать эмпирическому определению. 1.2 Вероятностное пространство 1.2.1 Пространство элементарных исходов Итак, пусть у нас есть некоторый опыт, у которого есть несколько (для простоты конечное число N) воз- можных исходов. Множество возможных исходов мы будем обозначать Ω = {𝜔 1 , . . . , 𝜔 𝑁 } и они будут как-то соответствовать итогам исходного физического опыта. Определение 1.1. Такое пространство называется пространством элементарных исходов, а его элементы — элементарными исходами. С математической точки зрения таким пространством может быть произвольное множество (пока мы рас- сматриваем только конечные Ω, но позже введем в рассмотрение множества произвольной структуры). 1 Пример 1.1. Для броска монеты мы можем выбрать Ω = {𝑂, 𝑃 }, где O соответствует орлу, а Р — решке или, скажем, Ω = {0, 1}, где 1 соответствует орлу, а 0 — решке. Для двух бросков монеты — Ω = {0, 1, 2, 3}, где 0, 1, 2, 3 как-то соответствуют четырем возможным элемен- тарным исходам или, скажем, Ω = {(0, 0), (0, 1), (1, 0), (1, 1)}, где первая цифра соответствует первому броску, а вторая — второму. Описать тот же эксперимент можно и с помощью Ω = {{0, 0}, {0, 1}, {1, 1}}, если человек, наблюдающий за опытом, не знает какая из подоброшенных монет первая, а видит лишь результат броска. В этом случае у него будет один исход {0, 1}, описывающий итог эксперимента ”один раз выпал орел, а один раз решка”. Может быть и гораздо более экзотическое описание экспримента, например, мы можем наблюдать за вза- имным положением молекул монеты в пространстве в наших двух случаях. Тогда у нас будет четыре прин- ципиально разных возможных расположения, соответствующих тому как выпадали монеты. Это пространство покажется нам неестественным, но тоже имеет право на существование. Как мы видим — в выборе пространства элементарных исходов для описания данного эксперимента есть изрядный произвол. Главное — включить в него все ситуации, которые меня интересуют. Так, если я хочу заниматься исследованием реальной монеты с высокой точностью, то неплохо бы добавить к возможным исходам броска случай ”монета встала на ребро” (соответственно, для двух бросков возможных исходов вместо 4 станет 9), а то и добавить исход ”монета потерялась и эксперимент прекратился”. Вопрос 1.2. Сколько в этом случае станет возможных элементарных исходов у эксперимента? 1.2.2 Алгебра событий Чаще всего нас интересуют не отдельные исходы, а целые группы исходов. Иначе говоря, мы рассматриваем подмножества Ω. В нашем простом случае можно рассматривать множество всех подмножеств 2 Ω (почему это плохо в более общей постановке мы поговорим в разделе 8 ). Итак, подмножества Ω будем называть событиями, а их множество будем обозначать ℱ. Пример 1.2. Для одного подбрасывания монеты c Ω = {0, 1} мы получим ℱ = {∅, Ω, {0}, {1}}. Событие ∅ называется невозможным, а Ω — достоверным. Можно интерпретировать наши 4 события как ”монета выпала ни на что” (такого не бывает), ”монета на что-то выпала” (такое происходит всегда), ”монета выпала на орла”, ”монета выпала на решку”. Для двух подбрасываний монеты будет уже 16 событий ℱ = {∅, Ω, {(0, 0)}, {(1, 0)}, {(0, 1)}, {(1, 1)}, {(0, 0), (0, 1)}, {(0, 0), (1, 0)}, {(0, 0), (1, 1)}, {(0, 1), (1, 0)}, {(0, 1), (1, 1)}, {(1, 0), (1, 1)}, {(0, 0), (1, 0), (0, 1)}, {(0, 0), (0, 1), (1, 1)}, {(0, 0), (1, 0), (1, 1)}, {(0, 1), (1, 0), (1, 1)}}. Скажем, событие {(0, 0), (0, 1)} можно назвать ”первый бросок был решкой”, а событие {(0, 0), (1, 0), (0, 1)} — ”выпала хотя бы одна решка”. Для общего случая ℱ будет состоять из 2 𝑁 событий. Над событиями можно производить те же операции, что и над любыми другими множествами: • дополнение 𝐴 (событие не выполнено); • объединение 𝐴 ∪ 𝐵 (выполнено хотя бы одно из событий); • пересечение 𝐴 ∩ 𝐵 (выполнены оба события); • разность 𝐴 ∖ 𝐵 (выполнено первое событие, но не второе); • симметрическая разность (”выполнено ровно одно из событий”) 𝐴∆𝐵 = (𝐴 ∖ 𝐵) ⋃︁ (𝐵 ∖ 𝐴). 2 Рис. 1: Операции над множествами Мы будем для краткости использовать обозначение 𝐴𝐵 для пересечения событий 𝐴 ∩ 𝐵. Нам также будет полезно обозначение ”сумма событий”. Мы говорим про сумму событий 𝐴+𝐵, подразумевая под этим 𝐴 ⋃︀ 𝐵, причем с дополнительным предположением, что 𝐴𝐵 = ∅. Вообще говоря, мы можем рассматривать в качестве множества событий ℱ не все возможные подмножества Ω , а только их часть, но при этом естественно требовать в случае конечного пространства следующие условия • Ω ∈ ℱ; • Если 𝐴 ∈ ℱ, то и 𝐴 ∈ ℱ; • Если 𝐴, 𝐵 ∈ ℱ, то и 𝐴 ∪ 𝐵 ∈ ℱ. Такое множество называется алгеброй подмножеств Ω. В силу соотношений 𝐴 ∩ 𝐵 = 𝐴 ∪ 𝐵, 𝐴 ∖ 𝐵 = 𝐴 ∩ 𝐵, 𝐴∆𝐵 = (𝐴 ∩ 𝐵) ∪ (𝐵 ∩ 𝐴) алгебра множеств содержит вместе с каждыми двумя множествами их пересечение, разность и симметрическую разность. Пример 1.3. Множество {∅, Ω} — алгебра подмножеств Ω. Это самая простая (так называемая тривиальная) алгебра событий. Множество {∅, 𝐴, 𝐴, Ω} также будет алгеброй. Эта алгебра называется алгеброй, порожденной 𝐴. 1.2.3 Вероятность Каждому событию 𝐴 сопоставим вероятность P(𝐴). Определение 1.2. Вероятностной мерой (или просто вероятностью) на конечном пространстве Ω с алгеброй событий ℱ называется отображение P : ℱ → [0, 1], удовлетворяющее свойству 1. P(Ω) = 1. 2. P(𝐴 + 𝐵) = P(𝐴) + P(𝐵). Второе свойство называется аддитивностью. Важно заметить, что в более общем случае бесконечных про- странств элементарных исходов нам понадобится еще одно (очень важное) свойство вероятности, но пока мы рассматриваем только конечные пространства, нам хватит и этих двух. Из определения вероятности можно вывести следующие свойства • P(∅) = 0. • P(𝐴) = 1 − P(𝐴). • P(𝐴 1 + · · · + 𝐴 𝑛 ) = P(𝐴 1 ) + · · · + P(𝐴 𝑛 ) • P(𝐴 ∪ 𝐵) = P(𝐴) + P(𝐵) − P(𝐴𝐵). 3 • P(𝐴 ∖ 𝐵) = P(𝐴) − P(𝐴𝐵). • P(𝐴∆𝐵) = P(𝐴) + P(𝐵) − 2P(𝐴𝐵). Попробуйте доказать их самостоятельно. Вопрос 1.3. А верно ли в общем случае соотношение P(𝐴𝐵) = P(𝐴)P(𝐵)? Приведенная формула для P(𝐴 ∪ 𝐵) допускает следующее обобщение: P ⎛ ⎝ ⋃︁ 𝑖≤𝑛 𝐴 𝑖 ⎞ ⎠ = ∑︁ 𝑖≤𝑛 P(𝐴 𝑖 ) − ∑︁ 𝑖 1 <𝑖 2 P(𝐴 𝑖 1 𝐴 𝑖 2 ) + · · · − (−1) 𝑛 P(𝐴 1 · · · 𝐴 𝑛 ). Эта формула называется формулой включений-исключений. Докажем её. Доказательство. Будем действовать по индукции. Для 𝑛 = 2 она представляет указанное ранее свойство. Пусть для 𝑛 = 𝑘 формула доказана. Докажем ее для 𝑛 = 𝑘 + 1. Пользуясь ей при 𝑛 = 2, получаем P ⎛ ⎝ ⋃︁ 𝑖≤𝑘+1 𝐴 𝑖 ⎞ ⎠ = P(𝐴 1 ∪ 𝐴 2 · · · ∪ 𝐴 𝑘 ) + P(𝐴 𝑘+1 ) − P((𝐴 1 𝐴 𝑘+1 ) ∪ · · · ∪ (𝐴 𝑘 𝐴 𝑘+1 )). Применяя предположение индукции, перепишем это выражение в виде ∑︁ 𝑖≤𝑘 P(𝐴 𝑖 ) − ∑︁ 𝑖 1 <𝑖 2 ≤𝑘 P(𝐴 𝑖 1 𝐴 𝑖 2 ) + · · · − (−1) 𝑘 P(𝐴 1 · · · 𝐴 𝑘 ) + P(𝐴 𝑘+1 ) − ∑︁ 𝑖≤𝑘 P(𝐴 𝑖 𝐴 𝑘+1 ) + ∑︁ 𝑖 1 <𝑖 2 ≤𝑘 P(𝐴 𝑖 1 𝐴 𝑖 2 𝐴 𝑘+1 ) − · · · − (−1) 𝑘+1 P(𝐴 1 · · · 𝐴 𝑘+1 ). Перегруппировывая слагаемые, получаем требуемое. Поскольку среди событий есть события {𝜔 1 } , . . . ., {𝜔 𝑁 } , то мы можем рассмотреть их вероятности 𝑝 1 , . . . , 𝑝 𝑁 Для любого события 𝐴, тем самым, мы получаем P(𝐴) = ∑︁ 𝑖:𝜔 𝑖 ∈𝐴 𝑝 𝑖 = ∑︁ 𝑖:𝜔 𝑖 ∈𝐴 P({𝜔 𝑖 }). Поэтому нам достаточно задать вероятности элементарных исходов 𝑝 𝑖 , вероятности всех остальных событий будут определяться этими числами. Вообще говоря, на роль 𝑝 𝑖 подойдут любые неотрицательные числа, в сумме дающие 1. Определение 1.3. Итак, вероятностным пространством называется тройка (Ω, ℱ, P) из пространства эле- ментарных исходов, алгебры событий и вероятностной меры. В нашем простом случае мы, чаще всего, будем задавать Ω, в качестве множества событий брать множе- ство всех подмножеств Ω, а вероятность на них будем задавать исходя из вероятностей элементарных исходов 𝑝 1 , . . . , 𝑝 𝑁 1.2.4 Как выбрать вероятностное пространство Возникает важный вопрос — как сопоставить эксперименту вероятностное пространство? С Ω особых проблем не возникает — мы просто должны сопоставить эксперименту подходящее описание в каком-то виде, закодировать итоги эксперимента. Хотя, как мы увидим позже, удачный выбор Ω иногда фактически решает задачу. С ℱ в текущей постановке все совсем просто — обычно это будет просто множество всех подмножеств Ω. А вот с P возникают проблемы. Мы можем сопоставить элементарным исходам любые вероятности, лишь бы их сумма была равна 1. Но, вообще говоря, нам бы хотелось, чтобы теория соответствовала эксперименту. Пока мы плохо понимаем как именно, но каждому с детства понятен анекдот про блондинку, которая сопоставляет 4 исходам ”встретить динозавра на улице” и ”не встретить динозавра на улице” равные вероятности. Это сопостав- ление вероятностей элементарным исходам не соответствует нашему представлению о реальных частотах этих событий. Пока мы постараемся обходить эту проблему и считать, что вероятности даны нам свыше. Впрочем, сегодня мы рассмотрим удачный частный случай, в котором понятно как составить вероятности элементарным исходам. 1.3 Классическое вероятностное пространство 1.3.1 Общая постановка Если мы, например, бросаем игральный кубик, то естественно приписать этому эксперименту Ω = {1, 2, 3, 4, 5, 6} и всех исходам приписать равные вероятности 1/6, потому что все числа на кубике равноправны. Определение 1.4. Говорят, что вероятности на пространстве элементарных исходов Ω заданы классически, если 𝑝 𝑖 = P(𝜔 𝑖 ) = 1/𝑁 Вспоминая все тот же анекдот, мы видим, что разумно использовать классическое задание вероятностей только если у исходов есть симметрия. У наличия и отсутствия динозавра на улице такой симметрии нет. Пример 1.4. При двух бросания монеты мы можем рассмотреть Ω 1 = {(0, 0), (1, 0), (0, 1), (1, 1)} с ℱ 1 = 2 Ω 1 и P 1 (𝜔 𝑖 ) = 1/4 А можем рассмотреть Ω 2 = {{0, 0}, {1, 0}, {1, 1}} c ℱ 2 и P 2 (𝜔 𝑖 ) = 1/3 При этом пространства находятся в конфликте друг с другом — одно и то же реальное событие ”два орла” имеет в одном из них вероятность 1/4, а во втором 1/3. В первом симметрия исходов совершенно разумна — при каждом из бросков орел и решка для нас равно- значны (если, конечно, монетку мы считаем честной). Во втором случае исход ”один раз выпала решка, а один орел” совершенно не симметричен исходу ”дважды выпал орел”. Поэтому в первом случае классическое задание вероятностей соответствует постановке задачи, а во втором нет. 1.3.2 Выбор шаров из урны Рассмотрим урну с шарами, пронумерованными от 1 до 𝑛. Предположим, что мы вытягиваем 𝑘 шаров и записываем их номера. 1. Упорядоченный выбор с возвращением. Пусть номера записываются в порядке появления, а шары после каждого вытягивания возвращаются в урну. Тогда естественно использовать Ω = {(𝑖 1 , . . . , 𝑖 𝑘 ), 𝑖 1 , . . . , 𝑖 𝑘 ∈ {1, . . . , 𝑛}}, ℱ = 2 Ω При этом классически заданная вероятность соответствует нашим представлениям о задаче — все рас- кладки шаров равновероятны просто потому, что каждый раз нам совершенно все равно что вытаскивать — 1, 2, . . . или 𝑘. Все возможные исходы представляют собой таблицу {1, . . . , 𝑛}×· · ·×{1, . . . , 𝑛}, в которой 𝑛 𝑘 исходов. Нам более удобно представить их в виде дерева, что легко позволяет убедиться в том, что |Ω| = 𝑛 𝑘 , где | · | — мощность множества. Действительно, каждая вершина на нижнем слое дерева соответствует одному набору (𝑖 1 , . . . , 𝑖 𝑘 ) . Число вершин на нижнем слое при этом в n раз больше, чем на предыдущем, в том — в n раз больше, чем на предыдущем и так далее (см. Рис 2 ). 2. Упорядоченный выбор без возвращения. Пусть номера записываются в порядке появления, а шары после каждого вытягивания откладываются. Тогда естественно использовать Ω = {(𝑖 1 , . . . , 𝑖 𝑘 ), 𝑖 1 , . . . , 𝑖 𝑘 ∈ {1, . . . , 𝑛}, 𝑖 𝑗 ̸= 𝑖 𝑙 , 𝑗 ̸= 𝑙}, ℱ = 2 Ω При этом классически заданная вероятность соответствует нашим представлениям о задаче — все расклад- ки шаров равновероятны просто потому, что каждый раз нам совершенно все равно какой из оставшихся шаров вытягивать. Опять же удобно представить исходы в виде дерева, что легко позволяет убедиться в том, что |Ω| = 𝑛(𝑛 − 1) · · · (𝑛 − 𝑘 + 1) = 𝐴 𝑘 𝑛 5 Рис. 2: Упорядоченный выбор с возвращением Рис. 3: Упорядоченный выбор без возвращения Вопрос 1.4. А сколько способов достать пять шаров из семи, если шары не возвращаются в урну, а их порядок неважен? 3. Неупорядоченный выбор без возвращения. Пусть номера записываются без порядка, а шары после каждого вытягивания откладываются. Тогда естественно использовать Ω = {{𝑖 1 , . . . , 𝑖 𝑘 }, 𝑖 1 , . . . , 𝑖 𝑘 ∈ {1, . . . , 𝑛}, 𝑖 𝑗 ̸= 𝑖 𝑙 , 𝑗 ̸= 𝑙}, ℱ = 2 Ω Здесь элементарный исход — это множество из 𝑘 различных чисел от 1 до n, в котором порядок появления чисел уже не имеет значения. Значит, исходов станет меньше. Если попробовать сравнить упорядоченные и неупорядоченный исходы, то мы заметим, что каждому неупорядоченному исходу соответствуют k! упорядоченных, которые ему равносильны. Действительно, к 6 неупорядоченному исходу {1, . . . , 𝑘} приведут любые упорядоченные исходы, в которых используются те же числа. Способов упорядочить {1, . . . , 𝑘} как раз k!, откуда неупорядоченных исходов в k! раз меньше. Значит, |Ω| = 𝐶 𝑘 𝑛 = 1 𝑘! 𝐴 𝑘 𝑛 = 𝑛! 𝑘!(𝑛 − 𝑘)! Отметим, что упорядоченный и неупорядоченный выбор с возвращением соответствуют одной физической Рис. 4: Способы выбора трех предметов из четырех реальности, одинаковые события в обеих моделях имеют одинаковую вероятность. 4. Неупорядоченный выбор с возвращением. Пусть номера записываются без порядка, а шары после каждого вытягивания откладываются. Тогда зададим пространство немного в другом формате Ω = {{𝑖 1 , . . . , 𝑖 𝑛 }, 𝑖 1 + · · · + 𝑖 𝑛 = 𝑘}, ℱ = 2 Ω Здесь элементарный исход — это количество 𝑖 1 шаров с цифрой 1, количество 𝑖 2 шаров с цифрой 2,. . . , 𝑖 𝑛 шаров с цифрой 𝑛. Сколько при этом исходов в Ω? Давайте посмотрим на другую задачу с тем же пространством элементар- ных исходов: 𝑘 неразличимых предметов раскладываются по 𝑛 ящикам. Тогда если 𝑖 1 обозначить число предметов в первом ящике,. . . , 𝑖 𝑛 — в 𝑛-м ящике, то мы получим то же самое множество. Рис. 5: Связь раскладок 5 шаров по 2 ящикам без пустых ящиков или 3 шаров по 2 ящикам Чтобы решить эту задачу, решим сперва более простую — пусть мы хотим разложить предметы по ящикам так, чтобы пустых ящиков не было. Это все равно, что поставить между 𝑘 предметами 𝑛 − 1 перегородку (стенку) будущих ящиков. Это все равно что выбрать из 𝑘 − 1 места 𝑛 − 1 без учета порядка. Мы умеем решать такую задачу, таких способов 𝐶 𝑛−1 𝑘−1 Теперь вернемся к исходной задаче. Здесь уже нельзя так просто выбрать перегородки — несколько из них могут встать на одну и ту же позицию. Давайте добавим к нашим 𝑘 предметам еще 𝑛 штук и заранее положим по одному из добавленных предметов в каждый из ящиков. Теперь уже пустых ящиков не будет. Каждой раскладке 𝑘 предметов по 𝑛 ящикам с возможными пустыми ящиками соответствует единственная раскладка 𝑘 + 𝑛 предметов по 𝑛 ящикам без пустых ящиков. То есть у нашей задачи ответ 𝐶 𝑛−1 𝑛+𝑘−1 7 Однако, вряд ли мы можем естественным образом выбрать в этом случае классическое задание вероят- ности, поскольку здесь мы не видим никакой симметрии между исходами. Скажем, при 𝑛 = 𝑘 исход ”все шары имеют номер 1” и исход ”все номера встречаются по одному разу” не выглядят равнозначными, вто- рой бывает гораздо чаще. Собственно, пример с двумя монетами, который мы уже рассматривали выше, является частным случаем этого эффекта. Пример 1.5. Представим себе, что студент Иванов на экзамене знает 𝑘 билетов из 𝑛. Какая вероятность того, |