Лекции теория вероятностей 2019. Вероятностное пространство
 Скачать 2.67 Mb.
|
|
Какое математическое ожидание имеет число орлов при двух бросаниях монеты с вероятностью орла 1/3? При работе с отдельной случайной величиной удобнее оперировать c ее распределением напрямую, а не опи- раться на вероятностное пространство. Пусть 𝑋 принимает значения 𝑥 𝑚 с вероятностями 𝑝 𝑚 . Тогда E𝑋 = ∞ ∑︁ 𝑚=1 𝑥 𝑚 𝑝 𝑚 = ∞ ∑︁ 𝑚=1 𝑥 𝑚 P(𝑋 = 𝑥 𝑚 ). Опять же физически эта величина представляет собой центр системы масс 𝑝 𝑖 , расположенных в точках 𝑥 𝑖 Отметим, что математическое ожидание в силу приведенной формулы есть параметр распределения (то есть зависит только от распределения верятностей 𝑋, но не от вероятностного пространства). Докажем приведенное соотношение. Оно является частным случае более общей формулы: Лемма 4.1. Пусть 𝑔 : R 𝑚 → R, величины 𝑋 1 , . . . , 𝑋 𝑚 принимают значения 𝑥 1,1 , . . . , 𝑥 1,𝑛 1 , 𝑥 2,1 , . . . , 𝑥 2,𝑛 2 , . . . , 𝑥 𝑚,1 , . . . , 𝑥 𝑚,𝑛 𝑚 . Тогда E𝑔(𝑋 1 , . . . , 𝑋 𝑚 ) = ∑︁ 𝑖 1 ,...,𝑖 𝑚 𝑔(𝑥 1,𝑖 1 , . . . , 𝑥 𝑚,𝑖 𝑚 )P(𝑋 1 = 𝑥 1,𝑖 1 , . . . , 𝑋 𝑚 = 𝑥 𝑚,𝑖 𝑚 ), если указанная сумма сходится абсолютно. Доказательство. Рассмотрим 𝐴 𝑖 1 ,...,𝑖 𝑚 = {𝜔 : 𝑋 1 (𝜔) = 𝑥 1,𝑖 1 , . . . , 𝑋 𝑚 (𝜔) = 𝑥 𝑚,𝑖 𝑚 } . Тогда ∞ ∑︁ 𝑘=1 𝑔(𝑋 1 (𝜔 𝑘 ), . . . , 𝑋 𝑚 (𝜔 𝑘 ))P(𝜔 𝑘 ) = ∑︁ 𝑖 1 ,...,𝑖 𝑚 ∑︁ 𝜔∈𝐴 𝑖1,...,𝑖𝑚 𝑔(𝑥 1,𝑖 1 , . . . , 𝑥 𝑚,𝑖 𝑚 )P(𝜔) = ∑︁ 𝑖 1 ,...,𝑖 𝑚 𝑔(𝑥 1,𝑖 1 , . . . , 𝑥 𝑚,𝑖 𝑚 )P(𝐴 𝑖 1 ,...,𝑖 𝑚 ). В частности, для подсчетов математического ожидания E𝑔(𝑋) не требуется искать распределение величины 𝑔(𝑋) , а можно работать с исходным распределением. Вопрос 4.2. Чему равно математическое ожидание (𝑋 + 1) 2 + 2 , где 𝑋 имеет распределение Бернулли с пара- метром 1/3? Отметим еще один удобный способ нахождения математического ожидания в случае целочисленной неотри- цательной случайной величины. Для этого заметим, что функция 𝜙 𝑋 (𝑠) = ∞ ∑︁ 𝑘=0 𝑝 𝑘 𝑠 𝑘 является суммой степенного ряда. Ряд сходится в 𝑠 = 1, а значит радиус сходимости не меньше единицы. В таком случае если ряд ∞ ∑︁ 𝑘=1 𝑘𝑝 𝑘 𝑠 𝑘−1 сходится при 𝑠 = 1, то это значение совпадает с 𝜙 ′ (1) . Значит, можно найти функцию 𝜙 (ее называют про- изводящей функция распределения вероятностей) и продифференцировать ее в точке 𝑠 = 1 — это и будет математическое ожидание. 4.3 Свойства математического ожидания 4.3.1 Основные свойства 1. E𝑐 = 𝑐, где 𝑐 — вещественное число, E𝐼 𝐴 = P(𝐴) , где 𝐼 𝐴 — индикатор события 𝐴. 27 2. Математическое ожидание линейно. Для любых вещественных 𝑎, 𝑏 и любых 𝑋, 𝑌 с конечным математи- ческим ожиданием E(𝑎𝑋 + 𝑏𝑌 ) = 𝑎E𝑋 + 𝑏E𝑌. С точки зрения определения через распределение этот факт может показаться удивительным, ведь распре- деление 𝑋+𝑌 вообще не определяется распределениями 𝑋 и 𝑌 . Распределение — нет, а вот математическое ожидание — вполне себе: E(𝑎𝑋 + 𝑏𝑌 ) = ∑︁ 𝜔 (𝑎𝑋(𝜔) + 𝑏𝑌 (𝜔))P(𝜔) = 𝑎 ∑︁ 𝜔 𝑋(𝜔)P(𝜔) + 𝑏 ∑︁ 𝜔 𝑌 (𝜔)P(𝜔) = 𝑎E𝑋 + 𝑏E𝑌. 3. Если 𝑋 ≥ 0 и E𝑋 = 0, то P(𝑋 = 0) = 1. 4. Если 𝑋 ≥ 0, то E𝑋 ≥ 0. Доказательство очевидно вытекает из любой из формул для математического ожидания. 5. Если 𝑋 ≥ 𝑌 , то E𝑋 ≥ E𝑌 . Доказательство получается переходом к 𝑍 = 𝑋 − 𝑌 и использованием предыдущего свойства. 6. |E𝑋| ≤ E|𝑋|, причем E𝑋 конечно тогда и только тогда, когда E|𝑋| конечно. Само неравенство является следствием предыдущего свойства, поскольку −|𝑋| ≤ 𝑋 ≤ |𝑋|. Равносиль- ноcть конечности E𝑋 и E|𝑋| вытекает из того, что |𝑋| = 𝑋 + + 𝑋 − 7. Если 𝑋, 𝑌 независимы и имеют конечное математическое ожидание, то E𝑋𝑌 = E𝑋E𝑌 . Доказательство вытекает из леммы 4.1 , откуда E𝑋𝑌 = ∑︁ 𝑖,𝑗 𝑥 𝑖 𝑦 𝑗 P(𝑋 = 𝑥 𝑖 , 𝑌 = 𝑦 𝑗 ) = ∑︁ 𝑖,𝑗 𝑥 𝑖 𝑦 𝑗 P(𝑋 = 𝑥 𝑖 )P(𝑌 = 𝑦 𝑗 ) = ∑︁ 𝑖 𝑥 𝑖 P(𝑋 = 𝑥 𝑖 ) ∑︁ 𝑗 𝑦 𝑗 P(𝑌 = 𝑦 𝑗 ), где в последней формуле мы воспользовались абсолютной сходимостью обоих рядов, вытекающей из су- ществования математических ожиданий. Свойство доказано. 4.3.2 Неравенства для математических ожиданий 8. Неравенство Йенсена. Пусть 𝑓 — выпуклая функция. Тогда E𝑓(𝑋) ≥ 𝑓(E𝑋), если оба математических ожидания существуют. Доказательство. В силу выпуклости функции 𝑓 𝑓 (𝑥) ≥ 𝑓 (𝑎) + 𝑐(𝑥 − 𝑎) при любом 𝑎, некотором 𝑐 и всех 𝑋. Следовательно, 𝑓 (𝑋) ≥ 𝑓 (E𝑋) + 𝑐(𝑋 − E𝑋) при всех 𝜔. Применяя к обеим частям неравенства математическое ожидание, получаем E𝑓 (𝑋) ≥ 𝑓 (E𝑋). 9. Неравенство Ляпунова. Пусть 𝑝 > 𝑞 > 0, E|𝑋| 𝑝 конечно. Тогда (E|𝑋| 𝑞 ) 1/𝑞 ≤ (E|𝑋| 𝑝 ) 1/𝑝 В частности, если E|𝑋| 𝑝 < ∞ , то E|𝑋| 𝑞 < ∞ при всех 0 ≤ 𝑞 ≤ 𝑝. Доказательство. Пусть 𝑌 = |𝑋| 𝑞 , 𝑓(𝑥) = 𝑥 𝑝/𝑞 , тогда в силу неравенства Йенсена (E|𝑋| 𝑞 ) 𝑝/𝑞 = 𝑓 (E𝑌 ) ≤ E𝑓 (𝑌 ) = E|𝑋| 𝑝 , 28 что и требовалось доказать. 10. Неравенство Гельдера. Пусть 𝑝, 𝑞 ∈ (1, ∞), 1/𝑝 + 1/𝑞 = 1, E|𝑋| 𝑝 < ∞ , E|𝑌 | 𝑞 < ∞ . Тогда E|𝑋𝑌 | ≤ (E|𝑋| 𝑝 ) 1/𝑝 (E|𝑌 | 𝑞 ) 1/𝑞 Доказательство. Рассмотрим ̃︀ 𝑋 = |𝑋| 𝑝 E|𝑋| 𝑝 , ̃︀ 𝑌 = |𝑌 | 𝑝 E|𝑌 | 𝑝 При этом E ̃︀ 𝑋 = E ̃︀ 𝑌 = 1 В силу неравенства Иенсена 1 𝑝 · ln 𝑥 + 1 𝑞 · ln 𝑦 ≤ ln (︂ 1 𝑝 · 𝑥 + 1 𝑞 · 𝑦 )︂ при любых положительных 𝑥, 𝑦. Значит, 𝑥 1/𝑝 𝑦 1/𝑞 ≤ 𝑥 𝑝 + 𝑦 𝑞 Тогда E|𝑋𝑌 | (E|𝑋| 𝑝 ) 1/𝑝 (E|𝑌 | 𝑞 ) 1/𝑞 = E ̃︀ 𝑋 1/𝑝 ̃︀ 𝑌 1/𝑞 ≤ E (︃ ̃︀ 𝑋 𝑝 )︃ + E (︃ ̃︀ 𝑌 𝑞 )︃ = 1 𝑝 + 1 𝑞 = 1, что и требовалось доказать. 11. Неравенство Коши-Буняковского. Пусть E𝑋 2 , E𝑌 2 конечны. Тогда E|𝑋𝑌 | ≤ (E𝑋 2 ) 1/2 (E𝑌 2 ) 1/2 Это частный случай неравенства Гельдера при 𝑝 = 𝑞 = 1/2. 4.4 Дисперсия и ковариация Математическое ожидание описывает среднее. Логично рассмотреть также дисперсию — величину, характе- ризующую разброс вокруг среднего: Определение 4.2. Дисперсией называется величина E(𝑋 − E𝑋) 2 Можно вывести более удобную формулу для дисперсии E(𝑋 − E𝑋) 2 = E(𝑋 2 − 2𝑋E𝑋 + (E𝑋) 2 ) = E𝑋 2 − 2(E𝑋) 2 + (E𝑋) 2 = E𝑋 2 − (E𝑋) 2 Вспоминая как считать E𝑋 2 , мы видим, что D𝑋 = ∞ ∑︁ 𝑘=0 𝑥 2 𝑘 P(𝑋 = 𝑥 𝑘 ) − (︃ ∞ ∑︁ 𝑘=0 𝑥 𝑘 P(𝑋 = 𝑥 𝑘 ) )︃ 2 Для конечности дисперсии требуется условие E𝑋 2 < +∞ . Тогда в силу неравенства Ляпунова E𝑋 тоже конечно. Отметим, что 𝑋 2 — неотрицательная величина, поэтому ее математическое ожидание либо конечно, либо равно +∞, но не может не существовать. В случае целочисленной неотрицательной величины можно найти D𝑋 с помощью производящей функции 𝜙 𝑋 (𝑠) : 𝜙 ′′ (𝑠) = ∞ ∑︁ 𝑘=2 𝑘(𝑘 − 1)𝑝 𝑘 𝑠 𝑘−2 , 𝜙 ′′ (1) = ∞ ∑︁ 𝑘=2 𝑘(𝑘 − 1)𝑝 𝑘 = E𝑋 2 − E𝑋, D𝑋 = 𝜙 ′′ (1) + 𝜙 ′ (1) − (𝜙 ′ (1)) 2 Перед тем как получить свойства дисперсии, введем еще одну удобную величину 29 Определение 4.3. Ковариацией величин 𝑋 и 𝑌 называют cov(𝑋, 𝑌 ) = E(𝑋 − E𝑋)(𝑌 − E𝑌 ) = E𝑋𝑌 − E𝑋E𝑌. Эквивалентность указанных определений доказывается также, как и для дисперсии. 4.5 Свойства ковариации и дисперсии 1. D𝑋 = cov(𝑋, 𝑋). 2. cov(𝑋, 𝑌 ) = cov(𝑌, 𝑋). 3. cov(𝑋, 𝑌 + 𝑐) = cov(𝑋, 𝑌 ), D(𝑋 + 𝑐) = D𝑋. 4. Если 𝑋, 𝑌 независимы, то cov(𝑋, 𝑌 ) = 0 в силу свойства 7 математического ожидания. 5. cov(𝑎𝑋 + 𝑏𝑌, 𝑍) = 𝑎 cov(𝑋, 𝑍) + 𝑏 cov(𝑌, 𝑍), поскольку cov(𝑎𝑋 + 𝑏𝑌, 𝑍) = E(𝑎𝑋 + 𝑏𝑌 − E(𝑎𝑋 + 𝑏𝑌 ))(𝑍 − E𝑍) = 𝑎E(𝑋 − E𝑋)(𝑍 − E𝑍) + 𝑏E(𝑌 − E𝑌 )(𝑍 − E𝑍). 6. D (𝑎𝑋) = 𝑎 2 D𝑋 7. D(𝑋 + 𝑌 ) = D𝑋 + 2 cov(𝑋, 𝑌 ) + D𝑌 в силу свойства 5). 8. D(𝑋 1 + · · · + 𝑋 𝑛 ) = ∑︀ 𝑛 𝑖=1 D𝑋 𝑖 + 2 ∑︀ 𝑖<𝑗 cov(𝑋 𝑖 , 𝑋 𝑗 ) 9. |𝑐𝑜𝑣(𝑋, 𝑌 )| ≤ √ D𝑋D𝑌 в силу неравенства Коши-Буняковского. Вопрос 4.3. D X=2. Чему равна D(5 − 2𝑋)? Пример 4.1. Заметим, что в свойстве 4) независимость величин является достаточным, но не необходимым условием для некоррелированности (то есть равенства ковариации нулю). Скажем, у вектора (𝑋, 𝑌 ) c таблицей распределения - 1 0 1 -1 0 0.25 0 0 0.25 0 0.25 1 0 0.25 0 компоненты 𝑋 и 𝑌 имеют математические ожидания 0, а произведение компонент 𝑋𝑌 и вовсе всегда равно 0 (этот вектор представляет собой выбор одной из вершины квадрата (1,0), (0,1), (-1,0),(0,-1) наугад). Значит, величины 𝑋, 𝑌 некоррелированы, хотя очевидно зависимы (скажем, если одна 0, то вторая 1). Заметим, что в силу свойства 9) выполнено соотношение corr(𝑋, 𝑌 ) := cov(𝑋, 𝑌 ) √ D𝑋D𝑌 ∈ [−1, 1]. Равенство corr(𝑋, 𝑌 ) = 1 возможно только в случае 𝑌 − E𝑌 = 𝑐(𝑋 − E𝑋), где 𝑐 > 0, то есть 𝑌 = 𝑐𝑋 + 𝑏 при некотором 𝑏. Аналогично corr(𝑋, 𝑌 ) = −1 только при 𝑌 = 𝑐𝑋 +𝑏 при некотором 𝑐 < 0. При этом в силу свойства 4) для независимых величин corr(𝑋, 𝑌 ) = 0. Определение 4.4. Коэффициент corr(𝑋, 𝑌 ) называют коэффициентом корреляции величин 𝑋 и 𝑌 . Вопрос 4.4. Чему равен коэффициент корреляции для числа орлов и числа решек, выпавших при n бросаниях монеты? Этот коэффициент в некотором смысле измеряет зависимость — для линейно зависимых величин он по модулю становится 1, для независимых он равен нулю. Впрочем, для зависимых, как мы видели выше, он также бывает нулевым, а, например, для 𝑋 и 𝑋 2 он почти всегда меньше единицы. Можно сказать, что corr измеряет степень ”линейной” зависимости 𝑦 = 𝑎𝑥 + 𝑏. 30 4.6 Ответы на вопросы 1. 0 · 4 9 + 1 · 2 2 3 1 3 + 2 · 1 3 2 = 2 3 2. ((0 + 1) 2 + 2) · 2/3 + ((1 + 1) 2 + 2) · 1/3 = 4. 3. D(5 − 2𝑋) = D(−2𝑋) = 4D𝑋 = 8. 4. Поскольку 𝑌 = 𝑛 − 𝑋, то corr(𝑋, 𝑌 ) = −1. Обозначение Формула для вероятности Математическое ожидание Дисперсия Bern(p) P(X=0) = 1-p, P(X=1)=p p p(1-p) Binom(n,p) 𝑃 (𝑋 = 𝑘) = 𝐶 𝑘 𝑛 𝑝 𝑘 (1 − 𝑝) 𝑛−𝑘 𝑛𝑝 𝑛𝑝(1 − 𝑝) Geom(p) 𝑃 (𝑋 = 𝑘) = (1 − 𝑝) 𝑘 𝑝 (1 − 𝑝)/𝑝 (1 − 𝑝)/𝑝 2 R{0,. . . , 𝑁} 𝑃 (𝑋 = 𝑘) = 1/(𝑁 + 1) 𝑁/2 (𝑁 + 1)(𝑁 − 1)/12 Poiss(𝜆) 𝑃 (𝑋 = 𝑘) = 𝜆 𝑘 𝑒 −𝜆 /𝑘! 𝜆 𝜆 Hypergeom(N,D,n) 𝑃 (𝑋 = 𝑘) = 𝐶 𝑘 𝐷 𝐶 𝑛−𝑘 𝑁 −𝐷 𝐶 𝑛 𝑁 𝑛𝐷 𝑁 𝑛𝐷 𝑁 (︀1 − 𝐷 𝑁 )︀ (𝑁 −𝑛) (𝑁 −1) NegBinom(r,p) 𝑃 (𝑋 = 𝑘) = 𝐶 𝑘 𝑘+𝑟−1 𝑝 𝑟 (1 − 𝑝) 𝑘 𝑟(1 − 𝑝)/𝑝 𝑟(1 − 𝑝)/𝑝 2 5 Производящие функции распределений 5.1 Определение Пусть 𝑋 — неотрицательная целочисленная случайная величина. Определение 5.1. Производящей функцией (п.ф.) случайной величины 𝑋 называют функцию 𝜙 𝑋 (𝑠) = E𝑠 𝑋 = ∞ ∑︁ 𝑘=0 P(𝑋 = 𝑘)𝑠 𝑘 Второе равенство в определении п.ф. вытекает из леммы с прошлого семинара, согласно которой E𝑔(𝑋) = ∞ ∑︁ 𝑘=0 P(𝑋 = 𝑘)𝑔(𝑘). Заметим, что п.ф. одна и та же у всех величин с заданным распределением, поэтому можно говорить о произ- воящей функции распределения вероятностей. Параметр 𝑠 мы будем рассматривать принадлежащим отрезку [0, 1]. Он не несет никакого специального фи- зического смысла, но введение этого параметра позволяет задать распределение целиком, поскольку зная функ- цию, к которой степенной ряд сходится на отрезке, мы можем восстановить коэффициенты ряда. Вопрос 5.1. Какую п.ф. имеет бернуллиевское распределение? • 𝑝𝑠 • 1 − 𝑝 + 𝑝𝑠 • 𝑠 𝑝 • Ни один из ответов не является правильным. Пример 5.1. 1. Константа 𝑐 имеет п.ф. 𝜙(𝑠) = E𝑠 𝑐 = 𝑠 𝑐 2. Случайная величина с бернуллиевским распределением имеет п.ф. 𝜙(𝑠) = E𝑠 𝑋 = (1 − 𝑝) + 𝑝𝑠 3. Случайная величина с биномиальным распределением имеет п.ф. 𝜑(𝑠) = 𝑛 ∑︁ 𝑘=1 𝐶 𝑘 𝑛 𝑝 𝑘 (1 − 𝑝) 𝑛−𝑘 𝑠 𝑘 = (1 − 𝑝 + 𝑝𝑠) 𝑛 31 4. Случайная величина с распределение Пуассона имеет п.ф. 𝜑(𝑠) = ∞ ∑︁ 𝑘=0 𝑠 𝑘 𝜆 𝑘 𝑘! 𝑒 −𝜆 = 𝑒 −𝜆 ∞ ∑︁ 𝑘=0 (𝑠𝜆) 𝑘 𝑘! = 𝑒 𝜆(𝑠−1) 5.2 Свойства п.ф. как функции Поскольку 𝜙(𝑠) = ∞ ∑︁ 𝑘=0 𝑝 𝑘 𝑠 𝑘 степенной ряд, абсолютно сходящийся в точке 1, он сходится при |𝑠| ≤ 1. При этом радиус его сходимости может быть и больше 1, например, во всех примерах в прошлом подразделе ряд сходился на всей прямой. Мы будем рассматривать 𝑠 ∈ [0, 1]. Тогда функция обладает следующими свойствами: 1. 𝜙(1) = 1, 𝜙(𝑠) ≥ 0, 𝑠 ≥ 0. 2. 0 ≤ 𝜙 ′ (𝑠) < ∞ , 𝑠 ∈ [0, 1). 3. 0 ≤ 𝜙 (𝑘) (𝑠) < ∞ , 𝑘 ≥ 2, 𝑠 ∈ [0, 1). Рис. 7: Какой из графиков изображает п.ф.? Вопрос 5.2. Фактически, в свойствах 2-3 мы просто используем теорему о дифференцировании степенного ряда внутри круга сходимости. Отсюда п.ф. представляет собой неотрицательную монотонную выпуклую на [0, 1] бесконечно дифференцируемую внутри (0, 1) функцию. 5.3 Вероятностные свойства п.ф Производящая функция не имеет естественного вероятностного смысла, но удобна для характеризации рас- пределения. Мы уже обсуждали ее полезность для подсчета моментов, сформулируем это и несколько новых 32 свойств этой функции. 1. В силу формулы Тейлора P(𝑋 = 𝑘) = 𝜙 (𝑘) (0) 𝑘! Таким образом, мы можем найти распределение по п.ф. 2. Если E𝑋 𝑛 конечно, то 𝜙 (𝑛) (1) = E𝑋(𝑋 − 1) · · · (𝑋 − 𝑛 + 1). Доказательство. При 𝑠 < 1 𝜙 (𝑛) (𝑠) = ∞ ∑︁ 𝑘=0 P(𝑋 = 𝑘)𝑘(𝑘 − 1) · · · (𝑘 − 𝑛 + 1)𝑠 𝑘−𝑛 =: 𝑠 −𝑛 ∞ ∑︁ 𝑘=0 𝑎 𝑘 𝑠 𝑘 в силу теоремы о дифференцировании степенного ряда внутри круга сходимости. Воспользуемся теоремой Абеля Теорема 5.1. Пусть ∑︀ ∞ 𝑛=0 𝑎 𝑛 𝑅 𝑛 сходится, 𝑅 > 0. Тогда ∞ ∑︁ 𝑛=0 𝑎 𝑛 𝑅 𝑛 = lim 𝑥→𝑅−0 ∞ ∑︁ 𝑛=0 𝑎 𝑛 𝑥 𝑛 Поскольку ∞ ∑︁ 𝑘=0 𝑎 𝑘 = ∞ ∑︁ 𝑘=0 𝑘(𝑘 − 1) · · · (𝑘 − 𝑛 + 1)P(𝑋 = 𝑘) < ∞ ∑︁ 𝑘=0 𝑘 𝑛 P(𝑋 = 𝑘) < ∞, то 𝜙 (𝑛) (𝑠) сходится при 𝑠 → 1 к к ∞ ∑︁ 𝑘=0 𝑎 𝑘 = E𝑋(𝑋 − 1) · · · (𝑋 − 𝑛 + 1). 3. Если 𝑋 𝑖 — независимы, 𝑖 ≤ 𝑛, то 𝜙 𝑋 1 +···+𝑋 𝑛 (𝑠) = 𝜙 𝑋 1 (𝑠) · · · 𝜙 𝑋 𝑛 (𝑠) при всех 𝑠 ∈ [0, 1]. Доказательство. Заметим, что 𝜙 𝑋 1 +···+𝑋 𝑛 (𝑠) = E𝑠 𝑋 1 +···+𝑋 𝑛 = E𝑠 𝑋 1 · · · 𝑠 𝑋 𝑛 При любом 𝑠 величины 𝑠 𝑋 1 , . . . , 𝑠 𝑋 𝑛 независимы как функции от независимых величин. По свойству 7) математического ожидания E𝑠 𝑋 1 · · · 𝑠 𝑋 𝑛 = E𝑠 𝑋 1 · · · E𝑠 𝑋 𝑛 = 𝜙 𝑋 1 (𝑠) · · · 𝜙 𝑋 𝑛 (𝑠). Пример 5.2. Отсюда можно найти п.ф. биномиального распределения более простым путем. Биномиаль- ная величина есть сумма н.о.р. бернуллиевских величин, откуда ее п.ф. есть произведение п.ф. бернулли- евских величин, то есть 𝜙 𝑋 (𝑠) 𝑛 = (1 − 𝑝 + 𝑝𝑠) 𝑛 4. Пусть 𝑁 — целая неотрицательная случайная величина, а распределение 𝑌 задано формулой P(𝑌 = 𝑥) = ∞ ∑︁ 𝑘=0 P(𝑋 1 + ... + 𝑋 𝑘 = 𝑥)P(𝑁 = 𝑘), 33 где 𝑋 𝑖 — независимые одинаково распределенные величины. Иначе говоря, 𝑌 распределена как сумма 𝑋 𝑖 в случайном количестве 𝑁. Тогда 𝜙 𝑌 (𝑠) = 𝜙 𝑁 (𝜙 𝑋 (𝑠)). Доказательство. Заметим, что 𝜙 𝑌 (𝑠) = ∞ ∑︁ 𝑥=0 ∞ ∑︁ 𝑘=0 P(𝑋 1 + . . . + 𝑋 𝑘 = 𝑥)P(𝑁 = 𝑘)𝑠 𝑥 = ∞ ∑︁ 𝑘=0 P(𝑁 = 𝑘) ∞ ∑︁ 𝑥=0 P(𝑋 1 + . . . + 𝑋 𝑘 = 𝑥)𝑠 𝑥 = ∞ ∑︁ 𝑘=0 P(𝑁 = 𝑘)𝜙 𝑋 1 +...+𝑋 𝑘 (𝑠) = ∞ ∑︁ 𝑘=0 P(𝑁 = 𝑘)𝜙 𝑘 𝑋 1 (𝑠) = 𝜙 𝑁 (𝜙 𝑋 1 (𝑠)). 5. Теорема непрерывности для п.ф. Определение 5.2. Будем говорить, что 𝑋 𝑛 сходится по распределению к 𝑋 (𝑋 𝑛 𝑑 → 𝑋 ), если P(𝑋 𝑛 = 𝑘) → P(𝑋 = 𝑘) при всех 𝑘 ∈ N ∪ ∅ Теорема 5.2. 𝑋 𝑛 𝑑 → 𝑋, 𝑛 → ∞ тогда и только тогда, когда 𝜙 𝑋 𝑛 (𝑠) → 𝜙 𝑋 (𝑠) при всех 𝑠 ∈ [0, 1], 𝑛 → ∞. Доказательство. Докажем достаточность. Действительно, пусть 𝑝 𝑛,𝑘 = P(𝑋 𝑛 = 𝑘) , 𝑝 𝑘 = P(𝑋 = 𝑘) . При любом 𝑁 и всех 𝑠 ∈ [0, 1) |𝜙 𝑋 𝑛 (𝑠) − 𝜙 𝑋 (𝑠)| ≤ ∞ ∑︁ 𝑘=0 |𝑝 𝑛,𝑘 − 𝑝 𝑘 |𝑠 𝑘 ≤ 𝑁 −1 ∑︁ 𝑘=0 |𝑝 𝑛,𝑘 − 𝑝 𝑘 | + ∑︁ 𝑘≥𝑁 𝑠 𝑘 Пусть 𝜀 > 0. Выбирая 𝑁 таким образом, что ∑︀ 𝑘>𝑁 𝑠 𝑘 < 𝜀/2 , а 𝑀 так, что при 𝑛 > 𝑀 |𝑝 𝑛,𝑘 − 𝑝 𝑘 | < 𝜀/(2𝑁 ) при 𝑘 < 𝑁, получаем |𝜙 𝑋 𝑛 (𝑠) − 𝜙 𝑋 (𝑠)| < 𝜀 при 𝑛 > 𝑀. В силу определения предела, это и есть утверждение, что при 𝑠 ∈ [0, 1) верно 𝜙 𝑋 𝑛 (𝑠) → 𝜙 𝑋 (𝑠), 𝑠 ∈ [0, 1). Отметим, что при этом мы не используем то, что 𝑝 𝑖 в сумме дают 1. А вот при 𝑠 = 1, используя указанный факт, мы видим, что все производящие функции равны единице, а значит утверждение о сходимости также верно. Докажем необходимость методом от противного. Рассмотрим минимальное 𝑘 = 𝑙 при котором 𝑝 𝑛,𝑘 не сходится к 𝑝 𝑘 . Выберем подпоследовательность 𝑛 0 (𝑚) , по которой 𝑝 𝑛 0 (𝑚),𝑙 сходится к 𝑞 ̸= 𝑝 𝑙 . Из 𝑛 0 (𝑚) выделим подпоследовательность 𝑛 1 (𝑚) , для которой 𝑝 𝑛 1 (𝑚),𝑙+1 сходится к какому-то 𝑞 𝑙+1 и так далее. Рассмотрим последовательность 𝑡 𝑚 = 𝑛 𝑚 (𝑚) . В силу определения при 𝑚 → ∞ выполнены соотношения 𝑝 𝑛 𝑚 (𝑚),𝑖 → 𝑝 𝑖 при 𝑖 < 𝑙, 𝑝 𝑛 𝑚 (𝑚),𝑙 → 𝑞 , 𝑝 𝑛 𝑚 (𝑚),𝑖 → 𝑞 𝑖 , 𝑖 ≥ 𝑙 + 1. Из доказанного в первой части при этом при всех 𝑠 ∈ [0, 1) ∞ ∑︁ 𝑖=0 𝑝 𝑡 𝑛 ,𝑖 𝑠 𝑖 → 𝑙−1 ∑︁ 𝑖=0 𝑝 𝑖 𝑠 𝑖 + 𝑞𝑠 𝑙 + ∞ ∑︁ 𝑖=𝑙+1 𝑞 𝑖 𝑠 𝑖 Отметим, что мы не знаем, правда ли 𝑝 0 + · · · + 𝑝 𝑙−1 + 𝑞 + 𝑞 𝑙+1 + · · · = 1 , поэтому при 𝑠 = 1 мы такого не утверждаем. При некотором 𝑠 ∈ [0, 1) 𝑙−1 ∑︁ 𝑖=0 𝑝 𝑖 𝑠 𝑖 + 𝑞𝑠 𝑙 + ∞ ∑︁ 𝑖=𝑙+1 𝑞 𝑖 𝑠 𝑖 ̸= 𝑙−1 ∑︁ 𝑖=0 𝑝 𝑖 𝑠 𝑖 + 𝑝 𝑙 𝑠 𝑙 + ∞ ∑︁ 𝑖=𝑙+1 𝑝 𝑖 𝑠 𝑖 , 34 поскольку 𝑞 + ∞ ∑︁ 𝑖=1 𝑞 𝑙+𝑖 𝑠 𝑖 ̸= 𝑝 𝑙 + ∞ ∑︁ 𝑖=1 𝑝 𝑙+𝑖 𝑠 𝑖 при достаточно малых 𝑠. Но ∞ ∑︁ 𝑖=0 𝑝 𝑡 𝑛 ,𝑖 𝑠 𝑖 → ∞ ∑︁ 𝑖=0 𝑝 𝑖 𝑠 𝑖 Таким образом, эта последовательность имеет два различных предела, что приводит нас к противоречию. Значит, 𝑝 𝑛,𝑘 сходятся к 𝑝 𝑘 при всех 𝑘. 5.4 Теорема Пуассона В качестве применения теоремы непрерывности рассмотрим так называемую теорему Пуассона. Определение 5.3. Схемой серий назовем набор таких случайных величин 𝑋 1,1 , 𝑋 2,1 , 𝑋 2,2 , . . . , 𝑋 𝑛,1 , . . . , 𝑋 𝑛,𝑛 , . . . , что 𝑋 𝑛,𝑖 независимы при 𝑖 ≤ 𝑛 при любом 𝑛. Теорема 5.3. Пусть 𝑋 𝑛,𝑖 ∼ 𝐵𝑒𝑟𝑛(𝑝 𝑛,𝑖 ) образуют схему серий, 𝑝 𝑛 = ∑︀ 𝑛 𝑖=1 𝑝 𝑛,𝑖 . Предположим, что 𝑚 𝑛 = max 𝑖≤𝑛 𝑝 𝑛,𝑖 → 0, 𝑝 𝑛 → 𝜆, 𝑛 → ∞. Тогда P (︃ 𝑛 ∑︁ 𝑖=1 𝑋 𝑛,𝑖 = 𝑘 )︃ → P(𝑍 = 𝑘), 𝑛 → ∞, где 𝑘 ≥ 0, 𝑍 ∼ 𝑃 𝑜𝑖𝑠𝑠(𝜆). Доказательство. Рассмотрим п.ф. 𝑌 𝑛 = 𝑋 𝑛,1 + · · · + 𝑋 𝑛,𝑛 : 𝜙 𝑌 𝑛 (𝑠) = 𝑛 ∏︁ 𝑖=1 𝜙 𝑋 𝑛,𝑖 (𝑠) = 𝑛 ∏︁ 𝑖=1 (1 − 𝑝 𝑛,𝑖 + 𝑝 𝑛,𝑖 𝑠) = exp (︃ 𝑛 ∑︁ 𝑖=1 ln (1 − 𝑝 𝑛,𝑖 (1 − 𝑠)) )︃ При этом в силу формулы Тейлора с остаточным членом в форме Лагранжа ln(1 − 𝑝 𝑛,𝑖 (1 − 𝑠)) = −𝑝 𝑛,𝑖 (1 − 𝑠) − 𝜃 𝑛,𝑖 𝑝 2 𝑛,𝑖 (1 − 𝑠) 2 , где 𝜃 𝑛,𝑖 ∈ [0, 1/2] , откуда 𝑛 ∑︁ 𝑖=1 ln(1 − 𝑝 𝑛,𝑖 (1 − 𝑠)) = −(1 − 𝑠) 𝑛 ∑︁ 𝑖=1 𝑝 𝑛,𝑖 − (1 − 𝑠) 2 𝑛 ∑︁ 𝑖=1 𝜃 𝑛,𝑖 𝑝 2 𝑛,𝑖 , где 0 ≤ 𝑛 ∑︁ 𝑖=1 𝜃 𝑛,𝑖 𝑝 2 𝑛,𝑖 ≤ 1 2 𝑚 𝑛 𝑛 ∑︁ 𝑖=1 𝑝 𝑛,𝑖 → 0, 𝑛 → ∞. Следовательно, 𝑛 ∑︁ 𝑖=1 ln(1 − 𝑝 𝑛,𝑖 (1 − 𝑠)) → −𝜆(1 − 𝑠), откуда 𝜙 𝑌 𝑛 (𝑠) → exp(−𝜆(1 − 𝑠)) = 𝜙 𝑍 (𝑠), что и требовалось доказать. Вопрос 5.3. Носители редкой болезни встречатся с вероятностью 0,0002. Среди 10000 найдется хотя бы один заболевший с вероятностью примерно а) 𝑒 −2 , б) 1 − 𝑒 −2 , в) 𝑒 −2 + 2𝑒 −2 , г) 1 − 2𝑒 −2 ? 35 5.5 Производящие функции случайных векторов Предположим, что ⃗ 𝑋 = (𝑋 1 , . . . , 𝑋 𝑘 ) — случайный вектор, компоненты которого являются целочисленными неотрицательными величинами. Тогда мы можем задать распределение такого вектора с помощью 𝜙 ⃗ 𝑋 (⃗ 𝑠) = E𝑠 𝑋 1 1 · · · 𝑠 𝑋 𝑘 𝑘 Пример 5.3. Пусть 𝑋 1 , 𝑋 2 — результаты бросков несимметричной монеты с вероятностью успеха 𝑝. Тогда 𝜙 𝑋 1 ,𝑋 2 (𝑠 1 , 𝑠 2 ) = E𝑠 𝑋 1 1 𝑠 𝑋 2 2 = 𝑝 2 𝑠 1 𝑠 2 + 𝑝(1 − 𝑝)𝑠 1 + 𝑝(1 − 𝑝)𝑠 2 + (1 − 𝑝) 2 = (𝑝𝑠 1 + 1 − 𝑝)(𝑝𝑠 2 + 1 − 𝑝). При этом 𝜙 𝑋 1 ,𝑋 1 (𝑠 1 , 𝑠 2 ) = E𝑠 𝑋 1 1 𝑠 𝑋 1 2 = 𝑝𝑠 1 𝑠 2 + (1 − 𝑝), а 𝜙 𝑋 1 ,1−𝑋 1 (𝑠 1 , 𝑠 2 ) = E𝑠 𝑋 1 1 𝑠 1−𝑋 1 2 = 𝑝𝑠 1 + (1 − 𝑝)𝑠 2 В каждом случае компоненты вектора имеют распределение Бернулли, а сами векторы при этом каждый раз распределены по-новому. Поэтому задать распределение вектора производящими функциями каждой из входя- щих в него величин нельзя, необходимо именно задавать их совместную производящую функцию. Лемма 5.1. Компоненты вектора ⃗ 𝑋 независимы тогда и только тогда, когда при всех 𝑠 1 , . . . , 𝑠 𝑘 𝜙 ⃗ 𝑋 (⃗ 𝑠) = 𝜙 𝑋 1 (𝑠 1 ) · · · 𝜙 𝑋 𝑘 (𝑠 𝑘 ). Доказательство. Достаточность независимости вытекает из того, что 𝑠 𝑋 1 1 . . . 𝑠 𝑋 𝑘 𝑘 являются независимыми вели- чинами, а значит математическое ожидание их произведение есть произведение их математических ожиданий. Для доказательства необходимости поглядим на наше тождество: ∑︁ 𝑙 1 ,...,𝑙 𝑛 P(𝑋 1 = 𝑙 1 , . . . , 𝑋 𝑘 = 𝑙 𝑘 )𝑠 𝑙 1 1 . . . 𝑠 𝑙 𝑘 𝑘 = ∑︁ 𝑙 1 ∑︁ 𝑙 𝑛 P(𝑋 1 = 𝑙 1 )𝑠 𝑙 1 1 · · · P(𝑋 𝑘 = 𝑙 𝑘 )𝑠 𝑙 𝑘 𝑘 , откуда, приравнивая коэффициенты при каждой степени 𝑠 𝑙 1 1 · · · 𝑠 𝑙 𝑘 𝑘 , получаем P(𝑋 1 = 𝑙 1 , . . . , 𝑋 𝑘 = 𝑙 𝑘 ) = P(𝑋 1 = 𝑙 1 ) · · · P(𝑋 𝑘 = 𝑙 𝑘 ), что и означает независимость. Основные свойства п.ф. в векторном случае сохраняются 1. Как и прежде 𝜙 ⃗ 𝑋 (1, . . . , 1) = 1 . Более того, при подстановке части 𝑠 𝑖 = 1 , мы получим производящую функцию вектора с оставшимися компонентами, например, 𝜙 𝑋 1 ,𝑋 2 ,𝑋 3 (1, 𝑠 1 , 𝑠 2 ) = 𝜙 𝑋 2 ,𝑋 3 (𝑠 1 , 𝑠 2 ), 𝜙 𝑋 1 ,𝑋 2 (𝑠, 1) = 𝜙 𝑋 1 (𝑠). 2. Как и прежде производные 𝜙 ⃗ 𝑋 в нуле помогают вычислить функцию масс нашего вектора: P(𝑋 1 = 𝑙 1 , . . . , 𝑋 𝑘 = 𝑙 𝑘 ) = 1 𝑙 1 ! · · · 𝑙 𝑘 ! 𝜕 𝑙 1 . . . 𝜕 𝑙 𝑘 𝜕𝑠 𝑙 1 1 . . . 𝜕𝑠 𝑙 𝑘 𝑘 𝜙 ⃗ 𝑋 (0, 0, . . . , 0). Так, например, P(𝑋 1 = 1, 𝑋 2 = 1, 𝑋 3 = 0) = 𝜙 ′′ 𝑠 1 ,𝑠 2 (0, 0, 0), P(𝑋 1 = 2, 𝑋 2 = 1, 𝑋 3 = 0) = 1 2 𝜙 ′′′ 𝑠 1 ,𝑠 1 ,𝑠 2 (0, 0, 0). Доказательство. Давайте посмотрим на дифференцирование 𝜙 по одной из переменных (для определен- ности 𝑠 1 ). Рассмотрим 𝜙 как функцию 𝑠 1 , она является степенным рядом ∞ ∑︁ 𝑚 1 =0 𝑠 𝑚 1 1 𝑏 𝑚 1 , 𝑏 𝑚 1 = ∞ ∑︁ 𝑚 2 =0 ∞ ∑︁ 𝑚 𝑘 =0 P(𝑋 1 = 𝑚 1 , . . . , 𝑋 𝑘 = 𝑚 𝑘 )𝑠 𝑚 2 2 · · · 𝑠 𝑚 𝑘 𝑘 , 36 имеющим радиус сходимости не менее единицы при любых 𝑠 2 , . . . 𝑠 𝑘 ∈ [0, 1] . Значит, мы можем дифферен- цировать его под знаком суммы: ⎛ ⎝ ∞ ∑︁ 𝑚 1 =0 ∞ ∑︁ 𝑚 𝑘 =0 P(𝑋 1 = 𝑚 1 , . . . , 𝑋 𝑘 = 𝑚 𝑘 )𝑠 𝑚 1 1 · · · 𝑠 𝑚 𝑘 𝑘 ⎞ ⎠ ′ 𝑠 1 = ∞ ∑︁ 𝑚 1 =0 ∞ ∑︁ 𝑚 𝑘 =0 P(𝑋 1 = 𝑚 1 , . . . , 𝑋 𝑘 = 𝑚 𝑘 )𝑚 1 𝑠 𝑚 1 −1 1 𝑠 𝑚 2 2 · · · 𝑠 𝑚 𝑘 𝑘 Аналогичным путем мы можем переставлять порядок суммирования (пользуясь абсолютной сходимостью рассматриваемого ряда) и дифференцировать сумму по следующей переменной и так далее: 𝜕 𝑙 1 . . . 𝜕 𝑙 𝑘 𝜕𝑠 𝑙 1 1 . . . 𝜕𝑠 𝑙 𝑘 𝑘 𝜙 ⃗ 𝑋 (𝑠 1 , . . . , 𝑠 𝑘 ) = ∞ ∑︁ 𝑚 1 =𝑙 1 ∞ ∑︁ 𝑚 𝑘 =𝑙 𝑘 P(𝑋 1 = 𝑚 1 , . . . , 𝑋 𝑘 = 𝑚 𝑘 ) × 𝑚 1 · · · (𝑚 1 − 𝑙 1 + 1)𝑠 𝑚 1 −𝑙 1 1 · · · 𝑚 𝑘 · · · (𝑚 𝑘 − 𝑙 𝑘 + 1)𝑠 𝑚 𝑘 −𝑙 𝑘 𝑘 Полагая (𝑠 1 , . . . , 𝑠 𝑘 ) = (0, . . . , 0) , мы обнулим все слагаемых указанной суммы кроме слагаемого (𝑚 1 , . . . , 𝑚 𝑘 ) = (𝑙 1 , . . . , 𝑙 𝑘 ) , откуда и вытекает требуемое соотношение. 3. Как и прежде, производные 𝜙 ⃗ 𝑋 в единице помогают вычислить моменты наших величин 𝜕 𝑙 1 . . . 𝜕 𝑙 𝑘 𝜕𝑠 𝑙 1 1 . . . 𝜕𝑠 𝑙 𝑘 𝑘 𝜙 ⃗ 𝑋 (1, . . . , 1) = E𝑋 1 (𝑋 1 −1) · · · (𝑋 1 −𝑙 1 +1)𝑋 2 (𝑋 2 −1) · · · (𝑋 2 −𝑙 2 +1) · · · 𝑋 𝑚 (𝑋 𝑚 −1) · · · (𝑋 𝑚 −𝑙 𝑚 +1). Такие характеристики называют смешанными факториальными моментами. Доказательство вытекает из представления прошлого раздела и теоремы Абеля. Вопрос 5.4. |