Учебник Теория вероятности - Самойленко, Кузнецов. Министерство образования и науки украины харьковская национальная академия городского хозяйства
 Скачать 2.54 Mb.
|
X и Y , связанных линейной зависимостью X = –5 Y + 2? 6.24. Сформулировать теорему о математическом ожидании неслучайной величины. 6.25. Сформулировать теорему о дисперсии неслучайной величины. Случайные векторы и функции 145 6.26. Можно ли постоянный коэффициент при случайной величине выносить за знак математического ожидания 6.27. Можно ли постоянный коэффициент при случайной величине выносить за знак дисперсии 6.28. Сформулировать теорему о математическом ожидании суммы случайных величин. 6.29. Чему равно математическое ожидание линейной функции случайного аргумента 6.30. Сформулировать теорему о дисперсии суммы двух случайных величин. 6.31. Чему равна дисперсия суммы двух некоррелированных случайных величин 6.32. Чему равна дисперсия линейной функции случайного аргумента 6.33. Сформулировать теорему о математическом ожидании произведения двух случайных величин. 6.34. Чему равно математическое ожидание произведения двух независимых случайных величин 6.35. Каким образом вычисляется дисперсия произведения двух независимых случайных величин Теория вероятностей 146 7. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ 7.1. Закон больших чисел 7.1.1. Теорема Бернулли Если проводится n независимых испытаний, в каждом из которых случайное событие A появляется с вероятность P(A) = p , то относительная частота µ /n появления события A число появлений A ) при большом приближенно равна вероятности p: Приведенное высказывание можно уточнить следующим образом µ n p → при n ∞ → , если для любого ε > 0 и для достаточно больших соотношение выполняется с вероятностью, стремящейся к 1 с ростом n. Математическая запись данного утверждения имеет вид 1 → ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ < − ε µ p n Ρ при Выражение (7.2) является формальным содержанием теоремы Бернулли, известной как закон больших чисел Теорема 7.1 (теорема Бернулли. С вероятностью, сколь угодно близкой к 1, можно ожидать, что при достаточно большом числе испытаний относительная частота появления события будет сколь угодно мало отличаться от её вероятности. Заметим, что теорема не утверждает, что соотношение (7.1) достоверно, однако, если n достаточно велико, то вероятность его выполнения близка к 1 (например, 0.98 или 0.999), что практически достоверно Другими словами, если проводится эксперимент, состоящий Предельные теоремы из достаточно большого числа n испытаний, то можно быть уверенным, что соотношение (7.1) будет выполнено. Примечание. Авторы рекомендуют читателю проверить последнее утверждение с помощью эксперимента с бросанием монеты (событие А – выпадение орла) или бросанием игральной кости (событие А – выпадение четного числа очков Закон больших чисел в форме Чебышева 7.1.2.1. Неравенство Чебышева Неравенство Чебышева. При любом ε>0 [ ] ( ) [ те. абсолютное отклонение случайной величины от её математического ожидания больше или равно ε с вероятностью, не большей отношения дисперсии этой случайной величины к квадрату Из неравенства (7.3) следует закон больших чисел в форме Чебышева. 7.1.2.2. Теорема Чебышева Одно из основных утверждений закона больших чисел состоит в том, что значение среднеарифметического 1 1 n i i n ξ = ∑ случайных величин с равными математическими ожиданиями M[ξ i ] = a при большом n оказывается приближенно равным a: a n n i i ≈ ∑ =1 В дальнейшем будем говорить, что 1 1 n i i n a ξ = → ∑ при n ∞ → , если для любого ε >0 и достаточно больших n соотношение ε ξ < − ∑ = a n n i i 1 выполняется с вероятностью, стремящейся к единице с ростом n. Данное высказывание записывается следующим образом Теория вероятностей 148 P n i i n a 1 1 1 ξ ε = − < ⎧ ⎨ ⎪ ⎩⎪ ⎫ ⎬ ⎪ ⎭⎪ → ∑ при n ∞ → . Это одно из утверждений закона больших чисел. Заметим, что, как и теорема Бернулли, оно не означает, что соотношение (7.4) достоверно. Однако, если n достаточно велико, то вероятность его выполнения близка к 1, например, 0.98 или 0.999, что означает его практическую достоверность. Приведем полную формулировку одной из теорем закона больших чисел – теорему Чебышева. Теорема 7.2 (теорема Чебышева. Если 1 ξ ξ ,.., ,.. n – последовательность попарно независимых случайных величин, имеющих конечные дисперсии, ограниченные одной и той же постоянной [ ] [ ] [ ] , о , , о , о 2 то для любого ] 1 1 1 при. Проверка закона больших чисел Проверка соотношения (7.4) с помощью различных экспериментов, как правило, приводит к положительному результату, тек его выполнению. Однако следует обратить внимание на имеющиеся случаи нарушения закона больших чисел. Рассмотрим случайную величину, распределенную по закону Коши с плотностью ( ) 2 1 1 Заметим, что плотность симметрична относительно нуля, однако, 0 не является математическим ожиданием. Это распределение не имеет математического ожидания. Напомним, что математическим ожиданием является величина x dx ( ) −∞ ∞ ∫ , если x p x dx ( ) < ∞ −∞ ∞ ∫ . Но последнее условие для распределения Коши не выполняется. Как следствие, для последовательности независимых случайных величин, распределенных по Предельные теоремы закону Коши (7.5), закон больших чисел не выполняется. Если бы среднее арифметическое ξ n ≡ 1 1 n i i n ξ = ∑ сходилось с ростом n к какой-либо константе, тов силу симметрии распределения, такой константой мог быть только 0. Однако 0 не является точкой сходимости. Действительно, можно показать, что при любом ε >0 и при любом сколь угодно большом n 1 1 n i i n ξ ε = ∑ > с вероятностью P = − 1 2 π arctg Поясним сказанное можно показать, что ξ n распределена по закону (7.5), а функция распределения для (7.5) есть arctg x. Эта вероятность, как видно, не стремится к 0 с ростом n. Например, если ε = 0.03, то вероятность выполнения (7.6) равна приближенно P ≈ 0.98, те. событие (7.6) практически достоверно, и можно уверенно ожидать его выполнения с одного раза. Если ε =1, то вероятность (7.6) равна 0.5, и выполнение его хотя бы 1 раз можно уверенно ожидать, проделав 7 экспериментов (т.к. вероятность невыполнения ни разу равна (0.5) 7 = 1/128). И это при любом фиксированном n, например, n = 200. Экспериментальная проверка (рис. 7.1) подтверждает сказанное. Обратите внимание на то, что имеются редкие наблюдения, отстоящие очень далеко от центра распределения – точки 0. -100 -60 -20 20 60 0 50 100 150 Рис. 7.1. Выборка наблюдений, распределенных по закону Коши ( n = 200) Теория вероятностей 150 7.1.2.4. Сжатие распределения с ростом числа слагаемых Закон больших чисел в форме Чебышева означает, что распределение случайной величины ξ ξ n i n n i = = ∑ 1 сжимается с ростом n. Если математические ожидания одинаковы, те то сжатие происходит в окрестности точки a. Убедиться в сжатии можно, наблюдая гистограммы при различных значениях n (например, для n =10, 40, 160, 640). Сгенерируем k раз например, хотя бы k =20) случайную величину ξ n ≡ ξ : и построим для каждой такой выборки средних гистограмму Сравнивая гистограммы для различных n, можно легко заметить сжатие (табл. 7.1 ирис. Таблица 7.1. Разброс средних вокруг точки а = 0,5 n x min x max W 10 0.371 0.687 0.32 40 0.418 0.606 0.19 160 0.472 0.550 0.08 320 0.523 0.469 0.05 N10 N40 N160 N640 0,3 0,4 0,5 0,6 Рис. 7.2. Гистограммы разброса средних вокруг точки а = 0,5 при разных n Предельные теоремы 151 7.2. Усиленный закон больших чисел 7.2.1. Теорема Бореля Теорема 7.3 (теорема Бореля). Относительная частота f n ≡ µ n n появления случайного события Ас ростом числа независимых испытаний стремится к истинной вероятности p события Ас вероятностью 1. Другими словами, при любом эксперименте с бесконечным числом испытаний имеет место сходимость последовательности f n кВ справедливости сказанного можно убедиться с помощью эксперимента по бросанию монеты или игральной кости. В последнем случае для упрощения и убыстрения эксперимента следует рассматривать событие А (появление нечетного числа очков) или А (появление четного числа очков. На рис. 7.3 приведены три графика относительных частот f n выпадения герба при бросании монеты, полученных в результате натурных испытаний при n=50; на рис. 7.4 – при n=500. VAR4 VAR5 VAR6 0,00 0,25 0,50 0,75 1,00 0 10 20 30 40 Рис. 7.3. Относительная частота выпадения герба при изменении n от 1 до 50 Теория вероятностей 152 VAR4 VAR5 VAR6 0,00 0,25 0,50 0,75 1,00 0 100 200 300 400 Рис. 7.4. Относительная частота выпадения герба при изменении n от 1 до 500 Графики убедительно показывают стремление относительных частот к истинной вероятности 0,5. Причем, чем больше число испытаний, тем очевиднее приближение к p. Будем говорить, что последовательность случайных величин ξ ξ ξ n ,.., , 2 1 подчиняется усиленному закону больших чисел, если 1 1 [ 1 → − ∑ ∑ = = n i M i n i i n n ξ ξ при n → ∞ (с вероятностью 1. В частном случае, при равных математических ожиданиях M[ ξ i]=a, это означает 1 n i i n a ξ = → ∑ при с вероятностью 1. На рис. 7.5 приведены графики результатов трех экспериментов по отслеживанию последовательностей средних арифметических случайных величин ξ i, равномерно распределенных в интервале (0;1), когда i изменяется от 1 дона рис. 7.6 – от 1 до 500. Графики убедительно демонстрируют стремление средних арифметических к математическому ожиданию 0.5 с ростом n. Предельные теоремы 153 VAR4 VAR5 VAR6 0,1 0,3 0,5 0,7 0,9 0 10 20 30 40 Рис. 7.5. Графики средних арифметических для равномерно распределенных случайных величин на интервале (0; 1) в зависимости от их количества 50 , 1 = i VAR4 VAR5 VAR6 0,1 0,3 0,5 0,7 0,9 0 100 200 300 400 Рис. 7.6. Графики средних арифметических для равномерно распределенных случайных величин на интервале (0; 1) в зависимости от их количества ( 500 , 1 = i ) Достаточное условие выполнения (7.8) дает теорема Колмогорова. 7.2.2. Теорема Колмогорова Теорема 7.4 (теорема Колмогорова. Если последовательность взаимно независимых случайных величин 1 ξ ξ ,.., удовлетворяет условию [ ] ∞ < ∑ ∞ =0 2 1 n n n D ξ , то она подчиняется усиленному закону больших чисел. Теория вероятностей Для независимых и одинаково распределенных случайных величин теорема Колмогорова трансформируется в более простую теорему. Теорема 7.5 (теорема Колмогорова в упрощенной трактовке. Необходимыми достаточным условием для применимости усиленного закона больших чисел к последовательности независимых случайных величин является существование математического ожидания. 7.2.3. Основная теорема статистики Пусть x 1 , x 2 ,...,x n – выборка из n независимых наблюдений над случайной величиной X с теоретической (истинной) функцией распределения F(x). Расположим наблюдения в порядке возрастания получим вариационный ряд ( ) ( ) ( ) x x x n 1 Определим функцию эмпирического распределения n x x x x x F x F n n n n ) ( ) ,..., , : ( ) ( 2 1 µ = ≡ ∗ ∗ , где µ n x ( ) – число тех наблюдений, для которых x>x i . Ясно, что F x n ∗ ( ) – ступенчатая функция это функция распределения, которое получается, если значениям x 1 ,...,x n присвоить вероятности, равные 1/n. К тому же, F x n ∗ ( ) – функция случайная, так как зависит от наблюдений x 1 ,...,x n . Теорема 7.6 (теорема Гливенко). С ростом максимальное абсолютное отклонение эмпирической функции распределения от теоретической стремится к нулю с вероятностью 1: 1 0 | ) ( ) ( | * = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ → − ∞ → n n x x F x F P sup Предельные теоремы Проиллюстрируем эту теорему на примерах наблюдений случайной величины Х, распределенной по равномерномузакону на интервале (0; 1), при числе испытаний n=10 (рис. 7.7), n=40 (рис. 7.8) ирис Рис. 7.7. Функции эмпирического FE и теоретического FT распределений равномерно распределенной случайной величины Х при числе наблюдений n=10 FE FT 0,0 0,2 0,4 0,6 0,8 1,0 0,0 0,2 0,4 0,6 0,8 Рис. 7.8. Функции эмпирического FE и теоретического FT распределений равномерно распределенной случайной величины Х при числе наблюдений n = 40 Теория вероятностей 156 FE FT 0,0 0,2 0,4 0,6 0,8 1,0 0,0 0,2 0,4 0,6 0,8 Рис. 7.9. Функции эмпирического FE и теоретического FT распределений равномерно распределенной случайной величины Х при числе наблюдений n = 160 7.3. Центральная предельная теорема 7.3.1. Содержание центральной предельной теоремы Закон больших чисел утверждает, что при n → ∞ среднее арифметическое случайных величин ξ i с равными математическими ожиданиями стремится к их математическому ожиданию , 1 где а = M[ ξ i ] . Центральная предельная теорема утверждает нечто большее, а, именно, что при n → ∞ распределение среднего арифметического случайных величин (при многократном суммировании среднее арифметическое есть случайная величина) приближается к нормальному распределению с параметрами а (математическое ожидание) и σ 2 /n дисперсия) : , ) , ( 1 где σ 2 =D[ξ i ]. Предельные теоремы При нормировании суммы предельная теорема записывается следующим образом ) 1 , 0 ( 1 N n na n i i σ ξ − ∑ = . Приведем формулировку центральной предельной теоремы в форме Линдеберга. 7.3.2. Теорема Линдеберга Теорема 7.7 (теорема Линдеберга). Если последовательность взаимно независимых случайных величин ξ 1 , ξ 2, ..., ξ n ,... при любом постоянном τ>0 удовлетворяет условию Линдеберга ( ) ( ) 0 1 lim 1 2 2 = − ∑ ∫ = > − ∞ → n k B a x k k n n n k x dF a x B τ , где [ ] k k M a ξ = , ⎥⎦ ⎤ ⎢⎣ ⎡ = ∑ = n k k n D B 1 2 ξ , то прите. нормированная сумма случайных величин ξ 1 , ξ 2, ..., ξ n распределена по нормальному закону с параметрами 0 (математическое ожидание) и дисперсия) . (7.12) 7.3.3. Теорема Ляпунова Условие Линдеберга (7.11) довольно универсально, но неудобно при практической проверке. Вместо него целесообразно использовать условие Ляпунова при некотором δ > 0 Теория вероятностей 158 [ ] 0 1 lim 1 Для нормированных величин условие Ляпунова имеет вид [ ] 0 lim 1 Теорема 7.8 (теорема Ляпунова – центральная предельная теорема в форме Ляпунова Если s n = ξ 1 + ξ 2 + … + ξ n – сумма независимых случайных величин, A n = M [s n ], B n 2 = и выполняется условие (7.13), то распределение случайной величины приближается к нормальному распределению с параметрами и На практике чаще всего используется условие Ляпунова а) при δ=1: [ ] ; 0 1 lim 1 б) при δ=2: [ ] 0 1 lim 1 4 4 = − ∑ = ∞ → n k k k n n a M B ξ 7.3.4. Сумма одинаково распределенных случайных величин Центральным предельным теоремам подчинены последовательности случайных величин с различными законами распределения. На практике чаще имеет место более простой случай – последовательности случайных величин с одинаковыми законами распределения или последовательности реализаций одной и той же случайной величины. Следствие центральной предельной теоремы Если независимые случайные величины ξ 1 , ξ 2 , ... , ξ n одинаково распределены и имеют Предельные теоремы конечную отличную от нуля дисперсию, то выполняются условия (7.12) и (7.13). При этом распределение суммы s n = ξ 1 + ξ 2 + … + ξ n с ростом n приближается к нормальному с параметрами A n = M [s n ], B n 2 = D[s n ]. Убедимся статистически в том, что сумма нескольких случайных величин распределена приближенно по нормальному закону. Сделаем это на примере суммы шести (m = 6) независимых случайных величин, имеющих beta- распределение с параметрами a=b=0.5, тес плотностью распределения ) 1 ( 1 1 ) , ( ) 1 ( ) , | ( 1 1 x x b a B x x b a x p b a − = − = − − π , где ∫ − − − = 1 0 1 1 d ) 1 ( ) , ( z z z b a B b a – функция. Плотность распределения слагаемых при выбранных значениях параметров имеет образный вид, весьма далекий от нормального. Убедимся в этом, построив гистограмму плотности (рис. 7.10). Чтобы статистически оценить закон распределения для суммы S, следует многократно (N раз, например, N=500) промоделировать суммирование получим S 1 , S 2 ,...,S N – выборку для суммы для этой выборки построим гистограмму и сравним ее визуально с нормальной плотностью. 0 20 40 60 80 0,0 0,2 0,4 0,6 0,8 Рис. 7.10. Гистограмма одного слагаемого Теория вероятностей 160 0 20 40 60 80 0,0 0,4 0,8 1,2 1,6 Рис. 7.11. Гистограмма суммы двух слагаемых 0 20 40 60 80 0 1 2 3 Рис. 7.12. Гистограмма суммы четырех слагаемых 0 20 40 60 80 0 1 2 3 4 5 Рис. 7.13. Гистограмма суммы шести слагаемых |