Лекции по теории вероятности. Лекции Тер. Вер.. Лекция 1 Случайные события
 Скачать 1.66 Mb.
|
2 — независимые случайные величины, распределенные по нормальному закону со средними значениями m 1 и m 2 и средними квадратичными отклонениями σ 1 и σ 2 . Найдем плотность распределения суммы Y = X 1 + X 2 . Воспользовавшись формулой свертки, имеем p Y (y) = +∞ Z −∞ ϕ m 1 ,σ 1 (y − x)ϕ m 2 ,σ 2 (x) dx = +∞ Z −∞ 1 σ 1 √ 2π exp µ − (y − x − m 1 ) 2 2σ 2 1 ¶ 1 σ 2 √ 2π exp µ − (x − m 2 ) 2 2σ 2 2 ¶ dx = = 1 2πσ 1 σ 2 exp µ − (y − m 1 − m 2 ) 2 2(σ 2 1 + σ 2 2 ) ¶ × +∞ Z −∞ exp µ − σ 2 1 + σ 2 2 2σ 2 1 σ 2 2 ³ x − σ 2 1 m 2 − σ 2 2 m 1 + σ 2 2 y σ 2 1 + σ 2 2 ´ 2 ¶ dx. Делая теперь замену z = √ σ 2 1 +σ 2 2 σ 1 σ 2 µ x − σ 2 1 m 2 −σ 2 2 m 1 +σ 2 2 y σ 2 1 +σ 2 2 ¶ , получаем 1 p 2π(σ 2 1 + σ 2 2 ) exp µ − (y − m 1 − m 2 ) 2 2(σ 2 1 + σ 2 2 ) ¶ +∞ Z −∞ 1 √ 2π e −z 2 /2 dz = 1 p 2π(σ 2 1 + σ 2 2 ) exp µ − (y − m 1 − m 2 ) 2 2(σ 2 1 + σ 2 2 ) ¶ . Таким образом, случайная величина Y также распределена по нормальному закону с парамет- рами m 1 + m 2 и p σ 2 1 + σ 2 2 , т.е. композиция плотностей нормальных законов распределения является плотностью нормального закона распределения. 45 Лекция 10 Ковариация и коэффициент корреляции случайных величин Пусть (X 1 ; X 2 ) — двумерный случайный вектор. Определение 10.1 Ковариацией (корреляционным моментом) cov(X 1 ; X 2 ) случайных ве- личин X 1 и X 2 называют математическое ожидание произведения случайных величин o X 1 = X 1 − MX 1 и o X 2 = X 2 − MX 2 : cov(X 1 ; X 2 ) = M( o X 1 o X 2 ) = M ¡ (X 1 − MX 1 )(X 2 − MX 2 ) ¢ . Запишем формулы, определяющие ковариацию. Для дискретных случайных величин X 1 и X 2 cov(X 1 ; X 2 ) = X i, j (x i − MX 1 )(y j − MX 2 )p ij , для непрерывных случайных величин X 1 и X 2 cov(X 1 ; X 2 ) = +∞ Z −∞ +∞ Z −∞ (x 1 − MX 1 )(x 2 − MX 2 )p X 1 ,X 2 (x 1 , x 2 ) dx 1 dx 2 . Заметим, что введение понятия ковариации позволяет записать выражение для дисперсии суммы случайных величин и к уже имеющимся свойствам дисперсии добавить еще одно: D(X + Y ) = DX + DY + 2cov(X, Y ) (свойство 5 дисперсии), справедливое для произвольных, а не только независимых случайных ве- личин X и Y . Действительно, D(X + Y ) = M ¡ (X + Y ) − M(X + Y ) ¢ 2 = = M(X − MX) 2 + 2M ¡ (X − MX)(Y − MY ) ¢ + M(Y − MY ) 2 = = DX + DY + 2cov(X, Y ). Свойство 5 дисперсии допускает обобщение на произвольное число слагаемых: D(X 1 + . . . + X n ) = DX 1 + . . . + DX n + 2 X 16i cov(X i , X j ). Следующая теорема устанавливает основные свойства ковариации. Теорема 10.1 Ковариация имеет следующие свойства 1. cov(X, X) = DX. 2. cov(X 1 , X 2 ) = 0 для независимых случайных величин X 1 и X 2 3. Если Y i = a i X i + b i , i = 1, 2, то cov(Y 1 , Y 2 ) = a 1 a 2 cov(X 1 , X 2 ). 4. − √ DX 1 DX 2 6 cov(X 1 , X 2 ) 6 √ DX 1 DX 2 , причем |cov(X 1 , X 2 )| = p DX 1 DX 2 (10.1) 46 тогда и только тогда, когда случайные величины X 1 и X 2 связаны линейной зависимостью, т.е. существуют такие числа a и b, при которых X 2 = aX 1 − b. (10.2) 5. cov(X 1 , X 2 ) = M(X 1 X 2 ) − MX 1 MX 2 . Доказательство. Утверждение 1 вытекает из очевидного соотношения cov(X, X) = M(X − MX) 2 . Если случайные величины X 1 и X 2 являются независимыми (и имеют математические ожида- ния), то cov(X 1 , X 2 ) = M ¡ (X 1 − MX 1 )(X 2 − MX 2 ) ¢ = M(X 1 − MX 1 )M(X 2 − MX 2 ), откуда приходим к утверждению 2. Пусть Y 1 = a 1 X 1 + b 1 , Y 2 = a 2 X 2 + b 2 . Тогда cov(Y 1 , Y 2 ) = M ¡ (Y 1 − MY 1 )(Y 2 − MY 2 ) ¢ = = M ¡ (a 1 X 1 + b 1 − a 1 MX 1 − b 1 )(a 2 X 2 + b 2 − a 2 MX 2 − b 2 ) ¢ = = M ¡ a 1 a 2 (X 1 − MX 1 )(X 2 − MX 2 ) ¢ . Поэтому справедливо утверждение 3. Рассмотрим дисперсию случайной величины Y x = xX 1 − X 2 , где x — произвольное число. В силу свойств дисперсии и свойства 3 ковариации DY x = D(xX 1 ) + 2cov(xX 1 , −X 2 ) + D(−X 2 ) = x 2 DX 1 − 2xcov(X 1 , X 2 ) + DX 2 . Дисперсия DY x , как функции от x, представляет собой квадратный трехчлен. Но дисперсия любой случайной величины не может быть меньше нуля, а это означает, что дискриминант D = ¡ 2cov(X 1 , X 2 ) ¢ 2 − 4DX 1 DX 2 (10.3) квадратного трехчлена DY x является неположительным, т.е. |cov(X 1 , X 2 )| ≤ √ DX 1 DX 2 Далее, пусть выполнено равенство (10.1). Значит, дискриминант (10.3) равен нулю, и поэтому уравнение DY x = 0 имеет решение, которое обозначим a. Тогда в соответствии с замечанием 9.2 случайная величина Y a = aX 1 − X 2 принимает всего одно значение (допустим, b), и, следовательно, X 2 = aX 1 − b, т.е. из (10.1) вытекает (10.2). Наоборот, пусть выполнено (10.2). Тогда Y a = aX 1 − X 2 = b и в соответствии со свойством 1 дисперсии DY a = 0, а значит, квадратный трехчлен DY x имеет один действительный корень. Т.к. этот же трехчлен неотрицательный, то он имеет действительный корень лишь в случае, когда его дискриминант в (10.3) равен нулю, откуда следует (10.1). Таким образом, из (10.2) вытекает (10.1). Утверждение 4 полностью доказано. Наконец, раскрывая скобки в формуле, определяющей ковариацию, и используя свойства мате- матического ожидания, получаем утверждение 5, которое часто бывает полезным при численном подсчете ковариации. Замечание 10.1 Если случайные величины связаны линейной зависимостью X 2 = aX 1 − b, то в соответствии со свойствами 3 и 1 cov(X 1 , X 2 ) = acov(X 1 , X 1 ) = aDX 1 . Поэтому знак ковариации сов- падает со знаком коэффициента a и равенство (10.1) допускает следующее уточнение: cov(X 1 , X 2 ) = p DX 1 DX 2 при a > 0; cov(X 1 , X 2 ) = − p DX 1 DX 2 при a < 0. Замечание 10.2 Из свойств дисперсии и ковариации можно получить еще одно полезное при рас- четах свойство дисперсии D(a 1 X 1 + a 2 X 2 + b) = a 2 1 DX 1 + a 2 2 DX 2 + 2a 1 a 2 cov(X 1 , X 2 ). Докажите это свойство самостоятельно. Замечание 10.3 Как следует из свойства 2, ковариация независимых случайных величин равна нулю. Однако обратное, вообще говоря, неверно. Существуют зависимые и даже функционально зависимые случайные величины, ковариация которых равна нулю, что демонстрирует следующий пример. 47 Пример 10.1 Пусть случайная величина X имеет равномерное в интервале (−1, 1) распределение, а случайная величина Y связана со случайной величиной X функциональной зависимостью Y = X 2 Покажем, что cov(X, Y ) = 0, несмотря на функциональную зависимость X и Y . Действительно, учитывая равенство MX = 0 и свойство 5 ковариации, имеем cov(X, Y ) = M(X · Y ) − MX · MY = MX 3 = +∞ Z −∞ x 3 p(x) dx = 1 2 1 Z −1 x 3 dx = 0. Определение 10.2 Случайные величины X и Y называют некоррелированными, если их ковариация равна нулю, т.е. cov(X, Y ) = 0. Приведенный выше пример показывает, что из некоррелированности случайных величин не сле- дует их независимоcть. Можно сказать, что ковариация случайных величин отражает, насколько их зависимость близка к линейной. Рассмотрим теперь n-мерный случайный вектор X = (X 1 ; . . . ; X n ). Определение 10.3 Матрицей ковариаций (ковариационной матрицей) случайного век- тора X называют матрицу Σ = (σ ij ) = (cov(X i , X j )), состоящую из ковариаций случайных величин X i и X j Пример 10.2 Рассмотрим двумерную случайную величину (X; Y ), распределенную по нормаль- ному закону (см. лекцию ??). Тогда cov(X, Y ) = +∞ Z −∞ +∞ Z −∞ (x−m 1 )(y−m 2 ) 2πσ 1 σ 2 p 1−ρ 2 × exp · − ³ (x−m 1 ) 2 2σ 2 1 (1−ρ 2 ) − 2ρ(x−m 1 )(y−m 2 ) 2σ 1 σ 2 (1−ρ 2 ) + (x−m 2 ) 2 2σ 2 2 (1−ρ 2 ) ´¸ dxdy. Делая замену u = (x − m 1 )/σ 1 , v = (y − m 2 )/σ 2 , получаем cov(X, Y ) = σ 1 σ 2 +∞ Z −∞ +∞ Z −∞ uv 2π p 1 − ρ 2 exp n − 1 2(1 − ρ 2 ) (u 2 − 2ρuv + v 2 ) o du dv = = σ 1 σ 2 +∞ Z −∞ u √ 2π e −u 2 /2 +∞ Z −∞ v 2π(1 − ρ 2 ) exp ½ − (v − ρu) 2 2(1 − ρ 2 ) ¾ dv du. Внутренний интеграл равен ρu. Поэтому cov(X, Y ) = ρσ 1 σ 2 +∞ Z −∞ u 2 √ 2π e −u 2 /2 du = ρσ 1 σ 2 . Поскольку DX = σ 2 1 , DY = σ 2 2 , то матрица Σ представляет собой матрицу ковариаций (в данном случае понятие “ковариационная матрица” мы ввели раньше, нежели выяснили смысл этого поня- тия). # Существенным недостатком ковариации является то, что ее размерность совпадает с произве- дением размерностей случайных величин. Естественно, хотелось бы иметь безразмерную харак- теристику степени линейной зависимости. Но это очень просто сделать — достаточно поделить ковариацию случайных величин на произведение их средних квадратичных отклонений. Определение 10.4 Коэффициентом корреляции случайных величин X и Y называют число ρ = ρ(X, Y ), определяемое равенством (предполагается, что DX > 0 и DY > 0) ρ = cov(X, Y ) √ DX · DY . Теорема 10.2 Коэффициент корреляции имеет следующие свойства. 1. ρ(X, X) = 1. 2. Если случайные величины X и Y являются независимыми (и существуют DX > 0 и DY > 0), то ρ(X, Y ) = 0. 3. ρ(a 1 X 1 + b 1 , a 2 X 2 + b 2 ) = ±ρ(X 1 , X 2 ). При этом знак плюс нужно брать в том случае, когда a 1 и a 2 имеют одинаковые знаки, и минус — в противном случае. 4. −1 6 ρ(X, Y ) 6 1. 5. |ρ(X, Y )| = 1 тогда и только тогда, когда случайные величины X и Y связаны линейной зависимоcтью. 48 Доказательство. Доказательство теоремы следует из свойств ковариации, и мы предлагаем про- вести его самостоятельно. Коэффициент корреляции отражает “степень линейной близости” случайных величин. При ρ > 0 говорят о положительной корреляционной зависимости X и Y , при ρ < 0 — об отрицательной. На- пример, рост и вес человека связаны положительной корреляционной зависимостью, а температура и время сохранности продукта — отрицательной. Однако, коэффициент корреляции (ковариация) может не улавливать “степень нелинейной близости” случайных величин. По аналогии с ковариационной матрицей для случайного вектора X = (X 1 ; . . . ; X n ) можно ввести корреляционную матрицу. Определение 10.5 Корреляционной (нормированной ковариационной) матрицей слу- чайного вектора X называют матрицу P = (ρ ij ) = (ρ(X i , X j )), состоящую из коэффициентов корре- ляций случайных величин X i и X j 49 Лекция 11 Условные характеристики случайных величин Одним из основных понятий теории вероятностей является понятие условной вероятности, введен- ное в лекции 3. Там же было показано, что условная вероятность P(A|B) обладает всеми свойствами безусловной вероятности и так же, как и безусловная вероятность, представляет собой численную меру наступления события A, но только при условии, что событие B произошло. Аналогом понятия условной вероятности для двух случайных величин X и Y является услов- ный закон распределения одной из них, допустим, X при условии, что вторая случайная величина Y приняла определенное значение. С помощью условного закона распределения вводят условные числовые характеристики. Именно эти понятия и рассматриваются в настоящей лекции. Условные распределения Понятие условного распределения, как обычно, введем только для случаев дискретных и непре- рывных случайных величин. В случае двумерной дискретной случайной величины ( |