Лекции теория вероятностей 2019. Вероятностное пространство
 Скачать 2.67 Mb.
|
|
для равномерной R[0,1] величины равняется? В более общем случае, если 𝑔 разрывна, можно представлять математическое ожидание 𝑔(𝑋) с помощью ин- теграла Лебега-Стильтеса ∫︀ ∞ −∞ 𝑔(𝑥)𝑑𝐹 (𝑥) . В общем случае его конструкция аналогична конструкции интеграла Лебега, мы будем рассматривать это как другую форму записи математического ожидания. При этом для интегралов Лебега-Стилтьеса справедливы некоторые свойства: • ∫︁ 𝑅 𝑔(𝑥)𝑑(𝑎𝐹 (𝑥)) + ∫︁ 𝑅 𝑔(𝑥)𝑑(𝑏𝐺(𝑥)) = ∫︁ 𝑅 𝑔(𝑥)𝑑(𝑎𝐹 (𝑥) + 𝑏𝐺(𝑥)), • ∫︁ 𝑅 (𝑎𝑔(𝑥) + 𝑏ℎ(𝑥))𝑑𝐹 (𝑥) = 𝑎 ∫︁ 𝑅 𝑔(𝑥)𝑑𝐹 (𝑥) + 𝑏 ∫︁ 𝑅 ℎ(𝑥)𝑑𝐹 (𝑥). • Для функций 𝑔(𝑥), являющихся монотонными, справедлива формула интегрирования по частям 𝑏 ∫︁ 𝑎 𝑔(𝑥)𝑑𝐹 (𝑥) = 𝑔(𝑥)𝐹 (𝑥)| 𝑏 𝑎 − 𝑏 ∫︁ 𝑎 𝐹 (𝑥)𝑑𝑔(𝑥). Пример 10.5. Заметим, что E𝑋 = 0 ∫︁ −∞ 𝑥𝑑𝐹 (𝑥) − +∞ ∫︁ 0 𝑥𝑑(1 − 𝐹 (𝑥)) = 𝑥𝐹 (𝑥)| 0 −∞ − 𝑥(1 − 𝐹 (𝑥))| +∞ 0 + +∞ ∫︁ 0 (1 − 𝐹 (−𝑥) − 𝐹 (𝑥))𝑑𝑥. Первые два слагаемых обращаются в 0, если математическое ожидание конечно, откуда получается полезная формула E𝑋 = ∫︁ ∞ 0 (1 − 𝐹 (𝑥))𝑑𝑥 + ∫︁ 0 −∞ 𝐹 (𝑥)𝑑𝑥. 10.4 Дисперсия и ковариация Как и прежде мы можем ввести дисперсию 68 Определение 10.2. Дисперсией называется величина E(𝑋 − E𝑋) 2 = E𝑋 2 − (E𝑋) 2 Для конечности дисперсии требуется условие E𝑋 2 < ∞ В абсолютно-непрерывном случае справедлива формула E𝑋 2 = ∫︁ R 𝑥 2 𝑑𝐹 (𝑥) = ∫︁ R 𝑥 2 𝑓 𝑋 (𝑥)𝑑𝑥, откуда мы получаем способ искать дисперсию и в этом случае. Как и прежде введем ковариацию: Определение 10.3. Ковариацией величин 𝑋 и 𝑌 называют cov(𝑋, 𝑌 ) = E(𝑋 − E𝑋)(𝑌 − E𝑌 ) = E𝑋𝑌 − E𝑋E𝑌. Как и в дискретном случае остаются верными приведенные ниже свойства. Доказательства их остаются теми же, что и в дискретном случае. 1. D𝑋 = cov(𝑋, 𝑋). 2. cov(𝑋, 𝑌 ) = cov(𝑌, 𝑋). 3. cov(𝑋, 𝑌 + 𝑐) = cov(𝑋, 𝑌 ), D(𝑋 + 𝑐) = D𝑋. 4. Если 𝑋, 𝑌 независимы, то cov(𝑋, 𝑌 ) = 0. 5. cov(𝑎𝑋 + 𝑏𝑌, 𝑍) = 𝑎 cov(𝑋, 𝑍) + 𝑏 cov(𝑌, 𝑍). 6. D𝑎𝑋 = 𝑎 2 D𝑋 7. D(𝑋 + 𝑌 ) = D𝑋 + 2 cov(𝑋, 𝑌 ) + D𝑌 . 8. D(𝑋 1 + ... + 𝑋 𝑛 ) = ∑︀ 𝑛 𝑖=1 D𝑋 𝑖 + 2 ∑︀ 𝑖<𝑗 cov(𝑋 𝑖 , 𝑋 𝑗 ) 9. |𝑐𝑜𝑣(𝑋, 𝑌 )| ≤ √ D𝑋D𝑌 в силу неравенству Коши-Буняковского. 11 Случайные векторы 11.1 Определение Напомню, что в пространстве R 𝑛 борелевская сигма-алгебра ℬ(R 𝑛 ) — это минимальная сигма-алгебра, содер- жащая все открытые множества R 𝑛 Пусть (Ω, ℱ, P) — вероятностное пространство. Случайным вектором мы назвали отображение ⃗ 𝑋 из Ω в R 𝑛 , обладающее свойством измеримости: {𝜔 : ⃗ 𝑋(𝜔) ∈ 𝐵} ∈ ℱ при любом 𝐵 ∈ ℬ(R 𝑛 ) . Однако, как мы выяснили на позапрошлой лекции , это равносильно тому, что все компоненты вектора 𝑋 1 , 𝑋 2 , . . . , 𝑋 𝑛 есть случайные величины. Чтобы задать распределение вектора P ⃗ 𝑋 (𝐵) = P( ⃗ 𝑋(𝜔) ∈ 𝐵) при всех 𝐵 ∈ ℬ(R 𝑛 ) , достаточно задать его для некоторых 𝐵 ∈ 𝒜, где 𝒜 — некоторая алгебра, порождающая сигма-алгебру ℬ(R 𝑛 ) . В качестве такой алгебры можно рассматривать множество всех простых множеств, то есть множеств, являющихся конечным объединением параллелепипедов 𝐼 1 × · · · × 𝐼 𝑛 , где 𝐼 𝑗 — полуинтервалы прямой R, или дополнением до таких объединений. Для этого достаточно задать для всех 𝐴 = (−∞, 𝑥 1 ] × · · · × (−∞, 𝑥 𝑛 ] вероятность P( ⃗ 𝑋 ∈ 𝐴) = P(𝑋 1 ≤ 𝑥 1 , . . . , 𝑋 𝑛 ≤ 𝑥 𝑛 ) 69 Определение 11.1. Указанная функция F ⃗ 𝑋 (⃗ 𝑥) = P(𝑋 1 ≤ 𝑥 1 , . . . , 𝑋 𝑛 ≤ 𝑥 𝑛 ). называется функцией распределения случайного вектора ⃗ 𝑋 Положим ∆ 𝑖,𝑎 𝑖 ,𝑏 𝑖 F(⃗ 𝑥) = F(𝑥 1 , . . . , 𝑥 𝑖−1 , 𝑏 𝑖 , 𝑥 𝑖+1 , . . . , 𝑥 𝑛 ) − F(𝑥 1 , . . . , 𝑥 𝑖−1 , 𝑎 𝑖 , 𝑥 𝑖+1 , . . . , 𝑥 𝑛 ). Тогда P(𝑋 1 ∈ (𝑎 1 , 𝑏 1 ], . . . , 𝑋 𝑛 ∈ (𝑎 𝑛 , 𝑏 𝑛 ]) = ∆ 1,𝑎 1 ,𝑏 1 . . . ∆ 𝑛,𝑎 𝑛 ,𝑏 𝑛 F(𝑥 1 , . . . , 𝑥 𝑛 ). Правая часть довольно громоздко расписывается, но если задуматься, то это сумма значений F в вершинах Рис. 16: Для двумерной величины вероятность попадания в прямоугольник будет равна сумме вероятностей попадания в квадранты, выделенные косой штриховкой, из которой вычли вероятности попадания в квадранты с прямой штриховкой параллелепипеда (𝑎 1 , 𝑏 1 ] × · · · (𝑎 𝑛 , 𝑏 𝑛 ] , взятых с разными знаками: F(𝑏 1 , . . . , 𝑏 𝑛 ) − F(𝑎 1 , 𝑏 2 , . . . , 𝑏 𝑛 ) − F(𝑏 1 , 𝑎 2 , 𝑏 3 , . . . , 𝑏 𝑛 ) − · · · − F(𝑏 1 , . . . , 𝑏 𝑛−1 , 𝑎 𝑛 ) + · · · + (−1) 𝑛 F(𝑎 1 , ..., 𝑎 𝑛 ). Итак, функция распределения задает вероятности попадания в параллелепипеды, а значит в простые множества, а значит и всю меру P 𝑋 Функция F ⃗ 𝑋 обладает рядом свойств, аналогичных одномерному случаю: 1. при любых 𝑎 𝑖 < 𝑏 𝑖 , 𝑖 ≤ 𝑛: ∆ 1,𝑎 1 ,𝑏 1 · · · ∆ 𝑛,𝑎 𝑛 ,𝑏 𝑛 F(𝑥 1 , . . . , 𝑥 𝑛 ) ≥ 0; (6) 2. функция F непрерывна справа по совокупности переменных: если вектор ⃗𝑥 стремится к ⃗𝑥 0 по совокупности переменных так, что все 𝑥 𝑖 ≥ 𝑥 0 𝑖 + 0 , то F(⃗𝑥) → F(⃗𝑥 0 ) ; 3. F(𝑥 1 , . . . , 𝑥 𝑛 ) → 1 , 𝑥 1 → +∞, . . . , 𝑥 𝑛 → +∞ при 𝑛 → ∞; 4. F(⃗𝑥) → 0, если ⃗𝑥 → ⃗𝑥 0 , где хоть одна из компонент ⃗𝑥 0 равняется −∞. Аналогично одномерному случаю любая функция, удовлетворяющая указанным свойствам автоматически яв- ляется функцией распределения некоторого случайного вектора ⃗ 𝑋 . Мы оставим этот факт без доказательства, но идея его та же самая: по функции распределения мы находим вероятности попадания во все простые мно- жества и показываем, что полученная мера будет сигма-аддитивной на простых множеств. Отсюда по теореме Каратеодори она единственным образом продолжается на борелевскую сигма-алгебру. 70 11.2 Абсолютно-непрерывный случай Как и прежде наиболее удобные случаи для нас: дискретный, когда P( ⃗ 𝑋 ∈ 𝐵) = ∑︁ 𝑖:⃗ 𝑥 𝑖 ∈𝐵 P( ⃗ 𝑋 = ⃗ 𝑥 𝑖 ), где ⃗𝑥 𝑖 — возможные значения вектора ⃗ 𝑋 , и абсолютно-непрерывный, когда P( ⃗ 𝑋 ∈ 𝐵) = ∫︁ 𝐵 𝑓 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥. для любого множества 𝐵 ∈ ℬ(R 𝑛 ) Более аккуратное определение таково. Определение 11.2. Распределение абсолютно-непрерывно, если найдется такая неотрицательная функция 𝑓 ⃗ 𝑋 (𝑥 1 , . . . , 𝑥 𝑛 ) , что F ⃗ 𝑋 (⃗ 𝑥) = ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ 𝑓 ⃗ 𝑋 (𝑢 1 , . . . , 𝑢 𝑛 )𝑑𝑢 1 · · · 𝑑𝑢 𝑛 при любых ⃗𝑥. Таким образом, 𝑓 ⃗ 𝑋 (⃗ 𝑥) = 𝜕 𝜕𝑥 1 · · · 𝜕 𝜕𝑥 1 𝐹 ⃗ 𝑋 (⃗ 𝑥). С другой стороны, справедливо следующее утверждение: Лемма 11.1. Любая неотрицательная интегрируемая 𝑓 (⃗ 𝑥), т.ч. ∫︁ R 𝑛 𝑓 (⃗ 𝑥)𝑑⃗ 𝑥 = 1 является плотностью некоторого распределения. Доказательство. Покажем, что функция 𝐹 (⃗ 𝑥) = ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ 𝑓 (⃗𝑡)𝑑𝑡 1 . . . 𝑑𝑡 𝑛 удовлетворяет четырем характеристическим свойствам функции распределения 1)-4). Свойство 1) выполнено, поскольку ∆ 1,𝑎 1 ,𝑏 1 . . . ∆ 𝑛,𝑎 𝑛 ,𝑏 𝑛 F(⃗ 𝑥) = ∫︁ [𝑎 1 ,𝑏 1 ] ∫︁ [𝑎 𝑛 ,𝑏 𝑛 ] 𝑓 (⃗ 𝑥)𝑑⃗ 𝑥 ≥ 0. Свойство 2) выполнено, поскольку 𝐹 непрерывна как интеграл по верхнему пределу. Свойства 3) и 4) выполнены из определения несобственного интеграла. Рассмотрим меру P( ⃗ 𝑋 ∈ 𝐵) на множестве борелевских множеств и меру 𝑄(𝐵) = ∫︁ 𝐵 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥, где интеграл в правой части понимается как интеграл Лебега от функции 𝑓 𝑋 (⃗ 𝑥)𝐼 𝐵 (⃗ 𝑥) по мере Лебега. На множествах (−∞, 𝑥 1 ] × · · · × (−∞, 𝑥 𝑛 ] эти меры совпадают, а значит совпадают и на всех простых множествах. Но в силу теоремы Каратеодори существует единственная сигма-аддитивная мера P( ⃗ 𝑋 ∈ 𝐵) , продолжающаяся с заданной меры на алгебре простых множеств. Отсюда P( ⃗ 𝑋 ∈ 𝐵) = ∫︁ R 𝑛 𝑓 𝑋 (⃗ 𝑥)𝐼 𝐵 (⃗ 𝑥)𝑑⃗ 𝑥. 71 Если не вдаваться в технические детали, то, например, для измеримых по Жордану множеств 𝐵 полученная формула позволяет вычислять вероятности попадания вектора ⃗ 𝑋 в различные множества 𝐵 ∈ B(R 𝑛 ) Пример 11.1. Рассмотрим измеримое множество 𝐴 объема 𝑉 (𝐴) и вектор ⃗ 𝑋 c плотностью 𝑓 ⃗ 𝑋 (⃗ 𝑥) = {︂ 1 𝑉 (𝐴) , 𝑥 ∈ 𝐴, 0, 𝑥 ̸∈ 𝐴. Такой вектор называется равномерно распределенным на множестве 𝐴. Тогда P( ⃗ 𝑋 ∈ 𝐵) = 1 𝑉 (𝐴) ∫︁ 𝐵 𝐼 ⃗ 𝑥∈𝐴 𝑑⃗ 𝑥 = 𝑉 (𝐵 ∩ 𝐴) 𝑉 (𝐴) при любом 𝐵 ∈ ℬ(R 𝑛 ) Итак, для измеримых множеств 𝐵 вычисление вероятностей попадания в них абсолютно-непрерывных векто- ров сводится к подсчету интеграла по этому множеству. 11.3 Плотности подвекторов Пусть ⃗ 𝑋 — абсолютно-непрерывный вектор с плотностью 𝑓 ⃗ 𝑋 (⃗ 𝑥) . Тогда: 1. в силу определения плотности ∫︁ R 𝑛 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 = P( ⃗ 𝑋 ∈ R 𝑛 ) = 1; 2. при любых непересекающихся 𝐼 = {𝑖 1 , . . . , 𝑖 𝑘 } , 𝐽 = {𝑗 1 , . . . , 𝑗 𝑛−𝑘 } , в объединении дающих {1, . . . , 𝑛}, вы- полнено ∫︁ R 𝑘 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑𝑥 𝑖 1 . . . 𝑑𝑥 𝑖 𝑘 = 𝑓 𝑋 𝑗1 ,...,𝑋 𝑗𝑛−𝑘 (𝑥 𝑗 1 , . . . , 𝑥 𝑗 𝑛−𝑘 ), поскольку при 𝐵 = {⃗𝑥 : ⃗𝑥 𝐽 ∈ 𝐴} выполнено соотношение P( ⃗ 𝑋 𝐽 ∈ 𝐴) = P(𝑋 ∈ 𝐵) = ∫︁ 𝐵 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 = ∫︁ 𝐴 ∫︁ R 𝑘 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑𝑥 𝑖 1 . . . 𝑑𝑥 𝑖 𝑘 , где ⃗ 𝑋 𝐽 = (𝑋 𝑗 1 , . . . , 𝑋 𝑗 𝑛−𝑘 ) Плотность подвектора вектора ⃗ 𝑋 называется маргинальной плотностью. 11.4 Независимость в терминах функций распределения и плотностей Лемма 11.2. Пусть ⃗ 𝑋, ⃗ 𝑌 — случайные векторы. Тогда они независимы тогда и только тогда, когда 𝐹 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = 𝐹 ⃗ 𝑋 (⃗ 𝑥)𝐹 ⃗ 𝑌 (⃗ 𝑦). Доказательство. Из независимости очевидно вытекает искомое утверждение, поскольку 𝐹 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = P( ⃗ 𝑋 ∈ (−∞, 𝑥 1 ] × · · · × (−∞, 𝑥 𝑛 ], ⃗ 𝑌 ∈ (−∞, 𝑦 1 ] × · · · × (−∞, 𝑦 𝑚 ]) = P( ⃗ 𝑋 ∈ (−∞, 𝑥 1 ] × · · · × (−∞, 𝑥 𝑛 ])P(⃗ 𝑌 ∈ (−∞, 𝑦 1 ] × · · · × (−∞, 𝑦 𝑚 ]). C другой стороны, рассмотрим меру, заданную вектором ⃗𝑈, ⃗𝑉 , где ⃗𝑈 имеет то же распределение, что и ⃗ 𝑋 , ⃗𝑉 — то же, что и ⃗𝑌 и они независимы. Значит 𝐹 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = 𝐹 ⃗ 𝑋 (⃗ 𝑥)𝐹 ⃗ 𝑌 (⃗ 𝑦)𝐹 ⃗ 𝑈 ,⃗ 𝑉 (⃗ 𝑥, ⃗ 𝑦). Опять же отсюда верно равенство мер P(( ⃗ 𝑋, ⃗ 𝑌 ) ∈ 𝐴) = P(( ⃗ 𝑈 , ⃗ 𝑉 ) ∈ 𝐴) 72 при всех 𝐴 ∈ R 𝑛+𝑚 . В частности, если 𝐴 = 𝐴 1 × 𝐴 2 , то P(( ⃗ 𝑋, ⃗ 𝑌 ) ∈ 𝐴 1 × 𝐴 2 ) = P(( ⃗ 𝑈 , ⃗ 𝑉 ) ∈ 𝐴 1 × 𝐴 2 ) = P( ⃗ 𝑈 ∈ 𝐴 1 )P(⃗ 𝑉 ∈ 𝐴 2 ) = P( ⃗ 𝑋 ∈ 𝐴 1 )P(⃗ 𝑌 ) ∈ 𝐴 2 ). Что и требовалось доказать. Лемма 11.3. Пусть ⃗ 𝑋, ⃗ 𝑌 — случайные векторы, имеющие совместную плотность 𝑓 ⃗ 𝑋,⃗ 𝑌 . Тогда они незави- симы тогда и только тогда, когда 𝑓 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑓 ⃗ 𝑌 (⃗ 𝑦). Доказательство. Из независимости очевидно вытекает искомое утверждение, поскольку 𝐹 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = P( ⃗ 𝑋 ∈ (−∞, 𝑥 1 ] × · · · × (−∞, 𝑥 𝑛 ])P(⃗ 𝑌 ∈ (−∞, 𝑦 1 ] × · · · × (−∞, 𝑦 𝑚 ]) = ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ 𝑓 ⃗ 𝑋 (⃗𝑡)𝑑⃗𝑡 ∫︁ 𝑦 1 −∞ ∫︁ 𝑦 𝑚 −∞ 𝑓 ⃗ 𝑌 (⃗ 𝑠)𝑑⃗ 𝑠 ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ ∫︁ 𝑦 1 −∞ ∫︁ 𝑦 𝑚 −∞ 𝑓 ⃗ 𝑋 (⃗𝑡)𝑓 ⃗ 𝑌 (⃗ 𝑠)𝑑⃗𝑡𝑑⃗ 𝑠. C другой стороны, если плотность распадается в произведение, то 𝐹 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦) = ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ ∫︁ 𝑦 1 −∞ ∫︁ 𝑦 𝑚 −∞ 𝑓 ⃗ 𝑋 (⃗ 𝑢)𝑓 ⃗ 𝑌 (⃗ 𝑣)𝑑⃗ 𝑢𝑑⃗ 𝑣 = ∫︁ 𝑥 1 −∞ ∫︁ 𝑥 𝑛 −∞ 𝑓 ⃗ 𝑋 (⃗ 𝑢)𝑑⃗ 𝑢 ∫︁ 𝑦 1 −∞ ∫︁ 𝑦 𝑚 −∞ 𝑓 ⃗ 𝑌 (⃗ 𝑣)𝑑⃗ 𝑣 = 𝐹 ⃗ 𝑋 (⃗ 𝑥)𝐹 ⃗ 𝑌 (⃗ 𝑦). Что и требовалось доказать. Можно слегка усилить предыдущее утверждение: Лемма 11.4. Пусть ⃗ 𝑋, ⃗ 𝑌 — случайные векторы, имеющие совместную плотность 𝑓 ⃗ 𝑋,⃗ 𝑌 (⃗ 𝑥, ⃗ 𝑦), причем 𝑓 (⃗ 𝑥, ⃗ 𝑦) = 𝑔(⃗ 𝑥)ℎ(⃗ 𝑦) для некоторых 𝑔, ℎ. Тогда ⃗ 𝑋, ⃗ 𝑌 независимы. Доказательство. 11.5 Преобразование плотности при гладких заменах координат Пусть ⃗ 𝑋 — абсолютно-непрерывный вектор с плотностью 𝑓 ⃗ 𝑋 (⃗ 𝑥) , а отображение 𝑔 : R 𝑛 → R 𝑛 — обратимое непрерывно-дифференцируемое отображение. Тогда справедлива следующая теорема: Теорема 11.1. 𝑓 𝑔( ⃗ 𝑋) (⃗ 𝑦) = 𝑓 ⃗ 𝑋 (𝑔 −1 (⃗ 𝑦))|𝐽 𝑔 −1 (⃗ 𝑦)|, где 𝐽 — якобиан обратной замены 𝑔 −1 Доказательство. Заметим, что для любой области 𝐴 ⊂ R 𝑛 ∫︁ 𝐴 𝑓 𝑔( ⃗ 𝑋) (⃗ 𝑦)𝑑⃗ 𝑦 = P(𝑔( ⃗ 𝑋) ∈ 𝐴) = P( ⃗ 𝑋 ∈ 𝑔 −1 (𝐴)) = ∫︁ 𝑔 −1 (𝐴) 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 = ∫︁ 𝐴 𝑓 ⃗ 𝑋 (𝑔 −1 (⃗ 𝑦)|𝐽 𝑔 −1 (⃗ 𝑦)|𝑑⃗ 𝑦, где в последнем равенстве мы произвели замену под знаком интеграла. Отсюда мы имеем два представления для одной и той же вероятности в виде интеграла. Но тогда 𝑓 𝑔( ⃗ 𝑋) (⃗ 𝑦) = 𝑓 ⃗ 𝑋 (𝑔 −1 (⃗ 𝑦))|𝐽 𝑔 −1 (⃗ 𝑦)| при п.в. ⃗𝑦 ∈ R 𝑛 . Под п.в. (почти всеми) ⃗𝑦 мы подразумеваем, что множество 𝐶 всех ⃗𝑦 таких, что наше равенство выполнено, таково, что 𝜆(𝐶) = 0, где 𝜆 — мера Лебега. 11.6 Математические ожидания функций от векторов Лемма 11.5. Пусть 𝑔 : R 𝑛 → R — измеримая функция, ⃗ 𝑋 — случайный вектор c плотностью 𝑓 ⃗ 𝑋 , причем E𝑔( ⃗ 𝑋) существует и конечно. Тогда E𝑔( ⃗ 𝑋) = ∫︁ R 𝑛 𝑔(⃗ 𝑥)𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥. 73 Доказательство. Заметим, что если 𝑔(𝑥) — простая функция (то есть 𝑔(⃗𝑥) = ∑︀ 𝑛 𝑘=1 𝑎 𝑘 𝐼 𝐴 𝑘 (⃗ 𝑥) ), то формула верна, поскольку E𝑔( ⃗ 𝑋) = 𝑛 ∑︁ 𝑘=1 𝑎 𝑘 P( ⃗ 𝑋 ∈ 𝐴 𝑘 ) = 𝑛 ∑︁ 𝑘=1 𝑎 𝑘 ∫︁ 𝐴 𝑘 𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 = ∫︁ R 𝑛 𝑔(⃗ 𝑥)𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥. Если 𝑔(⃗𝑥) — неотрицательная функция, а 𝑔 𝑛 (⃗ 𝑥) — последовательность сходящихся к ним простых функций, то E𝑔( ⃗ 𝑋) = lim 𝑛→∞ E𝑔 𝑛 ( ⃗ 𝑋) = lim 𝑛→∞ ∫︁ R 𝑛 𝑔 𝑛 (⃗ 𝑥)𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 = ∫︁ R 𝑛 𝑔(⃗ 𝑥)𝑓 ⃗ 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥. Наконец для произвольной 𝑔(⃗𝑥) верно тождество E𝑔( ⃗ 𝑋) = E𝑔 + ( ⃗ 𝑋) − E𝑔 − ( ⃗ 𝑋) = ∫︁ R 𝑔 + (⃗ 𝑥)𝑓 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥 − ∫︁ R 𝑔 − (⃗ 𝑥)𝑓 𝑋 (⃗ 𝑥)𝑑⃗ 𝑥, что и требовалось доказать. 11.7 Нормальные векторы Определение 11.3. Вектор ⃗𝑌 = (𝑌 1 , . . . , 𝑌 𝑛 ) называют многомерным нормальным вектором, если найдутся такие н.о.р. 𝒩 (0, 1) величины 𝑋 𝑖 , 𝑖 ≤ 𝑛, и такие матрица 𝐴, вектор ⃗𝑏, что ⃗ 𝑌 = 𝐴 ⃗ 𝑋 + ⃗𝑏. Принято задавать нормальный вектор вектором средних E𝑌 𝑖 = 𝑏 𝑖 и матрицей ковариаций Σ = (cov(𝑌 𝑖 , 𝑌 𝑗 )) = 𝐴𝐴 𝑡 Лемма 11.6. Если 𝐴 имеет ранг 𝑛 (то есть Σ невырождена), то ⃗ 𝑌 имеет плотность 𝑓 ⃗ 𝑌 (⃗ 𝑦) = 1 (2𝜋) 𝑛/2 √ det Σ exp (︂ − 1 2 (⃗ 𝑦 − ⃗𝑏)Σ −1 (⃗ 𝑦 − ⃗𝑏) 𝑡 )︂ Доказательство. Заметим, что 𝑓 ⃗ 𝑋 (⃗ 𝑥) = (︂ 1 √ 2𝜋 )︂ 𝑛 𝑒 − 1 2 ∑︀ 𝑛 𝑖=1 𝑥 2 𝑖 , поскольку это произведение н.о.р. 𝒩 (0, 1). Остается применить теорему 11.1 : 𝑓 𝐴 ⃗ 𝑋+⃗𝑏 (⃗ 𝑥) = 𝑓 ⃗ 𝑋 (︁ 𝐴 −1 (⃗ 𝑥 − ⃗𝑏) )︁ det(𝐴 −1 ) = 1 (2𝜋) 𝑛/2 √ det Σ exp (︂ − 1 2 (⃗ 𝑦 − ⃗𝑏)Σ −1 (⃗ 𝑦 − ⃗𝑏) 𝑡 )︂ Зачастую в качестве определения нормального вектора используют свойства 2.1. Лемма 11.7. Две компоненты нормального вектора ⃗ 𝑋, ⃗ 𝑌 независимы тогда и только тогда, когда 𝑐𝑜𝑣(𝑋 𝑖 , 𝑌 𝑗 ) = 0 при всех допустимых 𝑖, 𝑗. Доказательство. В одну сторону это очевидно — из независимости следует то, что ковариации нулевые. Если ковариации нулевые, то плотность распадается в произведение плотностей: 1 (2𝜋) 𝑛/2 √ det Σ exp (︂ − 1 2 (⃗ 𝑦 − ⃗𝑏)Σ −1 (⃗ 𝑦 − ⃗𝑏) 𝑡 )︂ , Поскольку Σ −1 — блочная матрица в силу условия, то отсюда получаем, что плотность распадается в произве- дение двух нормальных плотностей. 74 12 Условное математическое ожидание 12.1 Дискретный случай Пусть задано вероятностное пространство (Ω, ℱ, P), 𝒟 = {𝐷 1 , . . . , 𝐷 𝑛 } — некоторое разбиение Ω, где 𝑛 ≤ ∞ (под 𝑛 = ∞ будем понимать, что разбиение счетное). Будем считать, что P(𝐷 𝑖 ) > 0 Будем использовать обозначение E(𝑋|𝐷 𝑖 ) для математического ожидания величины 𝑋 по вероятностной мере P(·|𝐷 𝑖 ) , то есть E(𝑋|𝐷 𝑖 ) = E𝑋𝐼 𝐷 𝑖 P(𝐷 𝑖 ) Определение 12.1. Вероятностью события 𝐵 при условии разбиения 𝒟 называется случайная величина (!) 𝑌 (𝜔) , равная P(𝐵|𝐷 𝑖 ) при 𝜔 ∈ 𝐷 𝑖 Определение 12.2. Условным математическим ожиданием (УМО) случайной величины 𝑋 при условии раз- биения 𝒟 называется случайная величина 𝑌 (𝜔), равная E(𝑋|𝐷 𝑖 ) при 𝜔 ∈ 𝐷 𝑖 Рис. 17: Условное математическое ожидание случайной величины, заданной черным графиком, относительно указанного разбиения оси абсцисс, будет представлять красную кусочно-постоянную случайную величину Пример 12.1. Пусть 𝑋 𝑖 — независимые бернуллиевские c параметром 1/2, а 𝒟 — разбиение, заданное 𝐷 𝑘 = {𝜔 : 𝑋 1 + 𝑋 2 + 𝑋 3 = 𝑘} , 𝑘 ≤ 3. Тогда P(𝑋 1 = 1|𝒟) будет случайной величиной, равной P(𝑋 1 = 1|𝐷 𝑘 ) = P(𝑋 1 = 1, 𝑋 1 + 𝑋 2 + 𝑋 3 = 𝑘) P(𝑋 1 + 𝑋 2 + 𝑋 3 = 𝑘) = P(𝑋 1 = 1)P(𝑋 2 + 𝑋 3 = 𝑘 − 1) P(𝑋 1 + 𝑋 2 + 𝑋 3 = 𝑘) при 𝜔 ∈ 𝐷 𝑘 . При 𝑘 = 0 данная вероятность равна 0, при 𝑘 ≥ 1 равна 𝐶 𝑘−1 2 · 𝑝 · 𝑝 𝑘−1 · (1 − 𝑝) 3−𝑘 𝐶 𝑘 3 · 𝑝 𝑘 · (1 − 𝑝) 3−𝑘 = 𝑘! 2! (𝑘 − 1)! 3! = 𝑘 3 , Нетрудно заметить, что данная величиина в точности равна (𝑋 1 + 𝑋 2 + 𝑋 3 )/3 Отсюда же E(𝑋 1 |𝒟) = 𝑋 1 + 𝑋 2 + 𝑋 3 3 , поскольку при любом 𝑘 E(𝑋 1 |𝐷 𝑘 ) = P(𝑋 1 = 1|𝐷 𝑘 ) = 𝑘/3 75 При этом для любого множества 𝐴, лежащего в 𝜎(𝒟), выполнено соотношение E𝑌 𝐼 𝐴 = ∑︁ 𝑖:𝐷 𝑖 ⊂𝐴 E𝑌 𝐼 𝐷 𝑖 = ∑︁ 𝑖:𝐷 𝑖 ⊂𝐴 E𝑋𝐼 𝐷 𝑖 = E𝑋𝐼 𝐴 , где 𝑌 = E(𝑋|𝒟). Это свойство является также и характеристическим: УМО 𝑌 однозначно определяется соотношением 1. 𝑌 (𝜔 1 ) = 𝑌 (𝜔 2 ) при всех 𝜔 1 , 𝜔 2 ∈ 𝐷 𝑖 при каком-то 𝑖; 2. E𝑌 𝐼 𝐴 = E𝑋𝐼 𝐴 при всех 𝐴 ∈ 𝜎(𝒟). Действительно, пусть 𝑌 (𝜔) = 𝑦 𝑖 при 𝜔 ∈ 𝐷 𝑖 (в силу свойства 1) она постоянна на 𝐷 𝑖 ). Тогда при 𝐴 = 𝐷 𝑖 получаем E𝑌 𝐼 𝐷 𝑖 = 𝑦 𝑖 P(𝐷 𝑖 ) = E𝑋𝐼 𝐷 𝑖 , откуда 𝑦 𝑖 = E(𝑋|𝐷 𝑖 ) 12.2 Общее определение На основе дискретного случая построим общее определение условного математического ожидания. Пусть задано вероятностное пространство (Ω, ℱ, P). Нам понадобится следующее определение: Определение 12.3. Величина 𝑌 измерима около сигма-алгебры 𝒜 ⊆ ℱ, если {𝜔 : 𝑌 (𝜔) ∈ 𝐵} ∈ 𝒜 при любом 𝐵 ∈ ℬ(R). В случае, если сигма-алгебра 𝒜 порождается разбиением 𝒟, это требование означает, что {𝑌 (𝜔) ∈ 𝐵} = 𝐷 𝑖 1 + · · · + 𝐷 𝑖 𝑘 для некоторых 𝑖 1 , . . . , 𝑖 𝑘 , а, значит, 𝑌 (𝜔) = 𝑐𝑜𝑛𝑠𝑡 на любом 𝐷 𝑖 Пусть 𝑋 — случайная величина, E|𝑋| < ∞. Кроме того, пусть задана сигма-алгебра 𝒜 ⊆ ℱ. Определение 12.4. Условным математическим ожиданием 𝑋 относительно 𝒜 называют случайную величину 𝑌 (обозначается она E(𝑋|𝒜), такую, что: 1. 𝑌 — 𝒜-измерима; 2. для любого 𝐵 ∈ 𝒜 E𝑋𝐼 𝐵 = E𝑌 𝐼 𝐵 Лемма 12.1. Условное математическое ожидание случайной величины существует и единственно п.н. (то есть с точностью до множества вероятности 0: любые две величины 𝑌 1 , 𝑌 2 , удовлетворяющие определению выше, выполнено свойство P(𝜔 : 𝑌 1 (𝜔) = 𝑌 2 (𝜔)) = 1). Доказательство. Мы воспользуемся так называемой теоремой Радона-Никодима, которую оставим без доказа- тельства: Теорема 12.1. Пусть 𝜈 — конечная мера, 𝜇 — 𝜎-конечная мера на некотором 𝑆 c сигма-алгеброй 𝒮 (𝜎- конечность означает, что 𝑆 можно разбить на счетное число таких множеств 𝑆 1 , 𝑆 2 ,..., что 𝜇(𝑆 𝑖 ) — конечны). Предположим, что 𝜈(𝐴) = 0 при любом таком 𝐴, что 𝜇(𝐴) = 0. Тогда найдется такая измеримая относительно сигма-алгебры 𝒮 функция 𝑓 (𝑥), что 𝜈(𝐴) = ∫︁ 𝐴 𝑓 (𝑥)𝜇(𝑑𝑥) при любом 𝐴. При этом функция 𝑓 , называемая производной Радона-Никодима меры 𝜈 по мере 𝜇, неотрица- тельна и единственна с точностью до множества 𝜇-меры ноль: если 𝑓 1 (𝑥), 𝑓 2 (𝑥) — две таких функции, то 𝜇(𝑥 : 𝑓 1 (𝑥) ̸= 𝑓 2 (𝑥)) = 0. 76 1) Рассмотрим неотрицательную случайную величину 𝑋 и введем на 𝒜 меру Q(𝐴) = E𝑋𝐼 𝐴 Заметим, что это мера. Действительно, она аддитивна: Q(𝐴 + 𝐵) = E𝑌 𝐼 𝐴+𝐵 = Q(𝐴) + Q(𝐵) . Также она непре- рывна из теоремы Лебега о монотонной сходимости, поскольку 𝑋𝐼 𝐴 1 +···+𝐴 𝑛 монотонно сходится к 𝑋𝐼 𝐴 1 +···+𝐴 𝑛 +··· , а, значит, их математические ожидания сходятся. Рассмотрим меру ̃︀ P : 𝒜 → [0, 1] , где ̃︀ P(𝐴) = P(𝐴) (это ограничение меры P на 𝒜, то есть та же мера, но на более маленькой сигма-алгебре). Если ̃︀ P(𝐴) = 0 , то Q(𝐴) = 0. Действительно, пусть 𝑌 𝑛 простые величины, 𝑌 𝑛 ↑ 𝑋𝐼 𝐴 . Тогда ̃︀ P(𝑌 𝑛 > 0) ≤ ̃︀ P(𝑋𝐼 𝐴 > 0) = ̃︀ P(𝐴) = 0 , откуда E𝑌 𝑛 = 0 , а значит E𝑋𝐼 𝐴 = 0 По теореме Радона-Никодима найдется такая функция 𝑌 (𝜔), что E𝑋𝐼 𝐴 = Q(𝐴) = ∫︁ 𝐴 𝑌 (𝜔) ̃︀ P(𝑑𝜔) = E𝑌 𝐼 𝐴 При этом 𝑌 — измеримая функция из пространства (Ω, 𝒜) в (R, ℬ(R)), а значит {𝜔 : 𝑌 (𝜔) ∈ 𝐵} ∈ 𝒜 для любого 𝐵 ∈ ℬ(R). При этом 𝑌 единственна п.н. в силу все той же леммы. 2) Пусть 𝑋 принимает значения обоих знаков. Тогда существование математического ожидания вытекает из того, что 𝑋 + имеет УМО (обозначим его 𝑌 + ) и 𝑋 − имеет УМО (обозначим 𝑌 − ), значит, 𝑋 = 𝑋 + − 𝑋 − также имеет УМО, равное разности 𝑌 + − 𝑌 − С другой стороны, покажем, что УМО единственно. Пусть 𝑌 1 , 𝑌 2 такие 𝒜-измеримые случайные величины, что E𝑋𝐼 𝐴 = E𝑌 1 𝐼 𝐴 = 𝐸𝑌 2 𝐼 𝐴 , Пусть 𝑌 = E(|𝑋||𝒜). Тогда E(𝑋 + |𝑋|)𝐼 𝐴 = E(𝑌 1 + 𝑌 )𝐼 𝐴 = E(𝑌 2 + 𝑌 )𝐼 𝐴 Но тогда 𝑋 + |𝑋| = 2𝑋 + — неотрицательная величина, а 𝑌 1 + 𝑌 и 𝑌 2 + 𝑌 — ее УМО около 𝒜. Из предыдущего пункта они равны п.н., значит, 𝑌 1 = 𝑌 2 п.н. 12.3 Условное математическое ожидание при условии случайной величины Зачастую удобнее рассматривать УМО в форме E(𝑋|𝑌 ) := E(𝑋|𝜎(𝑌 )), где 𝜎(𝑌 ) — сигма-алгебра, порожден- ная случайной величиной 𝑌 , то есть {{𝜔 : 𝑌 ∈ 𝐵}, 𝐵 ∈ ℬ(R)}. Рассмотрим к чему это приведет в дискретном случае. Если 𝑋, 𝑌 — дискретные величины, то 𝜎(𝑌 ) порожда- ется разбиением 𝒟 = ({𝑌 = 𝑦 1 }, . . . , {𝑌 = 𝑦 𝑘 }) , где 𝑦 1 , . . . , 𝑦 𝑘 — возможные значения случайной величины 𝑌 (в случае счетного числа значений мы рассматриваем счетное число событий, порождающих 𝒟). Следовательно, E(𝑋|𝑌 ) = ⎧ ⎨ ⎩ E(𝑋|𝑌 = 𝑦 1 ), 𝜔 ∈ {𝑌 = 𝑦 1 }, E(𝑋|𝑌 = 𝑦 𝑘 ), 𝜔 ∈ {𝑌 = 𝑦 𝑘 }, где E(𝑋|𝑌 = 𝑦 𝑘 ) = ∑︁ 𝑙 𝑥 𝑙 P(𝑋 = 𝑥 𝑙 |𝑌 = 𝑦 𝑘 ). Иначе говоря, E(𝑋|𝑌 ) = 𝑔(𝑌 ), где 𝑔(𝑦) = E(𝑋|𝑌 = 𝑦). Рассмотрим к чему это приведет в абсолютно-непрерывном случае. Если величины 𝑋, 𝑌 величины с совмест- 77 ной плотностью 𝑓 𝑋,𝑌 , то положим 𝑓 𝑋|𝑌 (𝑥|𝑦) = 𝑓 𝑋,𝑌 (𝑥, 𝑦) ∫︀ R 𝑓 𝑋,𝑌 (𝑢, 𝑦)𝑑𝑢 = 𝑓 𝑋,𝑌 (𝑥, 𝑦) 𝑓 𝑌 (𝑦) , такая функция называется условной плотностью. Положим 𝑔(𝑦) = E(𝑋|𝑌 = 𝑦) = ∫︁ R 𝑥𝑓 𝑋|𝑌 (𝑥|𝑦)𝑑𝑥. Лемма 12.2. Величина 𝑔(𝑌 ) будет условным математическим ожидание 𝑋 при условии 𝑌 . Доказательство. Проверим, что 𝑔(𝑌 ) удовлетворяет требуемым условиям. Очевидно, 𝑔(𝑌 ) является измеримой около 𝜎(𝑌 ): {𝑔(𝑌 ) ∈ 𝐵} = {𝑌 ∈ 𝑔 −1 (𝐵)} . Остается убедиться во второй части определения: для любого 𝐴 ∈ 𝜎(𝑌 ) E𝑋𝐼 𝐴 = E𝑔(𝑌 )𝐼 𝐴 Но 𝐴 = {𝜔 : 𝑌 (𝜔) ∈ 𝐵} в силу определения 𝜎(𝑌 ), откуда нам нужно доказать, что ∫︁ R ∫︁ 𝐵 𝑓 𝑋,𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫︁ 𝐵 𝑔(𝑦)𝑓 𝑌 (𝑦)𝑑𝑦. Это утверждение прямо следует из определения 𝑔(𝑦). Отметим, что в общем случае справедливо следующее утверждение. Лемма 12.3. Величина 𝑋 измерима около сигма-алгебры 𝜎(𝑌 ) тогда и только тогда, когда 𝑋 = 𝑔(𝑌 ) для некоторой измеримой функции 𝑔. Доказательство. Лемма на лекции оставалась без доказательства и не входит в экзаменационную программу. Приведем доказательство, с которым можно ознакомиться для общего развития. В одну сторону утверждение очевидно, если 𝑋 = 𝑔(𝑌 ), то {𝜔 : 𝑋(𝜔) ∈ 𝐵} = {𝜔 : 𝑌 (𝜔) ∈ 𝑔 −1 (𝐵)}. Если величина 𝑋 принимает конечное множество значений 𝑥 1 , . . . , 𝑥 𝑘 , то множества {𝜔 : 𝑋(𝜔) = 𝑥 𝑘 } имеют вид {𝜔 : 𝑌 (𝜔) ∈ 𝐵 𝑘 } для некоторых 𝐵 𝑘 в силу определения сигма-алгебры, порожденной 𝑌 . Тогда 𝑋 = 𝑔(𝑌 ), где 𝑔(𝑦) = 𝑘 ∑︁ 𝑖=1 𝑥 𝑖 𝐼 𝑦∈𝐵 𝑖 Если 𝑋 произвольная неотрицательная величина, то рассмотрим 𝑋 𝑛 — сходящиеся к ней простые величины (например, определенные при введении математического ожидания). Величины 𝑋 𝑛 измеримы около 𝜎(𝑌 ), от- куда 𝑋 𝑛 = 𝑔 𝑛 (𝑌 ) в силу предыдущего, где 𝑔 𝑛 — некоторые измеримые функции. При этом 𝑔 𝑛 (𝑌 (𝜔)) ↑ 𝑋(𝜔) при 𝑛 → ∞ . Значит, 𝑋 есть предел 𝑔 𝑛 (𝑌 (𝜔)) , то есть функция 𝑌 (𝜔). Для произвольной величины 𝑋 разобьем ее на положительную и отрицательную части, каждая из которых опять же измерима около 𝜎(𝑌 ), то есть являются функциями 𝑌 (𝜔). 12.4 Свойства УМО Изучим ряд свойств у.м.о.: 1. Если 𝑋 является 𝒜-измеримой, то E(𝑋|𝒜) = 𝑋. Доказательство. Очевидно, что 𝑋 удовлетворяет обоим условиям, фигурирующим в определении УМО. 2. E(𝑎𝑋 + 𝑏𝑌 |𝒜) = 𝑎E(𝑋|𝒜) + 𝑏E(𝑌 |𝒜). 78 Доказательство. Доказательство достаточно очевидно. Рассмотрим величины 𝑍 1 = E(𝑋|𝒜) , 𝑍 2 = E(𝑌 |𝒜) Тогда E𝑍 1 𝐼 𝐴 = E𝑋𝐼 𝐴 , E𝑍 2 𝐼 𝐴 = E𝑌 𝐼 𝐴 , а значит E(𝑎𝑍 1 + 𝑏𝑍 2 )𝐼 𝐴 = E(𝑎𝑋 + 𝑏𝑌 )𝐼 𝐴 при любом 𝐴 ∈ 𝒜, что и требовалось доказать. 3. Если 𝑋 ≤ 𝑌 , то E(𝑋|𝒜) ≤ E(𝑌 |𝒜). Доказательство. В силу прошлой части достаточно доказать, что если 𝑌 − 𝑋 ≥ 0, то E(𝑌 − 𝑋|𝒜) ≥ 0. Это прямо вытекает из конструкции УМО, поскольку производная Радона-Никодима неотрицательна. 4. Если 𝒜 1 ⊆ 𝒜 2 , то п.н. E(E(𝑋|𝒜 1 )|𝒜 2 ) = E(E(𝑋|𝒜 2 )|𝒜 1 ) = E(𝑋|𝒜 1 ). В частности, E(E(𝑋|𝒜 1 )) = E𝑋 Доказательство. Одно из утверждений очевидно: величина E(𝑋|𝒜 1 ) измерима относительно 𝒜 2 , а значит, в силу свойства 1) имеет требуемое УМО. В другую сторону доказательство также не слишком сложно: если E(𝑋|𝒜 2 ) = 𝑌 , а E(𝑌 |𝒜 1 ) = 𝑍 , то E𝑋𝐼 𝐴 = E𝑌 𝐼 𝐴 , E𝑌 𝐼 𝐵 = E𝑍𝐼 𝐵 при любых 𝐴 ∈ 𝒜 2 , 𝐵 ∈ 𝒜 1 . В частности, если 𝐴 = 𝐵 (здесь мы пользуемся тем, что 𝒜 1 ⊆ 𝒜 2 ), то E𝑋𝐼 𝐵 = E𝑍𝐼 𝐵 , где 𝑍 — 𝒜 1 -измерима, значит, 𝑍 равно E(𝑋|𝒜 1 ) 5. Если 𝑋, 𝑌 независимы, то E(𝑋|𝑌 ) = E𝑋. Доказательство. Очевидно, что E𝑋 измерима около любой сигма-алгебры. При этом в силу независимо- сти E(E𝑋𝐼 𝑌 ∈𝐵 ) = E𝑋P(𝑌 ∈ 𝐵) = E(𝑋𝐼 𝑌 ∈𝐵 ), что и требовалось доказать 6. Если 𝑋 измерима около 𝒜, то E(𝑋𝑌 |𝒜) = 𝑋E(𝑌 |𝒜). Доказательство. Предположим, что 𝑋 простая: 𝑋 = ∑︀ 𝑚 𝑘=1 𝑥 𝑘 𝐼 𝐴 𝑘 , где 𝐴 𝑘 ∈ 𝒜 , пусть E(𝑌 |𝒜) = 𝑍. Тогда для любого 𝐵 ∈ 𝒜 E𝑋𝑌 𝐼 𝐵 = 𝑚 ∑︁ 𝑘=1 𝑥 𝑘 E𝑌 𝐼 𝐵∩𝐴 𝑘 = 𝑚 ∑︁ 𝑘=1 𝑥 𝑘 E𝑍𝐼 𝐵∩𝐴 𝑘 = E𝑍𝑌 𝐼 𝐵 , что и означает, что 𝑍𝑌 (измеримая около 𝒜 как произведение двух измеримых величин) есть УМО E(𝑋𝑌 |𝒜) Если 𝑋 не простая, то рассмотрим последовательность сходящихся к ней простых 𝑋 𝑛 ↑ 𝑋 . Тогда E𝑋 𝑛 𝑌 𝐼 𝐵 = E𝑋 𝑛 𝑍𝐼 𝐵 при любом 𝐵 по доказанному, значит, по теореме о мажорируемой сходимости E𝑋𝑌 𝐼 𝐵 = E𝑋𝑍𝐼 𝐵 , что и требовалось доказать. 79 7. Пусть 𝑋 𝑛 ↑ 𝑋 , E|𝑋 𝑛 | < ∞ , E|𝑋| < ∞. Тогда E(𝑋 𝑛 |𝑌 ) → E(𝑋|𝑌 ) при п.н. 𝜔. Доказательство. Если 𝑍 𝑛 = E(𝑋 𝑛 |𝑌 ) . Последовательность 𝑍 𝑛 (𝜔) монотонна при п.н. 𝜔 (в силу свойства 3). Значит 𝑍 𝑛 (𝜔) сходится к некоторой величине 𝑍(𝜔). Тогда E𝑍 𝑛 𝐼 𝑌 ∈𝐵 = E𝑋 𝑛 𝐼 𝑌 ∈𝐵 В силу теоремы о монотонной сходимости E𝑍𝐼 𝑌 ∈𝐵 = lim 𝑛→∞ E𝑍 𝑛 𝐼 𝑌 ∈𝐵 = lim 𝑛→∞ E𝑋 𝑛 𝐼 𝑌 ∈𝐵 = E𝑋𝐼 𝑌 ∈𝐵 , что и требовалось доказать. 12.5 УМО в 𝐿 2 Рассмотрим 𝐿 2 — множество случайных величин с E𝑋 2 < ∞ , причем для удобства мы будем считать равными величины, отличающиеся на множестве вероятности 0. На этом пространстве введем скалярное произведение ⟨𝑋, 𝑌 ⟩ 𝐿 2 = E𝑋𝑌 Оно обладает свойствами скалярного произведения: симметрично, билинейно и положительно определено ⟨𝑋, 𝑋⟩ ≥ 0 , причем равенство нулю возможно только если 𝑋 = 0 п.н. Значит, мы можем рассмотреть 𝐿 2 как евклидово пространство. Рассмотрим в нем подпространство 𝐻 величин, измеримых около 𝒜 (оно действительно замкнуто относитель- но сложения и умножения на число, то есть является подпространством). Найдем 𝑌 в 𝐻 так, что ⟨𝑋 − 𝑌, 𝑍⟩ = 0 при всех 𝑍 ∈ 𝐻. Иначе говоря, рассмотрим проекцию 𝑋 на 𝐻. Лемма 12.4. Такая проекция существует и единственна (с точностью до множества 𝜔 меры ноль), ей является E(𝑋|𝒜). Доказательство. Пусть 𝑌 = E(𝑋|𝒜). Тогда ⟨𝑋 − 𝑌, 𝑍⟩ = E(𝑋 − 𝑌 )𝑍 = E(E((𝑋 − 𝑌 )𝑍|𝒜)) = E(𝑍E(𝑋 − 𝑌 |𝒜)) = E(𝑍(E(𝑋|𝒜) − 𝑌 )) = 0, что и требовалось. При этом для любого такого 𝑌 ∈ 𝐻, что ⟨𝑋 − 𝑌, 𝑍⟩ = 0 выполнено соотношение E(𝑋 − 𝑌 )𝐼 𝐴 = 0, E𝑋𝐼 𝐴 = E𝑌 𝐼 𝐴 , где 𝐴 ∈ 𝒜 произвольно. Значит 𝑌 является УМО 𝑋. Иногда это определение более удобно для подсчета условного математического ожидания. Рассмотрим клас- сический пример: Пример 12.2. Пусть (𝑋, 𝑍) — двумерный нормальный вектор с нулевым вектором средних и матрицей кова- риации Σ. Тогда E(𝑋|𝑍) - это такая 𝑔(𝑍), что 𝑋 − 𝑓(𝑍) ортогонально ℎ(𝑍) для любой борелевской 𝑔. Заметим, что если E(𝑋 − 𝑓(𝑍)) = 0, а 𝑋 − 𝑓(𝑍) не зависит от 𝑍, то (𝑋 − 𝑓(𝑍), 𝑔(𝑍)) 𝐿 2 = E(𝑋 − 𝑓 (𝑍))E𝑔(𝑍) = 0 , так что для нахождения E(𝑋|𝑍) достаточно найти 𝑓(𝑍), такую что 𝑋 − 𝑓(𝑍) не зависит от 𝑍 и E𝑋 = E𝑓(𝑍). Поищем 𝑓(𝑍) в виде 𝑎𝑍 + 𝑏. Тогда (𝑋 − 𝑓(𝑍), 𝑍) — нормальный вектор (линейное преобразование нормального вектора) и независимость 𝑋 − 𝑓(𝑍) и 𝑍 равносильна их некореллированности. Отсюда имеем уравения 𝑎E𝑍 + 𝑏 = E𝑋, E𝑋𝑍 − 𝑎E𝑍 2 − 𝑏E𝑍 = 0, откуда 𝑏 = 0, 𝑎 = cov(𝑋, 𝑍)/𝐷𝑍. Следовательно, E(𝑋|𝑍) = 𝑍𝑐𝑜𝑣(𝑋, 𝑍)/𝐷𝑍. 80 13 Характеристические функции 13.1 Математическое ожидание комплекснозначной случайной величины Будут понимать под E𝑍, где 𝑍 = 𝑋 + 𝑖𝑌 — комплексная случайная величина, величину E𝑋 + 𝑖E𝑌 . Очевидно, что математическое ожидание в этом случае остается линейным, математическое ожидание про- изведения независимых величин (то есть таких, у которых пары (действительная часть, мнимая часть) незави- симы) есть произведение математических ожиданий и так далее. Неочевидными остаются свойства, связанные с модулями, в частности, |E𝑋| ≤ E|𝑋|. Доказательство. Утверждение равносильно тому, что √︀ (E𝑋) 2 + (E𝑌 ) 2 ≤ E √︀ 𝑋 2 + 𝑌 2 (7) Но это неравенство вытекает из неравенства Иенсена E𝑓 (𝑋, 𝑌 ) ≥ 𝑓 (E𝑋, E𝑌 ), где 𝑓 — выпуклая функция. Мы доказывали неравенство Иенсена для функции 𝑓 одной переменной, однако, и в нашем случае верно то же доказательство: в силу выпуклости 𝑓 (𝑋, 𝑌 ) ≥ 𝑓 (E𝑋, E𝑌 ) + 𝑎(𝑋 − E𝑋) + 𝑏(𝑌 − E𝑌 ) при некоторых 𝑎, 𝑏, откуда и вытекает ( 7 ). Определение 13.1. Говорят, что комплекснозначные величины 𝑍 1 , . . . , 𝑍 𝑛 независимы, если независимы век- торы (Re 𝑍 1 , Im 𝑍 1 ) , (Re 𝑍 2 , Im 𝑍 2 ) , . . . , (Re 𝑍 𝑛 , Im 𝑍 𝑛 ) независимы. Это определение вытекает из общего определения независимости случайных элементов, но нам будет удобнее использовать его сразу в таком виде. 13.2 Характеристическая функция Определение 13.2. Характеристической функцией с.в. 𝑋 называют 𝜓 𝑋 (𝑡) = E𝑒 𝑖𝑡𝑋 , где 𝑡 ∈ 𝑅. Почему такое матожидание существует? Потому что 𝑒 𝑖𝑡𝑋 = cos 𝑡𝑋 +𝑖 sin 𝑡𝑋 , и, поскольку, случайные величины cos 𝑡𝑋 и sin 𝑡𝑋 ограничены, то матожидание всегда конечно. Более того, в силу доказанного |E𝑒 𝑖𝑡𝑋 | ≤ E|𝑒 𝑖𝑡𝑋 | = 1 Заметим, что для целочисленных величин 𝜓(𝑡) = 𝜑(𝑒 𝑖𝑡 ) , поэтому вместо производящей функции мы могли бы использовать характеристическую функцию. Сформулируем базовые свойства характеристической функции: 1. 𝜓(0) = 1; 2. 𝜓(𝑡) непрерывная функция, равномерно непрерывная на прямой. Доказательство. Заметим, что |𝜓(𝑡 + ℎ) − 𝜓(𝑡)| = ⃒ ⃒ ⃒ E𝑒 𝑖(𝑡+ℎ)𝑋 − 𝑒 𝑖𝑡𝑋 ⃒ ⃒ ⃒ ≤ E ⃒ ⃒ ⃒ 𝑒 𝑖ℎ𝑋 − 1 ⃒ ⃒ ⃒ Величина под знаком математического ожидания мажорируется 2 и поточечно сходится к нулю при ℎ ∈ R. В силу теоремы Лебега о мажорируемой сходимости имеем требуемое. 3. Если величина 𝑋 𝑘 имеет конечное математическое ожидание, то 𝜓(𝑡) 𝑘 раз дифференцируема, причем 𝜓 (𝑘) (𝑡) = 𝑖 𝑘 E𝑋 𝑘 𝑒 𝑖𝑡𝑋 , 𝜓 (𝑘) (0) = 𝑖 𝑘 E𝑋 𝑘 81 Доказательство. Доказательство близко к доказательству непрерывности. Докажем индукцией по 𝑘. При 𝑘 = 0 данная формула верна. Пусть при 𝑘 ≤ 𝑛 утверждение доказано, докажем его при 𝑘 = 𝑛 + 1. Заметим, что 𝜓 (𝑛) (𝑡 + ∆𝑡) − 𝜓 (𝑛) (𝑡) ∆𝑡 = E(𝑖𝑋) 𝑛 𝑒 𝑖𝑡𝑋 (︂ 𝑒 𝑖Δ𝑡𝑋 − 1 ∆𝑡 )︂ Величина под знаком математического ожидания поточечно (при каждом 𝜔) сходится к 𝑒 𝑖𝑡𝑋 (𝑖𝑋) 𝑛+1 при ∆𝑡 → 0. При этом нам пригодится неравенство |𝑒 𝑖𝑡 − 1| = √︁ (cos 𝑡 − 1) 2 + sin 2 𝑡) = √︀ 2(1 − cos 𝑡) = 2| sin(𝑡/2)| ≤ |𝑡|, откуда ⃒ ⃒ ⃒ ⃒ 𝑒 𝑖𝑡𝑋 (︂ 𝑒 𝑖Δ𝑡𝑋 − 1 ∆𝑡 )︂⃒ ⃒ ⃒ ⃒ ≤ |𝑋|. Отсюда ⃒ ⃒ ⃒ ⃒ ⃒ 𝜓 (𝑛) (𝑡 + ∆𝑡) − 𝜓 (𝑛) (𝑡) ∆𝑡 ⃒ ⃒ ⃒ ⃒ ⃒ ≤ |𝑋| 𝑛+1 , следовательно, lim Δ𝑡→0 𝜓 (𝑛) (𝑡 + ∆𝑡) − 𝜓 (𝑛) (𝑡) ∆𝑡 = 𝑖 𝑛+1 E𝑋 𝑛+1 𝑒 𝑖𝑡𝑋 по теореме о мажорируемой сходимости. 4. 𝜓 𝑎𝑋+𝑏 (𝑡) = 𝑒 𝑖𝑡𝑏 𝜓 𝑋 (𝑡𝑎) Доказательство. 𝜓 𝑎𝑋+𝑏 (𝑡) = E𝑒 𝑖𝑡𝑎𝑋+𝑖𝑡𝑏 = 𝑒 𝑖𝑡𝑏 E𝑒 𝑖(𝑡𝑎)𝑋 = 𝑒 𝑖𝑡𝑏 𝜓 𝑋 (𝑡𝑎). 5. 𝜓 −𝑋 (𝑡) = 𝜓 𝑋 (𝑡) , где 𝑧 — комплексно сопряженное к 𝑧 число. Доказательство. 𝜓 −𝑋 (𝑡) = E𝑒 −𝑖𝑡𝑋 = E cos(𝑡𝑋) − 𝑖E sin(𝑡𝑋) = 𝜓 𝑋 (𝑡). 6. 𝜓 𝑋 вещественна при всех 𝑡 тогда и только тогда, когда 𝑋 𝑑 = −𝑋 , т.е. распределение 𝑋 симметрично. Доказательство. Если 𝑋 𝑑 = −𝑋 , то 𝜓 𝑋 (𝑡) = 𝜓 −𝑋 (𝑡) , а значит 𝜓 𝑋 (𝑡) = 1 2 (𝜓 𝑋 (𝑡) + 𝜓 𝑋 (−𝑡)) = E cos(𝑡𝑋) ∈ R. Наоборот, если 𝜓 𝑋 вещественна, то 𝜓 −𝑋 (𝑡) = 𝜓 𝑋 (𝑡) = 𝜓 𝑋 (𝑡). Значит х.ф. 𝑋 и −𝑋 совпадают. Из теоремы единственности, приведенной ниже, следует что и распреде- ления 𝑋 и −𝑋 совпадают. 7. Характеристическая функция суммы независимых величин есть произведение х.ф. каждой из них. 82 Доказательство. E𝑒 𝑡𝑖(𝑋 1 +···+𝑋 𝑛 ) = E𝑒 𝑖𝑡𝑋 1 · · · 𝑒 𝑖𝑡𝑋 𝑛 = E𝑒 𝑖𝑡𝑋 1 · · · E𝑒 𝑖𝑡𝑋 𝑛 Здесь мы используем то, что если комплекснозначные величины 𝑍 𝑖 независимы (то есть, напомним, неза- висимы векторы (Re 𝑍 1 , Im 𝑍 1 ) , (Re 𝑍 2 , Im 𝑍 2 ) и так далее), то E𝑍 1 · · · 𝑍 𝑛 = E𝑍 1 · · · E𝑍 𝑛 Действительно, достаточно показать это для двух величин. Но E𝑍 1 𝑍 2 = E Re 𝑍 1 Re 𝑍 2 − E Im 𝑍 1 Im 𝑍 2 + 𝑖 (E Re 𝑍 1 Im 𝑍 2 + E Re 𝑍 2 Im 𝑍 1 ) . В силу независимости (𝑅𝑒𝑍 1 , 𝐼𝑚𝑍 1 ) и (𝑅𝑒𝑍 2 , 𝐼𝑚𝑍 2 ) , правая часть преставима в виде E Re 𝑍 1 E Re 𝑍 2 − E Im 𝑍 1 E Im 𝑍 2 + 𝑖 (E Re 𝑍 1 E Im 𝑍 2 + E Re 𝑍 2 E Im 𝑍 1 ) = (E Re 𝑍 1 + 𝑖E Im 𝑍 1 ) (E Re 𝑍 2 + 𝑖E Im 𝑍 2 ) , что и требовалось доказать 13.3 Примеры характеристических функций Пример 13.1. Для бернуллиевской случайной величины 𝑋 𝜓 𝑋 (𝑡) = E𝑒 𝑖𝑡𝑋 = 𝑝𝑒 𝑖𝑡 + (1 − 𝑝). Пример 13.2. Для экспоненциальной случайной величины 𝑋: 𝜓 𝑋 (𝑡) = E𝑒 𝑖𝑡𝑋 = ∫︁ ∞ 0 𝑒 𝑖𝑡𝑥 𝑒 −𝜆𝑥 𝜆𝑑𝑥 = ∫︁ ∞ 0 cos(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥 + 𝑖 ∫︁ ∞ 0 sin(𝑡𝑥)𝑑𝑥. Каждый из этих интегралов можно взять по частям: ∫︁ ∞ 0 cos(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥 = 1 − (𝑡/𝜆) ∫︁ ∞ 0 sin(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥, ∫︁ ∞ 0 sin(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥 = (𝑡/𝜆) ∫︁ ∞ 0 cos(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥, откуда ∫︁ ∞ 0 cos(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥 = 𝜆 2 𝑡 2 + 𝜆 2 , ∫︁ ∞ 0 sin(𝑡𝑥)𝑒 −𝜆𝑥 𝑑𝑥 = 𝑡𝜆 𝜆 2 + 𝑡 2 , а значит 𝜓 𝑋 (𝑡) = 𝜆(𝜆 + 𝑖𝑡) (𝜆 − 𝑖𝑡)(𝜆 + 𝑖𝑡) = 𝜆 𝜆 − 𝑖𝑡 Замечание 13.1. А почему мы просто не взяли интеграл как 𝑒 𝑧 |