|
ТЕОРИЯ СЛУЧАЙНЫХ. Конспект подготовлен студентами, не проходил проф. Редактуру и может содержать ошибки. Следите за обновлениями на vk. Comteachinmsu
СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU уравнение Колмогорова - для производных по s, т.е. эти уравнения будут уравне- ниями 1 порядка относительно этих производных. Сама теорема звучит так: если переходные плотности принадлежат классу C 1 , то справедливы два уравнения, одно из которых выражает ∂p ij ∂t , а другое выражает ∂p ij ∂s Мы хотим выразить ∂p ij ∂t : ∂p ij ∂t = lim 47→0 p ij (s,t+4)−p ij (s,t) 4 Мы находимся в ситуации, когда у нас есть три момента времени s, t, t + 4, к которым мы должны применить марковское свойство: lim 47→0 p ij (s,t+4)−p ij (s,t) 4 = lim 47→0 P N k=1 p ik (s,t)p kj (t,t+4)−p ij (s,t) 4 Здесь у нас присутствует переходная плостность за малое время 4. Мы долж- ны воспользоваться дифференцируемостью наших переходных плотностей, кото- рая значит, что мы за малый промежуток времени не можем с большой условной вероятностью перейти от одного состояния к другому: p kj (t, t+4) ведет себя по-разному при 4 7→ 0. Поэтому при вычислении этой суммы мы разобьем ее на две: lim 47→0 p ij (s,t+4)−p ij (s,t) 4 = lim 47→0 P N k=1 p ik (s,t)p kj (t,t+4)−p ij (s,t) 4 = = lim 47→0 [ P k6=i p ik (s,t)p kj (t,t+4) 4 + P k6=i p ij (s,t)[p kj (t,t+4)−p ij (s,t)] 4 ] = = P k6=j p ik (s, t) ∂p kj ∂t | t=1 + p ij (s, t) ∂p ij ∂t | t=1 У нас получилось уравнение, в котором производные матрицы ˆπ по времени вы- ражаются через элементы самой матрицы и некоторые производные, которые об- разуют матрицу A kj и тогда можем записать: ∂p ij (s,t) ∂t = P N k=1 p ik A kj (t) Соотношение, которое мы получили, называется прямым уравнением Колмогорова. Для однородных цепей Маркова с конечным числом состояний и с дискретным временем условие однородности состоит в том, что матрица ˆπ всегда одинакова. В данном же случае мы должны сказать, что наша матрица A ij зависит только от t и для однородной цепи Маркова она будет постоянной. 28 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Теперь приступим к выводу обратного уравнения Колмогорова: ∂p ij (s,t) ∂s = lim 47→0 p ij (s,t+4)−p ij (s,t) 4 У нас снова есть три момента времени s, s + 4, t. В данном случае мы будем пере- ходить сначала от s к t, а потом от t к s + 4: lim 47→0 p ij (s,t+4)−p ij (s,t) 4 = lim 47→0 p ij (s,t+4)− P N k=1 (p ik (s,s+4)p kj (s+4,t)) 4 По аналогии с прямым уравнением Колмогорова, получаем: ∂p ij (s,t) ∂s = − P N k=1 A ik (t)p kj (s, t) Эти два уравнения позволяют восстановить матрицу ˆπ по известной матрице A. Если матрица A постоянна, т.е. наша марковская цепь однородна, то решение урав- нения Колмогорова достаточно понятное. При решении мы должны сказать, что если t 7→ s, то матрица ˆπ 7→ E, т.е. p ij (s, t) 7→ δ ij . Соответственно, смысл матрицы A состоит в том, что она показывает, какова матрица перехода за бесконечно малое время. Элементы матрицы A удовлетворяют следующим требованиям: • P N k=1 A ik = 0 • A ii ≤ 0 • A ij ≥ 0 В случае однородной цепи Маркова матрица A = const и можно выписать матри- цу ˆπ(s, t) = e A(t−s) . Точно также выглядит матрица Коши для систем уравнений с постоянными коэффициентами. Напишем теперь аналогичную формулу для переменной матрицы A. В качестве примере рассмотрим уравнение y 0 =ay . Если a = const, то его решение y = y 0 e at , где y 0 = 1 - начальное условие. Если же a - переменная, то y = y 0 e R t s a(t 0 )dt 0 Вернемся теперь к нашему изначальному вопросу. Если мы запишем формулу для переменных матриц по аналогии, то это будет неверно: ˆ π(s, t) = e ˆ A(t−s) 29 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА
СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Эту проблему решил итальянский математик Вольтерр: ˆ π(s, t) = e ˆ A(t−s) = lim 4t7→0 (E + A4t i ) n , где A = const, 4t i = t−s n В случае, когда A = A(t), получаем: lim 4t7→0 [Π N i=1 (E + A(t i ) t−s n )] = Π t 0=st (E+A(t 0)dt 0) - мультипликативный интеграл Воль- терра. 30 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА
СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Лекция 7 Марковские цепи с непрерывным набором состояний Пусть у нас есть смесь, состоящая из двух веществ - 1 и 2. И между этими ве- ществами идет двусторонняя химическая реакция, т.е. мы можем с определенной вероятностью переходить из состояния 1 в состояние 2 и из состояния 2 в состояние 1. Эта задача аналогична задаче для марковской цепи с двумя состояниями. Пусть p 1 (t) - вероятность того, что мы находимся в состоянии 1, а p 2 (t) - в состоянии 2. Запишем уравнения на абсолютные вероятности: dp 1 dt = −αp 1 + βp 2 dp 2 dt = αp 1 − βp 2 Это уравнения с постоянными коэффициентами. Запишем их решения: p 1 (t) = e −(α+β)t + β α+β (1 − e −(α+β)t ) p 2 (t) = α α+β (1 − e −(α+β)t ) В начальный момент времени p 1 (t) 7→ β α+β , а p 2 (t) 7→ α α+β - равновесное состоя- ние. Если бы нам захотелось рассматривать марковские цепи с бесконечным числом состояний, то нам пришлось бы потребовать, чтобы все конечные суммы преврати- лись в ряды, чтобы они были абсолютно сходящимися. Для доказательства эрго- дичности необходимо предусмотреть, чтобы со временем наше решение не уходило в бесконечность. Теперь мы сделаем новый шаг вперед и откажемся от дискретного набора состоя- ний. Вместо этого мы будем считать, что состояния фиксируются какой-то коорди- натой x. Когда мы решали аналогичную задачу для случайных величин, мы столкнулись с тем, что если у нас есть дискретная случайная величина ξ, принимающая значения x 1 , x 2 , . . . , x n , . . . , которые мы можем характеризовать вероятностями p 1 , p 2 , . . . , p n , . . . Но как только мы захотим, чтобы x пробегал некоторое континуальное множество, то мы не сможем задать наше распределение вероятностей как p 1 , p 2 , . . . , p n , . . . В таком случае нам необходимо либо задать меру на прямой, либо задать плотность вероятности. 31 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Мы будем рассматривать конечномерные распределения вероятности - возьмем на- бор моментов t 1 , t 2 , ... . Таким образом мы из бесконечномерного объекта сделаем набор конечномерных объектов. И плотность вероятности будет зависеть от этого набора моментов p n (t 1 , x 1 ; t 2 , x 2 ; ...; t n , x n ) Первое соображение состоит в том, что функция p n (t 1 , x 1 ; t 2 , x 2 ; ...; t n , x n ) облада- ет свойствами симметрии: при перестановке пар аргументов она не меняется. Если для нашего процесса выполнено марковское свойство, то эта функция вы- рождается в функции меньшего числа аргументов: p n (t 1 , x 1 ; t 2 , x 2 ; ...; t n , x n ) = p n−1 (t 1 , x 1 ; t 2 , x 2 ; ...; t n−1 , x n−1 )q(t n , x n |t n−1 , x n−1 ) , где q(t n , x n |t n−1 , x n−1 ) - переходная функция. Эту цепочку можно продолжать. Тогда в итоге мы получим выражение вида: p 1 (t 1 , x 1 )q(t, x|τ, y) Очевидно, что все многомерные функции должны быть связаны отношениями со- гласования. R R p n−1 (t 1 , x 1 ; t 2 , x 2 ; ...; t k−1 , x k−1 ; t k+1 , x k+1 ; ...; t n−1 , x n−1 )dx k = = p n (t 1 , x 1 ; t 2 , x 2 ; ...; t n , x n ) - свойство маргинальных функций распределения. Уравнение Колмогорова-Чепмена Рассуждения, которые приводят к искомому уравнению, состоят в следующем: возьмем трехмерную функцию p 3 (t 0 , x 0 ; τ, y; t, x) = p 1 (t 0 , x 0 )q(τ, y|t 0 , x 0 )q(t, x|τ, y) . С другой стороны, рассмотрим двумерную величину: p 2 (t 0 , x 0 ; t, x) = p 1 (t 0 , x 0 )q(t, x|t 0 , x 0 ) Теперь проинтегрируем p 3 по y. У нас должно быть выполнено условие согласо- вания, в результате котогоро мы получим следующее соотношение: q(t, x|t 0 , x 0 ) = R +∞ −∞ q(τ, y|t 0 , x 0 )q(t, x|τ, y)dy Это соотношение является уравнением Колмогорова-Чепмена. Оно является ана- логом того, что называется суммированием через промежуточные состояния или 32 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU того соотношения для промежуточного состояния, которое мы выписывали в рам- ках прошлой лекции для марковских цепей с непрерывным временем и конечным набором элементов. Теперь мы написали такое уравнение для переходной плотно- сти. Дифференцирование корреляционного тензора однородного изотропного поля скорости Теперь приступим к процедуре дифференцирования корреляционного тензора од- нородного изотропного поля скорости. Мы рассматривали однородный изотропный зеркально-симметричный тензор: < v i ( x)v j (y) >= A(r)δ ij + B(r) r i r j r 2 , где r = x − y. И в той ситуации, когда поле скорости несжимаемо, т.е. divv = 0, возникает связь между функциями A(r) и B(r). Как известно, divv = ∂v i ∂x i . Идея состоит в следующем: ∂ ∂x i < v i ( x)v j (y) > Мы хотим переставить интегрирование и дифференцирование. Тогда получим сле- дующее: ∂ ∂x i < v i ( x)v j (y) >=< ∂v i ( x) ∂x i , v j (y) > Т.к. ∂v i ( x) ∂x i = 0 , то < ∂v i ( x) ∂x i , v j (y) >= 0 - это выполнение условий бездивергентно- сти. С другой стороны, мы можем получить следующее: ∂A(r) ∂x i δ ij + ∂B(r) ∂x i r i r j ∂r 2 + B δ ii r j r 2 + B δ ij r i r 2 + Br i r j ∂ ∂x i ( 1 r ) = = A 0 ∂r ∂x i δ ij + B 0 ∂r ∂x i r i r j r 2 + B 3r j r 2 + B r j r 2 − B r i r j r 2 ∂r ∂x i ∂ √ (x i −y k ) 2 ∂x i = 2r i 2r = r i r С учетом этого, получаем: 33 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА
СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU ∂A(r) ∂x i δ ij + ∂B(r) ∂x i r i r j ∂r 2 + B δ ii r j r 2 + B δ ij r i r 2 + Br i r j ∂ ∂x i ( 1 r ) = = A 0 ∂r ∂x i δ ij + B 0 ∂r ∂x i r i r j r 2 + B 3r j r 2 + B r j r 2 − B r i r j r 2 ∂r ∂x i = A 0 r j r + B 0 r j r + B 3 r r j r + B 1 r r j r − B r j r = 0 В итоге получим: A 0 + B 0 + 3B r = 0 - это и есть условие бездивергентности. 34 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА
СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Лекция 8 Уравнение Эйнштейна-Фоккера-Планка В рамках прошлой лекции мы остановились на уравнениях Колмогорова-Чепмена, которые связывают переходные плотности в три момента времени: q(t, x|t 0 , x 0 ) = R +∞ −∞ q(τ, y|t 0 , x 0 )q(t, x|τ, y)dy Смысл этого уравнения состоит в том, что для того, чтобы перейти из точки t 0 , x 0 в точку t, x мы можем сначала перейти в из начальной точки в промежуточную точку τ, y, из которой уже перейти в конечную точку. Это аналог формулы полной вероятности. Переходная плотность определяется разностью времен t − t 0 и если есть однород- ность по времени, то мы можем ввести аналог однородной марковской цепи, для которой будет определена переходная плотность: q(x|t − t 0 , x 0 ) = R +∞ −∞ q(x|t − τ, y)q(y|τ − t 0 , x 0 )dy Проблема состоит в том, что решать данные уравнения достаточно затруднитель- но. В пространстве состояний мы можем ввести не только меру, но и расстояние между точками. Есть естественная гипотеза о том, что за малое время наша точка далеко уйти не может, поэтому переходная плотность при t 0 7→ t должна концен- трироваться вблизи начальной величины. Для того, чтобы это сделать, мы должны понять, что мы примерно хотим полу- чить. Понятно, что мы хотим получить прямое и обратное уравнения Колмогорова. Мы встанем на точку зрения, состоящую в том, что мы хотим рассматривать та- кие процессы, в которых уравнение Смолуховского порождает уравнения второго порядка - такие процессы называются диффузионными. В контексте физики есть аналог прямого уравнения Колмогорова - это уравнение Эйнштейна-Фоккера-Планка. Для вывода этого уравнения из уравнения Смолухов- ского мы должны предположить, не ограничивая общности, что все наши функции дважды дифференцируемы по всем аргументам. Из уравнения Смолуховского мы должны выделить производные по времени и пространственные производные. По этому поводу Фоккер придумал следующее: q(t, x|t 0 , x 0 ) = R +∞ −∞ q(t, x|τ, y)q(τ, y|t 0 , x 0 )dy 35 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU R +∞ −∞ ϕ(x)q(t, x|t 0 , x 0 )dx = R +∞ −∞ ϕ(x)dx R +∞ −∞ q(t, x|τ, y)q(τ, y|t 0 , x 0 )dy R +∞ −∞ ϕ(x)q(t + 4, x|t 0 , x 0 )dx = R +∞ −∞ ϕ(x)dx R +∞ −∞ q(t + 4, x|t, y)q(t, y|t 0 , x 0 )dy и будем считать, что 4 7→ 0 и стремиться выделить из этого временные и про- странственные производные. R +∞ −∞ ϕ(x)q(t + 4, x|t 0 , x 0 )dx = R +∞ −∞ R +∞ −∞ ϕ(x)q(t + 4, x|t, y)q(t, y|t 0 , x 0 )dxdy , где q(t + 4, x|t, y) - переходная плотность за малое время. Теперь положим ϕ(x) = ϕ(y) + ϕ 0 (y)(x − y) + 1 2 ϕ 00 (y)(x − y) 2 + O R +∞ −∞ ϕ(x) q(t+4,x|t 0 ,x 0 )−q(t,x|t 0 ,x 0 ) 4 dx = = R +∞ −∞ dyq(t, y|t 0 , y 0 )[ϕ 0 (y) R +∞ −∞ (x−y)q(t+4|t,x) 4 dx + 1 2 ϕ 00 (y) R +∞ −∞ (x−y) 2 q(t+4|t,x) 4 dx] Теперь мы сформулируем требование, при котором при 4 7→ 0 интеграл при ϕ 0 (y) стремился к конечному пределу, который называется A, а интеграл при ϕ 00 (y) - к B. В итоге мы получим такое уравнение: ∂q ∂t = − ∂ ∂x (Aq) + 1 2 ∂ 2 ∂x 2 (Bq) Мы предполагаем, что нам известны A и B и мы хотим найти функцию q из этого уравнения. Мы будем предполагать, что: • q ≥ 0 • R +∞ −∞ q(t, x|t 0 , x 0 )dx = 1 • при t 7→ t 0 : q(t, x|t 0 , x 0 ) = δ(x − x 0 ) Т.е. совсем избавиться от обобщенных функций не удается и начальное условие тут будет δ-функцией - также строится понятие фундаментального решения для урав- нения теплопроводности. Мы обсудили прямое уравнение Колмогорова, в котором рассматривалась после- довательность времен t 0 , t, t + 4 . При рассмотрении обратного уравнения у нас есть набор s, s + 4, t. Соответственно, мы должны будем записать уравнение Смо- луховского иначе: q(t, x|s, x 0 ) = R +∞ −∞ q(t, x|s + 4, y)q(s + 4, y|s, x 0 )dy 36 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА СЛУЧАЙНЫЕ ПРОЦЕССЫ • СОКОЛОВ ДМИТРИЙ ДМИТРИЕВИЧ КОНСПЕКТ ПОДГОТОВЛЕН СТУДЕНТАМИ, НЕ ПРОХОДИЛ ПРОФ РЕДАКТУРУ И МОЖЕТ СОДЕРЖАТЬ ОШИБКИ СЛЕДИТЕ ЗА ОБНОВЛЕНИЯМИ НА VK.COM/TEACHINMSU Смещение q(s+4, y|s, x 0 ) мало, переходная вероятность заметна только если y −x 0 мало. Теперь выпишем обратное уравнение Колмогорова: − ∂q ∂t 0 = A ∂q ∂x + 3 2 ∂ 2 ∂x 2 q Мы можем выписать уравнение, которое получается для абсолютных вероятностей, - для этого необходимо прямое уравнение Колмогорова домножить на начальное условие и тогда мы получим: ∂p ∂t = − ∂ ∂x (Ap) + 1 2 ∂ 2 ∂x 2 (Bp) Именно такое уравнение и получалось у Эйнштейна, Фоккера и Планка. Понятно, как сформулировать представление о том, что наша система однород- на во времени: функции A и B - функции времени, а для однородной во времени системы эти функции становятся постоянными по времени. Коэффициент 1 2 ∂ 2 ∂x 2 (Bp) называется коэффициентом диффузии, а ∂ ∂x (Ap) - снос. Теперь понятно, как из этого получить винеровский процесс: нужно положить A = 0 , B = 2 - получим стандартный винеровский процесс на прямой. Как мы уже говорили, винеровский процесс связан с фундаментальным решением урав- нения теплопроводности. Теперь мы можем сказать, что винеровский процесс яв- ляется диффузионным процессом и уравнение теплопроводности - это уравнение Эйнштейна-Фоккера-Планка для винеровского процесса. Марковские процессы с непрерывным временем и континуальным числом состо- яний обнаруживают очень заментое сходство с уравнениями параболического типа. Понятно, что если эту конструкцию перенести на множество состояний в трехмер- ном пространстве, то будут возникать уравнения такого типа: ∂p ∂t = (v∇p) + 4(νp) Дальше возникает уравнение Каца-Фейнмана, с помощью которого можно связать решение уравнений параболического типа с марковскими процессами. 37 МЕХАНИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ МГУ ИМЕНИ М.В. ЛОМОНОСОВА |
|
|