марковские процессы. Марковские процессы. Марковские процессы Марковские процессы

Название	Марковские процессы Марковские процессы
Анкор	марковские процессы
Дата	02.12.2020
Размер	1.37 Mb.
Формат файла
Имя файла	Марковские процессы.ppt
Тип	Документы #156014

Марковские процессы

Марковские процессы

Марков Андрей Андреевич

Марковские процессы

Основные понятия марковских процессов
Функция X(t) называется случайной, если ее значение при любом аргументе X является случайной величиной;
Случайная функция X(t), аргументом которой является время, называется случайным процессом;
Случайный процесс, протекающий в какой-либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени to вероятность любого состояния системы в будущем (при t > t0) зависит только от ее состояния в настоящем (при t = t0) и не зависит от того, когда и каким образом система S пришла в это состояние.

Различают следующие основные виды марковских случайных процессов:
с дискретными состояниями и дискретным временем (цепь Маркова);
с непрерывными состояниями и дискретным временем (марковские последовательности);
с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);
с непрерывным состоянием и непрерывным временем.

Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью графа состояний
Рис. 1.8. Граф состояний системы S
Кружками обозначены состояния S1 , S2,…,системы S, а стрелками – возможные переходы из состояния в состояние. Возможные задержки в прежнем состоянии изображают «петлей». Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Марковский случайный процесс с дискретными состояниями и дискретным временем называют марковской цепью. Для такого процесса моменты t1,t2,…, когда система S может менять свое состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время t, а номер шага 1, 2, .... k, ....
Случайный процесс в этом случае характеризуется последовательностью состояний S(0), S(1), S(2), S(k), где S(0) – начальное состояние системы (перед первым шагом); S(1) – состояние системы после первого шага; S(k) - состояние системы после k-го шага.

Событие {S(k) = Si}, состоящее в том, что сразу после k-гошага система находится в состоянии Si (i= 1, 2, ...), является случайным событием. Последовательность состояний S(0), S(1),…,S(k) можно рассматривать как последовательность случайных событий. Такая случайная последовательность событий называется марковской цепью, если для каждого шага вероятность перехода из любого состояния Si в любое Sj не зависит от того, когда и как система пришла в состояние Si. Начальное состояние S(0) может быть заданным заранее или случайным.

Вероятностями состояний цепи Маркова называются вероятности Pj(k) того, что после k-го шага (и до (k+1)-го) система S будет находиться в состоянии Si (i=1,2,…,п). Очевидно, для любого k
Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса P1(0), P2(0), …, Pi(0), …, Pn(0).
В частном случае, если начальное состояние системы S в точности известно S(0) = Si, то начальная вероятность Pi(0)= 1, а все остальные равны нулю.

Граф состояний автомобиля
Автомобиль (система) в течение одной смены (суток) может находиться в одном из двух состояний: исправном (S1) и неисправном (S2), вероятности перехода из одного состояния в другое заданы.
Вероятностью перехода (переходной вероятностью) на k-м шаге из состояния Si в состояние Sj называется условная вероятность того, что система S после k-го шага окажется в состоянии Sj при условии, что непосредственно перед этим (после k - 1 шага) она находилась в состоянии Si.

Поскольку система может пребывать в одном из п состояний, то для каждого момента времени t необходимо задать n2 вероятностей перехода Pij, которые удобно представить в виде матрицы переходных вероятностей:
где Pij - вероятность перехода за один шаг из состояния Si в состояние Sj, ; Pij — вероятность задержки системы в состоянии Sj.

Переходные вероятности однородной марковской цепи Pij образуют квадратную матрицу размера nxn, особенности которой заключаются в следующем:
каждая строка характеризует выбранное состояние системы, а ее элементы представляют собой вероятности всех возможных переходов за один шаг из выбранного (из i-го) состояния, в том числе и переход в самое себя;
элементы столбцов показывают вероятности всех возможных переходов системы за один шаг в заданное (j-е) состояние (иначе говоря, строка характеризует вероятность перехода системы из состояния, столбец – в состояние);

сумма вероятностей каждой строки равна единице, так как переходы образуют полную группу несовместных событий:
по главной диагонали матрицы переходных вероятностей стоят вероятности Рij того, что система не выйдет из состояния Si, а останется в нем.

Если для однородной марковской цепи заданы начальное распределение вероятностей и матрица переходных вероятностей ||Рij||, то вероятности состояний системы Pi(k)( ; ) определяются по рекуррентной формуле:

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.
Для процесса с непрерывным временем вместо переходных вероятностей Рij рассматриваются плотности вероятностей перехода λij,

где Рij (t, Δt) - вероятность того, что система, пребывавшая в момент t в состоянии Si за время Δt перейдет из него в состояние Sj (при этом всегда i ≠ j).
Если λij = const то процесс называется однородным, если плотность вероятности зависит от времени λij = λij (t), то процесс - неоднородный.

Потоком событий называется последовательность однородных событий, следующих одно за другим через случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность λij соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе S, будет марковским.
Граф состояний системы

Марковские процессы

ХНУРЕ, каф. ПМ, лектор Кириченко Л.О.
«Теория вероятностей, математическая статистика и случайные процессы»

Марковские процессы. Пример.

Дискретные цепи Маркова

Потоки событий

Колмогоров Андрей Николаевич

1903-1987
Великий русский математик.

Построить граф переходов

0.30	0.70	0.0
0.10	0.60	0.30
0.50	0.50	0.0