Главная | Обратная связь

Основные определения и свойства

Раздел 2.Цепи Маркова и случайные процессы

Содержание

2.1.Цепи и процессы Маркова

2.1.1.Основные определения и свойства

2.1.2.Возвратные и невозвратные состояния

2.1.3.Эргодическая теорема о сходимости к стационарному рас­пределению

2.2.Случайные процессы

2.2.1.Белый шум

2.2.2.Линейная система в стохастической среде

2.2.3.Нормальные(гауссовы) случайные процессы

2.2.4.Стационарные случайные процессы

2.2.5.Стационарный процесс с дискретным спектром

2.2.6.Стационарный процесс с непрерывным спектром

2.2.7.Спектральное представление процесса на выходе линейной системы

2.2.8.Эргодический случайный процесс

 

 

Цепи и процессы Маркова

Основные определения и свойства

Рассмотрим физическую систему, возможные состояния которой в момент времени t принимают целочисленные значения . Тогда можно считать, что величины , описывают случайный процесс переходов системы из одного состояния в другое.

Определение. Случайный процесс называется однородным, если условная вероятность

не зависит от расположения моментов на временной оси, а зависит лишь от промежутка .

Определение. Условная вероятность

называется вероятностью перехода или переходной вероятностью системы из состояния в состояние .

Положим, что переход системы из состояния в состояние не зависит от , точнее, что условное распределение вероятностей величины при любых не зависит от :

(2.1.1)

Определение. Однородный процесс , удовлетворяющий условию (2.1.1), называется

однородным марков­ским процессом со счетным числом состояний.

Для марковского процесса выполняются следующие свойства.

Свойство 1. Для однородного марковского процесса , с переходными вероятностями

и любых случайных величин и имеем

(2.1.2)

Из соотношений (2.1.2) видно, что поведение марков­ского процесса после момента при известном состоянии не зависит от его поведения до момента .

Свойство 2. Формула (2.1.2) задает совместные распределения вероятно­стей любых

величин при фиксированном значении .

В соответствии с этим, при заданном распределении вероятностей

,

совместное распределение вероятностей величин

определяется как

, (2.1.3)

что при и начальном распределении

,

определяет совместные распределения вероятностей всех ве­личин .

Свойство 3. Для переходных вероятностей однородного марковского процесса

. (2.1.4)

Доказательство.

В соответствии с формулой (2.1.2) имеем

.

Тогда суммирование по всем дает

.

Определение. Однородный марковский процесс со счетным числом состояний и

дискретным параметром , называется однородной цепью Маркова.

Иначе, цепь Маркова – это цепочка переходов из одного состояния в другое.

Свойство 4. Пусть вероятности перехода за один шаг, т.е. , и – вероятность находиться в состоя­нии через шагов.

Тогда, используя формулу (2.1.3), получаем рекуррентные соотношения:

, (2.1.5)

которые при начальном распределении , определяют соотношения между переходными вероятно­стями :

(2.1.6)