Главная | Обратная связь

Возвратные и невозвратные состояния

Рассмотрим цепь Маркова с переходными вероятностями . Пусть в начальный момент система находится в некотором состоянии . Обозначим вероятность того, что система впер­вые вернется в исходное состояние ровно через шагов. Тогда значение

(2.1.7)

есть вероятность того, что система на каком-либо шаге попадает в исходное состояние , иначе есть вероят­ность возвращения в .

Определение.Состояние называется возвратным, если вероятность воз­вращения в него

равна 1, и невозвратным, если эта вероятность меньше 1.

Теорема 1. Состояние является возвратным тогда и только тогда, когда

. (2.1.8)

Доказательство.

Имеем: (2.1.9)

в котором положено и дополнительно введены и .

Равенство (2.1.9) является следствием общей формулы полной вероят­ности. Действительно, если ввести события – “система через шагов впервые возвращается в исходное состояние ”, , и событие – “система ни разу не побывает в состоянии в те­чение первых шагов”, то будет полной группой событий и вероятность события – “система через n шагов будет находиться в исходном состоянии ” по формуле полной вероятности есть

,

где .

Введем аналитические при производящие функции

. (2.1.10)

Тогда соотношение (2.1.9) можно записать в виде

,

откуда . (2.1.11)

Поскольку возвратность состояния означает, что

,

то, как видно из равенства (2.1.11), это предельное соотношение рав­носильно тому, что

.

Но, с другой стороны,

.

Следовательно, возвратность состояния равносильна тому, что ряд расходится. Учитывая, что , получаем утверждение теоремы.

Теорема 2. Если исходное состояние является возврат­ным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в .

Если исходное состояние яв­ляется невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоя­нии .

Определение. Состояние достижимо из , если за некоторое число шагов система с ненулевой вероятностью переходит из в , т.е. при некотором .

Определение.Если состояние достижимо из и достижимо из , то состояния и называются сообщающимися.

Определение.Все состояния , достижимые из некоторого возвратного состояния , образуют так называемый замкнутый класс состояний .

2.1.3.Эргодическая теорема о сходимости к стационарному рас­пределению

Понятие эргодичности введено в начале 20 века в статистической физике, существенно использующей замену осреднения по статистическому ансамблю физических систем осреднением по времени вдоль траектории одной такой системы.

Определение. Распределение вероятностей

,

называется стационарным для однородной марковской цепи , если при начальном распределении , в последующие моменты времени распределение вероятностей

,

постоянно: (2.1.12)

Из результата (2.1.4) следует, что распределение является стационарным тогда и только тогда, когда оно удовлетворяет системе уравнений

(2.1.13)

Положим, что существует хотя бы одно состояние , в которое возможен переход из любого состояния за время с соответствующими вероятностями

. (2.1.14)

Тогда можно доказать теорему о сходимости к стационарному распределению

Теорема. 1. Существует единственное стационарное распределение , причем

(2.1.15)

2. Для любого начального распределения , предельные вероятности , одни и те же, причем оценка скорости сходимости в (2.1.15):

. (2.1.16)

Определение. Цепь Маркова, с не более чем счетным множеством состояний и вероятностями перехода за шагов , для которой существуют пределы

,

не зависящие от и образующие стационарное распределение , называется эргодической цепью Маркова.

Случайные процессы

Определение. Случайный(стохастический) процесс , , – это процесс, т.е. изменение во времени состояния некоторой системы, течение которого зависит от случая и для которого определена вероятность того или иного его течения.

Белый шум

Положим, что имеется се­мейство случайных величин , зависящих от соответствующих конечных интервалов на конечном или бесконечном отрезке действительной

прямой так, что для любых смежных интервалов выполняется равенство

, (2.2.1)

выражающее собой свойство аддитивности.

Предположим, что случайные величины и , из любых непере­секающихся интервалов и не коррелированны:

, (2.2.2)

и , , . (2.2.3)

Такое семейство будем назы­вать “белым шумом” и обозначать как . Замечание. Процесс белого шума используется в приложениях для описания случайных возмущений с очень малым временем корреляции. Пример: “тепловой шум” – т.е. пульсации тока в проводнике, обусловленные тепловым движением электронов.

Определение. Белый шум , представляющий с , т.е. при

, (2.2.4)

называется стандартным белым шумом.