 |
|
Граничні імовірності. Умови існування усталеного режиму
Вирішення системи диференційних рівнянь для відшукування імовірностей станів – це досить складна задача. Для більшості реальних систем, що моделюються марківськими ланцюгами, цю задачу можна суттєво спростити і замінити вирішення системи диференційних рівнянь розв’язанням системи лінійних алгебраїчних рівнянь.
Якщо для деякої системи, що описується марківським ланцюгом з безперервним часом, знайдено імовірності станів P1(t), P2(t),..., Pn(t) і для цих імовірностей існують границі при t→∞:
lim Pi(t) = Pi = const (4.9)
t→∞
то така система функціонує в усталеному режимі, а постійні імовірності (4.9) називаються граничними імовірностями. Граничні імовірності показують частку часу на великому інтервалі, яку система знаходиться у відповідному стані.
Те, що система перебуває в усталеному режимі не означає, що в ній перестає відбуватися випадковий процес. Система випадковим чином переходить з одного стану до іншого, але імовірності всіх станів перестають змінюватися з часом.
Умовою існування усталеного режиму (і, відповідно, існування граничних імовірностей) для системи, де відбувається марківський процес з безперервним часом, є можливість переходу з будь-якого одного стану системи в будь-який інший за те чи інше число кроків.
Наприклад, система, зображена на рис. 4.3 може функціонувати в усталеному режимі – для неї можливі переходи між будь-якими станами системи (за те чи інше число кроків). А для системи з рис. 4.4 усталеного режиму не існує: система не може перейти в стан S1 з інших станів, крім того, потрапивши у стан S2, систем не може вийти з нього.
Формальною ознакою існування усталеного режиму є наявність бодай однієї вхідної та вихідної стрілки для кожного стану системи. Як видно із розглянутих прикладів, для системи з рис.4.3 ця ознака має місце, а для системи з рис.4.4 – ні. Для неї стан S1 має тільки вихідні стрілки і жодної вхідної, а стан S2 – тільки вхідні стрілки і жодної вихідної.
Для того, щоб знайти значення граничних імовірностей треба в СДР Колмогорова прирівняти усі похідні до 0 і розв’язати отриману систему однорідних лінійних алгебраїчних рівнянь, враховуючи умову нормування, яка для постійних граничних імовірностей матиме вигляд:
(4.10)
Приклад 4.3
Для системи, зображеної на рис.4.3, знайти граничні імовірності.
Рішення:
Як ми тільки що з’ясували, в такій системі існує усталений режим, а отже можна знайти граничні імовірності. СДР Колмогорова для цієї системи дає (4.8). Прирівняємо до 0 усі похідні, отримаємо:
0 = - l12P1(t) + l31P3(t)
0 = - l23P2(t) - l24P2(t) + l12P1(t) + l42P4(t)
0 = - l31P3(t) - l34P3(t) + l23P2(t)
0 = - l42P4(t) + l24P2(t) + l34P3(t)
Перенесемо усі від’ємні складові у ліву частину рівнянь:
l12P1(t)= l31P3(t)
l23P2(t) + l24P2(t) = l12P1(t) + l42P4(t)
l31P3(t) + l34P3(t) = l23P2(t) (4.11)
l42P4(t) = l24P2(t) + l34P3(t)
P1(t) + P2(t) + P3(t) + P4(t) = 1
Вирішення системи (4.11) (останнє рівняння – це умова нормування) дає граничні імовірності. Крім того, з (4.11) випливає правило запису системи алгебраїчних рівнянь для граничних імовірностей:
для кожного стану системи сума усіх вихідних інтенсивностей, помножених на імовірність цього стану, дорівнює сумі усіх вхідних інтенсивностей, помножених на імовірності станів, з яких здійснено відповідний перехід
4.4 Контрольні питання
1. Дати визначення марківському ланцюгу з дискретним часом.
2. Навести правило запису СДР Колмогорова.
3. Дати визначення граничним імовірностям.
4. Навести умову існування усталеного режиму.
5. Навести правило запису системи алгебраїчних рівнянь для граничних імовірностей.
4.5 Завдання для самостійної роботи
1. В системі відбувається марківський процес з дискретним часом. Визначити імовірності усіх станів системи, якщо на початку система знаходилась у першому стані.
2. В системі відбувається марківський процес з безперервним часом. Визначити, чи існує в ній усталений режим. Записати систему алгебраїчних рівнянь для граничних імовірностей.
5 системи з явними втратами