одів системи.
В§ 3. Рівність Маркова
Визначення. Позначимо через імовірність того, що в результаті кроків (випробувань) система перейде зі стану в стан. Наприклад, - ймовірність переходу за 10 кроків з другого стану в п'яте.
Підкреслимо, що при отримаємо перехідні ймовірності
Поставимо перед собою задачу: знаючи перехідні ймовірності знайти ймовірності переходу системи зі стану в стан за кроків.
З цією метою введемо в розгляд проміжне (між і) стан. Іншими словами, будeм вважати, що з первісного стану за кроків система перейде в проміжний стан з імовірністю, після чого за залишилися кроків з проміжного стану вона перейде в кінцевий стан з ймовірністю.
За формулою повної ймовірності, отримаємо
. (1)
Цю формулу називають рівністю Маркова.
Пояснення. Введемо позначення:
- нас цікавить подія (за кроків система перейде з початкового стану в кінцеве), отже,; - гіпотези (за кроків система перейде з початкового стану в проміжний стан), отже, - умовна ймовірність настання при умови, що мала місце гіпотеза (за кроків система перейде з проміжного стану в кінцеве), отже,
За формулою повної ймовірності,
()
Або в прийнятих нами позначеннях
що збігається з формулою Маркова (1).
Знаючи всі перехідні ймовірності т.е знаючи матрицю переходу зі стану в стан за один крок, можна знайти ймовірності переходу зі стану в стан за два кроки, отже, і саму матрицю переходу; по відомій матриці можна знайти матрицю переходу зі стану в стан за три кроки, і т.д.
Дійсно, поклавши в рівності Маркова
,
Отримаємо
ланцюг марков випадковий ймовірність
,
Або
(2)
Таким чином, за формулою (2) можна знайти всі ймовірності отже, і саму матрицю. Оскільки безпосереднє використання формули (2) виявляється втомливим, а матричне літочислення веде до мети швидше, напишу випливають з (2) співвідношення в матричній формі:
Поклавши в (1), аналогічно одержимо
У загальному випадку
Теорема 1. За будь-яких s, t
(3)
Доказ. Обчислимо ймовірність за формулою повної ймовірності (), поклавши
(4)
З рівностей
і
слід
Звідси з рівностей (4) і
отримаємо затвердження теореми.
Визначимо матрицю В матричній запису (3) має вигляд
(5)
Так як то де - матриця вірогідності переходу. З (5) випливає
(6)
Результати, отриманої в теорії матриць, дозволяють за формулою (6) обчислити і досліджувати їх поведінку при
Приклад 1. Задана матриця переходу Знайти матрицю переходу
Рішення. Скористаємося формулою
Перемноживши матриці, остаточно отримаємо:
.
В§ 4. Стаціонарний розподіл. Теорема про граничні ймовірностях
Розподіл ймовірностей в довільній момент часу можна знайти, скориставшись формулою повної ймовірності
(7)
Може виявитися, що не залежить від часу. Назвемо стаціонарним розподілом вектор, що задовольняє умовам
,
(8)
де ймовірності переходу.
Якщо в ланцюзі Маркова то при будь-якому
Це твердження слід по індукції з (7) та (8).
Приведемо формулювання теореми про граничні ймовірностях для одного важливого класу ланцюгів Маркова.
Теорема 1. Якщо при деякому> 0 всі елементи матриця позитивні, то для будь-яких, при
, (9)
де стаціонарний розподіл з а деяка постійна, задовольняюча нерівністю 0 < h <1.
Так як, то по умові теореми з будь-якого стану можна потрапити в будь за час з позитивною ймовірністю. Умови теореми виключає ланцюга, що є в деякому розумінні періодичними.
Якщо виконати умова теореми 1, то ймовірність того, що система знаходиться в деякому стані, в межі не залежить від початкового розподіл. Дійсно, з (9) і (7) випливає, що при будь-якому початковому розподілі,
Розглянемо кілька прикладів ланцюга Маркова, яких умови теореми 1, не виконані. Неважко перевірити, що такими прикладами є приклади. У прикладі ймовірності переходу мають прибудови, але ці прибудови залежать від початкового стану. Зокрема, при
0 <<,
В інших прикладів боковий вівтар ймовірностей при очевидно, не існують.
Знайдемо стаціонарний розподіл в прикладі 1. Потрібно знайти вектор задовольняє умовам (8):
,
,
;
Звідси, Таким чином, стаціонарний розподіл існує, але не всі координати вектори позитивні.
Для полиномиальной схеми були введені випадкові величини, рівні чосу результатів даного типу. Введемо аналогічні величини для ланцюгів Маркова. Нехай - Число попадання системи в стан за час. Тоді частота попадань системи в стан. Використовуючи формули (9), можна довести, що при зближується з. Для цього потрібно отримати асимптотичні формули для і і скористатися нерівністю Чебишева. Наведемо висновок формули для. Представимо у вигляді
(10)
де, якщо, і в іншому випадку. Так як
,
то, скориставшись властивістю математичного очікування і формулою (9), отримаємо
.
Втричі доданок в правій частині цієї рівності в силу теореми 1 є приватною сумою сходящегося ряду. Поклавши, отримаємо
(11)
Оскільки
З формули (11), зокрема, випливає, що
при
Так само можна отримати формулу для яка використовується для обчислення дисперсії.
В§ 5. Доказ теореми про граничні ймовірностях в ланцюзі Маркова
Доведемо спочатку дві леми. Покладемо
Лемма 1. При будь-яких існують межі
і
Доказ. Використовуючи рівняння (3) з отримаємо
Таким чином, послідовності і монотонні і обмежені. Звідси слід твердження леми 1.
Лемма 2. Якщо виконані умови теореми 2, то існують постійні, такі, що
Для будь-яких
де, означає підсумовування за всіма, при яких позитивно, а підсумовування по інших. Звідси
. (12)
Так як в умовах теореми 1 ймовірності переходу при всіх, то при будь-яких
(13)
І в силу кінцівки числа станів
(14)
Оцінимо тепер різниця. Використовуючи рівняння (3) з,, отримаємо
=
.
Звідси, використовуючи (8) - (10), знайдемо
=.
Об'єднуючи це співвідношення з нерівністю (14), отримаємо твердження леми.
Перейти до доказу теореми. Так як послідовності, монотонні, то
0 <. (15)
Звідси і з леми 1 знаходимо
Отже, при отримай і
(16)
Позитивність випливає з нерівності (15). Переходячи до межі при і в рівнянні (3), отримаємо, що задовольняє рівнянню (12). Теорема доведена.
В§ 6. Області застосування ланцюгів Маркова
Ланцюги Маркова служать гарним введенням в теорію випадкових процесів, тобто теорію простих послідовностей сімейства випадкових величин, зазвичай залежних від параметра, який в більшості додатків відіграє роль часу. Вона призначена, головним чином, для повного опису як довготривалого, так і локального поведінки процесу. Наведемо деякі найбільш вивчені в цьому плані питання.
Броунівський рух і його узагальнення - дифузійні процеси і процеси з незалежними приростами . Теорія випадкових процесів сприяла поглибленню зв'язку між теорією ймовірностей, теорією операторів та теорією диференціальних рівнянь, що, крім ін...
