В§ 1. Основні поняття теорії марковських ланцюгів.
Нехай {,, ...,} - безліч можливих станів деякої фізичної системи. У будь-який момент часу система може перебувати тільки в одному стані. З плином часу система переходить послідовно з одного стану в інший. Кожен такий перехід називається кроком процесу.
Для опису еволюції цієї системи введемо послідовність дискретних випадкових величин,, ...,, ... Індекс n грає роль часу. Якщо в момент часу n система перебувала у стані, то ми будемо вважати, що = j. Таким чином, випадкові величини є номерами станів системи.
Послідовність,, ...,, ... утворює ланцюг Маркова, якщо для будь-якого n і будь-яких,, ...,, ...
P (= j/=, ..., = i) = P (= j/= i).
Для ланцюгів Маркова ймовірність в момент часу n потрапити в стан, якщо відома вся попередня історія досліджуваного процесу, залежить тільки від того, в якому стані знаходився процес в момент n-1. То Тобто при фіксованому "сьогоденні" "майбутнє" не залежить від "Минулого". Властивість незалежності "майбутнього" від "Минулого" при фіксованому "сьогоденні" називається марковским властивістю.
Ймовірності (= j/= i), i, j = 1,2, ..., r називаються ймовірностями переходу з стану в стан за один крок.
Ланцюг Маркова називається однорідною, якщо ймовірності переходу не залежать від n, тобто якщо ймовірності переходу не залежать від номери кроку, а залежать тільки від того, з якого стану і в який здійснюється перехід. Для однорідних ланцюгів Маркова замість будемо писати.
Ймовірності переходу зручно розташовувати у вигляді квадратної матриці
Матриця P називається матрицею ймовірностей переходу однорідного ланцюга Маркова за один крок. Вона володіє наступними властивостями:
а);
б) для всіх i:
Квадратні матриці, для яких виконуються умови а) і б), називаються стохастичними.
Вектор, де = P (), i = 1,2 ..., r називається вектором початкових ймовірностей.
Властивості однорідних ланцюгів Маркова повністю визначаються вектором початкових ймовірностей і матрицею ймовірностей переходу.
Наведемо приклад: Завод випускає телевізори певного типу. В залежності від того, чи знаходить даний тип телевізора попит у населення, завод в кінці кожного року може знаходитися в одному з станів: стан 1 - попит є, стан 2 - попиту немає. Нехай імовірність зберегти стан 1 у в наступному році з урахуванням можливої вЂ‹вЂ‹зміни попиту дорівнює, а ймовірність змінити стан 2 з урахуванням заходів по поліпшенню що випускається моделі дорівнює. Тоді процес виробництва на даному заводі можна описати ланцюгом Маркова з матрицею переходів:
У конкретних випадках для опису еволюції ланцюга Маркова замість явного виписування матриці P використовують граф, вершинами якого є стани ланцюга, а стрілка, що йде зі стану в стан з числом над нею показує, що зі стану в стан можливий перехід з імовірністю. У тому випадку, коли, відповідна стрілка не проводиться.
Можна показати, що матриця ймовірностей переходу ланцюга Маркова за n кроків дорівнює n-ой ступеня матриці P ймовірностей переходу за один крок. Для однорідного ланцюга Маркова за будь m виконується рівність
P () = P ().
Але остання ймовірність є ймовірність переходу з стану в стан за n кроків.
В§ 2. Теорема про граничні ймовірностях.
У 1930 році Дж.Біркгофом і Дж.фон Нейманом була сформульована і доведена одна з основних ергодичної теорії - теорема про граничні ймовірностях:
Якщо при деякому всі елементи матриці = [] позитивні, то існують межі
, i, j = 1,2, ..., r.
Граничні ймовірності не залежать від початкового стану і є єдиним рішенням системи рівнянь
(1)
,
, j = 1, 2, ..., r.
Фізичний зміст цієї теореми полягає в тому, що ймовірності знаходження системи в стані практично не залежать від того, в якому стані вона перебувала в далекому минулому.
Ланцюг Маркова, для якої існують межі, називається ергодичної. Рішення (,, ...,) написаної вище системи (1) називається стаціонарним розподілом ймовірностей для марківського ланцюга з матрицею переходу P = [].
Якщо з состояніясістема може перейти в стан з позитивною ймовірністю за кінцеве число кроків, то кажуть, що досяжно з.
Стан називається істотним, якщо для кожного стану, досяжного з, досяжно з. Якщо ж для хоча б одного j досяжно з, а не досяжно з, то - несуттєве стан.
В§ 3. Області застосування ланцюгів Маркова.
Ланцюги Маркова служать гарним введенням в теорію випадкових процесів, тобто теорію простих послідовностей сімейств випадкових величин, зазвичай залежних від параметра, який в більшості додатків відіграє роль часу. Вона призначена, головним чином, для повного опису як довготривалого, так і локального поведінки процесу. Наведемо деякі найбільш вивчені в цьому плані питання.
Броунівський рух і його узагальнення - дифузійні процеси і процеси з незалежними приростами. Теорія випадкових процесів сприяла поглибленню зв'язку між теорією ймовірностей, теорією операторів і теорією диференціальних рівнянь, що, крім іншого, мало важливе значення для фізики і інших додатків. До числа додатків відносяться процеси, представляють інтерес для актуарної (страхової) математики, теорії масового обслуговування, генетики, регулювання дорожнього руху, теорії електричних ланцюгів, а також теорії обліку та накопичення товарів.
мартингалів. Ці процеси зберігають досить властивостей ланцюгів Маркова, щоб для них залишалися в силі важливі Ергодична теореми. Від ланцюгів Маркова мартингалів відрізняються тим, що коли поточний стан відомо, тільки математичне сподівання майбутнього, але необов'язково саме розподіл ймовірностей, не залежить від минулого. Крім того, що теорія мартингалів являє собою важливий інструмент для дослідження, вона збагатила новими граничними теоремами теорію випадкових процесів, що виникають в статистиці, теорії розподілу атомного ядра, генетиці і теорії інформації.
Стаціонарні процеси. Найстаріша з відомих ергодичної теорії, як зазначалося вище, може бути інтерпретована як результат, що описує граничне поведінка стаціонарного випадкового процесу. Такий процес має тим властивістю, що всі імовірнісні закони, яким він задовольняє, залишаються інваріантними щодо зрушень за часом. Ергодичної теорії, вперше сформульовану фізиками в якості гіпотези, можна представити як твердження про те, що за певних умов середнє по ансамблю збігається із середнім по часу. Це означає, що одну й ту ж інформацію можна отримати з довготривалого спостереження за системою і з одночасного (І одномоментного) спостереження багатьох незалежних копій тієї ж самої системи. Закон великих чисел є не що інше, як окремий випадок ергодичної теореми Біркгоф. Інтерполяція та передбачення поведінки стаціонарних гауссовских процесів, розуміються в широкому сенсі, служать важливим узагальненням класичної теорії найменших квадратів. Теорія стаціонарних процесів - необхідне знаряддя дослідження в багатьох областях, наприклад, в теорії зв'язку, яка займається вивченням і створенням систем, що передають повідомлення за наявності шуму або випадкових перешкод.
Марківські процеси (процеси без післядії) відіграють величезну роль в моделюванні систем масового обслуговування (СМО), а також у моделюванні та виборі стратегії управління соціально-економічними процесами, що відбуваються в суспільстві. В якості прикладу розглянемо керовані ланцюга Маркова.
В§ 4. Керовані ланцюга Маркова. Вибір стратегії.
Завод з виготовлення телевізорів, перебуваючи в стані 1, може збільшити попит шляхом організації реклами. Це вимагає додаткових витрат і зменшує дохід. В стані 2 завод може збільшити ймовірність переходу в стан 1 шляхом збільшення витрат на дослідження. Виділимо дві стратегії. Перша ...
