Цепи Маркова в теории вероятности и их приложения

Размещено на http://www.allbest.ru/

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

"МОРДОВСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ ИНСТИТУТ ИМЕНИЕ М.Е. ЕВСЕВЬЕВА"

ФИЗИКО-МАТЕМАТИЧЕСКИЙ ФАКУЛЬТЕТ

КАФЕДРА МАТЕМАТИКИ

КУРСОВАЯ РАБОТА

ЦЕПИ МАРКОВА В ТЕОРИИ ВЕРОЯТНОСТИ И ИХ ПРИЛОЖЕНИЯ

Автор курсовой работы:

Т. Н. Данилова

Руководитель:

Н. Г.Тактаров

Саранск 2011

Содержание

Введение

1. Основные понятия теории марковских цепей

2. Возвратные и невозвратные состояния

3. Теорема возвратного состояния

4. Достижимые возвратные состояния

5. Примеры решения задач

Заключение

Список используемой литературы

Введение

Марковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей". В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Марковские цепи используются в теории массового обслуживания для расчета распределения вероятностей числа занятых приборов в системе, состоящей из n приборов с пауссоновским потоком требований и показательным законом времени обслуживания.

Цепь Маркова, используется и в качестве математической модели при изучении поведения определенных стохастических систем. Для коротких отрезков времени можно использовать вычисления абсолютных вероятностей . Когда же число переходов неограниченно возрастает (больше k), необходимы иные методы анализа поведения системы.

В неприводимой цепи Маркова, любое состояние Sj может быть достигнуто из любого другого состояния Si за конечное число переходов, т. е. , где , в такой цепи все состояния будут сообщающимися. Все состояния неприводимой Марковской цепи образуют замкнутое множество состояний и никакое его подмножество состояний не может быть замкнутым.

Данная курсовая работа рассматривает цепи Маркова в теории вероятностей и их приложения. Объект исследования: цепи Маркова. Цель исследования: изучить Марковкие цепи, их виды, состояния. Задачи исследования: рассмотреть задачи, решаемые с использованием цепей Маркова.

марковский цепь вероятность невозвратный

1. Основные понятия теории марковских цепей

Условно будем говорить о некоторой физической системе, шаг за шагом меняющей свое фазовое состояние. Будем считать, что имеется лишь конечное или счетное число различных фазовых состояний е₁, е₂, ... Обозначим о (п) состояние системы через п шагов. Будем предполагать, что цепочка последовательных переходов

о(0) > о (1) …

зависит от вмешательства случая, причем соблюдается следующая закономерность: если на каком-либо шаге п система находится в состоянии е_i, то, независимо от предшествующих обстоятельств, она на следующем шаге с вероятностью p_ij переходит в состояние е_j

p_ij = Р{ о (n+1) = е_i/ о (п) = е_j }, i, j =1, 2, ... (2.1)

Описанная выше модель называется однородной цепью Маркова, а вероятности р_ij называются переходными вероятностями этой цепи. Кроме них, еше задается начальное распределение вероятностей

p^o_i = P{о (0) = е_i}, i=1, 2, ... (2.2)

Какова вероятность того, что система через п шагов будет находиться в состоянии е_j?

Обозначим эту вероятность p_j (n)^:

p_j (n) = Р {о(n) = е_j}. (2.3)

Через п -- 1 шагов система обязательно будет находиться в одном из состояний е_k, k = 1, 2, ..., причем в е_k она будет с вероятностью, обозначенной р_к(п -- 1). При условии, что через п--1 шагов система будет находиться в состоянии е_k, вероятность оказаться через п шагов в состоянии е_j равна вероятности р_kj перехода из е_k в е_j. Используя формулу полной вероятности, получаем, что

Это дает следующие рекуррентные соотношения для вероятностей р_j(п), j=1, 2, ...:

(n=1, 2, …).

Если в начальный момент система находится в определенном состоянии е_i, то начальное распределение вероятностей таково, что р⁰_i= 1, p⁰_k= 0 для k ? i а вероятность p_i(n) совпадает с вероятностью p_ij(n) того, что система из состояния е_i за п шагов перейдет в состояние е_j.

p_ij(n) = Р{о(п) = е_j/о(0) =е_i}, i, j = 1, 2, ... (2.6)

При начальном распределении вида р⁰_i =1, р⁰_k = 0 для k ? i формула (2.5) дает следующие соотношения между переходными вероятностями p_ij(n); i,j =1, 2,... :

(n=1, 2, …)

Удобно ввести матрицу Р(п) = { p_ij(n)}. Согласно формуле (2.7)

Р(0)= I, Р(1) = Р, Р(2) =Р(1) Р = P², ...,

где I -- единичная матрица, Р = {p_ij} ? матрица переходных вероятностей. Видно, что имеет место следующее равенство:

P(n) = Pⁿ (n = 1, 2, …) (2.8)

Рассмотрим несколько примеров

Задача о стопке книг. На письменном столе лежит стопка из m книг. Если обозначить каждую книгу соответствующим номером, то порядок их расположения сверху вниз можно описать перестановкой из т чисел (i₁, i₂, … … i_m), где i₁ -- номер книги, лежащей сверху, i₂ -- номер следующей книги, ..., i_т--номер последней книги, лежащей в самом низу. Предположим, что каждая книга, берется с определенной вероятностью, скажем, книга с номером k берется с вероятностью р_k (к=1, ..., m), причем при возвращении она кладется сверху.

Возьмем произвольное состояние (i₁, i₂, …, i_m). На следующем шаге оно либо остается неизменным, что происходит с вероятностью при выборе лежащей сверху книги с номером i₁ либо меняется на одно из m -- 1 состояний вида (i_k, i₁, ...), что происходит с вероятностью при выборе книги с номером i_k. Перед нами цепь Маркова с состояниями, каждое из которых описывается соответствующей перестановкой (i₁, i₂, … … i_m), и указанными переходными вероятностями.

Остановимся на случае т = 2. Тогда имеется лишь два состояния: е₁=(1,2) и е₂ = (2, 1). Переходные вероятности имеют вид:

p₁₁=p₂₁=p_1, p₁₂=p₂₂=p₂

и матрица переходных вероятностей есть

Вероятности перехода за два шага суть

p₁₁(2)=p₂₁(2)=p₁p₁+p₂p₁=p₁(p₁+p₂)=p_1,

p₁₂(2)=p₂₂(2)= p₁p₂+p₂p₂=p₂(p₁+p₂)=p₂.

Видно, что Р² = Р и вообще Рⁿ = Р. При любом начальном распределении вероятностей имеем (n =1, 2, ...)

p₁(n)= p₁₁(n)+p₂₁(n)=p₁(+)=p_1,

p₂(n)= p₁₂(n)+p₂(n)=p₂(+)=p₂.

Задача о наилучшем выборе. Положим о₀(0)=1 и обозначим: о(1) -- порядковый номер первого предмета, оказавшегося наилучшим среди всех осмотренных ранее; о(2)--порядковый номер следующего наилучшего среди всех осмотренных до него предметов и т. д. Цепочка о(0)>о(1)>о(2)... обрывается на некотором н-м шаге, если предмет с порядковым номером о(н) оказывается абсолютно наилучшим, так что и среди не осмотренных еще предметов нет лучшего. Число н является случайным, поскольку случайным является сам порядок осмотра. Введем состояния е₁, е₂, …е_m, е_m+1, охарактеризовав их следующим образом: е_i при i=1, …, т означает, что предмет с порядковым номером i (т. е. i-й по счету осмотренный предмет) является наилучшим среди всех ранее осмотренных; е_m+1 означает, что уже осмотрен абсолютно наилучший предмет. Если положить о(n) = е_m+1, при всех п>н, то последовательность о(0)>о(1)>о(2)... образует цепь Маркова.

Найдем соответствующие переходные вероятности р_ij Очевидно, р_ij=0 при i?j, j?m, а p_{m+1, m+1}=1. Подсчитаем вероятности p_ij при i<j?m. Обозначим е_i событие, состоящее в том, что при случайном порядке осмотра j предметов наилучшим среди них является последний j-й предмет. Очевидно, переходные вероятности р_ij согласно общей формуле () совпадают с условными вероятностями

, i<j?m.

Очевидно, вероятность события е_j совпадает с вероятностью того, что среди всех перестановок из j предметов будет выбрана та, при которой на последнем месте стоит наилучший предмет. Всего различных перестановок имеется j! а тех, при которых на последнем месте оказывается один и тот же фиксированный элемент, имеется (j--1)! Следовательно,

, j=1, …, m.

Вероятность события е_iе_j совпадает с вероятностью того, что на последнем месте стоит наилучший предмет, а на i-м месте стоит также вполне определенный предмет -- второй по качеству среди всех j предметов. Всего имеется (j -- 2)! Таких перестановок и, следовательно,

, i<j?m.

Таким образом, переходные вероятности р_ij суть

, i<j?m.

Переходные вероятности p_{i, m} фактически были подсчитаны

, i=1, …, m.

Случайные блуждания. Рассмотрим случайное блуждание, связанное с неограниченными испытаниями Бернулли, когда частица блуждает по целочисленным точкам действительной прямой таким образом, что, находясь в точке i она с вероятностью р переходит на следующем шаге в соседнюю точку i + 1, а с вероятностью q=1--р -- в соседнюю точку i-1. Если обозначить о(n) положение частицы после п шагов, то последовательность о(0) >о(1)>о(2)... будет цепью Маркова с переходными вероятностями вида

Рассмотрим случайное блуждание другого типа. Частица блуждает лишь по целым неотрицательным точкам, причем из точки i она с вероятностью р_i переходит на следующем шаге в соседнюю точку i+1, а с вероятностью q_i=1 - p_i возвращается в нулевое положение. Соответствующие переходные вероятности суть



2. Возвратные и невозвратные состояния

Рассмотрим цепь Маркова с состояниями е₁, е₂, … и переходными вероятностями р_ij, i, j=1, 2, … Пусть в начальный момент система находится в состоянии е_i. Временно положим u_n=p_ij(n) и обозначим х_n вероятность того, что через п шагов система впервые вернется в исходное состояние е_i. Имеет место следующее равенство:

и_п = u₀ х_n + u₁х_n-1 + … + u_n-1х₁ + u_nх_0, n=1, 2, …,

где дополнительно введены u₀= 1 и х₀ = 0.

Оно является следствием общей формулы полной вероятности. Именно, если ввести события В_k--"система через k шагов впервые возвращается в исходное состояние е_i", k = 1, …, п, и событие В_п+1--"система ни разу не побывает в состоянии е_i в течение первых п шагов", то В₁, ..., B_n+1 будет полной системой событий, и вероятность события А -- "система через п шагов будет находиться в исходном состоянии е_i" -- по формуле полной вероятности есть

,

где

P(B_k)=х_k; P(A|B_k)=u_n-k, k=1, …, n; P(A|B_n+1)=0.

Если обратиться к производящим функциям

, , |z|?1,

то отношение (8.8), справедливое при всех п= 1, 2,... , можно записать в виде

, u₀=1,

,

Значение

есть вероятность того, что система рано или поздно попадет в исходное состояние е_i, иначе х есть вероятность возвращения в е_i. Состояние е_i называется возвратным, если вероятность возвращения в него равна 1, и невозвратным, если вероятность эта меньше 1.

3. Теорема возвратного состояния

Теорема. Состояние е_i является возвратным тогда и только тогда, когда

.

Доказательство. Возвратность состояния е_i означает, что

,

Это предельное соотношение равносильно тому, что

.

Но, как легко видеть

Таким образом, возвратность состояния е_i равносильна тому, что ряд расходится. Для завершения доказательства остается лишь напомнить, что и_п = р_ii(п).

Теорема. Если исходное состояние е_i является возвратным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в е_i. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии е_i, другими словами, после некоторого конечного числа шагов она никогда больше не возвращается в е_i.

Доказательство. Обозначим н₁ -- число шагов до первого возвращения в состояние е_i, н₂ -- число шагов до второго возвращения и т. д. Если за бесконечное числа шагов происходит меньше k возвращений, то полагаем н_k=?. Событие {н_k < ?} означает, что произошло по меньшей мере k возвращений. Вероятность возвращения есть

.

При условии осуществления события {н₁ < ?} система через некоторое конечное число шагов н₁ возвращается в исходное состояние е_i, после чего ее дальнейшее поведение подчиняется тем же закономерностям, как если бы она только начинала свое движение. Таким образом, вероятность события {н₂< ?} при условии, что {н₁ < ?}, будет равна х:

.

Очевидно, если н₁=?, то также и н₂=?. Поэтому

.

Совершенно аналогично при любом k

, .

Невозвратность состояния е_i означает, что х<1. В этом случае

.

и, согласно первой лемме Бореля -- Кантелли, с вероятностью 1 может произойти лишь конечное число событий вида {н_k < ?}, т. е. с вероятностью 1 за бесконечное число шагов система лишь конечное число раз побывает в состоянии е_i.

Возвратность состояния е_i означает, что х=1. В этом случае при любом k

.

Обозначим х число возвращений за бесконечное число шагов. Очевидно, событие {х ? k} тождественно с событием {н_k < ?}, так что, если P{н_k < ?} =1 при всех k, то с вероятностью 1 величина x превосходит любое наперед заданное число k. Это значит, что

.

Теорема доказана.

4. Достижимые возвратные состояния

Говорят, что состояние е_j достижимо из е_i, если за некоторое число шагов система с положительной вероятностью переходит из е_i в е_j т. е. p_ij(M)>0 при некотором М.

Пусть е_i -- возвратное состояние е_j достижимо из е_i. Тогда е_i в свою очередь достижимо из е_j, так как в противном случае, выходя из е_i система за М шагов с положительной вероятностью р_ij (М)=б>0 попадает в состояние е_j, после чего уже не может вернуться в е_i; таким образом, вероятность возвращения в е_i будет не больше, чем 1--б, а это противоречит возвратности е_i. Итак, если е_j достижимо из возвратного состояния е_i, то в свою очередь е_i достижимо из е_j, т. е. p_ij(N)=в>0 при некотором N. Как следует из формулы (8.7), при любом п

,

откуда

,

.

Эти неравенства показывают, что ряды

,

сходятся или расходятся одновременно. Согласно условию (8.11), для возвратного состояния еi ряд расходится. Поэтому также и

Следовательно, состояние е_j является возвратным. Мы пришли к следующему результату.

Теорема. Если состояние е_j достижимо из возвратного состояния е_i, то е_j также является возвратным, причем е_i в свою очередь достижимо из е_j.

Следствие. Если цепь Маркова имеет лишь конечное число состояний, причем каждое из них достижимо из любого другого состояния, то все они являются возвратными.

Действительно, если имеется лишь конечное число состояний, то за бесконечное число шагов хотя бы в одном из них система обязательно побывает бесконечное число раз. Следовательно, хотя бы одно состояние является возвратным, а поскольку по условию из него можно с положительной вероятностью перейди в любое другое состояние, все они будут возвратными.

5. Примеры решения задач

Задача о стопке книг. Очевидно, если каждая книга выбирается с положительной вероятностью, т. е. p_i>0 при всех i=1,..., т, то любое состояние достижимо из каждого другого состояния. Всего имеется т! различных состояний (i₁, …, i_m) и все они будут возвратными. Если p_i = 0 при некотором i то все состояния вида(i₁, …, i_m), где i₁=i (книга с номером i лежит на самом верху), являются невозвратными, так как после первого же шага выбирается некоторая книга с номером j, отличным от i, и книга с номером i, никогда не вынимаемая из стопки, опускается ниже.

Задача о наилучшем выборе. Очевидно, через некоторое число шагов, не больше т (т -- число всех имеющихся предметов), система попадает в состояние е_m+1, в котором остается навсегда. Таким образом, все состояния, кроме е_m+1, являются невозвратными.

Случайные блуждания. Рассмотрим случайное блуждание, при котором частица из каждой целочисленной точки i на следующем шаге с вероятностью р переходит в соседнюю точку j=i - 1, а с вероятностью q -- в точку j=i - 1. Ясно, что каждое состояние достижимо из любого другого состояния и (см. формулу (6.0))

Используя формулу Стирлинга, при п>? получаем

где



причем знак равенства имеет место лишь при р = q=. Таким образом, при п>?

,

откуда следует, что ряды

и

сходятся или расходятся одновременно. При р ? q, когда 4pq<1, ряд сходится, и следовательно, каждое состояние i является невозвратным. Интуитивно ясно, что, например, при р>q блуждающая частица постепенно будет уходить все дальше и дальше в положительном направлении, рано или поздно навсегда покидая любое фиксированное состояние i. При неограниченно продолжающемся симметричном случайном блуждании, когда р = q=, частица бесконечное число раз возвращается в каждое из состояний.

Рассмотрим теперь случайное блуждание, при котором частица из неотрицательной целой точки i на следующем шаге с вероятностью р_i смещается в соседнюю точку j = i + 1, а с вероятностью q_i = 1--р_i переходит в нулевую точку j = 0. Очевидно, если все вероятности р_i таковы, что 0<p_i<1, то все состояния являются достижимыми одно из другого. Все они будут возвратными или невозвратными.

Предположим, что система находится в состоянии i=0. Вероятность того, что за последующие п шагов она ни разу не вернется в исходное положение i = 0, равна произведению p₀p₁ …p_n-1 -- вероятности того, что система последовательно пробегает цепочку состояний 0>1>...>п. Легко видеть, что вероятность за бесконечное число шагов ни разу не вернуться в исходное состояние i = 0 равна бесконечному произведению

.

Если это бесконечное произведение сходится к нулю: lim p₀р₁ ...р_п = 0, то состояние i = 0 (а вместе с ним и все остальные) является возвратным. В противном случае вероятность возвращения есть

и состояние i=0 (а вместе с ними все остальные) является невозвратным.

К этому результату можно прийти и другим путем, непосредственно рассматривая вероятности х_k впервые вернуться в исходное состояние 0 ровно через k шагов. Очевидно, частица впервые возвращается в состояние 0 на k-м шаге, если она на первых k -- 1 шагах последовательно переходит из состояния i--1 в i (с вероятностями р_i-1, i=1, ..., k -- 1), и потому

, ; k= 2, 3, ...

Вероятность возвращения в исходное состояние 0 по определению равна суммеесть

.

Рассмотрим цепь Маркова с конечным числом состояний е₁, е_2, …, е_m, каждое из которых достижимо из любого другого состояния. Более того, предположим, что существует такое N. что за N шагов система с положительной вероятностью может перейти из каждого состояния е_i в любое

Теорема. Вероятности p_j (п), с которыми через п шагов система будет находиться в соответствующих состояниях е_j, j = 1, …, т, при п>? имеют предельные значения

.

Указанные финальные вероятности j= 1, …, т, не зависят от начального распределения и, более того,

,

где С и D -- некоторые положительные постоянные.

Доказательство. Положим

, .

Имеем



Таким образом, получаем следующую цепочку неравенств:

Для любых состояний е_б и е_в

где означает суммирование по всем тем k, при которых разность р_бk(N)--р_вk(N) является положительной, а --суммирование по всем тем k, при которых разность р_бk(N)--р_вk(N) является отрицательной. Очевидно, в силу условия (8.12)

Используя полученные соотношения, оценим разность . Имеем

Отсюда, вытекает, что

, k=1, 2, ...

Последовательность r_j(n), n=1, 2, ..., монотонно возрастает, а последовательность r_j(n), n =1, 2, ..., монотонно убывает, причем . Полученная выше оценка разности показывает, что эти последовательности имеют один и тот же предел :

Очевидно,

При любом начальном распределении , i=1,..., m, имеем

Полученные оценки, конечно, можно переписать в виде(8.14) соответствующих постоянных С и D, полагая

,

Теорема доказана.

Финальные вероятности , j = 1, ..., т, являются решением следующей системы линейных уравнений:

j =1, … ,т. (8.15)

Эти уравнения получаются, если в формуле (8.4), согласно которой

перейти к пределу при n>?.

Рассмотрим произвольную цепь Маркова с состояниями е₁, е_2, … и числа , i=1, 2..., такие, что

,

j=1, 2, …

Взяв , i=1, 2, ..., в качестве начального распределения вероятностей, будем иметь следующие вероятности p_j(п) для нахождения системы в соответствующих состояниях е_j через п шагов:



Видно, что вероятности р_j (п) остаются неизменными:

, j = 1, 2, .... (8.18)

каково бы ни было i=1, 2, ...

Цепь Маркова называется стационарной, если вероятности , j = 1, 2, .... остаются неизменными при всех n = 0, 1, ...; стационарным называется и соответствующее распределение вероятностей , j = 1, 2, .... Согласно формуле (8.4) распределение вероятностей , j=1, 2, ..., является стационарным тогда и только тогда, когда оно удовлетворяет системе уравнений (8.17).

Если при любом начальном, распределении существуют одни и те же финальные вероятности , то стационарное распределение единственно: , j=1, 2, … Полученные выше результаты могут быть соединены в следующую теорему.

Теорема. При условии (8.12) финальные вероятности j=1, ..., m , являются единственным решением системы линейных уравнений (8.15), удовлетворяющим дополнительному требованию вида , и образуют стационарное распределение вероятностей.

Остановимся на рассмотренных ранее примерах.

Задача о стопке книг. Как показывают проведенные ранее расчеты, для т = 2 стационарное распределение вероятностей возникает уже на первом шаге:

,

при всех n=1, 2, ... и любом начальном распределении вероятностей.

Рассмотрим случай произвольного т. Обозначим , вероятность перехода из состояния в состояние . Как было показано,

где перестановка получается из выбором некоторого и перестановкой его на первое место.

Финальные вероятности являются решением следующей системы линейных уравнений:

Через достаточно большое число шагов практически устанавливается стационарное распределение вероятностей, т. е. стопка книг будет с неизменными вероятностями занимать соответствующие положения .Естественно спросить, с какой вероятностью каждая из имеющихся книг оказывается лежащей сверху?

Вероятность того, что сверху лежит книга с номером i, есть, очевидно,

,

где берется сумма по всем состояниям, в которых на первом месте стоит i.

Из уравнений для финальных вероятностей получаем, что

, i=1, …, m.

т. е. финальная вероятность находиться сверху книге с номером i равна той вероятности p_i с которой эта книга выбирается. Таким образом, чем чаще берется та или иная книга, тем с большей вероятностью она будет находиться сверху.

Заключение

Тема курсовой работы " Цепи Маркова в теории вероятности и их приложения". В курсовой работе были рассмотрены вопросы:

1.Основные понятия теории марковских цепей.

2. Возвратные и невозвратные состояния.

3. Теорема о возвратном состоянии.

4. Достижимые возвратные состояния.

5. Примеры решения задач.

Марковские случайные процессы названы по имени выдающегося русского математика А.А.Маркова (1856-1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей". В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т.д. В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях.

Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений

Список использованной литературы

1. Кельберт М. Я., Сухов Ю. М. Вероятность и статистика в примерах и задачах. Т. ІІ: Марковские цепи как отправная точка теории случайных процессов и их приложения. М.: МЦНМО, 2009. -- 295 с.: ил.

2. Марков А. А., Распространение закона больших чисел на величины, зависящие друг от друга. -- Известия физико-математического общества при Казанском университете. -- 2-я серия. -- Том 15. (1906) -- С. 135--156.

3. Kemeny J. G., Snell J. L., Finite Markov chains. -- The University Series in Undergraduate Mathematics. -- Princeton: Van Nostrand, 1960 (перевод: Кемени Дж. Дж., Снелл Дж. Л. Конечные цепи Маркова. -- М.: Наука. 1970. -- 272 с.)

4. Чжун Кай-лай, Однородные цепи Маркова. Перев. с англ. -- М.: Мир, 1964. -- 425 с.

5. Нуммелин Э., Общие неприводимые цепи Маркова и неотрицательные операторы. -- М.: Мир, 1989. -- 207 с.

6. Morimoto T., Markov processes and the H-theorem. -- J. Phys. Soc. Jap. 12 (1963), 328--331.

7. Яглом А. М., Яглом И. М., Вероятность и информация. -- М., Наука, 1973. -- 512 с.

8. Рудой Ю. Г., Обобщенная информационная энтропия и неканоническое распределение в равновесной статистической механике, ТМФ, 135:1 (2003), 3-54.

9. Романовский И.В. Дискретный анализ: Учебное пособие для студентов, 3-е изд. -- СПб: Невский Диалект; БХВ Петербург, 2003.

10. Таха, Хэмди А. Введение в исследование операций, 6-е изд. -- М.: Издательский дом "Вильямс", 2001.

11. Вернер М. Основы кодирования. Учебник для ВУЗов. -- М.: Техносфера, 2004.

Размещено на Allbest.ru