Модель авторегрессии и скользящего среднего (ARMA)

Размещено на http://allbest.ru

59

Модель авторегрессии и скользящего среднего (ARMA)

1.Модель авторегрессии и скользящего среднего (ARMA)

Во многих случаях в прогнозировании в бизнесе и экономике используются эконометрические модели, построенные на основе временных рядов. Поскольку в данных, собранных на протяжении некоторого промежутка времени, обычно проявляется влияние тренда, сезонных изменений и другие подобные эффекты, наблюдения для разных периодов времени оказываются связанными между собой или, говоря иначе, автокоррелируют. Таким образом, для данных временных рядов выборка, составленная из серии имеющихся наблюдений, не может рассматриваться как обычная случайная выборка. Поэтому если стандартные методы регрессии применить к наблюдениям, следующим друг за другом на протяжении некоторого времени, при интерпретации результатов могут возникнуть определенные проблемы. Построение регрессионных моделей для данных временных рядов должно проводиться с особой тщательностью.

2. Модель авторегрессии (AR)

Общий вид модели авторегрессии р-ого порядка -- AR(р) может быть выражен следующим уравнением:

, (1)

где в₁, в₂ ,…,в_p - некоторые константы; е_t - случайные ошибки, образующие «белый шум»:

M(е_t) = 0 (2)

. (3)

Она (AR(p)-модель) описывает изучаемый процесс в момент t в зависимости от его значений в предыдущие моменты t-1, t-2,…,t-p.

Построение модели AR(p) вида (1), адекватной реальному временному ряду y_t, предполагает решение двух взаимосвязанных задач: определения рационального порядка модели (величины p) и оценки значений ее коэффициентов.

Рассмотрим сначала общие подходы к оценке параметров модели AR(p).

Без ограничения общности будем предполагать, что математическое ожидание ряда y_t, равно нулю, т.е. M(y_t)=0. В противном случае вместо переменной y_t, в выражении (1) можно рассмотреть центрированную переменную , где , но тогда , что доказывает наше предположение.

Из уравнения (1) следует, что параметры модели в₁, в₂,…, в_p могут быть выражены через коэффициенты автокорреляции с(ф). Для этого умножим уравнение (1) на y_t-ф почленно и найдём математическое ожидание каждого получившегося слагаемого:

(4)

Однако, зная, что , в предположении, что , так как е_t - случайная величина со свойствами «белого шума», не имеющая корреляционной связи с предшествующими моменту t значениями рассматриваемого процесса y_t, разделим левую и правую части выражения на дисперсию процесса . Тогда всё выражение можно переписать представить следующим образом:

. (5)

Подставив в получившееся уравнение вместо истинных значений коэффициентов автокорреляции с_ф их выборочные оценки r_ф, получим следующую систему линейных уравнений:

(6)

в которой известными являются оценки коэффициентов автокорреляции r₁, r₂,…, r_p , а неизвестными - оценки коэффициентов в₁, в₂,…, в_p модели AR(p): b₁, b₂,…, b_p.

Систему линейных уравнений (6) называют уравнениями Юла-Уокера, а полученные на ее основе значения b₁, b₂,…, b_p - оценками коэффициентов модели авторегрессии AR(p) Юла-Уокера. Эти оценки могут быть получены с использованием определителей, либо на основе векторно-матричной формы записи системы (6).

На основе определителей оценки Юла-Уокера получают в следующем виде:

, (7)

где Д - определитель системы (6).

(8)

Д _ф - определитель, получаемый из определителя Д путем замены его ф-го столбца на столбец, состоящий из коэффициентов автокорреляции, образующих левую часть системы (1.6) - r₁, r₂,…, r_p.

В векторно-матричной форме записи систему (6) можно переписать в следующем виде:

(9)

где r - вектор-столбец известных оценок коэффициентов автокорреляции с первого по p-й включительно, r=(r₁, r₂,…, r_p)'; a - вектор-столбец неизвестных оценок параметров модели, а=(а₁, а₂,..., а_p)'; R - матрица, составленная из оценок коэффициентов автокорреляции, определитель которой выражен формулой (8).

Непосредственно из выражения (9) вытекает, что неизвестные оценки коэффициентов модели авторегрессии определяются как

. (10)

Теоретически оценки Юла-Уокера должны обладать свойствами несмещённости и эффективности. Однако, на практике, в моделях авторегрессии большого порядка, эти свойства могут не подтверждаться. Особенно это относится к свойству несмещённости. Как и в моделях с лаговыми зависимыми переменными, смещённость в оценках коэффициентов моделей авторегрессии может быть обусловлена существующей зависимостью между сдвинутыми рядами рассматриваемой переменной y_t-1, y_t-2 и ошибкой е_t. Этой возможной зависимостью при построении системы уравнений Юла-Уокера обычно пренебрегают, полагая, что ошибки е_t образуют «белым шум».

Неэффективность оценок может быть вызвана плохой обусловленностью матрицы R, что, как правило, является свидетельством зависимости уже между рядами y_t-1, y_t-2,…, y_t-ф.

Вместе с тем при небольших порядках модели (p =1,2,3) оценки Юла-Уокера обычно являются достаточно «хорошими». В крайнем случае, их можно рассматривать как первое приближение к «оптимальным» оценкам, которые могут быть получены путем уточнения оценок Юла-Уокера на основе использования более мощных методов оценивания, например, нелинейных.

Качество оценок Юла-Уокера может быть проверено путем исследования свойств ряда ошибки е_t. Если ее свойства близки к характеристикам «белого шума», то оценки Юла-Уокера можно считать «достаточно хорошими». Об этом, в частности, может свидетельствовать критерий Дарбина-Уотсона, значение которого должно лежать примерно в интервале от 1 до 3.

2. Модель авторегрессии первого порядка AR(1)

Модель авторегрессии первого порядка AR(1) записывается в следующем виде:

. (11)

Легко видеть, что система Юла-Уокера в этом случае сводится к одному уравнению, непосредственно определяющему оценку b₁ коэффициента в₁:

b₁ = r_1. (12)

Учитывая, что е_t и y_t независимы

. (13)

Так как процесс y_t - стационарный, то . Таким образом, полагая, что , имеем

(14)

или

, (15)

откуда вытекает, что

. (16)

Из полученного равенства, учитывая, что дисперсия - величина положительная, получаем условие стационарности - |r₁|<1.

Следовательно, при |r₁|>1 ряд оказывается нестационарным.

Найдем автокорреляционную функцию процесса y_t. Умножая (11) на y_t-1 и вновь учитывая независимость е_t и y_t, найдем

(17)

откуда коэффициент корреляции

(18)

т. е. коэффициент авторегрессии r₁ представляет собой коэффициент корреляции между соседними возмущениями y_t и y_t-1, или коэффициент автокорреляции с₁.

3. Модель авторегрессии второго порядка AR(2)

Модель авторегрессии второго порядка AR(2) можно представить в виде следующего уравнения:

(19)

Система уравнений Юла-Уокера в этом случае состоит из двух уравнений:

(20)

Выразив a₁ и а₂ через коэффициенты автокорреляции r₁ и r₂, получим

(21)

Однако, система уравнений (20) может быть решена относительно r₁ и r₂

(22)

Если умножить обе части уравнения (19) на y_t, взять математическое ожидание от каждого слагаемого, с учётом того, что в слагаемом M(y_t , е_t) мы y_t заменяем на саму модель, и, зная, что M(y_t, y_t-ф)=Cov(y_t, y_t-ф)=r_фD(y_t-ф)=r_фу_y², получаем:

. (23)

Из этого выражения легко можно получить соотношение между дисперсиями исходного процесса y_t и ошибкой модели е_t:

. (24)

Из полученного равенства, учитывая, что дисперсия - величина положительная, получаем необходимые и достаточные условие стационарности:

(25)

или это можно переписать как

(26)

Пример 1. Использование авторегрессионной модели порядка p AR (p).

Компания X специализируется на обслуживании портфеля ценных бумаг. Рассмотрим задачу разработки более четкой методики прогнозирования индекса Доу-Джонса (индекса перевозок), с использованием методологии Бокса-Дженкинса. В таблице 1 представлены последние 65 ежедневных средних заключительных значений индекса перевозок для летних месяцев.

Таблица 1 Ежедневные заключительные средние значения индекса перевозок

Период	Индекс	Период	Индекс	Период	Индекс
1	222,34	23	233,05	45	253,41
2	222,24	24	235,00	46	252,04
3	221,17	25	236,17	47	248,78
4	218,88	26	238,31	48	247,76
5	220,05	27	241,14	49	249,27
6	219,61	28	241,48	50	247,95
7	216,40	29	246,74	51	251,41
8	217,33	30	248,73	52	254,67
9	219,69	31	248,83	53	258,62
10	219,32	32	248,78	54	259,25
11	218,25	33	249,61	55	261,49
12	220,30	34	249,90	56	264,95
13	222,54	35	246,45	57	268,21
14	223,56	36	247,57	58	272,16
15	223,07	37	247,76	59	272,79
16	225,36	38	247,81	60	275,03
17	227,60	39	250,68	61	278,49
18	226,82	40	251,80	62	281,75
19	229,69	41	251,07	63	285,70
20	229,30	42	248,05	64	286,33
21	228,96	43	249,76	65	288,57
22	229,99	44	251,66

Начнем анализ с рассмотрения графика исходных данных, представленного на рис. 1. В ряду явно присутствует возрастающий тренд. Следующим шагом в определении пробной модели будет рассмотрение выборочной функции автокорреляции данных, показанной рис. 2. Следует отметить, что первые несколько коэффициентов автокорреляции постоянно имеют большое значение и стремятся к нулю весьма медленно. Следовательно, первоначальные выводы о наличии тренда были верными, и что исходный временной ряд является нестационарным, т.е. его значения нельзя считать изменяющимися относительно некоторого фиксированного уровня.



Рисунок 1 - График значений ежедневного заключительного среднего индекса Доу-Джонса для перевозок

Рисунок 2 - Выборочная автокорреляционная функция для индекса перевозок

Вычислим разности данных, с целью проверить, позволит ли это устранить тренд и получить стационарный ряд. Все изменения разностных данных происходят в окрестности определенного фиксированного уровня. Оказалось, что выборочным средним для разностей является значение 1,035. Выборочные автокорреляции для разностей показаны на рис. 3, а выборочные частные автокорреляции - на рис. 4.

Рисунок 3 - Выборочная автокорреляционная функция для первых разностей индекса перевозок



Рисунок 4 - Выборочная частная автокорреляционная функция для первых разностей индекса перевозок

Получаем весьма противоречивые результаты. Сравнение коэффициентов автокорреляции с их предельной ошибкой показало, что существенной была только автокорреляция на первом временном интервале. Аналогично для коэффициентов частной автокорреляции существенным был только интервал 1. Коэффициенты автокорреляции отсекались после первого интервала, указывая на поведение, характерное для модели МА(1). И в то же время коэффициенты частной автокорреляции также отсекались после этого же интервала, указывая на поведение, характерное уже для модели AR(1).

Обе выборки не проявляют плавного убывания значений коэффициентов. Применим к индексу перевозок обе модели -- ARIMA(1,1,0) и ARIMA(0,1,1). Кроме того, включим в каждую модель постоянное слагаемое, чтобы учесть тот факт, что изменения в ряду разностей проявляются в окрестности уровня, находящегося выше нуля. Если индекс перевозок обозначить, как y_t, то разностный ряд будет Дy_t = y_t - y_t-1 и построенная модель, будет иметь следующий вид:

ARIMA(1,1,0): Дy_t = ц₀ + ц₁ Дy_t-1 + е_t

ARIMA(0,1,1): Дy_t = ? + е_t - щ₁ е_t-1.

Обе модели одинаково хорошо описывают данные. Среднеквадратический остаток (MS) будет таким.

АRМА (1,1,0):s² = 3,536,

ARIMA (0,1,1):s² = 3,538.

Следует также отметить, что константа, оцененная в модели ARIMA(0,1,1), равна ?=1,038, т.е. фактически равна выборочному среднему разностей.

На рис. 6 можно видеть, что для модели ARIMA(1,1,0) нет существенных остаточных коэффициентов автокорреляции. Хотя остаточная автокорреляционная функция для модели ARIMA(0,1,1) здесь не показана, результат для нее такой же.

Q_m - статистика Льюинга-Бокса, рассчитанная для групп интервалов т = 12, 24, 36 и 48, не существенна, на что указывает большая величина р для обеих моделей. Поэтому можно сделать вывод о том, что обе модели адекватны. Кроме того, прогнозы на один период вперед, сделанные с помощью этих двух моделей, почти совпадают.

Рисунок 6 - Остаточные автокорреляции; модель ARIMA(1,1,0), описывающая индекс перевозок

Разрешая возникшую дилемму, отдаем предпочтение модели ARIMA(1,1,0), основываясь на ее незначительном преимуществе в точности. Результаты проверки этой модели для периода 66 будут таковы:

y_t - y_t-1 = ц₀ + ц₁ (y_t-1 - y_t-2) + е_t

или

y_t = y_t-1 + ц₀ + ц₁ (y_t-1 - y_t-2) + е_t

так что при ц₀ = 0,741 и ц₁ = 0,284 уравнение прогноза примет следующий вид:

y₆₆ = y₆₅ + 0741 + 0,284(y₆₅ - y₆₄) = 288, 57 + 0,741 + 0,284(288,57-286,33)=289,947

Рассчитанный интервал предсказания реального значения на период 66, составляет (286,3; 293,6).

4. Модель скользящего среднего (МА)

В моделях скользящего среднего текущее значение стационарного случайного процесса второго порядка y_t, представляется в виде линейной комбинации текущего и прошедших значений ошибки е_t, е_t-1,.., е_t-q, по своим свойствам соответствующей «белому шуму». Такое представление может быть выражено следующим уравнением (модель скользящего среднего порядка q - MA(q)):

(27)

где г₁, г₂,…, г_q - параметры модели.

В соответствии с определением «белого шума» ошибка е_t, характеризуется следующими свойствами:

M(е_t)=0 (28)

. (29)

Вследствие этого и автокорреляционная функция «белого шума» имеет очень простую форму:

. (30)

С учетом свойств ошибки е_t, несложно построить автокорреляционную функцию модели MA(q). Ее коэффициент ковариации q-ого порядка определяется следующим образом:

(31)

При ф=0 выражение (31) представляет собой дисперсию процесса y_t, которая в силу свойств (28) и (29) выражается через коэффициенты модели MA(q): г₁, г₂,…, г_q; и дисперсию ошибки следующим образом:

. (32)

Для произвольного ф из (32) получим, что коэффициент ковариации определяется выражением

(33)

Автокорреляционная функция модели MA(q) получается непосредственно из (7):

(34)

Система из q уравнений (8), может служить основой для получения оценок g₁, g₂,…, g_q неизвестных параметров модели MA(q) - г₁, г₂,…, г_q. Для этого необходимо подставить в каждое ее уравнение вместо значений коэффициентов автокорреляции с_ф рассматриваемого процесса y_t их рассчитанные оценки r_ф.

Однако в отличие от уравнений Юла-Уокера эта система нелинейная и её решение требует использования специальных итеративных процедур расчетов за исключением наиболее простой модели MA(1).

5. Модель скользящего среднего первого порядка (МА)

Она представляется следующим выражением:

y_t= е_t - г₁ е_t-1. (35)

Из (34) следует, что дисперсии процесса и ошибки этой модели связаны следующим соотношением:

. (36)

Её единственный отличный от нуля первый коэффициент автокорреляции выражается через коэффициент модели как

. (37)

Из соотношения (37) несложно получить квадратическое уравнение относительно оценки g₁ неизвестного параметра г₁

, (38)

где r₁ - оценка коэффициента автокорреляции первого порядка, т.е. с₁.

В свою очередь, из (38) следует, что существуют два решения этого уравнения, связанные между собой следующим соотношением:

. (39)

Условию стационарности процесса удовлетворяет только решение g₁, по абсолютной величине меньшее единицы:

(40)

при условии, что

. (41)

Из (41) следует, что модели скользящего среднего первого порядка могут применяться только для описания процессов с автокорреляционной функцией, обрывающейся после первой задержки и коэффициентом автокорреляции, по абсолютной величине не превышающем 0,5.

В заключение приведем основные результаты для модели скользящего среднего второго порядка - MA(2).

6. Модель скользящего среднего второго порядка MA(2)

Модель скользящего среднего второго порядка MA(2) в общем виде записывается следующим образом:

y_t= е_t - г₁ е_t-1- г₂ е_t-2. (42)

Из (39) непосредственно вытекает, что дисперсии процесса и ошибки связаны следующим соотношением:

. (43)

Её автокорреляционная функция определяют значения коэффициентов автокорреляции, связанные с параметрами модели следующими соотношениями

(44)

Из этих соотношений могут быть найдены оценки коэффициентов модели g₁ и g₂ при известных оценках коэффициентов автокорреляции r₁ и r₂.

7. Модель авторегрессии-скользящего среднего (ARMA)

Общий вид модели авторегрессии-скользящего среднего - ARMA(p,q) определяется следующим уравнением:

, (45)

где в₁ , в₂ ,…, в_p ,г₁, г₂,…, г_q - коэффициенты модели; р - порядок авторегрессии; q - порядок скользящего среднего.

Заметим, что модель (45) может быть преобразована либо в модель авторегрессии AR(p)

, (46)

где ошибка о_t, удовлетворяет свойствам процесса скользящего среднего порядка q, либо в модель скользящего среднего - MA(q): путем выражения переменных y_t-ф, через линейные комбинации ошибок

(47)

и дальнейшего приведения подобных членов после раскрытия скобок.

Для этих модификаций модели (45) рассмотрим свойства ее автокорреляционной функции и возможные подходы к оценке ее параметров. Заметим, что при сдвигах, превышающих по своей величине порядок скользящего среднего q, т.е. при ф>q, коэффициенты автоковариации модели ARMA(p,q), определяемой выражением (45), не зависят от ошибок модели. В самом деле,

(48)

Если ф>q, то в силу свойств «белого шума» все математические ожидания произведений ошибок е_t и е_t-ф-j, j< q оказываются равными нулю, т.е.

M(е_t-j , е_t-ф-j)=0, ф=q+1,q+2,…; j=1,…, q.

В этом случае, т.е. при ф>q, значения коэффициентов автоковариации модели ARMA(p,q) удовлетворяют свойствам этих коэффициентов, характерным для модели авторегрессии р-ого порядка AR(p):

(49)

Из выражения (49) непосредственно вытекает, что неизвестные значения коэффициентов в₁ , в₂,…, в_p в этом случае могут быть оценены из модификации системы уравнений Юла-Уокера, имеющей в данном случае следующий вид:

(50)

С использованием найденных из системы (50) значений оценок коэффициентов в₁, в₂,…, в_p на основании выражения (46) сформируем процесс скользящего среднего q-ого порядка - MA(q):

, (51)

где u_t - фактическая ошибка, являющаяся оценкой ошибки о_t. Значения ошибки u_t, получают путем подстановки в выражение (46) вместо неизвестных параметров в₁ , в₂ ,…, в_p их оценок b₁, b₂,…, b_p определенных из системы (50). e_t - фактическая ошибка, значение которой используется вместо истинной ошибки е_t, при оценке коэффициентов скользящего среднего. Для определения оценок g₁,g₂,…,g_q коэффициентов скользящего среднего применяются нелинейные методы оценивания, предполагающие решение системы нелинейных уравнений типа (48).

Рассмотрим наиболее «популярную» модификацию моделей авторегрессии-скользящего среднего ARMA(1,1). Эта широко используемая в практике эконометрических исследований модель может быть выражена следующей формулой:

y_t=в₁y_t-1+ е_t-г₁ е_t-1 . (52)

Для определения дисперсии этой модели умножим под знаком математического ожидания левую и правую части выражения (52) на y_t. В результате получим

(53)

При выводе выражения (53) учтено, что M(y_t, е_t)=M(в₁y_t-1+ е_t -г₁ е_t-1)=у₀² в силу свойств процесса «белого шума» е_t.

Далее, умножив под знаком математического ожидания левую и правую части выражения (52) на е_t-1 , получим:

, (54)

поскольку .

Аналогично, получим первый коэффициент автоковариации процесса y_t , умножив под знаком математического ожидания левую и правую части уравнения (52) на y_t-1. С учетом того, что y_t-1=в₁y_t-2+ е_t-1 - г₁ е_t-2 и в силу свойств «белого шума» е_t получим, что

. (55)

Из выражений (53)-(55) непосредственно вытекает, что дисперсия процесса y_t, описываемого моделью ARMA(1,1), его первый коэффициент автоковариаций и дисперсия ошибки е_t, оказываются связанными следующими соотношениями:

(56)

а коэффициенты автоковариаций более высоких порядков (как следует из выражений (45) и (46)) - соотношениями вида:

. (57)

Из соотношения (54) несложно получить выражение, определяющее значение первого коэффициента автокорреляции процесса ARMA(1,1):

. (58)

Значения коэффициентов автокорреляции более высоких порядков связаны соотношением аналогичным (13) с_ф= в₁ с_ф-1, ф?2.

Таким образом, значения коэффициентов автокорреляции модели ARMA(1,1) подчиняется экспоненциальному закону

, (59)

где .

8. Модель авторегрессии и интегрированного скользящего среднего

В реальности исследуемые процессы свойством стационарности могут и не обладать, тогда с помощью достаточно несложных преобразований можно привести наблюдаемый ряд к стационарному процессу.

Одним из таких способов преобразования является взятие конечных разностей

, (60)

где - первая разность. Это преобразование целесообразно использовать, когда закон изменения у, близок к линейному.

, (61)

где - вторая разность. Преобразование применяется, когда закон изменения y_t, близок к квадратической зависимости.

К приведённому ряду можно применить модель авторегрессии и скользящего среднего, но на этом процесс построения модели нельзя считать завершенным. Для его окончания необходимо продолжить процесс построения модели изначального процесса, выполнив обратные преобразования, перейдя от преобразованных значений x_t, к исходным значениям y_t.

Пусть процесс x_t, соответствует модели авторегрессии-скользящего среднего. Запишем преобразование с помощью оператора сдвига В для ряда x_t.

Получим соответственно

, (62)

, (63)

, (64)

. (65)

где многочлены степеней p и q соответственно от оператора сдвига, используемые для получения эквивалентной записи модели ARMA(p,q).

Подставляя (62) в (63), получим уравнение для модели динамики исходного временного ряда y_t, t=1,2,…,T в следующем виде:

. (66)

Отметим, что преобразование (62) не затрагивает ошибку е_t. Рассмотрим описанную процедуру на примере модели ARMA(1,1).

Пусть

, (67)

что эквивалентно записи

. (68)

Объединяя эти два уравнения в одно, получим модель относительно исходного временного ряда y_t в следующем виде:

(69)

Заметим, что преобразование (61) с помощью оператора В записывается в следующем виде:

. (70)

В этом случае для произвольной модели ARMA(p, q) получим

. (71)

В частности, для модели ARMA(1,1), построенной для ряда z_t, выражение (71) для исходного процесса y_t приобретает следующий вид:

. (72)

В случае приведения исходного ряда y_t, t=1,2,…,T к стационарному с использованием d-ой разности его результирующая модель определяется выражением:

. 73)

В практических исследованиях при проведении обратных преобразователей вместо параметров в и г, в соответствующие выражения для моделей исходного временного ряда y_t, необходимо подставить значения их оценок a и b, полученные для моделей преобразованного стационарного процесса y_t.

Таким образом, из выражений (67) и (70) вытекает, что использование для преобразования исходного временного ряда y_t в стационарный процесс x_t, t=1,2,…,T, оператора разности не ведет к изменению вида модели, описывающей процесс y_t. Она, как и модель ARMA(p,q), описывающая стационарный процесс x_t, является линейной по форме.

Обратим также внимание на необходимость анализа свойств и оценки основных характеристик ошибки исходной, т.е. восстановленной модели. Это должно быть сделано, в том числе и для обоснования оценки качества самой модели. Для некоторых преобразований их значения дисперсии фактической ошибки можно определить, исходя из соответствующих значений дисперсии среднеквадратической ошибки преобразованной модели, используя свойства дисперсий линейных, логарифмических и других зависимостей, соответствующих сделанному преобразованию. В этой связи заметим, что ряд значений фактической ошибки модели определяется в этом случае после формирования основного уравнения модели и расчета на его основе значений. Далее свойства фактической ошибки могут быть определены с использованием специальных тестов.

9. Идентификация модели ARMA

Из рассмотренного материала вытекает, что произвольный реальный стационарный процесс второго порядка может быть выражен разными вариантами моделей временных рядов. Чтобы показать это, запишем, например, модель AR(1) в более компактном виде с использованием оператора сдвига назад В. Его воздействие на любую переменную, зависящую от времени, определяется следующими соотношениями:

. (74)

С учетом (1) модель AR(1) можно представить в следующей форме записи:

. (75)

Поскольку |в₁|<1, то является суммой бесконечно убывающей геометрической прогрессии

(76)

С учетом (2) модель (3) запишем в следующем виде:

, (77)

где в данном случае .

Из выражения (74) следует, что модель авторегрессии первого порядка оказывается эквивалентной модели скользящего среднего бесконечного порядка. Аналогичным образом можно показать и обратное соотношение между порядками этих моделей. Так, для модели MA(1) имеем

. (78)

Поскольку |г₁|<1(из условия стационарности процесса y_t), то из выражения (75) получим

(79)

В данном случае - коэффициенты модели авторегрессии бесконечного порядка.

В общем случае модель авторегрессии p-ого порядка оказывается эквивалентной модели скользящего среднего q-огo порядка

, (80)

где многочлен q-ой степени - результат деления единицы на многочлен q-ой степени.

Из рассмотренных соотношений вытекает важный вывод: на практике можно подобрать модель с минимальным числом параметров, которая описывает временной ряд y_t, являющийся стационарным процессом, не «хуже», чем другие варианты моделей с большим числом параметров. Обычно понятие «не хуже» связывается с минимальной дисперсией модели и отсутствием автокорреляции в ряду ее ошибки.

Практическая ценность этого вывода состоит в следующем. При построении моделей временных рядов нужно стремиться к минимизации числа их параметров, а, следовательно, и порядка самой модели. Дело в том, что параметры таких моделей оцениваются на основе коэффициентов автокорреляции исходного процесса y_t. С увеличением порядка модели для определения значений ее параметров необходимо использовать в качестве исходных данных и большее число выборочных коэффициентов автокорреляции (с большими номерами). Точность их оценки с ростом сдвига падает, да и их абсолютные значения либо стремятся к нулю, либо попадают в область повышенной неопределенности. Из-за этого снижается надежность оценок коэффициентов моделей временных рядов высоких порядков, как и качество самих моделей. Все это и заставляет искать для описания реальных процессов модели временных рядов с минимальным числом параметров.

Процесс выбора модели, в наилучшей степени соответствующей рассматриваемому реальному процессу, называется идентификацией модели. В нашем случае идентификация состоит в определении общего вида модели из класса моделей ARMA(p,q), характеризующейся наименьшим числом параметров по сравнению с другими возможными вариантами, без потерь в точности описания исходного процесса.

Вообще говоря, идентификация - это достаточно грубая процедура (последовательность процедур), целью которой является определение некоторой области приемлемых значений характеристик порядка p и q модели ARMA(p,q), которая в ходе дальнейших исследований должна быть сведена к конкретным их величинам.

Обычно в этой части идентификация сопровождается процедурами оценки параметров альтернативных вариантов моделей и выбора наилучшего из них на основе использования критериев качества.

Таким образом, в общем случае формирование модели, в наилучшей степени подходящей для описания реального процесса, как бы состоит трех пересекающихся и дополняющих друг друга этапов - идентификации, оценивания и диагностики (согласования модели с исходными данными с целью выявления ее недостатков и последующего улучшения)

Общая идея идентификации модели ARMA(p,q) состоит в том, что свойства реального процесса и свойства наилучшей модели должны быть близки друг к другу.

Эта близость, как это было показано ранее, практически целиком определяется на основе сопоставления поведения их автокорреляционных функций: теоретической - для модели и эмпирической - для реального процесса, выборочные коэффициенты автокорреляции которого оценены на основе наблюдаемых данных. Поскольку выборочные коэффициенты автокорреляции могут характеризоваться достаточно большими ошибками и, кроме того, сильными корреляционными взаимосвязями между собой, то на практике точного сходства между «теоретической» и «эмпирической» автокорреляционными функциями ожидать не следует, особенно при больших сдвигах. Например, вследствие статистической взаимосвязи между коэффициентами автокорреляции процесса относительно значимые уровни выборочных коэффициентов автокорреляции (всплески) могут иметь место и в областях сдвигов, где их теоретические аналоги близки к нулю. Поэтому при сопоставлении теоретических и выборочных автокорреляционных функций обычно учитывают лишь их главные свойства. Именно их совпадение позволяет значительно сузить круг приемлемых для описания реального процесса вариантов модели. Окончательный выбор в пользу одной из них обычно делается по результатам этапов оценивания и диагностики моделей.

Отметим наиболее характерные свойства автокорреляционных функций типовых моделей ARMA(p,q).

Автокорреляционная функция модели авторегрессии первого порядка - AR(1) спадает строго по экспоненте (точнее, этот вывод справедлив для абсолютных значений коэффициентов автокорреляции). Плавный характер уменьшения коэффициентов автокорреляции характерен и для моделей авторегрессии более высоких порядков. В одном случае спад происходит либо чуть быстрее, чем строго по экспоненте, либо чуть медленнее, а в другом - по закономерности, соответствующей затухающей синусоиде.

Чрезвычайно важная информация о порядке модели авторегрессии содержится в так называемой частной автокорреляционной функции.

Для процесса, описываемого моделью AP(p), ее значениями являются последние значения коэффициентов моделей авторегрессии порядков, не превосходящих p, т.е. моделей с порядками ф=1,2,…, p. Обозначим значения частной автокорреляционной функции модели AR(p) через р_p1, р_p2,…, р_pp. Тогда для модели AP(p) значение р_p1 равно с₁ и на практике определяется как оценка коэффициента в₁ модели AR(1) по формуле:

(81)

где значение (см. выражение (21)) - как коэффициент модели AR(2). На практике значение р_p2, таким образом, определяется по формуле:

. (82)

и оценка любого коэффициента определяется как оценка коэффициента в_ф, модели AR(ф) по формуле:

(83)

Можно показать, что для модели AP(p) значения частной автокорреляционной функции являются значимыми (отличными от нуля) до задержки к включительно, т.е. р_p1>0, i?p и равными нулю при сдвигах, превышающих порядок модели, т.е. р_p1=0, i>p. На практике этот результат следует понимать в «статистическом смысле», поскольку оценки значений коэффициентов частной автокорреляционной функции определяются на основании выборочных значений коэффициентов автокорреляции и поэтому сами являются случайными величинами, характеризующимися определенной ошибкой. Для оценок коэффициентов частной автокорреляционной функции, порядок которых превышает порядок модели, дисперсия ошибки приблизительно может быть оценена по следующей формуле:

, (84)

где i>p; T - объем динамического ряда показателя y_t.

Таким образом, поведение частной автокорреляционной функции моделей авторегрессии аналогично поведению автокорреляционных функций моделей скользящего среднего. Для модели AR(p) ее частная автокорреляционная функция «обрывается» после задержки p, как это имело бы место у автокорреляционной функции модели MA(q). Это свойство частной автокорреляционной функции удобно использовать при идентификации моделей авторегрессии. Если значения такой функции, рассчитанной для реального процесса, обрываются (становятся нулевыми), начиная со сдвига p+1, это указывает на то, что модель авторегрессии p-ого порядка соответствует свойствам рассматриваемого процесса.

Как вытекает из выражения (34) теоретическая автокорреляционная функция модели MA(q) обрывается после задержки q. Поэтому, если автокорреляционная функция реального процесса обладает аналогичными свойствами, это указывает на то, что для его описания целесообразно использовать модель скользящего среднего соответствующего порядка. Иными словами, если у процесса y_t, оказался значимым только первый коэффициент автокорреляции r₁ и при этом, в соответствии с выражением (41) r₁<0,5, то данный факт указывает на целесообразность выбора для его описания модели MA(1). Если «обрыв» имеет место после второго сдвига - то модель MA(2) и т.д.

Точно так же как и для моделей авторегрессии частные автокорреляционные функции могут быть построены и для моделей скользящего среднего любых порядков. Для оценки их коэффициентов используются выражения (81)-(83). При этом с учетом того, что для модели MA(1) первый коэффициент автокорреляции с₁ и параметр модели г₁ связаны соотношением , то для ф=2, 3,... с учетом того, что с₂= с₃=…=0, можно показать, что значения частных коэффициентов автокорреляции этой модели определяются по следующей формуле:

. (85)

Из (11) непосредственно вытекает, что

. (86)

откуда следует, что частная автокорреляционная функция модели MA(1) (т.е. абсолютные значения ее частных коэффициентов автокорреляции) затухает по закону, близкому к экспоненциальному. Иными словами, её поведение похоже на автокорреляционную функцию модели AR(1).

Можно показать, что аналогичное соответствие свойств характер для частной автокорреляционной функции модели MA(2) и автокорреляционной функции модели AR(2). Они представляют собой либо плавно спадающие с ростом сдвига зависимости экспоненциального типа, либо затухающие синусоиды. Такое соответствие автокорреляционных и частных автокорреляционных функций характерно и для моделей авторегрессии, и скользящего среднего более высоких порядков.

Для моделей ARMA(p,q) поведение автокорреляционной функции после задержки q похоже на поведение автокорреляционной функции модели AR(p). Однако на практике обычно используется модель ARMA(1,1), т.е. только первого порядка. Как было показано выше (см. выражения (75)--(80)), это связано с тем, что составляющая модели, относящаяся к авторегрессии первого порядка поглощает все процессы скользящего среднего более высоких порядков, и, наоборот, составляющая скользящего среднего первого порядка поглощает процессы авторегрессии высоких порядков. Вследствие этого и поведение автокорреляционной и частной автокорреляционной функций модели ARMA(1,1) характеризуется как бы комбинацией свойств этих функций, имевших место для моделей AR(1) и MA(1).

Иными словами, составляющая AR(1) способствует тому, что автокорреляционная функция модели ARMA(1,1) (абсолютные значения коэффициентов автокорреляции) затухает экспоненциально, но после первой задержки (первого сдвига). Это непосредственно вытекает из выражений (36) и (38). В свою очередь, составляющая MA(1) определяет закономерности поведения частной автокорреляционной функции модели ARMA(1,1), которая также затухает примерно экспоненциально в соответствии с выражением (85) и (86).

Рассмотренные подходы к идентификации основаны на сопоставлении свойств выборочных автокорреляционных и частных автокорреляционных функций реального стационарного процесса и предполагаемой для его описания модели. На практике идеальное совпадение свойств этих функций встречается не часто, поскольку и реальные процессы обычно не слишком точно соответствуют своим теоретическим аналогам-моделям, и оценки их коэффициентов автокорреляции характеризуются наличием ошибок. Вследствие этого процедура идентификации служит для обоснования выбора некоторой пробной модели из общей группы моделей типа ARMA(p,q), которая является. Как бы начальной точкой на пути построения «оптимального» теоретического аналога (модели) рассматриваемого процесса на основе пользования более точных процедур диагностики и методов оценки параметров модели.

Обычно с помощью процедур диагностики исследуют свойства фактической ошибки модели e_t, которую часто называют остаточной ошибкой. При этом целесообразно руководствоваться следующей логикой анализа временного ряда e_t, значения которого определяется как разность между фактическими и расчетными значениями процесса в момент t, т.е. , где - значения процесса, рассчитываемые по соответствующей модели.

Для «удачной» модели можно ожидать, что ряд ошибки e_t, t=1,2,…,T по своим свойствам будет достаточно близок к «белому шуму» -- случайному процессу, характеризующемуся полным отсутствием каких-либо закономерностей в своих значениях, за исключением известного закона их распределения, обычно предполагаемого нормальным. Для нашего случая это означает, что математическое ожидание фактической ошибки должно быть равно нулю (M(e_t)=0), а дисперсия постоянна на любом участке ее измерения () и между рядами e_t, e_t-1, e_t-2,... отсутствует автокорреляционная зависимость, т.е. первый и последующие выборочные коэффициенты автокорреляции ряда e_t, t=1,2,…,T близки к нулю.

Иными словами, фактическая ошибка модели e_t, должна быть «настолько случайна», что ее невозможно было бы уточнить никакой другой моделью.

Кроме того, как это было показано выше, желательно, чтобы дисперсия ошибки была существенно меньше дисперсии процесса . В этом случае модель, описывающая процесс y_t как бы снимает значительную часть неопределенности в его изменчивости, что позволяет с большей обоснованностью предсказывать его значения.

Наличие каких-либо закономерностей в ряду ошибки e_t, указывает, что построенная модель неадекватна рассматриваемому процессу y_t. Причинами неадекватности могут быть ошибки в оценках параметров либо так называемая, неопределенность модели. Примерами такой неопределенности является использование модели AR(1) вместо адекватной процессу модели ARMA(1,1). В этом случае ошибка модели AR(1) характеризуется свойствами модели MA(1). На это укажет отличный от нуля её первый коэффициент автокорреляции.

Отметим, что и неверно определенные значения параметров приводят к появлению «неслучайности» в ряду фактической ошибки.

Вследствие этого на практике однозначно указать какой-либо путь уточнения модели на основе анализа свойств ошибки e_t, отличных от свойств «белого шума», обычно не представляется возможным. В такой ситуации можно сначала рекомендовать уточнить значения параметров модели путем использования более эффективных процедур их оценки, а затем, если это окажется необходимым - доопределить модель.

Для этой цели могут быть использованы и другие более точные методы оценивания (например, нелинейные), в которых найденные оценки используются как начальные приближения к «оптимальным» значениям параметров модели ARMA(p,q).

Из приведенных выше рассуждений вытекает, что диагностика модели сводится к исследованию свойств ее ошибки с целью выявления степени соответствия её свойств свойствам «белого шума». Такие исследования в случае модели стационарных процессов обычно сводятся к проверке значимости коэффициентов автокорреляции фактической ошибки e_t.

Для проверки гипотезы о соответствии свойств ошибки модели свойствам белого шума могут использоваться процедуры проверки гипотез о постоянстве и равенстве нулю ее математического ожидания, постоянстве дисперсии, равенстве нулю ее коэффициентов автокорреляции.

Подход Бокса-Дженкинса к анализу временных рядов является весьма мощным инструментом для построения точных прогнозов с малой дальностью прогнозирования. Модели ARIMA достаточно гибкие и могут описывать широкий спектр характеристик временных рядов, встречающихся на практике. Формальная процедура проверки модели на адекватность проста и доступна. Кроме того, прогнозы и интервалы предсказания следуют непосредственно из подобранной модели.

Однако использование моделей ARIMA имеет и несколько недостатков.

Необходимо относительно большое количество исходных данных. Следует понимать, что если данные периодичны со, скажем, сезонным периодом 5=12, то наблюдения за один полный год будут составлять фактически одно сезонное значение данных (один взгляд на сезонную структуру), а не двенадцать значений. Вообще говоря, при использовании модели ARIMA для несезонных данных необходимо около 40 или более наблюдений. При построении модели ARIMA для сезонных данных нужны наблюдения приблизительно за 6-10 лет, в зависимости от величины периода сезонности.

Не существует простого способа корректировки параметров моделей ARIMA, такого как в некоторых сглаживающих методах, когда задействуются новые данные. Модель приходится периодически полностью перестраивать, а иногда требуется выбрать совершенно новую модель.

Построение удовлетворительной модели ARIMA зачастую требует больших затрат времени и ресурсов. Для моделей ARIMA расходы на построение модели, время выполнения вычислений и объемы необходимых баз данных могут оказаться существенно выше, чем для более традиционных методов прогнозирования, таких как сглаживание.

Согласно Бернштейну (Bernstein, 1996), прогнозирование является одной из важнейших составляющих менеджмента, которая оказывает значительную помощь в процессе принятия решений. Фактически любое важное управленческое решение в определенной степени зависит от прогнозов. Накопление запасов связано с прогнозами ожидаемого спроса; производственный отдел должен планировать потребности в рабочей силе и сырье на следующий месяц или два; финансовый отдел должен производить краткосрочное финансирование на следующий квартал; отдел кадров должен предвидеть необходимость приема или увольнения служащих. Список разнообразных применений прогнозирования может быть очень длинным.

Управленцы прекрасно осведомлены о необходимости прогнозирования. Несомненно, много времени уделяется изучению существующих тенденций в экономике и политике, а также тому, как грядущие события могут повлиять на востребованность предлагаемой продукции и/или обслуживания. Старшие должностные лица заинтересованы в количественном прогнозе для сравнения его со своим собственным мнением. Интерес к прогнозированию особо обостряется в тех случаях, когда происходят события, способные оказать серьезное влияние на уровень спроса. Недостатком методов количественного прогноза является их зависимость от данных прошлых наблюдений. По этой причине они, естественно, менее эффективны в предсказании неожиданных перемен, приводящих к резкому повышению или падению спроса.

Зачастую менеджерам необходимо сделать краткосрочный прогноз для большого числа наименований продукции. Типичным примером является ситуация, когда перед менеджером стоит задача наладить производство на основе прогнозирования спроса на несколько сотен наименований продуктов, образующих одну линию. В данном случае наиболее оправданно использование методов сглаживания.

Главным преимуществом методов экспоненциального сглаживания является их низкая стоимость и простота. Они не дают такой точности, как сложные методы, например ARIMA. Но при построении прогнозов для тысяч наименований продуктов, методы сглаживания зачастую являются единственным разумным подходом.