Исследование временного ряда

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Омский государственный университет путей сообщения (ОмГУПС)

Курсовая работа

ИССЛЕДОВАНИЕ ВРЕМЕННОГО РЯДА

Дворецкий А.В.

Омск 2019

Реферат

Объектом исследования является временной ряд.

Цель работы - исследование временного ряда, построение линии тренда и прогнозирование развития случайного процесса на основе временного ряда.

Пояснительная записка выполнена в текстовом редакторе Microsoft Word 2018, расчеты проведены с помощью Microsoft Excel 2018.

Ключевые слова: Временной ряд, тренд, сглаживание, автокорреляционная функция, лаг, МНК, случайная компонента, тригонометрическая составляющая, случайная компонента, эксцесс, асимметрия.

Содержание

Введение

1. Теория и анализ временных рядов

2. Тренд. Построение тренда, его анализ

2.1 Сглаживание временного ряда

2.2 Задача выделения тренда

3. Выделение тригонометрической составляющей временного ряда

4. Прогнозирование

4.1 Степень асимметрии

4.2 Эксцесс

4.3 Модельные предпосылки белого шума

Заключение

Библиографический список

Введение

Вредоносные программы-вымогатели известны еще с середины 1980-х годов. Изначально они были нацелены на обычных людей, использующих компьютеры под управлением MS-DOS и Windows. Именно так называемые Ransom-вирусы являются большой угрозой информационной безопасности в наши дни. От вирусов-вымогателей страдают не только обычные люди, но и крупные коммерческие организации. Люди часто решаются отдать свои деньги и сохранить файлы в целостности, чем финансируют дальнее развитие вирусных программ. Поэтому важно понимать, чего можно ожидать от дальнейшего распространения данных вирусов и уметь заранее предсказать темпы развития этой болезни современного информационного пространства.

1. Теория и анализ временных рядов

Ряд наблюдений за значениями определенного показателя, упорядоченный в зависимости от возрастающих или убывающих значений другого показателя, называют динамическим рядом, временным рядом, рядом динамики. Отдельные наблюдения временного ряда называются уровнями этого ряда.

Обозначим уровни ряда как , , где

Ниже приведём пример такого временного ряда в виде таблицы. Данный временной ряд отображает количество обнаруженных вирусов Trojan типа Ransom по данным компании Лаборатория Касперского. Измерения сделаны на основании данных за 6 месяцев с периодом измерения в 5 дней.

Таблица 1 - Исходные данные

Приведём также графическое изображение этого временного ряда в виде графика функции y(t), показанного на рисунке 1.

Рисунок 1 - Графическое изображение временного ряда

Классифицируя факторы, под воздействием которых формируются значения элементов временного ряда, выделяют следующие четыре типа.

1) Долговременные, формирующие общую (в длительной перспективе) тенденцию в изменении анализируемого признака y(t). Обычно эта тенденция описывается с помощью той или иной неслучайной функции , как правило, монотонной. Эту функцию называют функцией тренда или трендом.

2) Сезонные, формирующие периодически повторяющиеся в определенное время года колебания анализируемого признака. Будем обозначать результат действия сезонных факторов с помощью неслучайной функции. Поскольку эта функция должна быть периодической (с периодами, кратными «сезонам»), в ее аналитическом выражении участвуют гармоники (тригонометрические функции), периодичность которых, как правило, обусловлена содержательной сущностью задачи. Обозначим эти сезонные составляющие как

3) Циклические (конъюнктурные), формирующие изменения анализируемого признака, обусловленные действием долговременных циклов экономической, демографической или астрофизической природы (волны Кондратьева, демографические «ямы», циклы солнечной активности и т.п.), и являющиеся, как правило, результатом действия циклических факторов. Обозначим за функцию

4) Случайные (нерегулярные) - не поддающиеся учету и регистрации. Их воздействие на формирование значений временного ряда как раз и обусловливает стохастическую природу элементов . Обозначим их как .

Схематично эти компоненты представлены на рисунке 2:

Рисунок 2 -График временного ряда с разбивкой на четыре базовых компонента

временной ряд тренд прогнозирование

Таким образом получаем уравнение (1), которое показывает связь всех четырех факторов и результирующего значения изучаемой случайной величины:

(1)

В данном случае работая с временным рядом мы будем использовать аддитивную модель, так как амплитуда колебаний приблизительно постоянна и значения сезонной компоненты предполагаются постоянными для различных циклов.

2. Тренд. Построение тренда, его анализ.

Распространенным приемом при выявлении тенденции развития (тренда временного ряда) является сглаживание временного ряда. Суть различных приемов сглаживания сводится к замене фактических уровней временного ряда расчетными уровнями, которые подвержены колебаниям в меньшей степени. Это способствует более четкому проявлению тенденции развития.

Полученный таким образом ряд скользящих средних ведет себя более гладко за счет усреднения отклонений.

2.1 Сглаживание временного ряда

Используя сглаживание временного ряда преобразуем исходный ряд в сглаженный. Для этого нам понадобится формула

(2)

1. Для временного ряда y₁, y_2,..., y_n определяется интервал сглаживания m (m < n). Если необходимо сгладить мелкие беспорядочные колебания, то интервал сглаживания берут по возможности большим; интервал сглаживания уменьшают, если нужно сохранить более мелкие колебания. При прочих равны условиях интервал сглаживания рекомендуют брать нечетным.

2. Для первых m уровней временного ряда вычисляется их средняя арифметическая; это будет сглаженное значение уровня ряда, находящегося в середине интервала сглаживания. Затем интервал сглаживания сдвигается на один уровень вправо, повторяется вычисление средней арифметической и т.д.

3. В результате такой процедуры получаются n - m + 1 сглаженных значений уровня ряда. В нашем случае сглаженный ряд имеет 42-3+1=40 уровней ряда, исключая первую и последнюю точки исходного ряда.

Ниже, в таблице 2 приведён сглаженный ряд:

Таблица 2 - Сглаженный ряд

Визуализируем полученный временной ряд на рисунке 3, где оранжевый ряд - исходный, а синий - сглаженный.



Рисунок 3 - График

2.2 Задача выделения тренда

Наиболее распространенным способом моделирования тенденции временного ряда является аналитическое выравнивание - это построение аналитической функции, характеризующей зависимость уровней ряда от времени, т.е. построение тренда. Для построения трендов чаще всего применяются следующие функции:

1) линейный тренд

2) экспоненциальный тренд

3) гипербола

4) тренд степенной функции

В качестве зависимой переменной используются фактические уровни временного ряда , а в качестве независимой переменной - моменты времени t = 1,2,..., n. Для построения тренда необходимо выбрать вид аналитической зависимости и затем оценить значения ее параметров методом наименьших квадратов (МНК)

2.2.1 Определение вида тенденции

Для определения вида тенденции применяются такие методы, как:

1) Качественный анализ изучаемого процесса;

2) Построение и визуальный анализ графика зависимости уровней ряда от времени;

3) Расчет и анализ показателей динамики временного ряда (абсолютные приросты, темпы роста и др.);

4) Метод перебора, при котором строятся тренды различного вида с последующим выбором наилучшего на основании значения скорректированного коэффициента детерминации.

С помощью построения и визуального анализа графика зависимостей уровней ряда делаем предположение, что лучше всего подходит тренд в виде степенной функции второго порядка вида:

(4)

Таблица 3 - Проверка линейной и параболической зависимостей

Однако, возможен вариант, что для данного временного ряда больше подходит линейное уравнение тренда. Для того чтобы это проверить, достаточно сложить квадраты отклонений значений сглаженного ряда и тренда соответственно для линейной и параболической зависимости. Процесс нахождения коэффициентов для линейного уравнения ничем не отличается от нахождения коэффициентов для параболического уравнения. Данные разности и их сумма изображены в таблице.

Так как сумма квадратов разностей для линейного тренда превосходит таковые для параболического, делаем вывод, что найденная параболическая линия тренда наиболее точно отражает трендовую составляющую временного ряда.

2.2.2 Построение линии тренда с помощью МНК

Теперь необходимо найти параметры ,,.

Сделаем это с помощью метода наименьших квадратов (МНК).

Так как у нас имеется три неизвестных параметра, наша система уравнений будет содержать три уравнения. Она примет следующий вид:

(4)

В таблице 3 приведём вычисление числовых коэффициентов для системы (4):

Таблица 3 - Вычисление числовых коэффициентов

Используя полученные значения, преобразуем систему уравнений (4):

(4.1)

Решая систему уравнений методом Крамера, получаем коэффициенты:

Уравнение полинома второго порядка принимает вид:

(5)

Построим линию тренда используя уравнение (5):

Рисунок 5 - Линия тренда

Где красная линия - линия тренда, построенная по уравнению (5), оранжевая линия - линия сглаженного ряда, синяя линия - линия исходных значений временного ряда.

3. Выделение тригонометрической составляющей временного ряда

К тригонометрической составляющей временного ряда относятся:

1) сезонная составляющая S(t), отражающая повторяемость процессов в течение не очень длительного периода

2) Циклическая (конъюнктурная) составляющая C(t), формирующая изменения анализируемого признака, обусловленные действием долговременных циклов экономической, демографической или астрофизической природы.

Решение о наличии тригонометрической составляющей в структуре временного ряда принимается на основе анализа автокорреляционной функции и коррелограммы временного ряда.

Автокорреляционная функция

Автокорреляция уровней ряда - корреляционная зависимость между последовательными уровнями одного и того же ряда динамики (сдвинутыми на определенный промежуток времени L - лаг).

Автокорреляцию измеряют при помощи нециклического коэффициента автокорреляции, который может рассчитываться не только между соседними уровнями, т.е. сдвинутыми на один период, но и между сдвинутыми на любое число единиц времени (L). Этот сдвиг, именуемый временным лагом, определяет и порядок коэффициентов автокорреляции: первого порядка (при L = 1), второго порядка (при L = 2) и т.д.

Следует учитывать, что с увеличением лага на единицу число пар значений, по которым рассчитывается коэффициент автокорреляции, уменьшается на 1. Поэтому обычно рекомендуют максимальный порядок коэффициента автокорреляции, равный n/4.

Рассчитав несколько коэффициентов автокорреляции, можно определить лаг (L), при котором автокорреляция (r_t,t-L) наиболее высокая, выявив тем самым структуру временного ряда.

Если наиболее высоким оказывается значение r_t,t-1, то исследуемый ряд содержит только тенденцию. Если наиболее высоким оказался r_t,t-L, то ряд содержит (помимо тенденции) колебания периодом L.

Если ни один из r_t,t-L не является значимым, можно сделать одно из двух предположений:

* либо ряд не содержит тенденции и циклических колебаний, а его уровень определяется только случайной компонентой;

* либо ряд содержит сильную нелинейную тенденцию, для выявления которой нужно провести дополнительный анализ. Коэффициент автокорреляции первого порядка вычисляется по формуле:

(6)

исходные значения временного ряда;

значения ряда, сдвинутые на единицу времени;

среднеквадратическое отклонение рядов ;

рассчитываемые по формуле:

,

где

, - выборочные дисперсии. Они рассчитываются по формуле

Коэффициент автокорреляции принимает значения от -1 до +1.

Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:

0,1< r_t,t-1 <0,3 - слабая;

0,3< r_t,t-1 <0,5 - умеренная;

0,5< r_t,t-1 <0,7 - заметная;

0,7< r_t,t-1 <0,9 - высокая;

0,9< r_t,t-1 < 1 - весьма высокая.

Результат вычисления коэффициента корреляции представлен ниже:

Выборочные средние:

= = 700

= = 704.88

= = 472300

Выборочные дисперсии:

= - = 73829.27

= - = 71854.25

Среднеквадратичное отклонение:

= = 271.72

= =268.06

Коэффициент корреляции:

= = -0.29

Аналогично, по формуле (6) были рассчитаны коэффициенты автокорреляции до десятого порядка. Полученные значения представлены в таблице:

Таблица 4 - Автокорреляция уровней временного ряда

Лаг (порядок)	rt,t-L
1	-0.2899
2	0.02804
3	-0.1142
4	0.2329
5	-0.4581
6	0.1851
7	0.0962
8	-0.04292
9	-0.1621
10	0.1792

Графически эти значения можно интерпретировать следующим образом:

Рисунок 6 - Коррелограмма

Если ни один из коэффициентов автокорреляции не оказался значимым, то это означает, что ряд не содержит ни тенденции, ни сезонных или циклических колебаний и требует дополнительных исследований. В этом случае в большей степени на ряд влияет случайная компонента. Также об этом свидетельствует явная несвязность автокорреляционных коэффициентов изображенных на коррелограмме.

4. Исследование случайной компоненты

Поскольку уровни нашего временного ряда формируются в основном случайной компонентой, проведём её исследование.

Это исследование осуществляется с целью решения двух основных задач:

1) для оценки правильности выбора трендовой и сезонной компонент модели;

2) для оценки стационарности случайного процесса.

По сути, речь идет о проверке для случайной компоненты выполнения модельных предпосылок (условий теоремы Гаусса-Маркова). Временной ряд остатков должен обладать свойствами:

1) случайности (изменение величины не связано с изменением );

2) соответствия нормальному закону распределения с нулевым математическим ожиданием;

3) независимости значений между собой (отсутствие автокорреляции в остатках).

Проверим каждое из этих свойств. Для этого рассмотрим, в случае аддитивной модели, последовательность остатков вида:

(7)

Далее нам необходимо образовать из данных остатков новый временной ряд и построить график остатков от времени.

Если во временном ряду тренд и сезонная составляющая выделены качественно, то остаток такого ряда после удаления тренда и сезонных колебаний является «белым шумом» (т.е. остатки распределены по нормальному закону, в остатках ряда отсутствуют тренд, систематические изменения дисперсии, систематически изменяющиеся взаимосвязи между элементами ряда и, кроме того, математическое ожидание ряда остатков равно нулю).

Ниже, в таблице 5 приведём расчёты остатков из уравнения (7):

Таблица 5 - Остатки ряда

График данных остатков изображен на рисунке 7:

Рисунок 7 - Остатки временного ряда

Где красной линией отмечена линия тренда, построенная автоматически с помощью функции «Линия тренда» с помощью Microsoft Excel.

Из полученного графика можно выделить полное отсутствие тренда.

Проверим закон распределения данной случайной величины с помощью использования некоторых показателей. Используем для подтверждения гипотезы о нормальном распределении:

1) Степень асимметрии

2) Эксцесс

Для исследования данных показателей, составим таблицу с расчётом центральных моментов, где Xcр - Простая средняя арифметическая, а x - список всех значений остатков упорядоченный по возрастанию.

Таблица 6 - Расчёт центральных моментов

x	(x-xср)2	(x-xcp)3	(x-xcp)4
-735.95597	549968.66949	-407856064.29075	302465537416.91
-471.36297	227534.46586	-108535243.84793	51771933155.219
-470.09006	226321.71544	-107668667.77157	51221518877.957
-466.80975	223211.36984	-105456770.91077	49823315626.175
-343.43727	121856.86412	-42537797.21984	14849095333.15
-296.07678	91034.67803	-27466940.75891	8287312604.115
-293.6373	89568.55275	-26806081.60533	8022525641.0022
-286.85728	85556.27304	-25025213.23286	7319875856.1271
-280.88489	82098.09157	-23523372.86712	6740096639.0338
-138.83361	20873.42131	-3015716.12736	435699717.16389
-131.27751	18747.16017	-2566866.22024	351456014.34027
-122.0702	16310.59948	-2083074.89663	266035655.49419
-115.66573	14715.7496	-1785145.35358	216553286.16864
-112.5981	13980.90083	-1653113.72872	195465587.93832
-104.77675	12192.46717	-1346286.19413	148656255.65666
-103.93363	12006.98423	-1315681.93159	144167670.37511
-99.07356	10965.50754	-1148267.59022	120242355.71265
-91.28756	9395.48604	-910707.425	88275157.92502
-83.6923	7980.75248	-712960.9805	63692410.10313
90.37979	7180.36504	608442.84063	51557642.0505
124.27988	14074.76734	1669789.92665	198099075.61517
131.09311	15737.79147	1974311.52134	247678080.48037
132.18655	16013.33145	2026387.6942	256426784.14069
134.92845	16714.7898	2160983.1427	279384198.01941
135.66294	16905.24841	2198023.51909	285787423.7487
136.86272	17218.67911	2259434.46421	296482910.45225
137.32801	17341.00523	2283554.61978	300710462.4077
145.822	19650.22006	2754552.96548	386131148.45555
147.27438	20059.51709	2841061.99485	402384225.97347
234.10422	52194.63899	11924463.45972	2724280339.1064
244.66776	57132.95283	13656204.31484	3264174299.4327
252.68748	61031.09399	15077409.56278	3724794433.0962
260.34825	64874.88797	16523990.29908	4208751089.1603
264.59296	67055.20847	17363959.95466	4496400983.2556
281.1769	75919.06485	20918294.59398	5763704407.8427
287.65008	79528.12888	22427514.54007	6324723283.5881
293.26795	82728.25143	23794729.25234	6843963584.523
298.77506	85926.54567	25187846.01538	7383371250.1273
301.39401	87468.80224	25869007.65344	7650791365.7778
310.97245	93226.21997	28464732.9021	8691128090.5511
317.21405	97076.67038	30246303.67479	9423879932.902
322.64803	100492.3416	31856601.94413	10098710720.301
Итого	2999870.23126	-587326372.09681	585834770991.57

4.1 Степень асимметрии

Наиболее точным и распространенным показателем асимметрии является моментный коэффициент асимметрии.

As = M₃/s³

где M₃ - центральный момент третьего порядка.

s - среднеквадратическое отклонение.

Для вычисления среднеквадратичного отклонения необходимо использовать несмещенную оценку дисперсии.

Несмещенная оценка дисперсии:

Оценка среднеквадратического отклонения.

M₃ = -587326372.1/42 = -13983961.24

Вычисляем степень ассиметрии:

Отрицательный знак свидетельствует о наличии левосторонней асимметрии.

Оценка существенности показателя асимметрии дается с помощью средней квадратической ошибки коэффициента асимметрии:

Если выполняется соотношение |As|/s_As < 3, то асимметрия несущественная, ее наличие объясняется влиянием различных случайных обстоятельств. Если имеет место соотношение |As|/s_As > 3, то асимметрия существенная и распределение признака в генеральной совокупности не является симметричным.

Таким образом, в анализируемом ряду распределения наблюдается несущественная асимметрия (-0.733/0.352 = 2.08<3)

4.2 Эксцесс

Эксцесс представляет собой выпад вершины эмпирического распределения вверх или вниз от вершины кривой нормального распределения.

Чаще всего эксцесс оценивается с помощью показателя:

Для распределений более островершинных (вытянутых) чем нормальное, показатель эксцесса положительный (Ex>0), для более плосковершинных (сплюснутых) - отрицательный (Ex<0), т.к. для нормального распределения M₄/s⁴ = 3.

Для использования оценки нормальности распределения с помощью анализа эксцессов, нам необходимо воспользоваться методом центральных моментов.

M₄ = = 13948446928.37

Число 3 вычитается из отношения м⁴/ у⁴ потому, что для нормального закона распределения м⁴/ у⁴ = 3. Таким образом, для нормального распределения эксцесс равен нулю. Островершинные кривые обладают положительным эксцессом, кривые более плосковершинные - отрицательным эксцессом.

Чтобы оценить существенность эксцесса рассчитывают статистику Ex/s_Ex.

где s_Ex - средняя квадратическая ошибка коэффициента эксцесса.



Если отношение Ex/s_Ex > 3, то отклонение от нормального распределения считается существенным.

Поскольку s_Ex < 3, то отклонение от нормального распределения считается не существенным. Причём в данном случае можно предположить, что 0.630, поэтому можно предположить близость данной выборки к нормальному распределению.

4.3 Модельные предпосылки белого шума

Так как ранее было определено, что для случайной компоненты должны выполняться модельные предпосылки (условия теоремы Гаусса-Маркова), временной ряд остатков должен обладать свойствами:

1) случайности (изменение величины не связано с изменением );

2) соответствия нормальному закону распределения с нулевым математическим ожиданием;

3) независимости значений между собой (отсутствие автокорреляции в остатках).

Рассмотрим их по-отдельности.

1. Свойство случайности.

Поскольку некая величина образуется в результате сложения многих случайных слабо взаимозависимых величин («Белый шум»), каждая из которых вносит малый вклад относительно общей суммы, то центрированное и нормированное распределение такой величины при увеличении числа наблюдений стремится к нормальному распределению. Так как все величины, формирующие случайную компоненту, слабо связаны между собой и полностью случайны, можно сделать предположение, что эти величины не связаны с изменением времени.

2. Соответствие нормальному закону с нулевым математическим ожиданием.

В пунктах 4.1-4.2 мы доказали, что распределение остатков временного ряда нормальное. Точечную оценку математического ожидания можно вычислить по формуле:

Поскольку число 5.642, в масштабах выборки, составляет очень малое значение, можно предположить, что оно равно нулю.

3. Независимость значений между собой.

Используем тот же способ вычисления коэффициентов автокорреляции что и в пункте 3. Получим следующий результат:

Таблица 7 - Коэффициенты автокорреляции для остатков временного ряда

Лаг (порядок)	rt,t-L
1	-0.3004
2	0.01704
3	-0.1192
4	0.2239
5	-0.4696
6	0.1636
7	0.082
8	-0.0639
9	-0.18
10	0.1682

Исходя из данной таблицы, делаем вывод, что в данном ряду динамики тенденции не наблюдается (r_t,t-1 = -0.3 > 0), и по шкале Чеддока автокорреляции в остатках не наблюдается.

Все три модельные предпосылки соблюдены.

Заключение

Исследование временного ряда проводилось по аддитивной модели:

В результате исследования временного ряда, удалось выделить только случайную компоненту. Трендовая составляющая и тригонометрическая составляющая в данном временном ряду слабо выражены. Уравнение тренда было построено используя МНК и метод скользящих средних:

Далее проводилось исследование тригонометрической составляющей. А именно сезонной и циклической составляющих. Сезонная составляющая в нашем ряду отсутствует. Выделение циклической составляющей было основано на использовании автокорреляционной функции и шкалы Чеддока:

Корреляции между уровнями временного ряда обнаружено не было, что свидетельствует об отсутствии циклической составляющей и тренда. Поскольку исследуемые уровни временного ряда слабо связаны друг с другом, было принято решение провести дополнительный анализ случайной компоненты. Для этого был проведён анализ остатков от исходного временного ряда путём вычета значений, полученных с помощью уравнения тренда.

Далее для данных остатков были измерены показатели асимметрии и эксцесса:

Близкое к нулю значений этих двух параметров доказывает близость распределения значений остатков к нормальному, а соответственно и наличие постоянной дисперсии, близкого к нулю математического ожидания и отсутствие тренда. Это одновременно служит обоснованием того, что трендовая составляющая и тригонометрические составляющие близки к нулю при формировании уровня ряда.

Такое влияние случайной компоненты на временной ряд объясняется тем, что в мире компьютерных угроз ключевую роль играет противодействие. Дело в том, что при увеличении количества вирусных угроз так же увеличивается количество противомер, направленных на устранение возникших опасностей. Такая «борьба» и обуславливает нормальность распределения исследуемой величины. Все пики компенсируют друг друга в результате противодействия двух сторон и прогнозирование такого временного ряда можно осуществлять только в пределах колебания уровней временного ряда.

Библиографический список

1. Кремер Н.Ш., Путко Б.А., Эконометрика: учебник для студентов вузов- М.: ЮНИТИ-ДАНА, 2010. - 328 с.

2. Воскобойников Ю. Е. Эконометрика в Excel. Часть 2. Анализ временных рядов: учеб. пособие / Ю. Е. Воскобойников; Новосиб. гос. архитектур-строит. ун-т. - Новосибирск: НГАСУ (Сибстрин), 2008. - 155 с.

3. Орлова И.В., Половников В.А., Федосеев В.В. Курс лекций по экономико-математическому моделированию- М.: ВЗФИ, 1993-148 с.

4. Горчаков А.А, Орлова И.В. Компьютерное экономико-математическое моделирование: Учебное пособие-М.: Компьютер, ЮНИТИ, 1995-170 с.

Размещено на Allbest.ru