Изучение гетероскедастичности. Линейная регрессия

Размещено на http://www.allbest.ru/

Задание 1

Требование данного задания - исследовать парную линейную регрессию. В таб. 1 приведены исходные данные, основные и промежуточные результаты.

Решение

Проведем полный регрессионный анализ исходных данных по формулам, приведенным в методических указаниях.

1) Определим параметры линейной регрессии и ее статистические оценки (см. таб. 2).

2) Рассчитаем значимость параметров регрессии и регрессии в целом. Коэффициент корреляции показывает тесноту линейной связи. Так как в нашем случае =0,867, то связь прямая и тесная. Коэффициент корреляции значим, если , что имеет место быть в нашем примере.

Коэффициент детерминации показывает долю вариации результативного признака, объясненную вариацией факторного признака. , то есть доля вариации результата, объясненная вариацией фактора x, включенного в уравнение регрессии, равна 75,1%. Остальные 24,9% приходятся на долю прочих факторов, не учтенных в уравнении регрессии.

Стандартная ошибка регрессии служит для оценки качества уравнения регрессии. . В нашем примере можно говорить об удовлетворительном подборе уравнения регрессии к исходным данным.

Значимость коэффициента регрессии

Значение статистик , . То есть выполняется неравенство . Параметр - не случайно отличается от нуля и статистически значим.

Оценка значимости уравнения регрессии. Значения величин F=36,249 и , полученных в результате дисперсионного анализа показывают, что выполняется неравенство . Таким образом, гипотеза о случайности различий факторной и остаточной дисперсий (нулевая гипотеза) должна быть отклонена и с вероятностью 95% принимается альтернативная гипотеза о том, что эти различия существенны, статистически значимы, уравнение надежно, значимо, показатель тесноты связи надежен и отражает устойчивую зависимость y от x.

3) Покажем взаимное расположение доверительных интервалов относительно исходных данных и построенной линии регрессии (см. рис.1).

Рис. 1. Доверительные интервалы.

Таб. 1. Исходные данные, промежуточные и основные результаты

									Нижн. гр.	Верх. гр.		Нижн. гр.	Верх. гр.
1	2,00	9,05	4,000	18,092	81,828	10,544	2,245	2,513	5,068	16,020	5,557	-1,564	22,653
2	2,80	12,60	7,840	35,273	158,700	12,523	0,006	2,241	7,640	17,405	5,439	0,671	24,374
3	3,60	19,26	12,960	69,320	370,777	14,501	22,607	1,985	10,175	18,827	5,339	2,868	26,134
4	4,40	19,74	19,360	86,870	389,790	16,479	10,652	1,792	12,574	20,385	5,271	4,996	27,963
5	5,20	12,44	27,040	64,710	154,857	18,458	36,162	1,650	14,863	22,052	5,224	7,076	29,840
6	6,00	10,61	36,000	63,676	112,630	20,436	96,497	1,513	17,139	23,733	5,182	9,145	31,727
7	6,80	25,33	46,240	172,259	641,723	22,414	8,514	1,503	19,139	25,690	5,179	11,129	33,700
8	7,60	24,11	57,760	183,208	581,112	24,393	0,082	1,576	20,959	27,827	5,201	13,061	35,725
9	8,40	31,78	70,560	266,957	1010,010	26,371	29,262	1,724	22,615	30,128	5,248	14,937	37,805
10	9,20	31,44	84,640	289,228	988,338	28,350	9,537	1,935	24,133	32,566	5,321	16,756	39,943
11	10,00	32,79	100,000	327,887	1075,101	30,328	6,055	2,198	25,538	35,118	5,422	18,514	42,142
12	10,80	36,44	116,640	393,564	1327,957	32,306	17,097	2,506	26,846	37,767	5,554	20,205	44,408
13	11,60	26,87	134,560	311,723	722,142	34,285	54,938	2,860	28,053	40,516	5,722	21,817	46,753
14	12,40	35,19	153,760	436,382	1238,484	36,263	1,147	3,272	29,135	43,392	5,939	23,323	49,203
Сумма	100,800	327,651	871,360	2719,150	8853,449		294,802
Ср.знач.	7,200	23,404	62,240	194,225	632,389

Таб. 2. Параметры регрессии и ее статистические оценки

2,473	5,598	24,567	4,956	1185,234	890,432	145,600	0,411	6,020	2,179	36,245	0,751	0,867	6,020

- выборочная остаточная дисперсия;

- общая сумма квадратов отклонений зависимой переменной от средней;

- сумма квадратов, обусловленных дисперсией;

- F статистика для отношений приведенных к степеням свободы сумм квадратов;

- квантиль F - распределения с 1 и n-2 - степенями свободы числителя и знаменателя соответственно;

- оценка стандартного отклонения ошибки параметра b1;

- фактическое значение t-критерия Стьюдента для коэффициента регрессии b1;

- критерий Стьюдента для заданного уровня значимости и числа степеней свободы n-2;

- коэффициент корреляции;

- t статистика для оценки значимости коэффициента корреляции;

- коэффициент детерминации.

Задание 2

В данном задании необходимо произвести расчет параметров множественной регрессии и дать оценку значимости регрессии и ее параметров.

Исходные данные:

Yi	X1i	X2i
3,65	8,00	5,00
11,43	11,00	8,00
1,04	12,00	8,00
12,54	9,00	5,00
11,06	8,00	7,00
1,98	8,00	8,00
4,70	9,00	6,00
8,43	9,00	4,00
0,32	8,00	5,00
7,93	12,00	7,00

Решение

1) Получим матрицу X (10 x 3), у которой первый столбец состоит из единиц, остальные столбцы - x1 и x2:

1	8,00	5,00
1	11,00	8,00
1	12,00	8,00
1	9,00	5,00
1	8,00	7,00
1	8,00	8,00
1	9,00	6,00
1	9,00	4,00
1	8,00	5,00
1	12,00	7,00



2) Умножим . Результат:

3) Найдем обратную матрицу из п.2:

4) Определим . Результат:

5) Найдем матрицу

6) Рассчитаем регрессию

6,218	6,302	6,834	6,749	5,211	4,707	6,246	7,253	6,218	7,337

7) Определим сумму квадратов остатков

8) Получим ковариационную матрицу

, где =25,760.

Рассчитаем по ней стандартные ошибки параметров регрессии:

.



9) Рассчитаем t-статистику :

Вычислим квантиль , при и n=10 => . Оценим значимость параметров регрессии. Для этого сопоставим значения t-критерия с . Видим, что . Это говорит о том, что параметры b0, b1, b2 - не значимы.

Таким образом, x1 и x2 не оказывают существенного влияния на y.

Их влияние обусловлено случайностью, их следует исключить из модели и заменить более значимыми.

10) Построим корреляционную матрицу парных коэффициентов:

Данные коэффициенты характеризуют тесноту связи между двумя из рассматриваемых переменных. В нашем случае, между y и x1, а также между y и x2 - связь практически отсутствует, между x1 и x2 - сила связи слабая.

11) Определим частные корреляции:

Видим, что при условии комплексного взаимодействия факторов, связь между y и x1 - слабая, прямая, между y и x2 - слабая, обратная, а между x2 и x1 - умеренная, прямая.

линейный регрессия интервал параметр



12) Рассчитаем частные уравнения регрессии:

Здесь значение 6,30 - это среднеарифметическое от значений X2, а 9,40 среднеарифметическое от X1.

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне.

13) Определим коэффициент детерминации Для этого рассчитаем совокупный коэффициент множественной корреляции:

Тогда , то есть вариация y на 3,3% обуславливается x1 и x2, и данные факторы незначительно влияют на y.

Рассчитаем скорректированный коэффициент детерминации при p=2, . Значительное изменение значения по сравнению с подтверждает наш вывод о плохом качестве регрессионной модели, и объясняющие переменные не оказывают существенного влияния на зависимую переменную.

14) Рассчитаем коэффициенты эластичности по каждому параметру:



Таким образом, при изменении x1 на 1%, y меняется на 0,792% при условии, что x2 - остается в фиксированном положении. А при изменении x2 на 1%, при фиксированном положении x1, y уменьшается на 0,503%.

Стандартизованные коэффициенты:

Анализ стандартизованных коэффициентов показывает, что на y наибольшее влияние из двух исследуемых факторов с учетом их колеблемости способен оказать фактор x1, так как ему соответствует наибольшее (по абсолютной величине) значение коэффициента. Следовательно, при изменении на одно среднеквадратичное отклонение x1 изменение y составит 0,192 своего среднеквадратичного отклонения, далее по степени влияния следует фактор x2.

15) Рассчитаем F статистику:

В нашем примере n=10, p=2, - вычислено в п.7, а , тогда .

Сравнивая с квантилем , при => То есть модель, в целом, незначима.

Таким образом, модель признается полностью неадекватной и на ее основе нельзя принимать решения и осуществлять прогнозы. Этот результат можно объяснить сравнительно невысокой теснотой выявленной зависимости и небольшим числом наблюдений.



Задание 3

Цель этого задания - изучение гетероскедастичности. Все исходные данные, промежуточные вычисления и итоговые результаты приведены в таб. 3.

Решение

1) Тест Голдфельда-Квандта

После разделения выборки на три равные части, по 10 элементов в каждой, вычислим статистики регрессии для I и III части.

Статистики регрессии для I части. Статистики регрессии для III части.

	3,519178		0,749847			-0,21883		17,55089
	1,283955		3,795818			3,212742		22,24462
	0,484286		2,332419			0,00058		5,836236
	7,512476		8			0,00464		8
	40,86922		43,52144			0,15803		272,4932

Суммы квадратов остатков:

Определим статистику .

Найдем квантиль F - распределения

Так как , то гипотеза об отсутствии гетероскедастичности регрессионной модели отвергается.

2) Тест Уайта

Определим параметры линейной регрессии по всей выборке:

	1,382961		7,586846
	0,447971		2,328011
	0,253942		4,247461
	9,530611		28
	171,9411		505,146

Построим столбцы значений и в таб. 3. Вычислим параметры регрессии, где в качестве y и x используем и соответственно.

	0,623451		0,000878
	0,211293		6,762444
	0,237188		19,87595
	8,706273		28
	3439,444		11061,5

Оценим значимость полученной регрессии по F критерию, путем сравнения с квантилем Так как , то гипотеза об отсутствии гетероскедастичности регрессионной модели отвергается.

3) По полученным в предыдущем пункте параметрам и , построим в таб. 3 столбец с регрессией остатков . Также построим столбцы с нормированными переменными и .

Для нормированных переменных рассчитаем регрессию:

	-0,72073		5,892778
	0,093927		0,27935
	0,677714		0,682465
	58,87939		28
	27,42356		13,04123

Теперь сопоставим этот результат с параметрами регрессии, полученной по первоначальной выборке и сделаем соответствующие выводы:

1. Значение коэффициента детерминации увеличилось с 0,237188 до 0,677714, что говорит об улучшении качества регрессионной модели. Теперь доля вариации результата, зависимая от вариации включенного в уравнение регрессии фактора x, равна 67,8%.

2. Значительно уменьшились стандартные ошибки параметров регрессии и .

3. Уменьшилась сумма квадратов, обусловленных регрессией , а также остаточная сумма квадратов таким образом уменьшилась и общая сумма квадратов отклонений зависимой переменной от средней. Важно что выросло отношение к , что привело к росту F статистики и увеличило меру, в какой уравнение регрессии лучше оценивает значение зависимой переменной по сравнению с ее средней.

4. Уменьшение выборочного стандартного отклонения указывает на повышение точности регрессионной модели.

Таб. 3. Исходные данные, промежуточные вычисления и итоговые результаты для задания 3

2	7,278322	10,35277	9,452216	4	2,49468	4,608121	0,931683
2,2	10,1884	10,62936	0,194443	4,84	3,018379	5,864342	0,908475
2,4	9,312707	10,90595	2,538429	5,76	3,591953	4,913723	1,082694
2,6	11,2	11,18254	0,000305	6,76	4,215404	5,455046	1,113202
2,8	9,3	11,45914	4,66187	7,84	4,88873	4,206152	1,365261
3	12,3	11,73573	0,318402	9	5,611933	5,19217	1,316579
3,2	8,446038	12,01232	12,71837	10,24	6,385011	3,342506	1,750306
3,4	11,39511	12,28891	0,798887	11,56	7,207966	4,244359	1,650338
3,6	11,7	12,56551	0,749099	12,96	8,080797	4,115843	1,774488
3,8	18,43405	12,8421	31,26996	14,44	9,003504	6,143488	1,53312
4	11,19122	13,11869	3,71515	16	9,976086	3,543213	2,125012
4,2	12,69901	13,39528	0,484789	17,64	10,99855	3,82915	2,146338
4,4	12,49718	13,67187	1,379909	19,36	12,07088	3,597017	2,319965
4,6	14,66701	13,94847	0,516302	21,16	13,19309	4,038018	2,289147
4,8	20,68463	14,22506	41,72612	23,04	14,36518	5,457482	2,054684
5	17,41918	14,50165	8,511963	25	15,58714	4,41209	2,380388
5,2	22,66723	14,77824	62,23611	27,04	16,85898	5,520556	2,213156
5,4	13,0706	15,05484	3,937196	29,16	18,1807	3,065422	3,084243
5,6	20,53913	15,33143	27,12014	31,36	19,55229	4,644973	2,598343
5,8	15,5014	15,60802	0,011368	33,64	20,97375	3,384798	3,152547
6	13,1523	15,88461	7,465516	36	22,4451	2,776138	3,601063
6,2	11,69698	16,1612	19,92931	38,44	23,96632	2,389313	4,011023
6,4	23,1047	16,4378	44,44767	40,96	25,53741	4,572061	2,993119
6,6	16,16832	16,71439	0,298195	43,56	27,15838	3,102508	3,747033
6,8	24,18926	16,99098	51,81521	46,24	28,82923	4,505117	3,20373
7	8,906834	17,26757	69,90195	49	30,54995	1,611455	5,514282
7,2	13,82409	17,54417	13,83894	51,84	32,32055	2,431628	4,617255
7,4	17,36871	17,82076	0,204343	54,76	34,14103	2,972551	4,292072
7,6	21,98044	18,09735	15,07839	57,76	36,01138	3,662828	3,97105
7,8	10,01778	18,37394	69,8254	60,84	37,93161	1,626563	6,115882

Задание 4

В данном задании требуется оценить на идентификацию следующую структурную модель:

Решение:

Модель имеет три эндогенные (и четыре экзогенные ( переменные.

Проверим каждое уравнение системы на необходимое (Н) и достаточное (Д) условия идентификации.

Первое уравнение

Н: эндогенных переменных - 3 (,

Отсутствующих экзогенных - 2 (.

Выполняется необходимое равенство: 3=2+1, следовательно, уравнение точно идентифицируемо.

Д: в первом уравнение отсутствуют . Построим матрицу из коэффициентов при них в других уравнениях системы.

Уравнение	Отсутствующие переменные
Второе
Третье	0

Следовательно, достаточное условие идентификации не выполняется и первое уравнение нельзя считать идентифицируемым.

Второе уравнение

Н: эндогенных переменных - 2 (, Отсутствующих экзогенных - 1 (.

Выполняется неравенство: 1+1=2, следовательно, уравнение идентифицируемо.

Д: во втором уравнении отсутствуют . Построим матрицу из коэффициентов при них в других уравнениях системы.

Уравнение	Отсутствующие переменные
Первое
Третье	-1

Достаточное условие идентификации для второго уравнения выполняется, так как ранг матрицы равен числу эндогенных переменных модели минус 1, то есть 3-1=2. Итак, второе уравнение точно идентифицируемо.

Третье уравнение

Н: эндогенных переменных - 3 (, Отсутствующих экзогенных 2 (.

Выполняется необходимое равенство: 3=2+1, следовательно, уравнение точно идентифицируемо.

Д: в третьем уравнение отсутствуют . Построим матрицу из коэффициентов при них в других уравнениях системы.

Уравнение	Отсутствующие переменные
Первое
Второе

Достаточное условие идентификации для третьего уравнения не выполняется. Уравнение неидентифицируемо.

Следовательно, рассматриваемая в целом структурная модель, идентифицируемая по счетному правилу, не может считаться идентифицируемой исходя из достаточного условия идентификации.

Задание 5

Цель задания - исследование регрессии по рядам динамики. Все исходные данные, промежуточные вычисления и итоговые результаты приведены в таб. 4.

Решение

Предположим, что в двух рядах и , присутствует линейный тренд: для : , для : .

1) Методом аналитического выравнивания рассчитаем параметры линейного тренда в рядах и

	2,803		44,373		2,978		42,152
	0,615		8,790		0,505		7,222
	0,486		20,860		0,612		17,141
	20,771		22		34,707		22
	9038,414		9573,419		10197,565		6464,060

Оценим значимость полученных регрессий по F критерию, путем сравнения с квантилем .

Так как оба значения F критерия больше квантиля делаем вывод о значимости полученных уравнений регрессий. Используя полученные значения коэффициента детерминации , отметим, что доля вариации в большей степени обусловлена вариацией , чем , 61,2% и 48,6% соответственно.

2) С помощью полученных параметров построим столбцы

Результат приведен в таб. 4.

3) Рассчитаем столбцы с отклонениями от тренда

и .

Результат приведен в таб. 4.

4) Коэффициент корреляции служит показателем тесноты связи. Вычислим коэффициент корреляции по исходным уровням рядов .



Полученное значение говорит о том, что связь между переменными и прямая и сильная. Чтобы исключить предположение, что мы получили ложную корреляцию ввиду наличия в каждом из рядов линейной или близкой к линейной тенденции, вычислим коэффициент корреляции по отклонениям от трендов.

Окончательный вывод: связь между и прямая и умеренная.

Определим значимость полученных коэффициентов корреляции с помощью t-критерия Стьюдента (число степеней свободы -, уровень значимости - ).

Сначала оценим .

То есть коэффициент корреляции по исходным уровням рядов - значим при 5%-ном уровне.



Аналогично для :

То есть коэффициент корреляции по отклонениям от трендов - значим.

5) Рассчитаем модель регрессии по отклонения от тренда

.

	0,4206166		0
	0,1504978		3,0057856
	0,26202		14,725282
	7,8111064		22
	1693,713		4770,3466

Так как , следовательно, полученное уравнение регрессии значимо.

6) Используя другой путь учета тенденции - включение в модель фактора времени, рассчитаем параметры множественной линейной регрессии, приняв за аргументы столбцы , и таб. 4, то есть, используя исходные данные, но в качестве самостоятельного фактора включим время.

	0,4206166		1,7986367		23,488076
	0,1540394		0,6196942		9,3300178
	0,7136926		15,071807
	26,173868		21
	11891,278		4770,3466

Так как полученное значение , то полученный результат согласуется с теорией.

Так как , следовательно, полученное уравнение регрессии значимо.

7) Определим столбец остатков , используя в качестве расчетного значения результата формулу , где параметры - из пункта 6, и . Результат занесем в таб. 4.

8) Рассчитаем статистику Дарбина-Уотсона

9) Сформулируем гипотезы:

- в остатках нет автокорреляции;

- в остатках есть положительная автокорреляция;

- в остатках есть отрицательная автокорреляция.

Принимая нижний и верхний уровни d статистики , отмечаем, что фактически найденное находится в пределах от (1,55<2,134<2,45). Следовательно, нет оснований отклонять гипотезу об отсутствии автокорреляции в остатках.

10) В результате вычислений были получены следующие результаты:

Уравнение регрессии по уровням временных рядов с включением фактора времени

Полученные уравнения, как было рассчитано выше, значимы по F критерию.

Интерпретация параметров уравнения следующая:

- параметр характеризует, что при увеличении на единицу, возрастет в среднем на 0,421 в условиях существования неизменной тенденции;

- параметр означает, что воздействие всех факторов, кроме приведет к увеличению на 1,799.

Уравнение регрессии по уровням временных рядов с включением фактора времени может быть использовано для прогноза, так как в нем устранена автокорреляция в остатках, уравнение значимо по F критерию и высокое значение коэффициента детерминации дает основание говорит о хорошем качестве регрессионной модели и считать полученные результаты статистически значимыми.

Уравнение регрессии по отклонениям от тренда

Это означает, что в среднем за период отклонение от тренда было положительно по знаку и составляло 0,421 отклонения от своего тренда.

Содержательная интерпретация модели регрессии по отклонениям от тренда затруднительна, однако, несмотря на то, что полученное уравнение значимо по F критерию, малое значение коэффициента детерминации не дает оснований использовать ее для прогнозирования, и может говорить о не включении важных факторов.

Рассмотрим причины, по которым в рядах динамики имеет смысл рассматривать не только коэффициент корреляции по исходным уровням рядов, но и коэффициент корреляции по отклонениям от трендов.

Основная сложность состоит в том, что при наличии тренда за достаточно длительный период большая часть суммы квадратов отклонений связано с трендом. Если два признака имеют тренды с одинаковым направлением изменения уровней, то между уровнями этих признаков будет наблюдаться положительная ковариация. Коэффициент корреляции уровней окажется положительным. При разной направленности трендов ковариация уровней и коэффициент корреляции окажутся отрицательными.

Но ведь одинаковая направленность трендов вовсе не означает причинной зависимости. Таким образом, не только возникает масса “ложных корреляций”, за которыми нет причинной зависимости, но искажаются и те показатели корреляции, за которыми стоят реальные причинные зависимости.

Чтобы получить реальные показатели корреляции, необходимо абстрагироваться от искажающего влияния трендов: вычислить отклонения уровней рядов от трендов и измерить корреляцию не уровней, а колебаний двух признаков.

Таб. 4. Исходные данные, промежуточные вычисления и итоговые результаты для задания 5

1	55	28	47,17667	45,13	7,823333	-17,13	-20,4206	417,0019
2	58	57	49,98014	48,10783	8,019855	8,892174	5,51889	30,45815	672,8584
3	65	33	52,78362	51,08565	12,21638	-18,0857	-23,2241	539,3571	826,1573
4	65	80	55,5871	54,06348	9,412899	25,93652	21,9773	483,0017	2043,163
5	57	70	58,39058	57,0413	-1,39058	12,9587	13,5436	183,429	71,12737
6	73	64	61,19406	60,01913	11,80594	3,98087	-0,98491	0,970038	211,0774
7	54	53	63,99754	62,99696	-9,99754	-9,99696	-5,79183	33,54526	23,1065
8	83	94	66,80101	65,97478	16,19899	28,02522	21,21166	449,9343	729,1881
9	60	70	69,60449	68,95261	-9,60449	1,047391	5,0872	25,8796	259,9981
10	70	56	72,40797	71,93043	-2,40797	-15,9304	-14,9176	222,5349	400,1921
11	72	83	75,21145	74,90826	-3,21145	8,091739	9,442528	89,16133	593,4159
12	88	75	78,01493	77,88609	9,985072	-2,88609	-7,08597	50,21102	273,1914
13	70	68	80,81841	80,86391	-10,8184	-12,8639	-8,31351	69,11449	1,506851
14	43	74	83,62188	83,84174	-40,6219	-9,84174	7,244498	52,48275	242,0517
15	76	89	86,42536	86,81957	-10,4254	2,180435	6,565515	43,10598	0,461018
16	55	65	89,22884	89,79739	-34,2288	-24,7974	-10,4002	108,1636	287,8346
17	52	78	92,03232	92,77522	-40,0323	-14,7752	2,063039	4,256128	155,3317
18	88	78	94,8358	95,75304	-6,8358	-17,753	-14,8778	221,3488	286,9918
19	99	101	97,63928	98,73087	1,360725	2,26913	1,696787	2,879087	274,7167
20	114	125	100,4428	101,7087	13,55725	23,2913	17,5889	309,3695	252,5593
21	137	133	103,2462	104,6865	33,75377	28,31348	14,11608	199,2638	12,06046
22	121	132	106,0497	107,6643	14,95029	24,33565	18,04731	325,7055	15,45455
23	154	101	108,8532	110,6422	45,14681	-9,64217	-28,6317	819,7725	2178,927
24	97	98	111,6567	113,62	-14,6567	-15,62	-9,45516	89,40011	367,7384
								4770,347	10179,11

Размещено на Allbest.ru