Уравнения линейной регрессии

Размещено на http://www.allbest.ru/

Задача 1

Исследуется зависимость производительности труда (Y_i) от уровня механизации работ (X_i) по данным 14 промышленных предприятий (i- порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:

1) Найти оценки параметров линейной регрессии у на х. Построить диаграмму рассеяния и нанести прямую регрессии на диаграмму рассеяния.

2) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной регрессии с результатами наблюдений.

3) С надежностью p = 0,95 найти доверительные интервалы для параметров линейной регрессии. 1.1.

Таблица

i		2	3	4	5	6	7	8	9	10	11	12	13	14
Xi г	32	30	36	40	41	47	56	54	60	55	61	67	69	76
Yi	20	24	28	30	31	33	34	37	38	40	41	43	45	48

Решение:

Метод наименьших квадратов дает наилучшие (состоятельные, эффективные и несмещенные) оценки параметров уравнения регрессии. Но только в том случае, если выполняются определенные предпосылки относительно случайного члена (е) и независимой переменной (x).

Формально критерий МНК можно записать так:

S = ?(y_i - y^*_i)² > min

Система нормальных уравнений.



a*n + b?x = ?y

a?x + b?x² = ?y*x

Для наших данных система уравнений имеет вид

14a + 724 b = 492

724 a + 40134 b = 26907

Домножим уравнение (1) системы на (-51.71), получим систему, которую решим методом алгебраического сложения.

-724a -37438.04 b = -25441.32

724 a + 40134 b = 26907

Получаем:

2695.96 b = 1465.68

Откуда b = 0.5435

Теперь найдем коэффициент «a» из уравнения (1):

14a + 724 b = 492

14a + 724 * 0.5435 = 492

14a = 98.51

a = 7.0361

Получаем эмпирические коэффициенты регрессии: b = 0.5435, a = 7.0361

Уравнение регрессии (эмпирическое уравнение регрессии):

y = 0.5435 x + 7.0361

Таблица. Для расчета параметров регрессии построим расчетную таблицу

x	y	x2	y2	x * y
32	20	1024	400	640
30	24	900	576	720
36	28	1296	784	1008
40	30	1600	900	1200
41	31	1681	961	1271
47	33	2209	1089	1551
56	34	3136	1156	1904
54	37	2916	1369	1998
60	38	3600	1444	2280
55	40	3025	1600	2200
61	41	3721	1681	2501
67	43	4489	1849	2881
69	45	4761	2025	3105
76	48	5776	2304	3648
724	492	40134	18138	26907

1. Параметры уравнения регрессии

Выборочные средние.

Выборочные дисперсии:

Среднеквадратическое отклонение



Коэффициент корреляции b можно находить по формуле, не решая систему непосредственно:

Коэффициент корреляции

Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

Линейный коэффициент корреляции принимает значения от -1 до +1.

Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:

0.1 <r_xy< 0.3: слабая;

0.3 <r_xy< 0.5: умеренная;

0.5 <r_xy< 0.7: заметная;

0.7 <r_xy< 0.9: высокая;

0.9 <r_xy< 1: весьма высокая;

В нашем примере связь между признаком Y фактором X весьма высокая и прямая. Кроме того, коэффициент линейной парной корреляции может быть определен через коэффициент регрессии b:



Уравнение регрессии (оценка уравнения регрессии).

Линейное уравнение регрессии имеет вид y = 0.54 x + 7.04

Коэффициентам уравнения линейной регрессии можно придать экономический смысл.

Коэффициент регрессии b = 0.54 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y повышается в среднем на 0.54.

Коэффициент a = 7.04 формально показывает прогнозируемый уровень у, но только в том случае, если х=0 находится близко с выборочными значениями.

Но если х=0 находится далеко от выборочных значений х, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.

Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y (x) для каждого наблюдения.

Связь между у и х определяет знак коэффициента регрессии b (если > 0 - прямая связь, иначе - обратная). В нашем примере связь прямая.

Коэффициент детерминации.

Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.

Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.

R²= 0.969² = 0.9384

т.е. в 93.84 % случаев изменения х приводят к изменению y. Другими словами - точность подбора уравнения регрессии - высокая. Остальные 6.16 % изменения Y объясняются факторами, не учтенными в модели (а также ошибками спецификации).

Таблица. Для оценки качества параметров регрессии построим расчетную таблицу

x	y	y(x)	(yi-ycp)2	(y-y(x))2	|y - yx|:y
32	20	24.43	229.31	19.61	0.22
30	24	23.34	124.16	0.43	0.0275
36	28	26.6	51.02	1.95	0.0499
40	30	28.78	26.45	1.5	0.0408
41	31	29.32	17.16	2.82	0.0542
47	33	32.58	4.59	0.18	0.0127
56	34	37.47	1.31	12.06	0.1
54	37	36.39	3.45	0.38	0.0166
60	38	39.65	8.16	2.71	0.0433
55	40	36.93	23.59	9.43	0.0768
61	41	40.19	34.31	0.66	0.0198
67	43	43.45	61.73	0.2	0.0105
69	45	44.54	97.16	0.21	0.0103
76	48	48.34	165.31	0.12	0.00713
724	492	492	847.71	52.26	0.69

Значимость коэффициента корреляции.

Выдвигаем гипотезы:

H₀: r_xy = 0, нет линейной взаимосвязи между переменными;

H₁: r_xy ? 0, есть линейная взаимосвязь между переменными;

Для того чтобы при уровне значимости б проверить нулевую гипотезу о равенстве нулю генерального коэффициента корреляции нормальной двумерной случайной величины при конкурирующей гипотезе H₁ ? 0, надо вычислить наблюдаемое значение критерия (величина случайной ошибки)

и по таблице критических точек распределения Стьюдента, по заданному уровню значимости б и числу степеней свободы k = n - 2 найти критическую точку t_крит двусторонней критической области. Если t_набл<t_крит оснований отвергнуть нулевую гипотезу. Если |t_набл| >t_крит -- нулевую гипотезу отвергают.

По таблице Стьюдента с уровнем значимости б=0.05 и степенями свободы k=12 находим t_крит:

t_крит (n-m-1;б/2) = (12;0.025) = 2.179

где m = 1 - количество объясняющих переменных.

Если |t_набл| >t_критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).

Поскольку |t_набл| >t_крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

В парной линейной регрессии t²_r = t²_b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

Интервальная оценка для коэффициента корреляции (доверительный интервал).

Доверительный интервал для коэффициента корреляции.

r (0.813;1)

Индивидуальные доверительные интервалы для Y при данном значении X.

(a + bx_i ± е)

где

t_крит (n-m-1;б/2) = (12;0.025) = 2.179



Таблица

xi	y = 7.04 + 0.54xi	еi	ymin = y - еi	ymax = y + еi
32	24.43	5.01	19.41	29.44
30	23.34	5.08	18.26	28.42
36	26.6	4.9	21.7	31.51
40	28.78	4.82	23.96	33.59
41	29.32	4.8	24.52	34.12
47	32.58	4.73	27.86	37.31
56	37.47	4.72	32.75	42.19
54	36.39	4.71	31.67	41.1
60	39.65	4.76	34.88	44.41
55	36.93	4.72	32.21	41.64
61	40.19	4.78	35.41	44.97
67	43.45	4.89	38.56	48.34
69	44.54	4.94	39.59	49.48

С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.

Проверка гипотез относительно коэффициентов линейного уравнения регрессии.

1) t-статистика. Критерий Стьюдента.

t_крит (n-m-1;б/2) = (12;0.025) = 2.179

Поскольку 13.51 > 2.179, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).



Поскольку 3.27 > 2.179, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Доверительный интервал для коэффициентов уравнения регрессии.

Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:

(b - t_критS_b; b + t_критS_b)

(0.54 - 2.179 * 0.0402; 0.54 + 2.179 * 0.0402)

(0.456;0.631)

С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.

(a - t_критS_a; a + t_крит S_a)

(7.036 - 2.179 * 2.15; 7.036 + 2.179 * 2.15)

(2.344;11.728)

С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.

2) F-статистика. Критерий Фишера.



где m - число факторов в модели.

Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:

1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H₀: R²=0 на уровне значимости б.

2. Далее определяют фактическое значение F-критерия:

где m=1 для парной регрессии.

Задача 2

Исследуется зависимость производительности труда (Yi) от уровня механизации работ (Xi %) и среднего возраста работников (Xi лет) по данным 14 промышленных предприятий (i - порядковый номер предприятия). Статистические данные приведены в таблице .

Требуется:

1) Вычислить ковариации и составить ковариационную матрицу.

2) Найти оценки параметров множественной линейной регрессии и составить уравнение плоскости регрессии у = b₀+b₁x +b₂x

3) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной множественной регрессии с результатом наблюдений.

4) С надежностью p = 0,95 найти доверительные интервалы для параметров множественной линейной регрессии. 2.1.

Таблица

i	1	2	3	4	5	6	7	8	9	10	11	12	13	14
X1i	32	30	36	40	41	4	56	54	60	55	61	67	69	76
X2i	33	31	41	39	46	43	34	38	42	35	39	44	40	41
Yi	20	24	28	30	31	33	34	37	38	40	41	43	45	48

Решение:

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения: s = (X^TX)^-1X^TY

Таблица

1	32	33
1	30	31
1	36	41
1	40	39
1	41	46
1	47	43
1	56	34
1	54	38
1	60	42
1	55	35
1	61	39
1	67	44
1	69	40
1	76	41



Матрица Y

20
24
28
30
31
33
34
37
38
40
41
43
45
48

Таблица. Матрица X^T

1	1	1	1	1	1	1	1	1	1	1	1	1	1
32	30	36	40	41	47	56	54	60	55	61	67	69	76
33	31	41	39	46	43	34	38	42	35	39	44	40	41

Умножаем матрицы, (X^TX)

В матрице, (X^TX) число 14, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X^T и 1-го столбца матрицы X

Умножаем матрицы, (X^TY)



Таблица. Находим обратную матрицу (X^TX)^-1

6.168	-0.0023	-0.153
-0.0023	0.000427	-0.000508
-0.153	-0.000508	0.0046

Вектор оценок коэффициентов регрессии равен

Уравнение регрессии (оценка уравнения регрессии)

Y = 1.74 + 0.53X₁ + 0.16X₂

Матрица парных коэффициентов корреляции R.

Число наблюдений n = 14. Число независимых переменных в модели равно 2, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 4. Матрица, независимых переменных Х имеет размерность (14 х 4).

Таблица. Матрица, составленная из Y и X

1	20	32	33
1	24	30	31
1	28	36	41
1	30	40	39
1	31	41	46
1	33	47	43
1	34	56	34
1	37	54	38
1	38	60	42
1	40	55	35
1	41	61	39
1	43	67	44
1	45	69	40
1	48	76	41

Таблица. Транспонированная матрица.

1	1	1	1	1	1	1	1	1	1	1	1	1	1
20	24	28	30	31	33	34	37	38	40	41	43	45	48
32	30	36	40	41	47	56	54	60	55	61	67	69	76
33	31	41	39	46	43	34	38	42	35	39	44	40	41

Таблица. Матрица A^TA.

14	492	724	546
492	18138	26907	19384
724	26907	40134	28533
546	19384	28533	21544

Таблица. Полученная матрица имеет следующее соответствие:

?n	?y	?x1	?x2
?y	?y2	?x1 y	?x2 y
?x1	?yx1	?x12	?x2 x1
?x2	?yx2	?x1 x2	?x22

Найдем парные коэффициенты корреляции.



Таблица

Признаки x и y	?xi		?yi		?xiyi
Для y и x1	724	51.714	492	35.143	26907	1921.929
Для y и x2	546	39	492	35.143	19384	1384.571
Для x1 и x2	546	39	724	51.714	28533	2038.071

Таблица

Признаки x и y
Для y и x1	192.347	60.551	13.869	7.781
Для y и x2	17.857	60.551	4.226	7.781
Для x1 и x2	17.857	192.347	4.226	13.869

уравнение линейный регрессия

Таблица. Матрица парных коэффициентов корреляции R:

-	y	x1	x2
y	1	0.969	0.426
x1	0.969	1	0.362
x2	0.426	0.362	1

Оценка дисперсии равна:

s_e² = (Y - X*Y(X))^T(Y - X*Y(X)) = 46.76

Несмещенная оценка дисперсии равна:

Оценка среднеквадратичного отклонения (стандартная ошибка для оценки Y):



Найдем оценку ковариационной матрицы вектора k = S² * (X^TX)^-1

Дисперсии параметров модели определяются соотношением S²_i = K_ii, т.е. это элементы, лежащие на главной диагонали

Множественный коэффициент корреляции (Индекс множественной корреляции).

Связь между признаком Y факторами X сильная

Расчёт коэффициента корреляции выполним, используя известные значения линейных коэффициентов парной корреляции и в-коэффициентов.

Коэффициент детерминации



R² = 0.945

Коэффициент детерминации.

R²= 0.972² = 0.945

Проверка гипотез относительно коэффициентов уравнения регрессии (проверка значимости параметров множественного уравнения регрессии).

Число v = n - m - 1 называется числом степеней свободы. Считается, что при оценивании множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.

1) t-статистика

T_табл (n-m-1;б/2) = (11;0.025) = 2.201

Находим стандартную ошибку коэффициента регрессии b₀:

Статистическая значимость коэффициента регрессии b₀ не подтверждается.

Находим стандартную ошибку коэффициента регрессии b₁:



Статистическая значимость коэффициента регрессии b₁ подтверждается.

Находим стандартную ошибку коэффициента регрессии b₂:

Статистическая значимость коэффициента регрессии b₂ не подтверждается.

Доверительный интервал для коэффициентов уравнения регрессии.

Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:

(b_i - t_iS_bi; b_i + t_iS_bi)

b₀: (1.74 - 2.201 * 5.12 ; 1.74 + 2.201 * 5.12) = (-9.53;13.01)

b₁: (0.53 - 2.201 * 0.0426 ; 0.53 + 2.201 * 0.0426) = (0.43;0.62)

b₂: (0.16 - 2.201 * 0.14 ; 0.16 + 2.201 * 0.14) = (-0.15;0.47)

Задача 3

Исследуется зависимость себестоимости единицы продукции (у тыс. р.) от объема произведенной продукции (х тыс. шт.) по данным 15 предприятий (г - порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:

1) Построить диаграмму рассеяния. Убедиться, что между себестоимостью и объемом произведенной продукции существует нелинейная связь.

2) Считая, что регрессия у по х представляется многочленом второй степени, найти оценки параметров параболической регрессии и составить уравнение линии регрессии.

3) Построить кривую регрессии и нанести ее на диаграмму рассеяния. 3.1.

Таблица

i	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Xiг	2	3	4	4	5	6	6	6	7	8	9	10	12	13	14
Yi	8	10	7	6	5	5	4	3	4	5	3	2	1	1	2

С помощью средств MS Excel нанесем точки рассеивания на координатную плоскость. Анализируя, расположение точек на диаграмме, можем утверждать наличие нелинейной связи между факторами.

Составим уравнение регрессии



Задача 4

Поквартальная динамика объема реализованной продукции (у млн. р.) объединения представлена в таблице. Требуется:

1) Оценить параметры линейного тренда методом наименьших квадратов.

2) На основании линейной модели определить прогноз экономического показателя у в 4-ом квартале 99 года.

Таблица

	1 KB. 98г.	2 кв. 98г.	3 кв. 98г.	4 кв. 98г.	1 KB. 99г.	2 кв. 99г.	3 кв. 99г.
yi	25	29	34	40	44	48	53

Решение:

Линейное уравнение тренда имеет вид y = a₁t + a₀

1. Находим параметры уравнения методом наименьших квадратов.

Система уравнений МНК:

a₀n + a₁?t = ?y

a₀?t + a₁?t² = ?y * t

Таблица

t	y	t2	y2	t y
1	25	1	625	25
2	29	4	841	58
3	34	9	1156	102
4	40	16	1600	160
5	44	25	1936	220
6	48	36	2304	288
7	53	49	2809	371
28	273	140	11271	1224



Для наших данных система уравнений имеет вид:

7a₀ + 28a₁ = 273

28a₀ + 140a₁ = 1224

Из первого уравнения выражаем а₀ и подставим во второе уравнение

Получаем a₀ = 20.143, a₁ = 4.714

Уравнение тренда:

y = 4.714 t + 20.143

Эмпирические коэффициенты тренда a и b являются лишь оценками теоретических коэффициентов в_i, а само уравнение отражает лишь общую тенденцию в поведении рассматриваемых переменных.

Коэффициент тренда b = 4.714 показывает среднее изменение результативного показателя (в единицах измерения у) с изменением периода времени t на единицу его измерения. В данном примере с увеличением t на 1 единицу, y изменится в среднем на 4.714.

Однофакторный дисперсионный анализ.

Средние значения

Дисперсия



Среднеквадратическое отклонение

Для оценки качества параметров уравнения построим расчетную таблицу (табл. 2)

Таблица

t	y	y(t)	(y-ycp)2	(y-y(t))2	(t-tp)2
1	25	24.86	196	0.0204	9
2	29	29.57	100	0.33	4
3	34	34.29	25	0.0816	1
4	40	39	1	1	0
5	44	43.71	25	0.0816	1
6	48	48.43	81	0.18	4
7	53	53.14	196	0.0204	9
		273	624	1.71	28

2. Анализ точности определения оценок параметров уравнения тренда.

Стандартная ошибка уравнения.

где m = 1 - количество влияющих факторов в модели тренда.



По таблице Стьюдента находим табл.

T_табл (n-m-1;б/2) = (5;0.025) = 2.571

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и t = 0

(a + bt_p ± е)

где

y(0) = 4.714*0 + 20.143 = 20.143

(20.143 - 0.569 ; 20.143 - 0.569)

(19.574;20.712)

Интервальный прогноз.

Определим среднеквадратическую ошибку прогнозируемого показателя.

Uy = y_n+L ± K



где

L - период упреждения; у_n+L - точечный прогноз по модели на (n + L)-й момент времени; n - количество наблюдений во временном ряду; Sy - стандартная ошибка прогнозируемого показателя; T_табл - табличное значение критерия Стьюдента для уровня значимости б и для числа степеней свободы, равного n-2.

По таблице Стьюдента находим Tтабл

T_табл (n-m-1;б/2) = (5;0.025) = 2.571

Точечный прогноз, t = 8: y(8) = 4.71*8 + 20.14 = 57.86

57.86 - 1.97 = 55.89 ; 57.86 + 1.97 = 59.83

Интервальный прогноз:

t = 8: (55.89;59.83)

уравнение линейный регрессия



Диаграмма

1. Размещено на Allbest.ru