Множественная регрессия и корреляция
Методика расчета параметров множественной регрессии и корреляции. Тест на выбор "длинной" или "короткой" регрессии. Тест Чоу на однородность зависимости объясняемой переменной от объясняющих. Тест Бреуша – Пагана. Тест Дарбина на наличие автокорреляции.
| Рубрика | Экономико-математическое моделирование |
| Вид | лекция |
| Язык | русский |
| Дата добавления | 13.02.2011 |
| Размер файла | 40,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Множественная регрессия и корреляция
Пусть требуется построить линейную модель зависимости некоторого выходного экономического показателя , называемого объясняемой переменной от набора входных показателей , называемых объясняющими переменными. Основным методом построения таких моделей является метод наименьших квадратов, смысл которого состоит в том, чтобы подобрать параметры модели, минимизирующие суммы квадратов отклонений модельных значений объясняемой переменной от истинных значений. Метод наименьших квадратов реализован во всех статистических пакетах программ, а также в средствах статистического пакета Анализа данных Microsoft Excel.
Пусть - наблюдений объясняемой переменной, а - наблюдений объясняющих переменных. Задача состоит в построении по данной выборке линейной модели зависимости объясняемой переменной от вектора объясняющих переменных.
.
Здесь - коэффициенты модели, которые надо определить, а - ошибка измерения модели.
Для адекватной работы метода наименьших квадратов требуется выполнение следующих гипотез:
. (спецификация модели).
-детерминированные величины, причем в матрице
столбцы линейно независимые, т.е. ранг этой матрицы равен .
- случайная величина, удовлетворяющая условиям
3а. , математическое ожидание ошибки равно нулю;
3b. , дисперсия ошибки не зависит от номера наблюдения;
3с. , т.е. ошибки разных наблюдений не зависят друг от друга.
Справедлива теорема Гаусса-Маркова, что при этих условиях метод наименьших квадратов дает наилучшую в некотором смысле модель. Если некоторые из условий не выполняются, то приходится использовать более сложные методы.
В результате применения метода наименьших квадратов находятся оценки коэффициентов модели . По этим оценкам и по значениям объясняющих переменных строятся модельные значения объясняемой переменной . Обозначим через отклонение истинного значения объясняемой переменной от модельного для -го наблюдения (). Качество модели оценивается через сумму квадратов отклонений модели
.
( error sum of squares) называется суммой квадратов ошибок.
Метод наименьших квадратов состоит в том, что среди всех возможных наборов коэффициентов модели находится набор, минимизирующий .
Если все коэффициенты модели, кроме константы , равны нулю, то - среднему значению объясняемой переменной. Тогда сумма квадратов отклонений равна
.
( total sum of squares) называется общей суммой квадратов.
За счет того, что не все коэффициенты модели равны нулю, сумма квадратов отклонений уменьшается. В соответствии с этим величина
означает объясненную сумму квадратов (regression sum of squares).
После получения оценок необходимо определить, все ли из них значимо отличаются от нуля, так как, если коэффициент равен нулю, это означает, что соответствующая объясняющая переменная не участвует в модели. Коэффициент значим, если гипотезу его равенства нулю надо отвергнуть. Соответственно значимостью коэффициента называется вероятность того, что его знак совпадает со знаком его оценки.
Для полученной модели необходимо уметь определять, можно ли отбросить несколько входящих в нее объясняющих переменных или добавить переменные, не входящие в модель. С этой целью, проводят тест для определения какая модель лучше - «длинная» или «короткая». Также необходимо проверять однородность модели для разных наборов переменных. Для этого предназначен тест Чоу. Для оценки адекватности модели надо проверять тесты на выполнение условий теоремы Гаусса-Маркова.
Тест на выбор «длинной» или «короткой» регрессии
Данный тест используется для отбора наиболее существенных объясняющих переменных. Например, переход от большого числа исходных показателей состояния анализируемой системы к меньшему числу наиболее информативных переменных может быть обусловлен дублированием информации, доставляемой сильно взаимосвязанными признаками или неинформативностью признаков, мало меняющихся при переходе от одного объекта к другому. Так, если две какие-либо объясняющие переменные сильно коррелированы с результирующим показателем и друг с другом, то часто бывает достаточно включения в модель одной из них, а дополнительным вкладом от включения другой можно пренебречь.
Пусть . Предположим, что модель не зависит от последних объясняющих переменных и их можно исключить из модели. Это соответствует гипотезе
,
т.е. последние коэффициентов равны .
Тест по проверке данной гипотезы состоит в следующем:
1. Построить по МНК «длинную» (unrestricted) регрессию по всем параметрам и найти для нее .
2. Используя МНК, построить «короткую» (restricted) регрессию по первым параметрам и найти для нее .
3. Вычислить F-статистику:
4. Найти критическую точку распределения Фишера при выбранном уровне значимости : .
5. Если , то гипотеза отвергается, т.е. следует использовать «длинную» модель.
Если , то гипотеза принимается, т.е. лучше «короткая» модель.
Тест Чоу на однородность зависимости объясняемой переменной от объясняющих
На практике нередки случаи, когда имеются две выборки пар значений зависимой и объясняющей переменных . Например, одна выборка пар значений переменных объемом получена при одних условиях, а другая, объемом , - при несколько измененных условиях. Необходимо выяснить, действительно ли две выборки однородны в регрессионном смысле? Другими словами, можно ли объединить две выборки в одну и рассматривать единую модель регрессии по (гипотеза )?
Для проверки гипотезы применяется тест Чоу (Chow), состоящий в следующем:
1. Используя МНК, построить модель по выборке объемом и найти для нее .
2. Пусть есть основание предполагать, что вся выборка состоит из двух подвыборок объемами и соответственно. Для каждой из них строится линейная регрессия. - сумма квадратов отклонений значений от регрессионных значений , посчитанных по первой подвыборке, - сумма квадратов отклонений значений от регрессионных значений , посчитанных по второй подвыборке.
3. Вычислить F - статистику:
,
где - число объясняющих переменных модели.
4. Найти критическую точку распределения Фишера при выбранном уровне значимости .
5. Если , то мы можем объединить две выборки в одну. Если , то необходимо использовать две модели.
Тесты на гетероскедастичность
Гомоскедастичность - дисперсия каждого отклонения одинакова для всех значений .
Гетероскедастичность - дисперсия объясняемой переменной (следовательно, и случайных ошибок) непостоянна.
В тестах на гетероскедастичность проверяется основная гипотеза (т.е. модель гомоскедастична) против альтернативной гипотезы : не (т.е. модель гетероскедастична).
Тест Гольдфельда - Куандта (Goldfeld - Quandt)
Этот тест применяется, как правило, когда есть предположение о прямой зависимости дисперсии ошибок от величины некоторой объясняющей переменной, входящей в модель.
Предполагается, что имеет нормальное распределение. Тест включает в себя следующие шаги:
1. Упорядочить данные по убыванию (или по возрастанию) той независимой переменной, относительно которой есть подозрение на гетероскедастичность.
2. Исключить средних (в этом упорядочении) наблюдений (, где - общее количество наблюдений).
3. Провести две независимых регрессии первых наблюдений и последних наблюдений и найти, соответственно, и . Из и выбираем большую и меньшую величины, соответственно, и .
4. Составить статистику и найти по распределению Фишера , где - число объясняющих переменных модели.
5. Если , то гипотеза отвергается, т.е. модель гетероскедастична, а если , то гипотеза принимается, т.е. модель гомоскедастична.
Тест Бреуша - Пагана (Breusch - Pagan)
Этот тест применяется в тех случаях, когда предполагается, что дисперсии зависят от некоторых дополнительных переменных. Пусть , . Тест состоит в следующем:
1. Провести обычную регрессию и получить . (Для этого в диалоговом окне Регрессия установить флажок на функцию Остатки)
2. Построить оценку .
3. Провести регрессию и найти для нее объясненную часть вариации .
4. Построить статистику .
5. Если (где p - число переменных, от которых зависит ), то имеет место гетероскедастичность.
Если , то - гомоскедастичность.
- критическая точка распределения (хи-квадрат) при выбранном уровне значимости , для нахождения которой выполнить следующую последовательность действий: fx Статистические ХИ2ОБР
Тест Дарбина - Уотсона (Darbin-Watson) на наличие автокорреляции
Этот тест используется для обнаружения автокорреляции первого порядка, т.е. проверяется некоррелированность не любых, а только соседних величин . Соседними обычно считаются соседние во времени (при рассмотрении временных рядов) или по возрастанию объясняющей переменной значения .
Гипотеза (автокорреляция отсутствует).
Общая схема критерия Дарбина - Уотсона следующая:
1. По эмпирическим данным построить уравнение регрессии по МНК и определить значения отклонений для каждого наблюдения t (t = 1, 2, …, n).
2. Рассчитать статистику DW:
3. По таблице критических точек распределения Дарбина -Уотсона для заданного уровня значимости , числа наблюдений и количества объясняющих переменных определить два значения: - нижняя граница и - верхняя граница (таблица 2).
Полный вариант таблицы приведен в разделе Математико-статистические таблицы (Таблица 5. Значения dH и dB критерия Дарбина--Уотсона на уровне значимости ? = 0,05 (n -- число наблюдений, р -- число объясняющих переменных). множественный корреляция регрессия
Таблица 2.
|
Статистика Дарбина - Уотсона, уровень значимости 0,05 |
|||||||||||
|
1 |
2 |
3 |
4 |
5 |
|||||||
|
20 |
1,20 |
1,41 |
1,1 |
1,54 |
1,00 |
1,67 |
0,90 |
1,83 |
0,79 |
1,99 |
|
|
21 |
1,22 |
1,42 |
1,13 |
1,54 |
1,03 |
1,66 |
0,93 |
1,81 |
0,83 |
1,96 |
|
|
22 |
1,24 |
1,43 |
1,15 |
1,54 |
1,05 |
1,66 |
0,96 |
1,80 |
0,86 |
1,94 |
|
|
23 |
1,26 |
1,44 |
1,17 |
1,54 |
1,08 |
1,66 |
0,99 |
1,79 |
0,90 |
1,92 |
|
|
24 |
1,27 |
1,45 |
1,19 |
1,55 |
1,10 |
1,66 |
1,01 |
1,78 |
0,93 |
1,90 |
|
|
25 |
1,29 |
1,45 |
1,21 |
1,55 |
1,12 |
1,66 |
1,04 |
1,77 |
0,95 |
1,89 |
4. Сделать выводы по правилу:
- существует положительная автокорреляция (), отвергается;
- вывод о наличии автокорреляции не определен;
- автокорреляция отсутствует, принимается;
- вывод о наличии автокорреляции не определен;
- существует отрицательная автокорреляция (), отвергается.
Размещено на Allbest.ru
Подобные документы
Тест на мультиколлинеарность Фаррара-Глобера. Тест на выбор "Длинной" или "Короткой" регрессии. Тест Чоу на однородность данных. Выполнение тестов "Гольдфельда-Куандта", "Бреуша-Пагана", "Уайта". Проверка мультиколлинеарности независимых переменных.
курсовая работа [30,7 K], добавлен 11.03.2014Факторы, формирующие цену квартир в строящихся домах в Санкт-Петербурге. Составление матрицы парных коэффициентов корреляции исходных переменных. Тестирование ошибок уравнения множественной регрессии на гетероскедастичность. Тест Гельфельда-Квандта.
контрольная работа [1,2 M], добавлен 14.05.2015Методика расчета линейной регрессии и корреляции, оценка их значимости. Порядок построения нелинейных регрессионных моделей в MS Exсel. Оценка надежности результатов множественной регрессии и корреляции с помощью F-критерия Фишера и t-критерия Стьюдента.
контрольная работа [3,6 M], добавлен 29.05.2010Расчет корреляции между экономическими показателями; построение линейной множественной регрессии в программе Excel. Оценка адекватности построенной модели; ее проверка на отсутствие автокорреляции и на гетероскедастичность с помощью теста Бреуша-Пагана.
курсовая работа [61,2 K], добавлен 15.03.2013Построение обобщенной линейной модели множественной регрессии, ее суть; теорема Айткена. Понятие гетероскедастичности, ее обнаружение и методы смягчения проблемы: тест ранговой корреляции Спирмена, метод Голдфелда-Квандта, тесты Глейзера, Парка, Уайта.
контрольная работа [431,2 K], добавлен 28.07.2013Определение параметров линейной регрессии и корреляции с использованием формул и табличного процессора MS Excel. Методика расчета показателей парной нелинейной регрессии и корреляции. Вычисление значений линейных коэффициентов множественной детерминации.
контрольная работа [110,4 K], добавлен 28.07.2012Гетероскедастичность случайного возмущения: основные причины и последствия. Тесты на наличие или отсутствие гетероскедастичности. Тест ранговой корреляции Спирмена. Тест Голдфеда–Квандта. Тест Глейзера. Количественные характеристики вектора возмущений.
реферат [149,8 K], добавлен 06.01.2015Расчет линейного коэффициента парной и частной корреляции. Статистическая значимость параметров регрессии и корреляции. Анализ корреляционного поля данных. Точность прогноза, расчет ошибки и доверительный интервал. Коэффициент множественной детерминации.
контрольная работа [155,8 K], добавлен 11.12.2010Описание классической линейной модели множественной регрессии. Анализ матрицы парных коэффициентов корреляции на наличие мультиколлинеарности. Оценка модели парной регрессии с наиболее значимым фактором. Графическое построение интервала прогноза.
курсовая работа [243,1 K], добавлен 17.01.2016Основы построения и тестирования адекватности экономических моделей множественной регрессии, проблема их спецификации и последствия ошибок. Методическое и информационное обеспечение множественной регрессии. Числовой пример модели множественной регрессии.
курсовая работа [3,4 M], добавлен 10.02.2014
