Порушення основних припущень лінійного регресійного аналізу

(1)

де - регресійна матриця розміру , ,

- вектор невідомих параметрів,

- вектор похибок спостережень.

Припущення відносно вектора спостережень позначатимемо :

. (2)

Або, що те ж саме, припущення відносно вектора похибок мають вигляд:

(3)

Вихідні припущення (2) або (3) регресійного аналізу виконуються далеко не завжди. Виникає низка питань: як виявити порушення цих припущень? В яких випадках і які порушення можна вважати припустимими? Що робити, якщо порушення виявляються неприпустимими?

Метою роботи є вивчення наслідків порушення основних припущень (3) лінійного регресійного аналізу, а саме:

1) припущення про незміщеність похибок ; (4)

2) припущення про однакову дисперсію і некорельованість похибок (5)

3) припущення про нормальний розподіл похибок ; (6)

4) припущення про незалежність спостережень . (7)

Наслідки порушення припущень (4)-(7) розглянемо на прикладі лінійної регресії з двома незалежними змінними.

«Ідеальною» моделлю лінійної регресії з двома незалежними змінними називатимемо модель виду

(8)

«Ідеальна» модель - це модель (1) з коефіцієнтами .

Опишемо вибір невипадкових змінних .

Квадрат розіб'ємо на 16 однакових квадратів розміром . В кожному з них оберемо 4 точки, які виступають вершинами квадратів розміром . Ці 64 вершини квадратів і обрані за значення, які набувають невипадкові змінні .

Рис. 1. Вибір значень , які набувають невипадкові змінні

Проведемо стохастичний експеримент, який полягає в моделюванні спостережень згідно з моделлю (8).

Результати експерименту наведено на рисунку 2.

Рис. 2

За допомогою критеріїв математичної статистики ми будемо перевіряти не тільки, чи виконуються припущення регресійного аналізу, але й гіпотези про адекватність лінійної моделі, про значущість регресії, про значущість коефіцієнтів регресії. Отже, модель (8) узгоджується з результатами експерименту, жодне з вихідних припущень не порушено.

1) „ідеальна” модель адекватна (модель лінійна);

2) „ідеальна” регресія значуща;

3) гіпотези , не відхиляються;

4) дисперсія залишків постійна;

5) залишки некорельовані;

6) залишки нормально розподілені .

Розглянемо модель лінійної регресії, в якій дисперсія спостережень величина змінна, тобто припущення (5) місця не має.

Проведемо стохастичний експеримент, який полягає в моделюванні спостережень згідно з моделлю

(9)

Результати експерименту наведено на рисунку 3.

Рис. 3

В порівнянні з ідеальною моделлю залишки не мають .

Отже, разом з порушенням припущення про постійну дисперсію залишків порушується й припущення про нормальний розподіл залишків.

Якщо залишки не мають нормального розподілу, то використовувати МНК-метод для оцінки параметрів регресії неприпустимо (МНК-оцінки не збігаються з ММП-оцінками).

Розглянемо модель лінійної регресії, в якій спостереження величини залежні, тобто припущення (7) місця не має.

Проведемо стохастичний експеримент, який полягає в моделюванні спостережень згідно з моделлю

(10)

Результати експерименту наведено на рисунку 4.

Рис. 4

В порівнянні з ідеальною моделлю

1) регресія незначуща;

2) гіпотези , відхиляються;

3) дисперсія залишків змінна величина;

4) залишки не мають .

Отже, разом з порушенням припущення про незалежність спостережень , порушуються й припущення про постійність дисперсії залишків і припущення про нормальний розподіл залишків. Такі порушення неприпустимі.

Розглянемо модель лінійної регресії, в якій спостереження рівномірно розподілені, тобто припущення (6) місця не має.

Проведемо стохастичний експеримент, який полягає в моделюванні спостережень згідно з моделлю

(11)

Результати експерименту наведено на рисунку 5.

Рис. 5

В порівнянні з ідеальною моделлю

1) гіпотези , відхиляються;

2) дисперсія залишків змінна величина.

Отже, разом з порушенням припущення про нормальний розподіл залишків, порушується й припущення про постійність дисперсії залишків.

Розглянемо модель лінійної регресії, в якій спостереження показниково розподілені, тобто припущення (6) місця не має.

Проведемо стохастичний експеримент, який полягає в моделюванні спостережень згідно з моделлю

(12)

Результати експерименту наведено на рисунку 6.

Рис. 6

В порівнянні з ідеальною моделлю,

1) лінійна регресія незначуща;

2) гіпотези відхиляються;

3) дисперсія залишків змінна величина.

Отже, разом з порушенням припущення про нормальний розподіл залишків, порушується й припущення про постійність дисперсії залишків.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. - М.: Статистика, 1973.

2. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2-е изд. - М.: Физматгиз, 1962.

3. Рао С.Р. Линейные статистические методы и их применение. - М.: Наука, 1968.

4. Себер Дж. Линейный регрессионный анализ. - М: Мир, 1980.