Парадокси в математичній статистиці

• Вступ
• Розділ І. Основні поняття математичної статистики
• 1.1 Нерівність Крамера - Рао (розподіл дискретний)
• 1.2 Теорема 1.2.2 (нерівність Крамера - Рао, розподіл дискретний)
• 1.3 Метод максимальної правдоподібності
• Розділ ІІ. Парадокси в математичній статистиці
• 2.1 Парадокс оцінок математичного сподівання
• 2.1.1 Історія парадоксу
• 2.1.2 Парадокс
• 2.1.3 Пояснення парадоксу
• 2.2 Парадокс Байєса
• 2.2.1 Історія парадоксу
• 2.2.2 Парадокс
• 2.2.3 Пояснення парадоксу
• 2.3 Парадокс методу найменших квадратів
• 2.3.1 Історія парадоксу
• 2.3.2 Парадокс
• 2.3.3 Пояснення парадоксу
• 2.4 Парадокс оцінок дисперсії
• 2.4.1 Історія парадоксу
• 2.4.2 Парадокс
• 2.4.3 Пояснення парадоксу
• 2.5 Парадокс кореляції
• 2.5.1 Історія парадоксу
• 2.5.2 Парадокси
• 2.5.3 Пояснення парадоксів
• 2.5.4 Зауваження
• 2.6 Парадокси регресії
• 2.6.1 Історія парадокса
• 2.6.2 Парадокси
• 2.6.3 Пояснення парадоксів
• 2.7 Парадокси достатності
• 2.7.1 Історія парадоксу
• 2.7.2 Парадокс
• 2.7.3 Пояснення парадоксу
• 2.7.4 Зауваження
• 2.8 Парадокси методу максимальної правдоподібності
• 2.8.1 Історія парадоксу
• 2.8.2 Парадокси
• 2.8.3 Пояснення парадоксів
• 2.9 Парадокс інтервальних оцінок
• 2.9.1 Історія парадоксу
• 2.9.2 Парадокс
• 2.9.3 Пояснення парадоксу
• 2.9.4 Зауваження
• 2.10 Парадокс - критерію Стьюдента
• 2.10.1 Історія парадокса
• 2.10.2 Парадокс
• 2.10.3 Пояснення парадоксу
• 2.10.4 Зауваження
• 2.11 Парадокс перевірки гіпотез
• 2.11.1 Історія парадоксу
• 2.11.2 Парадокс
• 2.11.3 Пояснення парадоксу
• Висновки
• Список використаних джерел
• Приложение

Вступ

Основне питання задачі оцінювання параметрів розподілів - наскільки великою є похибка при заміні параметра оцінкою .

Оцінки , що пропонуються для оцінювання параметра , повинні бути незміщеними, тобто .

Такі оцінки мають меншу міру розсіювання відносно порівняно з оцінками, для яких .

Для оцінювання параметра можна запропонувати багато незміщених оцінок. Із сукупності таких оцінок природно вибрати ті, що мають мінімально можливу міру розсіювання (дисперсію).

Означення. Незміщену оцінку параметра будемо називати його найкращою оцінкою, оцінкою мінімальної дисперсії або ефективною оцінкою, якщо .

У зв'язку з цим означенням природно виникає питання: наскільки малою може бути мінімально можлива дисперсія оцінки (наскільки малими можуть бути відхилення від )? Виявляється, що коли сукупність розподілів , вибірки досить регулярно залежить від оцінюваного параметра , то можна вказати нижню межу дисперсії всіх незміщених оцінок параметра (нерівність Крамера - Рао). У деяких випадках існують оцінки параметра, на яких нижня межа досягається. Ці оцінки є ефективними. Порівнюючи дисперсію даної оцінки з нижньою межею дисперсій незміщених оцінок, можна з'ясувати, наскільки оцінка близька до найкращої можливої. Докладніше.

Нехай вибірка фіксованого обсягу має щільність розподілу .

Параметр будемо вважати одновимірним, а щодо множини його можливих значень припустимо, що вона є скінченим інтервалом числової прямої.

Лема 1.2.1 Якщо майже для всіх існують похідні

і , ,

мажорові інтегрованими функціями:

і виконуються умови

; , ,

то для всіх

Означення. Функцію

(коли вона визначена) називають інформацією за Фішером.

У лемі 1.2.1 наведено достатні умови, за яких інформація існує. Зазначимо, що

Теорема 1.2.1 (нерівність Крамера - Рао). Нехай задовольняються умови леми 1.2.1 і

незміщена оцінка параметра така, що функція

мажоровна інтегрованою функцією:

Тоді (1.2.1)

причому рівність в (1.2.1) досягається тоді і тільки тоді, коли можна подати у вигляді

Наслідок 1. Якщо оцінка задовольняє умови теореми і для неї нерівність Крамера - Рао перетворюється на рівність, то є ефективною оцінкою параметра .

Наслідок 2. Якщо оцінка задовольняє умови теореми, а статистика - умову

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай вибірка з розподілу з щільністю , причому для сумісної щільності

випадкові величини виконані умови теореми. Тоді нерівність Крамера - Рао можна переписати у вигляді

.

1.1 Нерівність Крамера - Рао (розподіл дискретний)

Лема 1.2.2 (розподіл дискретний).

Якщо для всіх можливих значень вибірки існують похідні

і , ,

Ряди

і

збігаються абсолютно й рівномірно відносно і виконуються умови

,

то для всіх

1.2 Теорема 1.2.2 (нерівність Крамера - Рао, розподіл дискретний)

Нехай задовольняються умови леми 1.2.2 і - незміщена оцінка параметра така, що для всіх можливих значень вибірки ряд

збігається абсолютно й рівномірно відносно . Тоді

причому рівність справджується тоді, коли можна подати у вигляді

Наслідок 1. Якщо оцінка задовольняє умови теореми і для неї нерівність Крамера - Рао

перетворюється на рівність, то є ефективною оцінкою параметра .

Наслідок 2. Якщо оцінка задовольняє умови теорем, а статистика - умову

де - розподіл вибірки , то - незміщена й ефективна оцінка параметра .

Наслідок 3. Нехай - вибірка з дискретного розподілу і для сумісного розподілу

випадкових величини виконані умови теореми, тоді нерівність Крамера - Рао можна записати у вигляді

.

1.3 Метод максимальної правдоподібності

Зазначимо, що функції та досягають найбільшого значення в одній і тій самій точці. А відшукати точку, в якій функція досягає найбільшого значення, часто зручніше.

Якщо функція диференційована по , то для того щоб розв'язати рівняння

(1.3.1)

достатньо знайти стаціонарні точки функції

,

розв'язуючи рівняння

і, порівнюючи значення функції у стаціонарних точках і на межі множини , вибрати точку , в якій функція , досягає найбільшого значення. Ця точка і буде розв'язком рівняння (1.3.1).

Рівняння

називають рівняннями максимальної правдоподібності.

Метод найменших квадратів.

Нехай - незалежні нормально розподілені випадкові величини з однаковою дисперсією

та середніми лінійними по параметру :

де - відомі, не випадкові величини, а - невідомі параметри, які слід оцінити. Кожну випадкову величину можна представити:

де - похибки спостережень та вони всі різні. Відносно припускається:

1) - незалежні випадкові величини, ;

2) ;

3) , , - не корельовані (це означає, що та не пов'язані між собою лінійною залежністю).

;

4) ~.

МНК - оцінкою параметрів називають точку , в якій функція

досягає мінімального значення.

Диференціюємо цю функцію за параметрами :

,

.

Прирівнюємо похідні нулеві:

Розглянемо систему рівнянь:

Виразимо з цієї системи параметри :

,

,

,

,

.

Отже МНК - оцінками параметрів є

,

.

Розділ ІІ. Парадокси в математичній статистиці

Зрівнювання протилежних значень і відхилень в "середньому", тобто підсумовування спостережень до одного значення має давні традиції. Есхіл писав у трагедії "Евменіди": "Богу завжди середина люб'язна, і міру поважає божество", а послідовники китайського філософа Конфуція говорять, що "у нерухомості середнього є найбільша досконалість". Поняття "середнього" можна інтерпретувати в різний спосіб (середнє арифметичне, середнє геометричне, медіана і т. ін). Але у практичних застосуваннях протягом тривалого часу вкрай важливу роль відігравало середнє арифметичне. Вже в перших результатах теорії ймовірностей і математичної статистики вивчалося середнє арифметичне вибірки.

2.1.2 Парадокс

Нехай - реалізація вибірки з розподілу . Розподіл залежить від параметра , що набуває значень з деякої множини можливих значень . Значення параметра в розподілі невідомо, і його необхідно оцінити за реалізацією вибірки .

Якщо за розподіл обрати нормальний розподіл , то оцінка

незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка не є незміщеною оцінкою з найменшою дисперсією.

У цьому і полягає парадокс оцінки математичного сподівання.

2.1.3 Пояснення парадоксу

Нехай - вибірка з нормального розподілу з параметрами . Порахуємо математичне сподівання оцінки :

тому - незміщена оцінка для параметра .

З'ясуємо, чи є спроможною оцінкою параметра , тобто чи збігається за ймовірністю до . Для досить малих маємо:

в силу закону великих чисел. Останнє означає, що є спроможною оцінкою параметра .

Покажемо, що незміщена оцінка з найменшою дисперсією:

.

Умова обертання нерівності Крамера - Рао (дивитися підрозділ 1.2) в рівність говорить, що якщо статистика , така, що

де - щільність розподілу вибірки , то - незміщена й ефективна оцінка параметра .

Обчислимо :

== ==

== ==

=== =

= = ,

тому - ефективна оцінка для параметра .

Розглянемо сім'ю розподілів на , які залежать від параметра і задаються щільністю , .

Кількість інформації за Фішером визначимо

. (2.1.3.1)

За умов, що ми вважаємо, що підінтегральний вираз дорівнює нулеві. Отже,

Теорема 2.1.3.1 (Каган, Лінник, Рао) [1] У класі щільностей , зі скінченою дисперсією , що задовольняють умови

1. - неперервно-диференційована функція. (2.1.3.2)

2. при (2.1.3.3)

нерівність Крамера-Рао обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що

Позначимо множину точок , для яких через .

Оскільки неперервна, то - відкрита множина, і отже, можна подати як об'єднання відкритих інтервалів, що не перетинаються:

.

Інтегрування за частинами дає

,

.

Звідси . (2.1.3.4)

Скористаємось нерівністю Коші - Буняковського для інтегралів

.

Позначимо

, .

Тоді з (2.1.3.4) маємо

.

Отже,

,

.

При цьому знак рівності досягається тоді й тільки тоді, коли при деякій постійній

.

Знайдемо щільність з рівності:

. (2.1.3.5)

Розв'язуючи диференціальне рівняння маємо:

.

Для знаходження сталих скористаємося тим, що (інтеграл від щільності дорівнює 1), (математичне сподівання дорівнює 0), (дисперсія скінчена і дорівнює ).

Розв'язуючи рівняння:

Знаходимо

Отже, маємо щільність нормального розподілу з параметрами :

.

Теорема доведена.

Зауваження 1. Нерівність Крамера - Рао (1.2.1) в теоремі набуває вигляду .

Дійсно, згідно з наслідком 3 з теореми (нерівність Крамера - Рао)

Порахуємо :

Підставляємо в нерівність:

або,

,

або,

Зауваження 2. З одного боку

З іншого боку

.

Знак рівності в нерівності Крамера - Рао досягається тоді й тільки тоді, коли

,

або,

або,

В частинному випадку для щільності , розподілу маємо

2.2 Парадокс Байєса

2.2.1 Історія парадоксу

Томас Байєс, учень де Муавра, є одним з видатних засновників математичної статистики. Його теорема, доведена близько 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й досі. Більш того, теоретична прірва між послідовниками байєсівського й антибайєсівського підходів продовжує збільшуватися. Сформулюємо теорему Байєса.

Нехай та - довільні події, які мають імовірності та відповідно. Позначимо через ймовірність перетину подій та , - умовна імовірність події , якщо відомо, що подія відбулася. Якщо події - утворюють повну групу подій, тобто

1) - попарно неперетинні ( ),

2) ,

То

, ,

Остання формула називається формулою Байєса. Вона показує, як за апріорними ймовірностями подій (імовірностями подій відомими до того, як подія відбулася) знайти апостеріорні ймовірності подій (ймовірності подій після того, як подія відбулася).

Сама теорема безперечна, але в більшості її застосувань апріорні імовірності невідомі. В цьому випадку, як правило, вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності були випадковими величинами, зокрема, рівномірно розподіленими на інтервалі .

Нехай - випадкова величина зі щільністю

.

Позначимо через - подію, яка полягає у тому, що у випробовуваннях Бернуллі подія відбулась разів, при цьому ймовірність події дорівнює .

Умовна щільність випадкової величини дорівнює

(2.2.1 1)

Де - це умовна ймовірність події за умов, що набуло значення дорівнює

. Тоді

(2.2.1 2)

І ймовірність того, що дорівнює

. (2.2.1 3)

Байєс висунув ідею про те, що якщо ми не маємо ніякої попередньої інформації про , апріорна щільність випадкової величини рівномірна на усьому інтервалі . Наприклад, якщо , , , , то за наведеною вище формулою (2.2.1 3), імовірність того, що більше , дорівнює . Дійсно,

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Незнання апріорного розподілу виявилось настільки руйнівним для обґрунтування статистичних виводів з теореми Байєса, що ця теорема була майже виключена зі статистичних досліджень. Але в другій третині ХХ століття байєсівський підхід знову здобув розвитку, завдяки важливій ролі, яку він відіграє при пошуку допустимих та мінімаксних оцінок. Все більш розповсюджувалась точка зору про те, що послідовне застосування формули Байєса (коли після кожного експерименту апостеріорні ймовірності переоцінюють і на наступному кроці вони використовуються як апріорні імовірності) знижує роль вихідного апріорного розподілу, оскільки після багаторазового переоцінювання вихідний апріорний розподіл не впливає на заключний апостеріорний розподіл.

(Очевидно, що деякі випадки не розглядаються, наприклад, коли значення дорівнює , а апріорний розподіл рівномірний на відрізку , що не містить точку ).

2.2.2 Парадокс

Нехай можливими значеннями випадкової величини є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру , який належить відрізку . Якщо вибірка здобута з невідомого розподілу (розподілу з невідомим параметром ), то послідовність апостеріорних розподілів (які обчислені за вихідним апріорним розподілом)

.

концентрується навколо істинного значення невідомого параметра .

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра може дорівнювати , а послідовність апостеріорних розподілів (при збільшенні числа спостережень ) все більше зосереджується, наприклад, біля .

2.2.3 Пояснення парадоксу

Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде набувати найбільше значення в околі істинного значення , тобто поблизу . Однак це міркування не суперечить тому, що функції апостеріорної щільності можуть усе більш зосереджуватись поблизу . Якщо число можливих значень величини скінченне, то такий випадок неможливий, але коли значеннями можуть бути будь-які цілі числа, парадоксальна ситуація може відбутися.

Нехай апріорний розподіл параметра рівномірний на відрізку . Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де . Нехай розподіл випадкової величини (який залежить від ) має вигляд

,

де є константою, для якої

.

При відповідному виборі вказана вище парадоксальна ситуація здійснена. [5]

Найбільшого розповсюдження набули три точкові оцінки параметра .

1. Мода. Оцінка параметра обирається виходячи з максимуму апостеріорної щільності, тобто

(2.2.3.1)

2. Медіана. Оцінка параметра обирається виходячи з рівності

,

або

3. Середнє. Оцінка параметра обирається як математичне сподівання

2.3 Парадокс методу найменших квадратів

2.3.1 Історія парадоксу

Через помилки вимірювань часто здається, що теоретичні формули й емпіричні дані суперечать одне одному. На початку минулого століття Лежандр, Гаус і Лаплас запропонували ефективний метод, що дозволяє зменшити вплив помилок вимірювань. Лежандр розробив і застосував цей метод у 1805 р. для знаходження орбіт комет. Початківцями цієї теорії були Галілей (1632), Ламберт (1760), Ейлер (1778) та інші. Новий метод, названий методом найменших квадратів, детально досліджував Гаус в своїй роботі “Теорія руху небесних тіл" (1809). Саме Гаус вказав на ймовірнісний характер цього методу. Хоча Лежандр і звинувачував Гауса в плагіаті, але він не міг пред'явити для цього достатні підстави. Гаус претендував на пріоритет лише у використанні методу, а не в його публікації. Лаплас опублікував свою основну роботу з теорії ймовірностей в 1812 р., присвятивши його “великому Наполеону”. Протягом всієї четвертої глави його роботи йде викладення числення похибок. З того часу метод найменших квадратів розвинувся в новий розділ математики.

Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Бўєнеме.

2.3.2 Парадокс

Нехай - вибірка, утворена незалежними випадковими величинами зі щільністю

,

Ми маємо можливість спостерігати . За результатами спостережень необхідно оцінити невідомий параметр (параметри a, b вважаємо відомими). Оцінка параметра за методом найменших квадратів дорівнює

. (2.3.2.1)

Оцінка параметра за методом максимальної правдоподібності дорівнює

(2.3.2.2)

Оцінка параметра за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності.

Яка з них краще?

2.3.3 Пояснення парадоксу

Спочатку знайдемо оцінку параметра МНК - методом.

МНК - оцінкою параметра називають точку, в якій функція

(2.3.3.1)

досягає найменшого значення.

Обчислимо :

Порахуємо кожен інтеграл окремо:

перший інтеграл дорівнює

;

другий інтеграл дорівнює

;

третій інтеграл дорівнює

;

четвертий інтеграл дорівнює

.

Тоді маємо

.

Підставляємо в формулу (2.3.3.1):

.

Візьмемо похідну від функції по параметру :

.

Прирівнюємо похідну нулеві:

, .

Звідси знаходимо оцінку для параметра :

.

Знайдемо оцінку параметра за методом максимальної правдоподібності. [4] Випишемо функцію максимальної правдоподібності

.

Функція набуває максимального значення за умови, що набуває мінімального значення.

Нехай варіаційний ряд послідовності .

Розглянемо два випадки: n=2k-1; n=2k.

Нехай n=2k-1. На кожному з проміжків функція

лінійна. Причому на проміжку , , спадає (кутовий коефіцієнт - коефіцієнт при - від'ємний), і на кожному з проміжків , зростає. Отже, найменше значення неперервна функція досягає в точці . Нехай n=2k. Тоді на кожному з проміжків , …, , функція спадає, на проміжку - постійна і на , …,, зростає. Отже, найменше значення функція досягає в кожній точці проміжку .

Отже, за методом максимальної правдоподібності оцінкою параметра

є

Якщо - результати спостережень - розподілені нормально (щільність розподілу має вигляд , ), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра є

.

В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень), що на практиці зустрічається дуже часто. Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. У вказаному вище парадоксі вживання оцінки більш виправдано.

Використовуючи стандартні поняття математичної статистики, парадокс можна коротко сформулювати наступним чином: оцінка за методом найменших квадратів не завжди збігається з оцінкою максимальної правдоподібності. Дійсно, якщо - додатна щільність, напівнеперервна знизу в точці ; - щільність розподілу вимірювань і є оцінка максимальної правдоподібності параметра для , то є щільністю нормального розподілу з нульовим середнім. Це - закон Гауса про похибки, який можна довести наступним чином: якщо припустити для простоти, що існує похідна , і добуток максимальний за умови, що , то

,

тобто (позначаючи ) з рівності випливає , що можливо при лише тоді, коли ; звідки випливає, що , де і - додатні числа (інакше функція не була б щільністю).

Таким чином, оцінка параметра зсуву за методом найменших квадратів збігається з оцінкою максимальної правдоподібності лише для нормальних розподілів.

2.4 Парадокс оцінок дисперсії

2.4.1 Історія парадоксу

Найважливішою характеристикою випадкових величин і їх розподілів разом з математичним сподіванням є дисперсія.

Нехай вибірка з розподілу . Якщо дисперсія розподілу скінчена, то при відомому математичному сподіванні розподілу вибіркова дисперсія

є незміщеною оцінкою дисперсії . Дійсно,

.

Ситуація змінюється, коли математичне сподівання розподілу невідоме і за оцінку математичного сподівання розглядається оцінка

.

Тоді вибіркова дисперсія

вже не є незміщеною оцінкою. Дійсно,

.

Оцінка є асимптотично незміщеною оцінкою для .

Оскільки незміщеність - одна з необхідних властивостей, яку повинна мати добра оцінка, змінимо оцінку так, щоб одержати незміщену оцінку для , а саме: помножимо на множник і позначимо нову оцінку :

.

Оцінка незміщена оцінка для [2]. Дійсно,

Проте парадокс оцінок дисперсії говорить про те, що не завжди треба обмежуватися розглядом лише незміщених оцінок. Іноді оцінка з малим зміщенням і малою мірою розсіювання значень оцінки краще незміщеної оцінки з великою дисперсією.

2.4.2 Парадокс

Нехай - вибірка з нормального розподілу . Оцінка

є незміщеною оцінкою для , а оцінка

для така, що міра розсіювання оцінки відносно мінімальна. Отже, вимоги незміщеності і мінімуму міри розсіювання приводять до різних оцінок. Якій з оцінок віддати перевагу?

2.4.3 Пояснення парадоксу

Розглянемо клас оцінок [6]. Математичне сподівання оцінок дорівнює . В класі оцінок існує єдина незміщена оцінка, яка відповідає і ця оцінка , тобто . Порахуємо міру розсіювання оцінок відносно :

Згідно з теоремою про розподіл оцінок і параметрів нормального розподілу випадкова величина має - розподіл з ступенями вільності. Тоді при

,

Звідки

і

.

Тоді перепишеться:

.

Позначимо функцію від через

.

Знайдемо , при якому функція досягає найменшого значення:

,

,

,

.

При цьому

,

і

,

а

.

Одержуємо нерівність

.

Таким чином, на підставі вимоги мінімуму міри розсіювання оцінки зміщена оцінка

,

зміщення якої

мале при достатньо великому обсязі вибірки , краще оцінює дисперсію , ніж незміщена оцінка .

Цей парадокс показує, що не може бути єдиного критерію, за яким необхідно порівнювати всі оцінки, як не існує єдиної оцінки даного параметра , яка прийнятна для всіх випадків.

Зауваження. Вибіркова дисперсія

при відомому математичному сподіванні є ефективною оцінкою для . Оцінка ж не є ефективною оцінкою для . Ефективної оцінки для (при невідомому математичному сподіванні) не існує, тобто ні для якої незміщеної оцінки параметра нерівність Крамера - Рао не обертається в рівність. Тому й виникає парадокс: оскільки незміщеної оцінки з мінімальною дисперсією не існує, то якій віддати перевагу.

2.5 Парадокс кореляції

2.5.1 Історія парадоксу

До останньої третини минулого століття деякі науки (наприклад, молекулярна фізика) досягли такого рівня розвитку, що стало необхідним використання в них теорії ймовірностей і математичної статистики. У 1859 р. книга Дарвіна спричинила революцію в біології і незабаром після цього родич Дарвіна Френсис Гальтон заклав основи генетики людини. (Дослідження Менделя з генетики були знов "відкриті" лише на рубежі століть; слово "генетика" використовується лише з 1905 р., але результати Гальтона привернули загальну увагу вже в минулому столітті) Гальтон і його учні (особливо Карл Пірсон) ввели такі важливі поняття, як кореляція і регресія, які стали основними поняттями в теорії ймовірностей і математичній статистиці (а також в пов'язаних з ними науках). Вага і зріст людини, природно, тісно пов'язані між собою, але вони не визначають один одного однозначно. Кореляція виражає цей зв'язок одним числом, абсолютна величина якого не перевершує 1. Для двох випадкових величин і кореляція визначається таким чином. Нехай і , і позначають математичне сподівання і стандартне відхилення і відповідно. Тоді коефіцієнт кореляції (або коротко кореляція) для і визначається формулою

(2.5.1.1)

Абсолютне значення кореляції максимальне (тобто дорівнює 1), якщо між і існує лінійна залежність, тобто . Якщо і незалежні (і їх дисперсії кінцеві), то їх кореляція дорівнює 0, іншими словами, вони некорельовані. У математичній статистиці оцінкою для кореляції , як правило, є вибірковий коефіцієнт кореляції, який будується за незалежною вибіркою так:

(2.5.1.2)

У ряді випадків добре описує зв'язок між і , але вже на рубежі століть обчислювалися залежності, позбавлені сенсу; наприклад, кореляція між числом гнізд лелек і числом немовлят. Поняття кореляції поступово містифікувалося і деякі "внутрішні" (взагалі кажучи, випадкові) зв'язки стали вважати такими, що існують, якщо була виявлена велика кореляція (тобто близька за абсолютною величиною до 1). Ось чому виникли абсолютно абсурдні результати, і це ледве не дискредитувало всю статистику. Як правило, ігнорувався той факт, що велика кореляція для і може бути результатом впливу якоїсь третьої величини. Наприклад, в Англії й Уельсі відмітили, що із збільшенням числа радіослухачів зростало число божевільних і розумово відсталих людей. Проте така інтерпретація абсолютно помилкова, оскільки не можна психічно захворіти від того, що слухаєш радіо. Справа лише в тому, що з часом зростає і число радіослухачів, і число випадків психічних захворювань, але між ними немає жодної причинної залежності. На жаль, невірні тлумачення не завжди настільки очевидні, наприклад, в технічних або економічних застосуваннях. Порівняння віросповідання і зростання людей дає ще один приклад надуманої залежності, згідно якої при прямуванні від Шотландії до Сіцілії доля католиків в населенні поступово зростає і в той же час середнє зростання людей спадає. Проте будь-який причинний зв'язок тут абсолютно неможливий. Розглянемо деякі парадокси кореляції.

2.5.2 Парадокси