Парадокси в математичній статистиці
Основні поняття математичної статистики. Оцінювання параметрів розподілів. Метод максимальної правдоподібності. Парадокси оцінок математичного сподівання та дисперсії, Байєса, методу найменших квадратів, кореляції, перевірки гіпотез та їх пояснення.
| Рубрика | Математика |
| Вид | дипломная работа |
| Язык | украинский |
| Дата добавления | 12.08.2010 |
| Размер файла | 1,1 M |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Нехай
1. , якщо , тобто ,
2. , якщо , тобто .
,
Розглянемо (1) випадок.
, . (2.8 3.2.1)
Логарифмуємо вираз (2.8 3.2.1):
. (2.8 3.2.2)
Беремо частинну похідну за параметром :
. (2.8 3.2.3)
Приводимо подібні доданки:
, .
- оцінка максимальної правдоподібності для , якщо .
Знаходимо математичне сподівання оцінки :
(2.8 3.2.4)
Для будь-якого
:
- спроможна оцінка для параметра , .
Розпишемо аналогічно для другого випадку.
, . (2.8 3.2.5)
Логарифмуємо вираз
.
Беремо частинну похідну за параметром :
. (2.8 3.2.6)
Приводимо подібні доданки:
, .
- оцінка максимальної правдоподібності для , якщо
: .
Знаходимо математичне сподівання оцінки :
,
- незміщена оцінка для параметра , якщо
Для будь-якого :
.
- спроможна оцінка для параметра , для .
Оцінка для параметра у випадках та різні:
, якщо
І , якщо .
2.9 Парадокс інтервальних оцінок
2.9.1 Історія парадоксу
Теорія інтервального оцінювання була розроблена Г. Фішером і Д. Нейманом між 1925 і 1935 роками. Довірчий інтервал Неймана містить невідомий параметр зі заданою ймовірністю . Нехай - вибіркові значення, і припустимо, що і такі, що
.
тоді інтервал називається довірчим інтервалом з коефіцієнтом надійності для . Якщо невідоме математичне сподівання нормального розподілу зі стандартним відхиленням , то
,
тобто є довірчим інтервалом для з коефіцієнтом надійності 0.95%. При іншому підході до інтервального оцінювання випадковим параметром не вибірка, а невідомий параметр . В цьому випадку інтервал не залежить від вибіркових значень, і рівність
просто означає, що потрапляє в інтервал з ймовірністю . Наприклад, якщо - невідоме математичне сподівання нормального розподілу, то через випадкові помилки вимірювань не визначається повністю вибірковим середнім .
Такий параметр можна розглядати як нормально розподілену випадкову величину з математичним сподіванням і стандартним відхиленням . Отже,
.
Такий вигляд інтервальних оцінок, які називають фідуціальними інтервалами, введено Фішером. У випадку нормального розподілу, як ми бачимо, довірчі і фідуціальні інтервали формально збігаються; відрізняється лише їх "філософія". На протязі деякого часу вважали, що ці два види інтервалів практично збігаються, і суперечки про відмінність між довірчими і фідуціальними інтервалами є чисто теоретичними. Проте незабаром виявилися парадокси, що мають практичне значення. Різні підходи Фішера і Неймана привели і до різних результатів в практичних застосуваннях. У 1959 р. К. Стейн вказав на надзвичайно парадоксальний випадок. Для простоти він розглянув довірчі і фідуціальні інтервали, в яких або тому, що такі інтервали визначаються одним значенням (іншими кінцем інтервалу).
2.9.2 Парадокс
Нехай - незалежні нормально розподілені випадкові величини з одиничною дисперсією. Позначимо через їх математичне сподівання. Нехай вектор знаходиться на відстані
від початку координат к Стейн довів, що фідуціальний і довірчий інтервали для можуть суттєво відрізнятися. Оцінимо кожне відповідним середнім значенням вибірки обсягу . Нехай відстань між початком координат і вектором вибіркових середніх дорівнює
.
Тоді
,
якщо - випадкова величина (будується довірчий інтервал) і яке б не було значення невідомого параметра .
З іншого боку, якщо - випадкова величина (будується фідуціальний інтервал), то
для будь - якого вибіркового середнього . Іншими словами, ймовірність того, що довірчий інтервал містить невідоме значення , більша 50%; в той же час з імовірністю, більшою 50%, випадкова величина знаходиться в (фідуціальному) інтервалі . Таким чином, з точки зору теорії довірчих інтервалів краще ставити на нерівність, а при фідуціальному підході ситуація прямо протилежна.
2.9.3 Пояснення парадоксу
Неможливо показати всі протиріччя між фідуціальним підходом і теорією довірчих інтервалів, які виникають у зв'язку з задачею Стейна. Якщо фідуціальний підхід застосовується не до елементів вибірки, заданими своїми координатами, а (через сферичну симетрію нормального розподілу) до сум квадратів координат, то фідуціальні інтервали співпадають з довірчими інтервалами. Отже, вигідніше ставити на те, що " більше, ніж ".
2.9.4 Зауваження
2.9.4.1 Побудуємо інтервальну оцінку для невідомого математичного сподівання нормального розподілу з відомим стандартним відхиленням , використовуючи апріорну інформацію про те, що величина нормально розподілена з математичним сподіванням і стандартним відхиленням (ці величини відомі).
Якщо - середнє значення вибірки об'єму , то за теоремою Байєса апостеріорний розподіл величини також нормальне з математичним сподіванням
і стандартним відхиленням D, де
Отже, є 95% інтервальною оцінкою для , оскільки
.
Відсутність апріорної інформації значить, що , тобто . Таким чином,
це і є фідуціальний інтервал. Отже, у випадку многовимірного нормального розподілу байєсівський підхід приводить до того ж самого парадоксу, що і фідуціальний підхід.
2.9.4.2 Нехай нам треба оцінити параметр зсуву за вибіркою , елементи якої мають показникові щільність розподілу (якщо і 0 в супротивному разі). Оцінка
незміщена, і її щільність розподілу пропорційна при . За допомогою цієї щільності можна легко знайти 90% довірчий інтервал найменшої довжини. У випадку, коли цей довірчий інтервал має вигляд .
З іншого боку , очевидно, менше, ніж .
Таким чином, 90% довірчий інтервал найменшої довжини знаходиться в області, в якій знаходитися не може! Джейнес підкреслив, що для побудови інтервальної оцінки слід скористатися байєсівським підходом. Якщо апріорна щільність є сталою, то апостеріорна щільність величини буде , якщо і 0 в протилежному випадку. Таким чином, інтервал
,
де
,
задає найменшу апостеріорну зону, яка містить апостеріорну ймовірність з ймовірністю . Для вказаної вище вибірки отримаємо .
З точки зору теорії довірчих інтервалів можна було б сказати, що не є достатньою статистикою для , а статистика - достатня. Довірчий інтервал найменшої довжини, побудований за достатньою статистикою, співпадає з байєсівським інтервалом, побудованим вище. Але навіть, якщо ми працюємо з , може виявитися, що 90% довірчий інтервал лежить на від'ємній піввісь, а нам відомо (апріорна інформація), що величина не може бути негативною.
2.10 Парадокс - критерію Стьюдента
2.10.1 Історія парадокса
У класичній теорії математичної статистики припускається, що вибіркові значення (спостереження) заздалегідь відомі. В основі одного з важливіших напрямків сучасної статистики лежить розуміння того, що не треба фіксувати заздалегідь обсяг вибірки, його слідує визначати в залежності від результатів більш ранніх спостережень. Таким чином, обсяг вибірки випадковий. Ця ідея послідовного вибору поступово розвивалася у роботах Г. Доджа та Г. Роміга (1929 р), П. Махалонобіса (1940 р), Г. Хотеллінга (1941 р) та У. Бєрткі (1943 р), але дійснім засновником теорії послідовного аналізу в математичній статистиці є А. Вальд (1902-1950). Його послідовний критерій відношення правдоподібності (1943 р) став важливим відкриттям, яке дозволило (у типових ситуаціях) на 50% зменшити середню кількість спостережень (за тих же умов помилок). Не дивно, що в роки другої світової війни відкриття Вальда було оголошено "секретним". Його основна книга "Послідовний аналіз" опублікована лише у 1947 р. Рік потому Вальд та Дж. Волфовіц довели, що методи, які відрізняються від послідовного критерію правдоподібності, не дають такого зменшення числа елементів вибірки. Але і в цій області виявились парадокси. Розглянемо парадокс, який належить К. Стейну, хоча цей парадокс відноситься до двохшагових критеріїв, а не до послідовних.
2.10.2 Парадокс
Нехай - вибірка незалежних нормально розподілених випадкових величин з спільним невідомим математичним сподіванням та спільним невідомим стандартним відхиленням . На основі цієї вибірки будемо розрізнювати наступні нульову та альтернативну гіпотези. Нульова гіпотеза полягає у тому, що (де - деяке задане число), а альтернативна - у тому, що . Нехай
і
Такі гіпотези та розрізняють за допомогою - критерію Стьюдента. Згідно - критерію нульова гіпотеза не відхиляється або відхиляється в залежності від того, близько значення до 0 чи ні. У 1940 р.Г. Данциг показав, що при заданій ймовірності помилки 1-го роду ймовірність помилки 2-го роду для будь - якого вирішального правила залежить від невідомого стандартного відхилення . Парадоксально, але через 5 років К. Стейн довів, що якщо обсяг вибірки не фіксувати заздалегідь, а визначати по вже отриманим елементам вибірки (як у послідовному аналізі Вальда), то існує - критерій, для якого (при заданій імовірності помилки 1-го роду) імовірність помилки 2-го роду не залежить від невідомого стандартного відхилення (а залежить лише від різниці ).
2.10.3 Пояснення парадоксу
На першому кроці візьмемо вибірку , де - деяке фіксоване число. Вибіркова дисперсія визначається формулою
Припустимо, що обсяг вибірки залежить від величини та заздалегідь фіксованого числа наступним чином:
де дужки означають цілу частину дійсного числа. Оберемо додатні числа так, що
, та ,
та спробуємо розрізнити гіпотези та за допомогою статистики
де
Очевидно, що при заданому випадкова величина нормально розподілена з математичним сподіванням та дисперсією З іншого боку розподіл величини (для довільного ) збігається з розподілом суми квадратів незалежних стандартних нормальних випадкових величин (тобто з хі-квадрат розподілом ), який не залежить від . Отже, розподіл величини також не залежить від , тому залежить лише від , але не від .
2.10.4 Зауваження
2.10.4.1 Розподіл випадкової величини не є нормальним, оскільки не число, а випадкова величина. (Якщо б значення стандартного відхилення було б відомим, та ми б поставили це значення замість , то розподіл випадкової величини було б стандартним нормальним) Це чудове спостереження та аналіз випадкової величини у 1908 р. опублікував Стьюдент, він же Уїльям Д. Госсет. (З 1899 р. він працював у Дубліні на пивоварному заводі Гіннесса, і його начальник наполіг на тому, щоб Госсет писав під псевдонімом) Досить довго ніхто не усвідомлював важливості статті Стьюдента. (Навіть у 1922 р.Р. Фішер був єдиним, як стверджував Стьюдент, хто використовував - розподіл. У дійсності, саме Фішер вперше позначив розподіл Стьюдента через у своїй книзі, яка вийшла у 1925 р. сам Стьюдент використовував символ , проте не для позначення величини , а для )
2.10.4.2 Визначення моменту зупинення спостережень у послідовному аналізі є суттю сучасної теорії оптимальних зупинок для різних процесів. Розглянувши вибірку як процес, ми встановлюємо зв'язок між математичною статистикою і теорією стохастичних процесів.
2.11 Парадокс перевірки гіпотез
2.11.1 Історія парадоксу
Б.В. Гнеденко в своїй книзі відмічає, що облік населення, проведений в Китаї у 2238 р. до нашої ери, показав, що доля новонароджених хлопчиків складала 50%. Джон Арбутнот (1667-1735), англійський математик, лікар і письменник, був першим, хто (це було в 1710 р) відмітив, що гіпотеза про рівне співвідношення народжених хлопчиків і дівчаток повинна бути відхилена, оскільки за демографічними даними за 82 роки (доступні на той час) хлопчиків щороку народжувалося більше, ніж дівчаток. Якби ймовірність народження хлопчика дорівнювала , то результат за 82 роки був би настільки малоймовірним , що його можна було б вважати практично неможливим. Отже, Арбутнот був першим, хто відхилив природню статистичну гіпотезу. Цей нематематичний парадокс зацікавив Лапласа. У 1784 р. він зі здивуванням виявив, що в декількох різних районах Франції доля новонароджених хлопчиків приблизно дорівнювала , а у Парижі це відношення дорівнювало . Лаплас був заінтригований такою різницею, але скоро знайшов для неї розумне пояснення: в загальну кількість новонароджених в Парижі включалися всі підкинуті немовлята, а населення передмість в більшості підкидало немовлят однієї статі. Коли Лаплас виключив підкинутих немовлят з загальної кількості, доля новонароджених хлопчиків стала близькою до .
У 1734 р. Французька академія присудила Данилу Бернуллі премію за дослідження по орбітам планет. За допомогою деякого критерію перевірки гіпотез Бернуллі намагався довести, що схожість орбіт планет є далеко не випадковою. З правила правої руки зрозуміло, що кожній орбіті відповідає деяка точка на одиничній сфері, і Бернуллі перевіряв гіпотезу про те, що розподіл цих точок на одиничній сфері рівномірний. У 1812 р. Лаплас досліджував схожу проблему. Він намагався застосувати статистичні методи для вирішення питання про те, яку з гіпотез слід прийняти: чи є комети звичайними елементами Сонячної системи, чи вони всього лиш “незвані” гості. В останньому випадку кути між орбітами планет і екліптою були б рівномірно розподілені на інтервалі від до . Лаплас виявив, що комети не є звичайними елементами Сонячної системи. Основоположниками сучасної теорії перевірки статистичних гіпотез були К. Пірсон, Е. Пірсон, Р. Фішер і Є. Нейман.
Припустимо, що треба перевірити гіпотезу про те, що розподілом деякої випадкової величини є . (У проблемі Лапласа розподіл був рівномірним на інтервалі ) Для вирішення цієї проблеми “міри узгодженості” К. Пірсон, Х. Крамер, Р. фон Мізес, А.М. Колмогоров, М.В. Смірнов та інші вчені, які працювали пізніше, запропонували кілька різних критеріїв, і виникла потреба порівнювати їх ефективності. Перші кроки до знаходження кращих методів прийняття рішень зробили Е. Пірсон і Є. Нейман. По-перше, вони ввели поняття альтернативної гіпотези, яка, взагалі кажучи, не є повним запереченням основної, нульової гіпотези. Розглянемо, наприклад, випадкову величину, що має нормальний розподіл з одиничною дисперсією і невідомим математичним сподіванням. Якщо нульова гіпотеза полягає в тому, що “математичне сподівання дорівнює ", а альтернативна - в тому, що “математичне сподівання дорівнює ", то обидві гіпотези, очевидно, не охоплюють всі можливі випадки. В 1933 р. Нейман і Пірсон показали, що для таких простих гіпотез (коли як нульова, так і альтернативна гіпотези визначаються одним розподілом) існує критерій, найбільш потужний в такому розумінні. При використанні статистичних критеріїв можливі помилки двох видів. Можна відхилити нульову гіпотезу, коли вона вірна, і припуститися помилки 1-го роду. З іншого боку, можна прийняти нульову гіпотезу, коли вона невірна, і припуститися помилки 2-го роду. Метод прийняття рішень (критерій), який базується на вибірці заданого об'єму, називається найбільш потужним критерієм, якщо для будь-якої заданої ймовірності помилки 1-го роду ймовірність помилки 2-го роду мала настільки, наскільки це можливо. (Зауважимо, що при фіксованому об'ємі вибірки сума ймовірностей помилок обох родів не може бути зробленою наскільки завгодно малою. Це є свого роду принципом невизначеності при перевірці гіпотез) Припустимо для простоти, що обидва розподіли (в нульовій і альтернативній гіпотезах) мають щільності. Тоді за основною лемою Неймана - Пірсона існує найбільш потужний критерій такого вигляду. Позначимо через і щільності розподілів вибірки за умов, що вірною є відповідно нульова чи альтернативна гіпотези. Нульова гіпотеза приймається тоді і тільки тоді, коли де - відповідна постійна.
(Для простоти припускається, що ймовірність того, що дорівнює 0) Теорія Неймана - Пірсона стала основною при перевірці гіпотез, не позбавленою при цьому парадоксів. У 1950 р. Герберт Роббінс показав, що існує критерій, в певному розумінні більш потужний, ніж найбільш потужний критерій Неймана - Пірсона.
2.11.2 Парадокс
Припустимо, що випадкова величина нормально розподілена з математичним сподіванням і дисперсією 1. Нехай нульова гіпотеза полягає в тому, що , а альтернативна гіпотеза полягає в тому, що . На основі вибірки з одного елементу найбільш потужним критерієм перевірки нульової гіпотези проти альтернативної гіпотези є: якщо , то нульова гіпотеза приймається, а альтернативна відхиляється; в протилежному випадку нульова гіпотеза відхиляється, а альтернативна приймається. В цьому випадку ймовірності помилок обох видів дорівнюють приблизно 16%, оскільки
Якщо скористатися цим критерієм в незалежних випадках, то при великих середня кількість помилкових рішень приблизно дорівнює . Оскільки в кожному випадку використовувався найбільш потужний критерій, то слід було б чекати, що середня кількість помилкових рішень ніколи не може бути меншою . Як не парадоксально, але наступний метод Роббінса показує, що це не так.
Нехай - середнє арифметичне спостережень . Критерій Роббінса полягає в наступному: якщо , то для всіх , якщо , то для всіх , і, нарешті, якщо , то або в залежності від того, виконується чи ні нерівність
.
Цей метод дивує тим, що він об'єднує незалежні одну від одної задачі. Якщо істинне відношення тих , для яких , до тих , для яких , дорівнює 0, то при великих (наприклад, для ) критерій Роббінса дає відповідь зі 100% надійністю; для відношення 0,1 ймовірність помилки (обох типів) складає 7%; для відношення 0,2 ймовірність помилки дорівнює 11%; для 0.3 - 14% і навіть для відношення 0,4 відсоток помилок менший 16% рівня найбільш потужного критерію. Метод Роббінса стає менш ефективним, ніж найбільш потужний критерій, лише у випадку відношення, близького до 0.5.
2.11.3 Пояснення парадоксу
Парадокс Роббінса показує, що навіть тоді, коли треба прийняти рішення про прийом чи відмову від продукції, яка надходить з різних незалежно працюючих фабрик, загальна кількість помилкових рішень буде в середньому меншою, якщо ми не будемо приймати рішення незалежно одне від другого.
У 1961 р. Джеймс і Стейн запропонували таку просту оцінку для математичного сподівання багатовимірного нормального розподілу
де .
Тоді , але . Отже, оцінка справді не є допустимою. Оцінка переводить вектор ближче до початку координат, а оскільки початок координат можна вибрати довільно, то оцінка
також краща, ніж , при будь якому виборі . Таким чином, оцінка Джеймса - Стейна залежить від вибору початку координат , а в той же час від не залежить. (Можна показати, що оцінка
навіть дещо краща, ніж )
Висновки
На думку Карла Пірсона, у математиці немає іншого такого розділу, в якому настільки легко можна було б робити помилки, як у теорії ймовірностей та математичній статистиці. Математична статистика багата на парадокси. Важливо розрізняти парадокси і софізми. Парадокси - це суперечні інтуїції або здоровому глузду, але вірні результати. Софізми - помилкові результати, одержані за допомогою міркувань, які формально здаються вірними. Розглянемо деякі парадокси математичної статистики.
Парадокс оцінок математичного сподівання.
Парадокс.
Нехай - реалізація вибірки з розподілу . Розподіл залежить від параметра , де - математичне сподівання розподілу . Значення параметра в розподілі невідомо, і його необхідно оцінити за реалізацією вибірки .
Якщо за розподіл обрати нормальний розподіл , то оцінка
незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка не є незміщеною оцінкою з найменшою дисперсією.
У цьому і полягає парадокс оцінки математичного сподівання.
Пояснимо парадокс.
Розглянемо сім'ю розподілів на , які залежать від параметра і задаються щільністю .
Кількість інформації за Фішером має вигляд:
(1)
За умов, що щільність ми вважаємо, що підінтегральний вираз дорівнює нулю. Отже формула (1) перепишеться у вигляді:
(2)
В 1965 році Каган, Ліннік та Рао сформулювали теорему, згідно з якою у класі щільностей , зі скінченою дисперсією , які задовольняють умови 1. - неперервно - диференційовна функція.2. при , нерівність Крамера-Рао
обертається на рівність на гауссівському розподілі.
Доведення. Будемо вважати, що середне значення розподілу дорівнює нулеві. Позначимо через множину точок , для яких щільність додатна.
Інтеграл по множині від х помножене на похідну від щільності дорівнює - 1:
.
Користуючись нерівністю Коші - Буняковського для інтегралів здобуваємо нерівність
, (3)
при цьому знак рівності досягається тоді й тільки тоді, коли справедлива формула
(4)
Розв'язуючи диференціальне рівняння (4), знайдемо щільність
. (5)
Для знаходження сталих скористаємося тим, що 1) - інтеграл від щільності дорівнює 1,2) - середнє дорівнює 0 та 3) - дисперсія скінчена й дорівнює .
Отже, маємо щільність нормального розподілу з параметрами :
.
Теорема доведена.
Отже парадокс показує, що за виключенням нормального розподілу, середнє арифметичне вибірки не є незміщеною оцінкою з найменшою дисперсією для математичного сподівання розподілу .
Парадокс оцінок дисперсії.
Історія парадоксу.
Найважливішою характеристикою випадкових величин і їх розподілів разом з математичним сподіванням є дисперсія.
Нехай вибірка з розподілу . Якщо дисперсія розподілу скінченна, то при відомому математичному сподіванні розподілу вибіркова дисперсія дорівнює виразу
і є незміщеною оцінкою дисперсії .
Ситуація змінюється, коли математичне сподівання розподілу невідоме і в якості оцінки математичного сподівання розглядається
.
Тоді вибіркова дисперсія
вже не є незміщеною оцінкою.
Оцінка є асимптотично незміщеною оцінкою для . Оскільки незміщеність - одна з необхідних властивостей, яку повинна мати добра оцінка, змінимо оцінку так, щоб отримати незміщену оцінку для .
.
Оцінка незміщена оцінка для .
Проте парадокс оцінок дисперсії показує, що не завжди треба обмежуватися розглядом лише незміщених оцінок. Інколи оцінка з малим зсувом і малою мірою розкиду значень оцінки краща незміщеної оцінки з великою дисперсією.
Парадокс.
Нехай - вибірка з нормального розподілу з параметрами . Оцінка
незміщена оцінка для , а оцінка
для така, що міра розкиду оцінки відносно мінімальна. Вимога незміщеності і мінімуму міри розкиду приводять до різних оцінок. Треба дізнатися якій з оцінок віддати перевагу.
Пояснимо парадокс. Розглянемо клас оцінок
.
Математичне сподівання оцінок дорівнює
.
Тобто в класі оцінок існує єдина незміщена оцінка , яка відповідає і ця оцінка є :
. (1)
Міра розсіювання оцінок відносно обчислюється за формулою:
. (2)
Позначимо через функцію параметра
. (3)
Знайдемо , при якому досягає найменшого значення. Це значення
. (4)
При цьому має вигляд:
. (5)
Одержуємо нерівність (6). Міра розсіювання оцінки відносно менша ніж міра розсіювання оцінки відносно .
. (6)
Таким чином, на підставі вимоги мінімуму міри розсіювання оцінки зміщена оцінка
,
зміщення якої
(7)
мале при чималому об'ємі вибірки , краще оцінює дисперсію , чим незміщена оцінка .
Цей парадокс показує, що не може бути єдиного критерію, за яким необхідно порівнювати всі оцінки, як не існує єдиної оцінки даного параметра , яка прийнятна для всіх випадків.
Зауважимо.
Вибіркова дисперсія
при відомому математичному сподіванні - ефективна оцінка для . Оцінка не є ефективною оцінкою для . Ефективної оцінки для (при невідомому математичному сподіванні) не існує, тобто ні для якої незміщеної оцінки параметра нерівність Крамера - Рао не обертається в рівність.
Парадокс Байєса.
Історія парадоксу.
Теорема Томас Байєс, доведена близько 1750 р. і опублікована лише після смерті автора, стала джерелом суперечок в статистиці. Вони не припинилися й досі. Сформулюємо теорему Байєса. Нехай події , утворюють повну групу подій. Тоді для будь-якої події умовна ймовірність події відносно рахується за формулою
(1)
Формула Байєса дозволяє за апріорними ймовірностями подій знайти апостеріорні ймовірності подій . В більшості її застосувань апріорні імовірності невідомі. В цьому випадку вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності рівні, але такий підхід, взагалі кажучи, неприйнятний.
Байєс використовував свою теорему у випадках, коли апріорні імовірності були випадковими величинами, зокрема, рівномірно розподіленими на .
Нехай - випадкова величина рівномірно розподілена на .
.
Вважаємо, що щільність апріорна.
Позначимо через - подію, яка полягає у тому, що "в випробовуваннях Бернуллі подія відбулась разів", при цьому ймовірність події дорівнює .
Тоді умовна ймовірність події за умов, що набуло значення має вигляд
. (2)
А умовна щільність випадкової величини перепишеться у вигляді
. (3)
І вона є апостеріорною щільністю. Імовірність того, що рахується за формулою
. (4)
Наприклад, якщо , , , , то імовірність того, що більше , дорівнює :
Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.
Парадокс.
Нехай можливими значеннями випадкової величини є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру . Якщо вибірка здобута з невідомого розподілу , то послідовність апостеріорних розподілів при збільшенні числа спостережень концентрується навколо істинного значення невідомого параметра .
(5)
Оцінка параметра обирається виходячи з максимуму апостеріорної щільності, тобто
. (6)
Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра може дорівнювати , а послідовність апостеріорних розподілів все більше зосереджується, наприклад, біля .
Пояснення парадоксу.
Нехай апріорний розподіл параметра рівномірний на відрізку
~. (7)
Визначимо функцію на цьому відрізку таким чином. Визначимо функцію на цьому відрізку таким чином, що значеннями завжди є натуральні числа, за виключенням точок та , де :
(8)
Нехай розподіл випадкової величини (який залежить від ) має вигляд
, (9)
де знаходиться з рівності
. (10)
При відповідному виборі вказана вище парадоксальна ситуація здійснена.
Парадокс методу найменших квадратів. Парадокс.
Нехай - вибірка з двостороннього зміщеного показникового розподілу, утворена незалежними випадковими величинами зі щільністю , де відомі. За результатами спостережень необхідно оцінити невідомий параметр .
Оцінка параметра за методом найменших квадратів має вигляд
. (1)
Оцінка параметра за методом максимальної правдоподібності дорівнює
(2)
Оцінка параметра за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності. Треба вибрати яка з них краще?
Пояснення парадоксу.
Якщо - результати спостережень - розподілені нормально (щільність розподілу має вигляд , ), то згідно з МНК - методом та методом максимальної правдоподібності оцінкою параметра є
. (3)
В методі найменших квадратів Гаусс виходив з припущення про нормальний розподіл похибок (і відповідно результатів спостережень ). Якщо відомо, що розподіл похибок відмінний від нормального, використовувати МНК - метод для оцінювання параметрів не рекомендують. Кращою оцінкою є оцінка, знайдена за методом максимальної правдоподібності, оскільки вона асимптотично ефективна для параметра .
Парадокс методу максимальної правдоподібності.
Парадокс.
Наведемо простий приклад, який показує, що оцінка максимальної правдоподібності не завжди спроможна. Нехай - множина раціональних чисел між , а В - деяка зліченна множина ірраціональних чисел між . Припустимо, що значеннями незалежних елементів вибірки є тільки , причому значення 1 набувається з імовірністю q, якщо q - елемент множини А, і з імовірністю , якщо - елемент В. Тоді оцінка максимальної правдоподібності для q не є спроможною.
Пояснення парадоксу.
Пояснення досить просте: оцінка максимальної правдоподібності для є частота , яка прямує до для раціональних і прямує до для ірраціональних .
Список використаних джерел
1. Каган А.М., Линник Ю.В., Рао С.Р. Характеризационные задачи математической статистики. - М.: Наука, 1972.
2. Турчин В.Н. Математическая статистика. - Д.: Издательство ДНУ, 1996.
3. Боровков А.А. Математическая статистика. - М.: Наука, 1984.
4. Турчин В.М. Теорія ймовірностей і математична статистика. - Д.: Видавництво ДНУ, 2006.
5. Freedman D. F. On the asymptotic behavior of Byes' estimates in the discreete case, 1963.
6. Ивченко Г.И., Медведев Ю.В. Математическая статистика: учеб. пособие для вузов. - М.: Высш. шк., 1984.
7. Секей Г. Парадоксы в теории вероятностей и математической статистике. - М.: Мир, 1990.
Приложение
Парадокси в математичній статистиці
Парадокс оцінок математичного сподівання
-
незміщена, спроможна, ефективна оцінка для парам.
не є ефективною оцінкою для параметра
Пояснення парадоксу.
, , , ,
, (1)
(2)
Теорема (Каган, Ліннік, Рао). У класі щільностей , зі скінченою дисперсією , які задовольняють умовам:
1. - неперервно - диференційовна функція.2. при , нерівність Крамера-Рао обертається на рівність на гауссівському розподілі.
Доведення. , , .
(3)
(4)
(5)
Скористаємося тим, що
, , .
Щільність нормального розподілу з параметрами :
(6)
Теорема доведена.
Парадокс оцінок дисперсії
Історія парадоксу.
~, - скінчена, - відоме, - незміщена оцінка для
- скінчена, - невідоме, , - асимп. незм. оцінка для
незміщена оцінка для .
Парадокс.
Нехай
~.
Оцінка
- незміщена оцінка для , а оцінка
для така, що міра розкиду оцінки відносно
мінімальна.
Якій з оцінок віддати перевагу?
Пояснення парадоксу.
, , , ,
. (1)
Міра розсіювання оцінок відносно
(2)
(3)
(4)
(5)
. (6)
Зміщена оцінка
,
зміщення якої
(7)
мале при , краще оцінює дисперсію , ніж незміщена оцінка .
Зауваження.
Оцінка
-
ефективна для , - відоме.
Оцінка
-
не є ефективною для .
Парадокс Байєса
Теорема Байєса (1750 р)
Нехай - повна група подій,
, .
Тоді для будь-якої події
(1)
Апріорна щільність:
~.
-“в випробовуваннях Бернуллі подія відбулася разів", .
(2)
Апостеріорна щільність:
(3)
(4)
, , ,
Парадокс Байєса.
, ~, , ~
(5)
(6)
Пояснення парадоксу.
~, (7)
(8)
(9)
(10)
[Freedman D. F. “On the asymptotic behavior of Byes' estimates in the discreete case” 1963]
Парадокс методу найменших квадратів
~, -відомі, (1)
Оцінка параметра за методом найменших квадратів
. (2)
Оцінка параметра за методом максимальної правдоподібності
(3)
Оцінка параметра за МНК - методом не збігається з оцінкою, здобутою за методом максимальної правдоподібності. Яка з них краще?
Пояснення парадоксу.
~, -відомі, (4)
Оцінка параметра за МНК - методом та методом максимальної правдоподібності
. (5)
Парадокс методу максимальної правдоподібності. Парадокс.
? якщо , якщо
Пояснення парадоксу.
-
оцінка максимальної правдоподібності для
Подобные документы
Оцінювання параметрів розподілів. Незміщені, спроможні оцінки. Методи знаходження оцінок: емпіричні оцінки, метод максимальної правдоподібності. Означення емпіричної функції розподілу, емпіричні значення параметрів. Задача перевірки статистичних гіпотез.
контрольная работа [57,2 K], добавлен 12.08.2010Метод найменших квадратів. Задача про пошуки параметрів. Означення метода найменших квадратів. Визначення параметрів функціональних залежностей. Вид нормальної системи Гауса. Побудова математичної моделі, використовуючи метод найменших квадратів.
реферат [111,0 K], добавлен 25.12.2010Етапи побудови емпіричних формул: встановлення загального виду формули; визначення найкращих її параметрів. Суть методу найменших квадратів К. Гауса і А. Лежандра. Побудова лінійної емпіричної формули. Побудова квадратичної емпіричної залежності.
контрольная работа [128,1 K], добавлен 22.01.2011Поняття економетричної моделі та етапи її побудови. Сутність та характерні властивості коефіцієнта множинної кореляції. Оцінка значущості множинної регресії. Визначення довірчих інтервалів для функції регресії та її параметрів. Метод найменших квадратів.
курсовая работа [214,6 K], добавлен 24.05.2013Метод відношення правдоподібності для великих вибірок як один із способів перевірки параметричних статистичних гіпотез. Теоретичне обґрунтування даної методики, визначення її основних недоліків та програмне тестування припущення розглянутого критерію.
курсовая работа [1,2 M], добавлен 23.12.2010Характеристика, поняття, сутність, положення і особливості методів математичної статистики (дисперсійний, кореляційний і регресійний аналіз) в дослідженнях для обробки експериментальних даних. Розрахунки для обчислення дисперсії, кореляції і регресії.
реферат [140,6 K], добавлен 25.12.2010Знаходження коефіцієнтів для рівнянь нелінійного виду та аналіз рівняння регресії. Визначення параметрів емпіричної формули. Метод найменших квадратів. Параболічна інтерполяція, метод Лагранжа. Лінійна кореляція між випадковими фізичними величинами.
курсовая работа [211,5 K], добавлен 25.04.2014Закон розподілення дискретної випадкової величини, подання в аналітичній формі за допомогою функції розподілення ймовірності. Числові характеристики дискретних випадкових величин. Значення критерію збіжності Пірсона. Аналіз оцінок математичного чекання.
курсовая работа [105,2 K], добавлен 09.07.2009Передумови виникнення та основні етапи розвитку теорії ймовірностей і математичної статистики. Сутність, розробка та цінність роботи Стьюдента. Основні принципи, що лежать в основі клінічних досліджень. Застосування статистичних методів в даній сфері.
контрольная работа [16,7 K], добавлен 27.11.2010Побудова графіків реалізацій вхідного та вихідного процесів, розрахунок функцій розподілу, математичного сподівання, кореляційної функції. Поняття та принципи вивчення одномірної функції розподілу відгуку, порядок конструювання математичної моделі.
контрольная работа [316,2 K], добавлен 08.11.2014
