Граничные теоремы теории вероятностей

Размещено на http://www.allbest.ru/

1. Теоретическая часть

теория вероятность сходимость теорема

1.1 Предельные теоремы теории вероятностей

1.1.1 Сходимость последовательностей случайных величин и вероятностных распределений

1.1.1.1 Сходимость случайных величин

Пусть имеется вероятностное пространство с заданной в нем системой случайных величин и случайной величиной . В теории вероятностей рассматривают следующие виды сходимости последовательностей случайных величин.

Последовательность случайных величин сходится по вероятности к случайной величине , если для любого

Этот вид сходимости обозначают так: , или.

Последовательность случайных величин сходится к случайной величине с вероятностью 1 (или почти наверное), если

то есть если при при всех за исключением, быть может, из некоторого множества нулевой вероятности (). Сходимость с вероятностью 1 будем обозначать так: , или. Сходимость с вероятностью 1 есть сходимость почти всюду относительно вероятностной меры .

Отметим, что сходимость есть событие из -алгебры, которое можно представить в виде

Сформулируем некоторые теоремы, устанавливающие признаки сходимости почти наверное.

Теорема 1.1. тогда и только тогда, когда для любого

или, что то же самое,

Теорема 1.2. Если ряд

сходится для любого , то



Можно показать, что сходимость влечет за собой сходимость (это следует из (1.1)).Обратное утверждение, вообще говоря, неверно, однако справедлива следующая теорема.

Теорема 1.3. Если , то существует подпоследовательность , такая, что при .

Связь сходимости со сходимостью устанавливают следующие теоремы.

Теорема 1.4. (Леви о монотонной сходимости) Пусть есть монотонная последовательность неотрицательных случайных величин:, имеющих конечные математические ожидания, ограниченные одной и той же величиной: . Тогда последовательность сходится с вероятностью 1 к некоторой случайной величине с , причем

Теорема 1.5. (Лебега о мажорируемой сходимости) Пусть и величины , где неотрицательная случайная величина, имеющая конечное математическое ожидание. Тогда случайная величина также имеет конечное математическое ожидание и

Последовательность случайных величин сходится к случайной величине в среднем порядка , если



Такую сходимость будем обозначать . При говорят о сходимости в среднеквадратичном и обозначают . В силу обобщенного неравенства Чебышева из сходимости следует сходимость . Из сходимости по вероятности, а тем более из сходимости почти наверное, сходимость порядка не следует. Таким образом, сходимость по вероятности является самой слабой сходимостью из трех, нами рассмотренных.

Говорят, что последовательность является фундаментальной по вероятности (почти наверное, в среднем порядка ), если для любого при

Теорема 1.6. (Критерий сходимости Коши) Для того, чтобы в каком либо смысле (по вероятности, почти наверное, в среднем порядка ) необходимо и достаточно, чтобы последовательность была фундаментальной в соответствующем смысле.

1.1.1.2 Слабая сходимость распределений

Говорят, что распределение вероятностей случайных величин слабо сходится к распределению случайной величины , если для любой непрерывной ограниченной функции

Слабую сходимость будем обозначать так: . Отметим, что из сходимости следует сходимость . Обратное неверно, однако для слабая сходимость влечет сходимость по вероятности.

Условие (1.2) можно переписать, используя интеграл Лебега по мере , следующим образом

Для случайных величин, имеющих плотность вероятностей, слабая сходимость означает сходимость при любой ограниченной функции

Если речь идет о функциях распределения и соответствующих и , то слабая сходимость означает, что

Здесь интеграл понимается в смысле Лебега-Стилтьеса.

Теорема 1.7. Слабая сходимость имеет место тогда и только тогда, когда в каждой точке , являющейся точкой непрерывности .Если непрерывна, то сходимость эквивалентна равномерной сходимости

Справедлива следующая основная теорема о слабой сходимости.

Теорема 1.8. Пусть , тогда для любых и , удовлетворяющих условию

имеет место сходимость

Если имеет место слабая сходимость , то говорят, что сходится к по распределению, и обозначают .

Функцию назовем финитной, если она бесконечно дифференцируема и обращается в нуль вне некоторого интервала. Пусть сходимость (1.2) имеет место для всех финитных функций . Тогда для распределений вероятностей справедливо свойство компактности, то есть для любого сколь угодно малого при достаточно большом одновременно для всех

Опираясь на свойство компактности, можно показать, что слабая сходимостьравносильна сходимости (1.2) для всех финитных функций .

1.1.2 Метод характеристических функций

Метод характеристических функций является одним из основных средств аналитического аппарата теории вероятностей. Наиболее ярко это продемонстрировано при доказательстве предельных теорем. Наряду со случайными величинами (принимающими действительные значения) теория характеристических функций требует привлечения комплекснозначных случайных величин. Многие из определений и свойств, относящихся к случайным величинам, легко переносятся и на комплексный случай. Так, математическое ожидание комплекснозначной случайной величины считается определенным, если определены математические ожидания и . В этом случае по определению полагаем . тИз определения независимости случайных элементов нетрудно вывести, что комплекснозначные величины , независимы тогда и только тогда, когда независимы пары случайных величин и , или, что то же самое, независимы -алгебры и . Пусть -мерная функция распределения в . Ее характеристической функцией называется функция

Если случайный вектор, определенный на вероятностном пространстве со значениями в , то его характеристической функцией называется функция

где функция распределения вектора .



Из теоремы о замене переменных под знаком интеграла Лебега вытекает, что характеристическую функцию случайного вектора можно определить также равенство.

Приведем основные свойства характеристических функций.

Пусть случайная величина, ее функция распределения и

характеристическая функция.

Сразу отметим, что если , то

Поэтому

Далее, еслинезависимые случайные величины

и , то

Это свойство является ключевым при доказательстве предельных теорем для сумм независимых случайных величин методом характеристических функций. В этой связи отметим, что функция распределения выражается через функции распределения отдельных слагаемых уже значительно более сложным образом, а именно, , где знак означает свертку распределений.

С каждой функцией распределения в можно связать случайную величину, имеющую эту функцию в качестве своей функции распределения. Поэтому при изложении свойств характеристических функций можно ограничиться рассмотрением характеристических функций случайных величин .

Теорема 1.9. Пусть случайная величина с функцией распределения и

ее характеристическая функция.

Имеют место следующие свойства:

;

равномерно непрерывна по ;

;

является действительнозначной функцией тогда и только тогда, когда распределение симметрично

если для некоторого , то при всех существуют

производные и



где и , .

Если существует и является конечной , то .

Пусть для всех и

тогда при всех

Следующая теорема показывает, что характеристическая функция однозначно определяет функцию распределения.

Теорема 1.10 (единственности). Пусть и две функции распределения, имеющие одну и ту же характеристическую функцию , то есть для всех

Тогда

Явное представление функции через дает теорема 1.11.

Теорема 1.11 (формула обращения). Пусть функция распределения и

ее характеристическая функция.

a) Для любых двух точек , , где функция непрерывна,

b) Если

то функция распределения имеет плотность ,

Теорема 1.12. Для того чтобы компоненты случайного вектора были независимы, необходимо и достаточно, чтобы его характеристическая функция была произведением характеристических функций компонент:



Сформулируем ряд результатов, связанных с проверкой того, является ли интересующая нас функция характеристической.

Теорема Бохнера-Хинчина. Пусть непрерывная функция, , и. Для того чтобы была характеристической функцией, необходимо и достаточно, чтобы она была неотрицательно-определенной, то есть для любых действительных и любых комплексных чисел ,

1.1.2.5 Метод характеристических функций в доказательстве предельных теорем

Как известно, между функциями распределения и характеристическими функциями существует взаимно однозначное соответствие. Поэтому изучение свойств функций распределения можно проводить, изучая соответствующие характеристические функции. Основным средством доказательства теорем о слабой сходимости распределений на числовой прямой является следующий результат.

Теорема 1.14 (теорема непрерывности). Пусть последовательность функций распределения , , и соответствующая последовательность характеристических функций,



Если, гденекоторая функция распределения, то

, , где характеристическая функция .

функцией некоторого распределения вероятностей и .

Следствие. Пусть последовательность функций распределения и соответствующая последовательность характеристических функций. Пусть, кроме того, функция распределения, ее характеристическая функция. Тогда , если и только если для всех .

Лемма 1.1. Пусть плотное семейство вероятностных мер. Предположим, что каждая слабо сходящаяся подпоследовательность последовательности сходится к одной и той же вероятностной мере . Тогда и вся последовательность слабо сходится к .

Лемма 1.2. Пусть плотное семейство вероятностных мер на . Последовательность слабо сходится к некоторой вероятностной

характеристическая функция меры :

Лемма 1.3. Пусть функция распределения на числовой прямой и ее характеристическая функция. Тогда существует такая константа , что для всякого



1.1.3 Теоремы Линдеберга и Ляпунова

Пусть дана последовательность взаимно независимых случайных величин о которых мы предположим, что они имеют конечные математические ожидания и дисперсии. В дальнейшем мы станем придерживаться следующих обозначений:

Для того чтобы функция распределения сумм

сходилась к нормальному закону, достаточно, как мы увидим ниже, потребовать выполнения условия Линдеберга для величин : при любом

а обозначает функцию распределения величины . Это условие представляет собой своеобразное требование равномерной малости слагаемых

Докажем достаточность условия Линдеберга.

Теорема Линдеберга. Если последовательность независимых случайных величин при любом постоянномудовлетворяет условию

Линдеберга (1.7), то при равномерно относительно

Доказательство. Для краткости введем обозначения

Очевидно, что

и, следовательно,

Легко убедиться, что условие Линдеберга в этих обозначениях принимает следующий вид:



Характеристическая функция суммы

С этой целью мы установим прежде всего, что множители при равномерно относительно () стремятся к 1. Действительно, принимая во внимание равенство , находим, что

Из того, что при любом вещественном

вытекает неравенство



Из последнего неравенства следует, что

Из (1.10) получим

Пусть произвольное положительное число; тогда очевидно, что

Последнее слагаемое может быть, согласно (1.9), при достаточно больших сделано меньше, чем . Таким образом, для всех достаточно больших равномерно относительно () и в любом конечном интервале

Отсюда мы заключаем, что равномерно относительно ()



и что для всех достаточно больших при , лежащих в произвольном конечном интервале , выполняется неравенство

Мы можем, следовательно, в интервале написать разложение ( обозначает главное значение логарифма)

где

В силу (1.13)

Так как

то

Из (1.12) вытекает, что равномерно относительно в произвольном конечном интервале , при



Но

где

Пусть произвольно; тогда в силу (1.8)

Неравенства (1.10) и (1.11) позволяют получить следующую оценку:

Согласно условию (1.7) второе слагаемое при любом может быть сделано меньше любого , лишь бы было достаточно большим. А так как произвольно, то мы можем его выбрать настолько малым, чтобы, каковы бы ни были и , для всех , заключенных в интервале , выполнялось неравенство

Это неравенство показывает, что равномерно в каждом интервале значений

Собрав вместе соотношения (1.14), (1.15), (1.16) и (1.17), мы получаем окончательно, что равномерно в каждом конечном интервале

Теорема доказана.

Следствие. Если независимые случайные величины одинаково распределены и имеют конечную, отличную от нуля дисперсию, то

при равномерно по

Теорема Ляпунова. Если для последовательности взаимно независимых случайных величин можно подобрать такое положительное, что при



то при равномерно по

Доказательство. Нам достаточно проверить, что условие Ляпунова (условие (1.18)) влечет за собой выполнение условия Линдеберга. Но это ясно из следующей цепочки неравенств:

1.2 Проверка статистических гипотез

1.2.1 Основные задачи математической статистики и их краткая характеристика

При решении любой задачи математической статистики исследователь располагает двумя источниками информации. Первый и наиболее определенный (явный) это результаты наблюдений (эксперимента) в виде выборки из некоторой генеральной совокупности скалярной или векторной случайной величины. При этом объем выборки может быть фиксирован, а может увеличиваться в ходе эксперимента (то есть могут использоваться так называемые последовательные процедуры статистического анализа).

Второй источник это вся априорная информация об интересующих исследователя свойствах изучаемого объекта, которая накоплена к текущему моменту. Формально объем априорной информации отражается в той исходной статистической модели, которую исследователь выбирает при решении своей задачи.

В математической статистике всегда в той или иной мере используют априорную информацию об исследуемом объекте, но степень обоснованности такого использования лежит на совести (или зависит от компетентности) конкретного исследователя.

Если есть сомнения в том или ином исходном допущении при решении конкретной задачи, то его нужно проверять и обосновывать, а при невозможности это сделать отбросить и попытаться найти решение задачи без привлечения сомнительных допущений.

Перечислим некоторые задачи математической статистики, наиболее час-то встречающиеся в ее приложениях.

Задача оценивания неизвестных параметров возникает в тех случаях, когда функция распределения генеральной совокупности известна с точностью до параметра . В этом случае необходимо найти такую статистику , выборочное значение которой для рассматриваемой реализации случайной выборки можно было бы считать приближенным значением параметра .

Статистику , выборочное значение которой для любой реализации принимают за приближенное значение неизвестного параметра , называют его точечной оценкой, а значением точечной оценки (просто оценки).

Точечная оценка должна удовлетворять вполне определенным требованиям для того, чтобы ее выборочное значение соответствовало истинному значению параметра .

Для точечных оценок параметра также используют и другие обозначения, например , .

Возможным является и иной подход к решению рассматриваемой задачи: найти такие статистики и , чтобы с вероятностью выполнялось неравенство

В этом случае говорят об интервальной оценке для . Интервал называют доверительным интервалом для с коэффициентом доверия .

1.2.2 Проверка статистических гипотез: основные понятия

Задача разработки рациональных методов проверки статистических гипотез одна из основных задач математической статистики. Статистической гипотезой (или просто гипотезой) называют любое утверждение о виде или свойствах распределения наблюдаемых в эксперименте случайных величин. Такие утверждения можно делать на основании теоретических соображений или статистических исследований других наблюдений. Пусть, например, эксперимент состоит в многократном измерении некоторой физической величины, точное значение которой неизвестно и в процессе измерений не меняется. На результаты измерений влияют многие случайные факторы, поэтому результат i-го измерения можно записать в виде , где случайная погрешность измерения. Обычно считают, что общая ошибка складывается из большого числа ошибок, каждая из которых невелика. На основании центральной предельной теоремы можно предположить, что случайные величины имеют нормальное распределение. Такое предположение является статистической гипотезой о виде распределения наблюдаемых случайных величин.

Если для исследуемого явления сформулирована та или иная гипотеза (обычно ее называют основной или нулевой гипотезой и обозначают ), то задача состоит в том, чтобы сформулировать такое правило, которое позволяло бы по результатам соответствующих наблюдений принять или отклонить эту гипотезу. Правило, согласно которому проверяемая гипотеза принимается или отвергается, называется статистическим критерием (или просто критерием) проверки гипотезы . Разработка таких правил и их обоснование с точки зрения требований оптимальности и составляют предмет теории проверки статистических гипотез.

Введем понятие простой и сложной гипотезы. Если гипотеза однозначно фиксирует распределение наблюдений, то ее называют простой, в противном случае сложной.

Рассмотрим случай, когда проверяются две простые статистические гипотезы вида

где , два заданных (различных) значения параметра, основная гипотеза, а альтернативная, или конкурирующая, гипотеза.

Статистическим критерием, или просто критерием, проверки гипотез называют правило, по которому по данным выборки принимается решение о справедливости либо первой, либо второй гипотезы.

Критерий задают с помощью критического множества , являющегося подмножеством выборочного пространства случайной выборки . Решение принимают следующим образом:

1) если выборка принадлежит критическому множеству , то отвергают основную гипотезу и принимают альтернативную гипотезу ;

2) если выборка не принадлежит критическому множеству (то есть принадлежит дополнению множества до выборочного пространства ), то отвергают альтернативную гипотезу и принимают основную гипотезу .

При использовании любого критерия возможны ошибки следующих видов:

1) принять гипотезу , когда верна ошибка первого рода;

2) принять гипотезу , когда верна ошибка второго рода.

Вероятности совершения ошибок первого и второго рода обозначают и :

где вероятность события при условии, что справедлива гипотеза , .

Вероятность совершения ошибки первого рода называют также уровнем значимости критерия.

Величину , которая равна вероятности отвергнуть основную гипотезу , когда она неверна, называют мощностью критерия.

Пусть теперь требуется проверить две сложные гипотезы

где , некоторые непересекающиеся области значений параметра . Например, области , могут быть заданы неравенствами и , где и некоторые фиксированные значения параметра, удовлетворяющие неравенству .

Критерий проверки сложных гипотез по-прежнему задается с помощью критического множества реализаций случайной выборки , на основе которого решение принимают следующим образом:

если реализация случайной выборки принадлежит критическому множеству , тогда основную гипотезу отвергают и принимают альтернативную гипотезу ;

если реализация случайной выборки не принадлежит критическому множеству , тогда отвергают альтернативную гипотезу и принимают основную гипотезу .

Вероятности совершения ошибок первого и второго рода в случае сложных гипотез имеют прежний смысл и определяются выражениями

В отличие от случая простых гипотез, величины , являются некоторыми функциями от параметра .

Максимально возможное значение вероятности совершения ошибки первого рода

называют размером критерия.

Функцию

определяющую значение вероятности отклонения основной гипотезы в зависимости от истинного значения параметра , называют функцией мощности критерия. Если существует критерий, который при данном фиксированном размере максимизирует функцию мощности по всем возможным критериям одновременно при всех из множества , то такой критерий называют наиболее мощным. Наиболее мощные критерии существуют лишь в некоторых частных случаях при проверке гипотез относительно одномерных параметров.

Вероятности совершения ошибок первого и второго рода связаны с функцией мощности следующими соотношениями:

Тем самым равномерно наиболее мощный критерий, если он существует, минимизирует вероятность совершения ошибки второго рода (при фиксированном размере ) одновременно при всех .

Иногда наряду с функцией мощности используется также оперативная характеристика критерия

представляющая собой вероятность принятия основной гипотезы при условии, что истинное значение параметра равно . Очевидно, что оперативная характеристика и функция мощности связаны соотношением .

1.2.3 Критерий Пирсона: сложная гипотеза

Случай вполне определенного гипотетического распределения встречается в приложениях очень редко. Значительно чаще встречаются случаи, когда гипотетическое распределение содержит некоторое количество неизвестных параметров, относительно значений которых мы можем располагать лишь теми сведениями, какие могут быть извлечены из самой выборки. При этом нам задано некоторое параметрическое семейство распределений

Сформулируем гипотезы:

выборка извлечена из генеральной совокупности , имеющей распре-деление, принадлежащее семейству ,

выборка извлечена из генеральной совокупности совокупности, имеющей распределение, не принадлежащее семейству .

Пусть наша выборка разбита на групп, соответствующих непересека-ющимся множествам ; обозначим наблюдаемую группу частот через , а соответствующие вероятностичерез

Если бы «истинные значения» параметров были известны, оставалось бы лишь вычислить величину

и применить критерий для случая простой гипотезы.

Однако в настоящем случае значения параметров неизвестны и должны быть оценены по выборке. Тогда если заменить в (2.1) неизвестные постоянные их оценками, вычисленными по выборке, то уже не будут постоянными, а будут функциями от выборочных, и мы не сможем применить теорему о предельном распределении для в случае простой гипотезы. Известно, что существует, вообще говоря, бесконечное количество различных возможных методов оценки параметров , так что следует ожидать, что свойства выборочного распределения величины будут в той или иной степени зависеть от изубранного метода.

Проблема нахождения предельного распределения для при этих усложненных условиях впервые была рассмотрена Р. Фишером, который показал, что в этом случае необходимо видоизменить предложенное К. Пирсоном предельное распределение с степенями свободы. Для одного важного класса методов оценок изменение, предложенное Р. Фишером, имеет очень простой вид: необходимо лишь уменьшить число степеней свободы предельного распределения на столько единиц, каково число параметров, оцениваемых по выборке.

Естественно попытаться определить «наилучшие» значения параметров так, чтобы сделать величину , определяемую формулой (2.1), сколь возможно малой. Это метод оценки по минимуму . При этом методе следует решить относительно уравнения

где , и затем подставить найденные значения в формулу (2.1).

Систему уравнений (2.2) часто очень трудно решать даже в простейших случаях. Однако можно показать, что при больших влиянием второго члена в скобках можно пренебречь. Если при дифференцировании по знаменатель второго члена в (2.1) считать постоянным, то (2.2) заменяется системой

иметь дело с которой гораздо проще. Метод оценки, заключающийся в определении из этой системы уравнений, называется видоизмененным методом минимума . Оба метода при довольно общих условиях дают одинаковое предельное распределение при больших значениях , но мы рассмотрим здесь лишь более простой метод, основанный на уравнениях (2.3). Следует отметить, что с точки зрения задачи, рассматриваемой в этом параграфе, видоизмененный метод минимума совпадает с методом максимального правдоподобия.

Вывод предельного распределения для мы дадим при наиболее общих условиях, в предположении, что параметры оцениваются с помощью видоизмененного метода минимума . Сформулируем теорему.

Теорема 2.1 Пусть заданы функций от переменных , удовлетворяющие для все точек некоторого невырожденного интервала в d-мерном пространстве значений следующим условиям:

при всех ;

Пусть возможные результаты некоторого случайного эксперимента разбиты на непересекающихся групп, и предположим, что вероятность получения результата, принадлежащего k-й группе, равна , где внутренняя точка интервала . Пусть обозначает число результатов, принадлежащих к -й группе, которое было получено в последовательности повторений эксперимента , так что .

Тогда уравнения (2.3) видоизмененного метода минимума имеют в точности одну систему решений , такую, что сходится по ве-роятности к при . Значение , получаемое при подстановке этих зна-чений в (2.1), в пределе при имеет распределение с степенями свободы.

Доказательство. Доказательство этой теоремы довольно сложно, и мы разобьем его на две части. В первой части будет показано, что уравнения (2.3) имеют единственное решение, сходящееся по вероятности к . Во второй части доказательства мы рассмотрим величины

где решение уравнений (2.3), существование которого будет уже установлено. Мы покажем, что при совместное распределение величин стремится к некоторому несобственному нормальному распределению. В доказательстве будем все время предполагать, что индекс пробегает значения , а индексы и значения .

Сначала введем некоторые матричные обозначения и приведем уравнение

ке , мы сможем записать (2.3) в виде

где

Обозначим через матрицу порядка

положить . Поэтому, в силу условия , матрица имеет ранг . Положим

и обозначим через ,,ивектор-столбцы, , , , первые три из которых можно считать матрицами порядка , а четвертый матрицей порядка .

В матричных обозначениях систему уравнений (2.5), где , можно переписать следующим образом

невырожденная симметричная матрица порядка , так что существует обратная матрица , и мы получаем

Таким образом, это матричное уравнение эквивалентно основной системе уравнений (2.3).

При каждом фиксированном случайная величина имеет среднее значение и стандартное отклонение ; согласно неравенству Бье-нэме-Чебышева

Следовательно, вероятность того, что хотя бы при одном зна-

, имеем

Теперь будем предполагать, не оговаривая этого в дальнейшем, что удовлетворяют соотношениям (2.9). Подбудем понимать функцию от,

при этих предположениях, будут справедливы с вероятностью, превышающей и поэтому стремящейся к 1 при .

Согласно условию , получим из (2.7)

Далее, если и какие-либо точки из интервала, то после некоторых вычислений, используя условия и и разлагая формулу (2.6) в ряд Тейлора, получим

В правой части этого неравенства обозначает расстояние между точка-ми и в d-мерном пространстве значений , а есть постоянная, не завися-щая от , , и . Теперь определим последовательность векторов , полагая для

Покажем, что последовательность сходится к определенному пределу , который, очевидно, будет решением уравнения (2.8). Согласно (2.6), имеем , так что

а для

Обе матрицы и не зависят от . Если обозначить через верхнюю границу абсолютных значений элементов этих двух матриц, то, во-первых, из (2.13) и (2.10) будет следовать, что каждый элемент вектора удовлетворяет неравенству

где не зависит от . Таким же образом из (2.14) и (2.11) следует, что

для всякого , причем не зависит ни от , ни от . Из последних двух неравенств по индукции следует, что для всех достаточно больших и для всех имеем

По предположению, внутренняя точка интервала ; поэтому из последне-го неравенства следует, что при достаточно большом все векторы (рассматриваемые как точки в пространстве значений ) принадлежат к , и последовательность сходится к определенному пределу

Этот предел, как уже было указанно, является решением уравнения (2.8), а следовательно, и исходных уравнений (2.3). Из (2.15) следует, что при . Более того, есть единственное решение уравнения (2.8), стремящееся к при . Действительно, если другое решение, стремящееся к , то

рассуждая также, как и выше, мы видим, что

где выражение в скобках стремится к нулю при ; это, очевидно, возможно лишь в том случае, когда для всех достаточно больших .

Все это было доказано в предположении, что удовлетворяются соотношения (2.9), то есть все доказанное справедливо с вероятностью, превышающей и, следовательно, стремящейся к 1 при . Таким образом, нами установлено существование в точности одного решения уравнения (2.8) или системы уравнений (2.3), сходящегося по вероятности к , чем заканчивается первая часть доказательства.

Предполагая по-прежнему, что удовлетворяются соотношения (2.9), мы получим из (2.8), (2.13) и (2.16):

Из (2.15) следует, что каждая компонента векторане превышает

где обозначает некоторый вектор-столбец, для которого при .

Рассмотрим теперь величины , определяемые формулой (2.4). Предполагая, что соотношения (2.9) удовлетворяются, мы получим с помощью (2.7), (2.10) и (2.17):

Выражая это соотношение в матричных обозначениях, получим

где , , причем , а постоянная, не зависящая от . Подставляя сюда выражение (2.17) для , получим

где единичная матрица порядка , а , где; постоянная, не зависящая от .

Далее мы уже не будем предполагать, что соотношения (2.9) удовлетворяются, и определим вектор , положив

где обозначает симметричную матрицу

Тогда из (2.18) будет следовать, что с вероятностью большей, чем,

чины в пределе при распределены нормально с нулевыми средними значениями и матрицей вторых моментов, где. Предельное распределение величины получается с помощью линейного преобразования , где , имеет нормальное предельное распределение с матрицей вторых моментов ранга .

Совместное предельное распределение величин нормальное с нулевыми средними значениями и матрицей вторых моментов

Согласно условию , -м элементом вектора является

так что вектор тождественно равен нулю. Поэтому после перемножения мы убеждаемся в том, что матрица вторых моментов предельного распределе-ния для сводится к

Остается лишь показать, что эта симметричная матрица порядка имеет характеристических чисел, равных 1, а остальные характерис-тические числа этой матрицы равны нулю, так что влияние последнего члена в (2.19) заключается в понижении ранга матрицы на единиц. Тогда сумма

имеет в пределе распределение с степенями свободы, и наша теорема будет доказана.

Для этой цели сначала заметим, что характеристических чисел симметричной матрицы положительны. Полагая, , где , и обозначив через диагональную матрицу с элементами по диагонали, можно найти ортогональную матрицу порядка , такую, что , откуда . Отсюда следует, что

где матрица порядка , такая, что

причем обозначает здесь единичную матрицу порядка . Последнее соотношение означает, что столбцов матрицы удовлетворяют условиям ортогональности

Выше было показано, что , откуда . Таким образом, если дополнить матрицу столбцом с элементами , то столбцов новой матрицы будут удовлетворять условиям ортогональности. Поскольку , то можно найти ортогональную матрицу порядка, последние столбцов которой будут совпадать с матрицей .

Тогда будет матрицей порядка , то есть вектором-столбцом, и по правилу перемножения матриц мы получим . Таким образом, произведение есть матрица порядка, все элементы которой равны нулю, кроме последнего элемента главной диагонали, равного единице. Аналогичным образом, произведение есть матрица порядка , все элементы которой равны нулю, кроме диагональных элементов, непосредственно примыкающих к последнему элементу и равных единице.

Согласно (2.20), матрица вторых моментов (2.19) принимает вид. Из вышеуказанного следует, что преобразованная матрица диагональная матрица, первые диагональных элементов которой равны 1, а остальные диагональные элементы равны нулю. Этим доказано утверждение относительно характеристических чисел матрицы вторых моментов (2.19). Как указанно выше, на этом заканчивается доказательство нашей теоремы.

С помощью этой теоремы введем теперь критерий для рассматриваемых выше гипотез. Пусть обозначает квантиль уровня распределения с степенями свободы. Тогда, если, вычисленное по выборке значение статистики (2.1), больше , то гипотеза отвергается на уровне значимости . В противном случае, гипотеза не отвергается, как непротиворечащая экспериментальным данным. Очевидно, отдельный результат такого рода нельзя считать достаточным доказательством, мы должны повторно применить критерий к новым данным аналогичного характера. Следует применить также и другие критерии, если это возможно.



2. Практическая часть

2.1 Решение задач о типах сходимости

2.1.1 Доказать, что из сходимости почти наверное следует сходимость по вероятности

Приведите пример, показывающий, что обратное утверждение неверно. Решение. Пусть последовательность случайных величин сходится к случайной величине почти наверное. Значит, для любого

и из сходимости к почти наверное вытекает, что сходится к по вероятности, так как в этом случае

Но обратное утверждение неверно. Пусть последовательность независимых случайных величин, имеющих одну и ту же функцию распределения , равную нулю при и равную при . Рассмотрим последовательность



Эта последовательность сходится к нулю по вероятности, так как

стремится к нулю при любом фиксированном и . Однако сходимость к нулю почти наверное иметь место не будет. Действительно,

стремится к единице, то есть с вероятностью 1 в последовательности при любых и найдутся реализации, превосходящие

2.1.2 Пусть монотонная последовательность. Доказать, что в этом случае сходимость к по вероятности влечет за собой сходимость к с вероятностью 1.

Решение. Пусть монотонно убывающая последовательность, то есть . Для упрощения наших рассуждений будем считать, что , при всех . Пусть сходится к по вероятности, однако сходимость почти наверное не имеет место. Тогда существует , такое, что при всех



что противоречит сходимости к по вероятности. Таким образом, для монотонной последовательности , сходящейся к по вероятности, имеет место и сходимость с вероятность 1 (почти наверное).

Пусть последовательность сходится к по вероятности. Доказать, что из этой последовательности можно выделить подпоследовательность , сходящуюся к с вероятностью 1 при .

Решение. Пустьнекоторая последовательность

индексов , выбирая так, чтобы

Тогда ряд

то есть, как следует из предыдущей задачи, .

Доказать, что из сходимости в среднем какого-либо положительного порядка следует сходимость по вероятности. Приведите контрпример, показывающий, что обратное утверждение неверно.

Решение. Пусть последовательность сходится к величине в среднем порядка



Воспользуемся обобщенным неравенством Чебышева: для произвольного и

Устремив и учитывая, что , получим, что

то есть сходится к по вероятности.

Однако сходимость по вероятности не влечет за собой сходимость в среднем порядка . Это показывает следующий пример. Рассмотрим вероятностное пространство , где , борелевская алгебра, мера Лебега.

Определим последовательность случайных величин следующим образом:

Последовательность сходится к 0 по вероятности, так как



то есть сходимость в среднем иметь место не будет.

Пусть , причем для всех . Доказать, что в этом случае сходится к в среднеквадратическом.

Решение. Заметим, что так как , то . Получим оценку для . Рассмотрим случайную величину . Пусть произвольное положительное число. Тогда и при . Значит

среднеквадратическом.

Доказать, что если сходится к по вероятности, то имеет место слабая сходимость . Приведите контрпример, показывающий, что обратное утверждение неверно.

Решение. Докажем, что если , то в каждой точке , являющейся точкой непрерывности (это необходимое и достаточное условие слабой сходимости ), функция распределения величины , а величины .

Пусть точка непрерывности функции . Если , то справедливо по крайней мере одно из неравенств или . Тогда



Аналогично, при справедливо хотя бы одно из неравенств или и

или

Откуда

Если , то для сколь угодно малого существует такое , что при всех

Тогда

С другой стороны, если точка непрерывности , то можно найти такое , что для сколь угодно малого



Значит для сколь угодно малых и существует такое , что при

или

или, что то же самое,

Это означает, что во всех точках непрерывности имеет место сходимость и . Следовательно, из сходимости по вероятности вытекает слабая сходимость. Обратное утверждение, вообще говоря, не имеет места. Чтобы убедиться в этом, возьмем последовательность случайных величин , не равных с вероятностью 1 постоянным и имеющих одну и ту же функцию распределения . Считаем, что при всех величины и независимы. Очевидно, слабая сходимость имеет место, так как у всех членов последовательности одна и та же функция распределения. Рассмотрим :

Из независимости и одинаковой распределенности величин следует, что

то есть

Выберем среди всех функций распределений невырожденных случайных величин такую , будет отлично от нуля при всех достаточно малых . Тогда не стремится к нулю при ограниченном росте и сходимость иметь место не будет.

2.1.7 Пусть имеет место слабая сходимость , где с вероятностью 1 есть постоянная, доказать, что в этом случае будет сходится к по вероятности.

Решение. Пусть с вероятностью 1 равно . Тогда слабая сходимость означает сходимостьпри любых. Так как , топриипри. То есть

стремятся к нулю при . Это значит, что

стремится к нулю при , то есть сходится к по вероятности.



3.Решение задач на теоремы Ляпунова и Линденберга

Дана последовательность независимых случайных величин Величинаможет принимать значенияс вероятностью

ется ли для последовательности условие Ляпунова.

Решение. Находим

Рассмотрим величину

У нас

Тогда

где постоянная. Таким образом, для последовательности условие Ляпунова выполняется.

Пусть последовательность независимых нормальных случайных величин, , , , . Показать, что в этом случае условие Линдеберга не выполняется, но ЦПТ имеет место.

Решение. Центральная предельная теорема имеет место, так как для любого в силу устойчивости нормального распределения величина

имеет простейшее нормальное распределение. Однако

Последняя величина не стремится к нулю при, так как величина



3.1 Проверка гипотез критерием хи-квадрат Пирсона

В таблице 2.1 приведены результаты проверок 200 ламп на продолжительность работы T [в часах].

Таблица 2.1 Продолжительность работы 200 ламп.

T [час]	0-300	300-600	600-900	900-1200
число ламп	53	41	30	22
T [час]	1200-1500	1500-1800	1800-2100	2100-2400
число ламп	16	12	9	7
T [час]	2400-2700	2700-3000	3000-3300	>3300
число ламп	5	3	2	0

Пусть случайная величина Х - продолжительность работы лампы. Используя критерий хи-квадрат, проверить гипотезу о том, что случайная величина Х (реализация статистического ряда которой приведена в таблице) имеет экспоненциальный закон распределения с плотностью распределения вероятности f(x)= при ?0. Уровень доверия принять равным .

Решение. При условии истинности гипотезы математическое ожидание случайной величины Х

.

Так как выборочное среднее является несмещённой, оценкой математического ожидания, то соответственно методу моментов, эффективной оценкой для параметра будет

.

, поэтому 

Таким образом, можно переформулировать основную гипотезу и сформулировать альтернативную.

: случайная величина Х имеет распределение с плотностью

: Существуют такие х, для которых указанное равенство не выполняется.

Вычисление при проверке гипотезы про экспоненциальный закон распределения приведён в таблице 2.2

Таблица 2.2 Вычисление при проверке гипотезы про экспоненциальный закон распределения

Границы Jk	nk
		58.2054 41.2661 29.2565 20.7421 14.7056 10.4259 7.39164 5.24047 3.71535 4.50158	-5.20544 -0.266072 0.743476 1.25792 1.29443 1.57415 1.60836 1.75953 1.28465 0.49842	27.0966 0.0707944 0.552757 1.58236 1.67555 2.47795 2.58681 3.09593 1.65031 0.49842	0.511256 0.00172669 0.0184252 0.0719256 0.104722 0.206496 0.287423 0.442276 0.330063 0.099684

Таким образом, выборочное значение критерия . Чтобы найти критическую точку, воспользуемся таблицей квантилей распределения хи-квадрат.

.



Так как , то на уровне доверия 0.95 нет оснований для отклонения гипотезы .

Среди 2020 семей, имеющих двух детей, 527 семей, в которых два мальчика, и 476, в которых две девочки(в остальных 1017 семьях дети разного пола). Можно ли с уровнем значимости 0,05 считать, что количество мальчиков в семье с двумя детьми -- биномиальная величина?

Решение

Нулевая гипотеза будет иметь вид

то есть распределение генеральной совокупности принадлежит параметрическому семейству вероятностных распределений

Тогда альтернативная гипотеза будет сформулирована так:

Для вероятности исходов имеют вид

Тогда, согласно методу максимального правдоподобия, для нахождения оценки параметра получим следующее уравнение



откуда оценка будет иметь вид .

В нашем случае 476, 1017, 527, n=2022, поэтому 0.513. При условии, что гипотеза является верной, для по формуле

находим оценки вероятностей того, что в семье k мальчиков.

Вычисления выборочного значения статистики критерия приведены в таблице 2.5.

Таблица 2.5 Вычисление

0	476	0,237	479,081	-3,08	0,0198
1	1017	0,5	1009,32	7,683	0,05848
2	527	0,363	531,601	-4,601	0,0398
Сумма	2020	1,0000	2020	- - -	0,118

где k - Количество мальчиков в семье,

- Количество семей, в которых k мальчиков,

- Ожидаемое количество семей, в которых k мальчиков.

Таким образом, нашли наблюдаемое значение статистики хи-квадрат 0,118. Поскольку по выборке оценивался один параметр , то есть , то число степеней свободы равно . Из таблицы квантилей распределения для уровня значимости находим . Тогда критическая область будет иметь вид . Поскольку, то отсюда следует, что нулевая гипотеза не противоречит выборочным данным . Таким образом, на уровне значимости гипотеза принимается как не противоречащая условиям задачи.

Размещено на Allbest.ru