Теория вероятностей является теоретической основой математической статистики. За последние годы отделилась в самостоятельные дисциплины теория надежности, теория массового обслуживания и теория информации. Вопросы организации и планирования производства также связан с необходимостью учета случайных событий и, следовательно, не могут быть решенные без применения теории вероятностей.

Статистический анализ является необходимым этапом анализа и исследования любой производственно-хозяйственной, финансовой или коммерческой деятельности как отдельной фирмы, организации или предприятия, так и совокупности предприятий и организаций, отрасли или страны, в целом.

Выполнение курсовой работы имеет такую цель и задание:

Улучшить теоретические знания из курса "Теория вероятностей и математическая статистика" по теме "Закон больших чисел. Проверка статистических гипотез (Критерий согласия w²Мизеса: простая гипотеза)";

Развивать навыки самостоятельной творческой работы;

Приобретать навык самостоятельной работы с литературными источниками;

Уметь применить знание из теории вероятностей и математической статистики во время развязывания практических заданий.

Курсовая работа состоит из двух частей: первая - теоретическая, а вторая - практическая.

Теоретическая часть включает - предельные теоремы теории вероятностей, проверку статистических гипотез.

Практическая - решения задач о типах сходимости, решение задач на ЗБЧ, проверку гипотез критерием согласия Мизеса.

1. Теоретическая часть

1.1 Предельные теоремы теории вероятностей

1.1.1 Сходимость последовательностей случайных величин и вероятностных распределений

В теории вероятностей приходится иметь дело с разными видами сходимости случайных величин. Рассмотрим следующие основные виды сходимости: по вероятности, с вероятностью единица, среднем порядка р, по распределению.

Пусть , , … - случайные величины, заданные на некотором вероятностном пространстве (, Ф, P).

Последовательность случайных величин , … называется сходящейся по вероятности к случайной величине (обозначение: ), если для любого > 0

P { >} 0, n.

Определение 2. Последовательность случайных величин , , … называется сходящейся с вероятностью единица (почти наверное, почти всюду) к случайной величине , если

P {: } = 0,

т.е. если множество исходов , для которых () не сходятся к (), имеет нулевую вероятность.

Этот вид сходимости обозначают следующим образом: , или , или .

Определение 3. Последовательность случайных величин , , … называется сходящейся в среднем порядка р, 0 < p < , если

M 0, n.

Определение 4. Последовательность случайных величин , ,… называется сходящейся по распределению к случайной величине (обозначение: ), если для любой ограниченной непрерывной функции

M M, n.

Сходимость по распределению случайных величин определяется только в терминах сходимости их функций распределения. Поэтому об этом виде сходимости имеет смысл говорить и тогда, когда случайные величины заданы на разных вероятностных пространствах.

Теорема 1.

А) Для того чтобы (Р-п. н.), необходимо и достаточно, чтобы для любого > 0

P { } 0, n.

b) Последовательность {} фундаментальна с вероятностью единица тогда и только тогда, когда для любого > 0.

P { } 0, n.

Доказательство.

А) Пусть А = {: | - | }, А= А . Тогда

{: }= =

Но

P () = P (),

Поэтому утверждение а) является результатом следующей цепочки импликаций:

Р{: }= 0 P () = 0 = 0 Р (А) = 0, m 1 P (A) = 0, > 0 P () 0, n 0, > 0 P{ } 0,n 0, > 0.

b) Обозначим = {: }, = . Тогда {: { () } не фундаментальна } = и так же, как в а) показывается, что {: { () } не фундаментальна } = 0 P{ } 0, n. Теорема доказана.

Теорема 2. (критерий Коши сходимости почти наверное).

Для того чтобы последовательность случайных величин {} была сходящейся с вероятностью единица (к некоторой случайной величине ), необходимо и достаточно, чтобы она была фундаментальна с вероятностью единица.

Доказательство.

Если , то +

откуда вытекает необходимость условия теоремы. Пусть теперь последовательность {} фундаментальна с вероятностью единица. Обозначим L = {: { () } не фундаментальная}. Тогда для всех числовая последовательность {} является фундаментальной и, согласно критерию Коши для числовых последовательностей, существует (). Положим

() =

Так определенная функция является случайной величиной и . Теорема доказана.

1.1.2 Метод характеристических функций

Метод характеристических функций является одним из основных средств аналитического аппарата теории вероятностей. Наряду со случайными величинами (принимающими действительные значения) теория характеристических функций требует привлечения комплекснозначных случайных величин.

Многие из определений и свойств, относящихся к случайным величинам, легко переносятся и на комплексный случай. Так, математическое ожидание М_о комплекснозначной случайной величины ж=о+Яз считается определенным, если определены математические ожидания М_о и М_з. В этом случае по определению полагаем М_ж = М_о + ЯМ_з. Из определения независимости случайных элементов следует, что комплекснозначные величины ж₁ =о₁+Яз₁, ж₂=о₂+Яз₂ независимы тогда и только тогда, когда независимы пары случайных величин (о_1, з₁) и (о_2, з₂), или, что то же самое, независимы у-алгебры F_{о1, з1} и F_{о2, з2}.

Наряду с пространством L₂ действительных случайных величин с конечным вторым моментом можно ввести в рассмотрение гильбертово пространство комплекснозначных случайных величин ж=о+Яз с М |ж|²<?, где |ж|²= о²+з², и скалярным произведением (о_1, о₂) = Мж₁ж₂Ї, где ж₂Ї - комплексно-сопряженная случайная величина.

При алгебраических операциях векторы Rⁿ рассматриваются как алгебраические столбцы,

,

- как вектор-строки, a^* - (а₁, а₂,…, а_n). Если Rⁿ, то под их скалярным произведением (a,b) будет пониматься величина . Ясно, что

Если аRⁿ и R=||r_ij|| - матрица порядка n^хn, то

=. (1.1.1)

теория вероятность статистическая гипотеза

Определение 1. Пусть F = F (х₁,…., х_n) - n-мерная функция распределения в (, (⁾). Ее характеристической функцией называется функция

. (1.1.2)

Определение 2. Если о = (о₁,…,оn) - случайный вектор, определенный на вероятностном пространстве со значениями в , то его характеристической функцией называется функция

(1.1.3)

где F_о = F_о (х₁,…., х_n) - функция распределения вектора о= (о₁, …, о_n).

Если функция распределения F (х) имеет плотность f = f (х), то тогда

.

В этом случае характеристическая функция есть не что иное, как преобразование Фурье функции f (x).

Из (1.1.3) вытекает, что характеристическую функцию ц_о (t) случайного вектора можно определить также равенством

. (1.1.4)

Основные свойства характеристических функций (в случае n=1).

Пусть о = о (щ) - случайная величина, F_о = F_{о (}х) - её функция распределения и - характеристическая функция.

Следует отметить, что если , то .

Поэтому

. (1.1.5)

Далее, если о₁, о₂, …, о_n - независимые с.В. И S_n= о1+о2 +… + о_n, то

(1.1.6)

В самом деле, ,

где воспользовались тем, что математическое ожидание произведения независимых (ограниченных) случайных величин равно произведению их математических ожиданий.

Свойство (1.1.6) является ключевым при доказательстве предельных теорем для сумм независимых случайных величин методом характеристических функций. В этой связи, функция распределения выражается через функции распределения отдельных слагаемых уже значительно более сложным образом, а именно, где знак * означает свертку распределений. С каждой функцией распределения в можно связать случайную величину, имеющую эту функцию в качестве своей функции распределения.

Поэтому при изложении свойств характеристических функций можно ограничиться рассмотрением характеристических функций случайных величин .

Теорема 1. Пусть о - случайная величина с функцией распределения F=F (х) и - ее характеристическая функция.

Имеют место следующие свойства:

1) |

2) равномерно непрерывна по ;

3) ;

4) является действительно значной функцией тогда и только тогда, когда распределение F симметрично

();

1) если для некоторого n ? 1 , то при всех существуют производные и

,

где и

1) Если существует и является конечной , то

2) Пусть для всех n ? 1 и

тогда при всех |t|<R

Следующая теорема показывает, что характеристическая функция однозначно определяет функцию распределения.

Теорема 2 (единственности). Пусть F и G - две функции распределения, имеющие одну и ту же характеристическую функцию, то есть для всех

Тогда .

Теорема говорит о том, что функция распределения F = F (х) однозначно восстанавливается по своей характеристической функции . Следующая теорема дает явное представление функции F через .

Теорема 3 (формула обобщения). Пусть F = F (х) - функция распределения и - ее характеристическая функция.

А) Для любых двух точек a, b (a < b), где функция F = F (х) непрерывна,

b) Если то функция распределения F (х) имеет плотность f (x),

.

Теорема 4. Для того чтобы компоненты случайного вектора были независимы, необходимо и достаточно, чтобы его характеристическая функция была произведением характеристических функций компонент:

.

Теорема Бохнера - Хинчина. Пусть - непрерывная функция, Для того, чтобы была характеристической, необходимо и достаточно, чтобы она была неотрицательно-определенной, то есть для любых действительных t₁, …, t_n и любых комплексных чисел

.

Теорема 5. Пусть - характеристическая функция случайной величины .

А) Если для некоторого , то случайная величина является решетчатой с шагом , то есть

где а - некоторая константа.

b) Если для двух различных точек , где - иррациональное число, то случайная величина о является вырожденной:

,

где а - некоторая константа.

c) Если , то случайная величина о вырождена.

1.1.3 Закон больших чисел

Пусть _{n -} последовательность случайных величин, для которых существуют М_n. Законом больших чисел называются теоремы, утверждающие, что разность

сходится к нулю по вероятности.

Теорема Чебышева. Пусть _{n -} последовательность независимых случайных величин, М_n=a, D_n ? c. Тогда

Доказательство. Докажем даже больше, что в среднеквадратическом. Так как , то на основании свойств последовательностей сходящихся по вероятности [Для того, чтобы последовательность _n сходилась в среднеквадратическом к некоторой постоянной с, необходимо и достаточно, чтобы ], для доказательства теоремы достаточно показать, что . Вследствие независимости величин _k

Следствие. Пусть - последовательность независимых случайных величин такая, что

, n=1, 2, …

Тогда для каждого > 0

Этот частный случай теоремы Чебышева дает обоснование правилу среднего арифметического в теории обработки результатов измерений.

Предположим, что нужно измерить некоторую физическую величину а.

Повторив измерения n раз в одинаковых условиях, наблюдатель получает результаты измерений

В качестве приближенного значения а принимается среднее арифметическое результатов измерений

.

Если наблюдения лишены систематической ошибки, т.е. М_n = а, то согласно сформулированному выше следствию,

Теорема Хинчина. Если {_n} - последовательность независимых одинаково распределенных случайных величин, то закон больших чисел к такой последовательности применим и без предположения о существовании дисперсий. Имеет место следующее утверждение.

Теорема Хинчина. Пусть {_n} - последовательность независимых одинаково распределенных величин, имеющих конечное математическое ожидание М_n = а. Тогда для каждого е > 0

Теорема Бернулли. Рассмотрим еще один частный случай теоремы Чебышева. Пусть имеем последовательность испытаний, в каждом из которых может быть два исхода - успех У (с вероятностью р) или неудача Н (с вероятностью q=1-р) независимо от исходов других испытаний. Образуем последовательность случайных величин следующим образом. Пусть _k = 1, если в k-м испытании произошел успех, и _k = 0, если в k-м испытании произошла неудача. Тогда {_k} есть последовательность независимых одинаково распределенных случайных величин, М_n = р, . Случайная величина

представляет собой частоту появления успеха в первых п испытаниях. Так как для последовательности {_k} выполнены условия теоремы Чебышева, то мы из теоремы Чебышева получаем следующее утверждение.

Теорема Бернулли. Для любого е > 0 при .

Смысл этого утверждения состоит в том, что введенное нами определение вероятности соответствует интуитивному пониманию вероятности как предела частоты.

Многочлены Бернштейна. Закон больших чисел можно использовать для доказательства известной из курса математического анализа теоремы Вейерштрасса о равномерном приближении непрерывной функции многочленами.

Предположим, что производятся независимые испытания, в каждом из которых может произойти либо событие А (успех) с вероятностью х, либо противоположное событие (неудача) с вероятностью 1 - х (0 < х < 1). Пусть - число появлений А при п испытаниях, a f (х) - непрерывная функция на [0, 1]. Как известно,

.

Поэтому

(1.1.7)

Многочлен В_п (х) называется многочленом Бернштейна для функции f (x).

Выше мы отметили, что . Естественно ожидать, что при . Докажем следующее утверждение.

Теорема Бернштейна. Последовательность многочленов В_n (х), определенных равенством (1.1.7), сходится к функции f (х) равномерно относительно х [0, 1].

Так как f (х) равномерно непрерывна на [0,1], то для каждого е > 0 найдется такое, что , как только . Функция f (x) ограничена на [0,1]. Поэтому существует такая постоянная С, что |f (x) |? C для всех х [0,1]. Заметим также, что

Поэтому

и имеем далее

Вследствие неравенства Чебышева,

Пусть такое, что . Тогда при

при всех х [0,1]. Теорема доказана.

1.2 Проверка статистических гипотез

1.2.1 Основные задачи математической статистики их краткая характеристика

Установление закономерностей, которым подчинены массовые случайные явления, основано на изучении статистических данных - результатах наблюдений. Первая задача математической статистики - указать способы сбора и группировки статистических сведений. Вторая задача математической статистики - разработать методы анализа статистических данных, в зависимости от целей исследования.

При решении любой задачи математической статистики располагают двумя источниками информации. Первый и наиболее определенный (явный) - это результат наблюдений (эксперимента) в виде выборки из некоторой генеральной совокупности скалярной или векторной случайной величины. При этом объем выборки n может быть фиксирован, а может и увеличиваться в ходе эксперимента (т.е. могут использоваться так называемые последовательные процедуры статистического анализа).

Второй источник - это вся априорная информация об интересующих свойствах изучаемого объекта, которая накоплена к текущему моменту. Формально объем априорной информации отражается в той исходной статистической модели, которую выбирают при решении задачи. Однако и о приближенном в обычном смысле определении вероятности события по результатам опытов говорить не приходится. Под приближенным определением какой-либо величины обычно подразумевают, что можно указать пределы погрешностей, из которых ошибка не выйдет. Частота же события случайна при любом числе опытов из-за случайности результатов отдельных опытов. Из-за случайности результатов отдельных опытов частота может значительно отклоняться от вероятности события. Поэтому, определяя неизвестную вероятность события как частоту этого события при большом числе опытов, не можем указать пределы погрешности и гарантировать, что ошибка не выйдет из этих пределов. Поэтому в математической статистике обычно говорят не о приближенных значениях неизвестных величин, а об их подходящих значениях, оценках.

Задача оценивания неизвестных параметров возникает в тех случаях, когда функция распределения генеральной совокупности известна с точностью до параметра . В этом случае необходимо найти такую статистику , выборочное значение которой для рассматриваемой реализации x_n случайной выборки можно было бы считать приближенным значением параметра . Статистику, выборочное значение которой для любой реализации x_n принимают за приближенное значение неизвестного параметра , называют его точечной оценкой или просто оценкой, а - значением точечной оценки. Точечная оценка должна удовлетворять вполне определенным требованиям для того, чтобы её выборочное значение соответствовало истинному значению параметра .

Возможным является и иной подход к решению рассматриваемой задачи: найти такие статистики и , чтобы с вероятностью г выполнялось неравенство:

P { } = г.

В этом случае говорят об интервальной оценке для . Интервал

()

называют доверительным интервалом для с коэффициентом доверия г.

Оценив по результатам опытов ту или иную статистическую характеристику, возникает вопрос: насколько согласуется с опытными данными предположение (гипотеза) о том, что неизвестная характеристика имеет именно то значение, которое получено в результате её оценивания? Так возникает второй важный класс задач математической статистики - задачи проверки гипотез.

В некотором смысле задача проверки статистической гипотезы является обратной к задаче оценивания параметра. При оценивании параметра мы ничего не знаем о его истинном значении. При проверке статистической гипотезы из каких-то соображений предполагается известным его значение и необходимо по результатам эксперимента проверить данное предположение.

Во многих задачах математической статистики рассматриваются последовательности случайных величин , сходящиеся в том или ином смысле к некоторому пределу (случайной величине или константе), когда .

Таким образом, основными задачами математической статистики являются разработка методов нахождения оценок и исследования точности их приближения к оцениваемым характеристикам и разработка методов проверки гипотез.

1.2.2 Проверка статистических гипотез: основные понятия

Задача разработки рациональных методов проверки статистических гипотез - одна из основных задач математической статистики. Статистической гипотезой (или просто гипотезой) называют любое утверждение о виде или свойствах распределения наблюдаемых в эксперименте случайных величин.

Пусть имеется выборка , являющаяся реализацией случайной выборки из генеральной совокупности , плотность распределения которой зависит от неизвестного параметра .

Статистические гипотезы относительно неизвестного истинного значения параметра называют параметрическими гипотезами. При этом если - скаляр, то речь идет об однопараметрических гипотезах, а если вектор - то о многопараметрических гипотезах.

Статистическую гипотезу называют простой, если она имеет вид

где - некоторое заданное значение параметра.

Статистическую гипотезу называют сложной, если она имеет вид

где - некоторое множество значений параметра , состоящее более чем из одного элемента.

В случае проверки двух простых статистических гипотез вида

где - два заданных (различных) значения параметра, первую гипотезу обычно называют основной, а вторую - альтернативной, или конкурирующей гипотезой.

Критерием, или статистическим критерием, проверки гипотез называют правило, по которому по данным выборки принимается решение о справедливости либо первой, либо второй гипотезы.

Критерий задают с помощью критического множества , являющегося подмножеством выборочного пространства случайной выборки . Решение принимают следующим образом:

1) если выборка принадлежит критическому множеству , то отвергают основную гипотезу и принимают альтернативную гипотезу ;

2) если выборка не принадлежит критическому множеству , т.е. принадлежит дополнению множества до выборочного пространства , то отвергают альтернативную гипотезу и принимают основную гипотезу .

При использовании любого критерия возможны ошибки следующих видов:

1) принять гипотезу , когда верна - ошибка первого рода;

2) принять гипотезу , когда верна - ошибка второго рода.

Вероятности совершения ошибок первого и второго рода обозначают и :

где - вероятность события при условии, что справедлива гипотеза . Указанные вероятности вычисляют с использованием функции плотности распределения случайной выборки :

Вероятность совершения ошибки первого рода также называют уровнем значимости критерия.

Величину , равную вероятности отвергнуть основную гипотезу , когда она верна, называют мощностью критерия.

1.2.3 Критерий согласия w² Мизеса: простая гипотеза

1. Пусть задана выборка наблюдения X₁,X_2,………, X_n одномерной случайной величины с функцией распределения F (x). Будем проверять гипотезу Н₀: F (x) =G (x), где G (x) - заданная обычная функция распределения. Статистику w_n² в этом случае запишем в виде

(1.2.1)

Здесь

(1.2.2)

Если G (x) - непрерывная функция распределения, то преобразуем исходную выборку X₁,X_2,………, X_n к выборке t₁,t_2,………, t_n. Полученная выборка в случае справедливости гипотезы Н₀ будет иметь равномерное на [0,1] распределение, а статистика w_n² принимает вид

(1.2.3)

Где F_n (x) обозначает эмпирическую функцию распределения, построенную по выборке t₁,t_2,………, t_n. Распределение статистики (1.2.3) не зависит от G (x).

Пусть t₁?_,………, ?t_{n -} упорядоченная выборка t_1,………, t_n. При вычислении статистики w_n² вместо (1.2.3) удобно пользоваться следующим выражением,

Легко полученным из (1.2.3)

, (1.2.4)

где

,

Отметим два частных случая. При (t) =1 статистика w_n² будет обозначаться через W_n² и называться статистикой Смирнова, а при (t) =1 [t (1-t)] статистика обозначается через A_n². Последняя статистика называется статистикой Андерсона-Дарлинга. Значение этих статистик можно вычислить по формулам, следующих из (1.2.4)

,

(1.2.5)

Распределение статистики w_n² сходится к предельному при условии, что

(1.2.6)

Предельное распределение статистики совпадает w_n² совпадает с распределением случайной величины

где - гауссовский процесс с нулевым математическим ожиданием

и корреляционной функцией К (t,ф) =ш (t) ш (ф) (min (t,ф) - ф). Собственные функции и собственные значения линейного интегрального оператора с ядром К (t,ф) при ш (t) =1 есть л_t= (рi) ² и h_i (t) =v2sin рit.

Характеристическая функция предельного распределения статистики W_n² имеет вид

.

При ш (t) = [t (1-t)] - ¹ собственное значение ядра К (t,ф) есть 1/ [t (1-t)].

И характеристическая функция статистика Андерсона-Дарлинга есть

.

1. В качестве примера критерия w_n² промежуточного между классическим критерием w_n² и критерием согласия, основанном на интеграле от квадрата разности между оцененной и теоретической функциями плотности, рассмотрим следующий критерий.

2. Преобразуем исходную выборку к новой выборке с фиксированной теоретической обычной функцией распределения Ф (х) с положительной плотностью при всех х (-,). Выберем в качестве множеств порождающих функцию распределения, множества

В_х = (х-в, х) в>0.

По новой функции F (x) =Ф (х) - Ф (х - в) однозначно восстанавливается исходная функция распределения. Предельное распределение статистики w_n² будет

где з (х) - гауссовский процесс.

3. Обратимся к рассмотрению статистики w_n² вида (1.2.1) при малых выборках.

Не трудно из геометрических соображений, используя (1.2.5) получить

точное выражение для функции распределения статистики W²_n при n=2. Применение этого метода при больших значениях n затруднительно.

При больших значения n могут использоваться асимптотические разложения для ф_n (t).

4. Рассмотрим результаты относящиеся к асимптотической

мощности критерия w_n ². Сначала рассмотрим случай фиксированных альтернатив. При фиксированном альтернативном распределении вероятность отвергнуть гипотезу при заданном уровне значимости c ростом n стремится к 1. Поэтому мы рассмотри статистику w_n² вида (1.2.2), нормированную нормальным образом.

Пусть истинная функция распределения наблюдений есть G (t), причем функция д (t) = t-G (t) не равна тождественно 0.

Пусть d_n= (w_n²/v n) - з,

Тогда

(1.2.7)

Второе согласие в правой части (1.2.7) стремится к нулю по вероятности А, случайный процесс ш (t) (G (t) - G_n (t)) слабо сходится в L₂ к гауссовкому случайному процессу с нулевым математическим ожиданием и корреляционной функцией

Следовательно d_n имеет ассимптотическое нормальное распределение с нулевым математическим ожиданием и дисперсией

Статистики w_n² при фиксированных альтернативах рассматривал Чепмен.

5. Теперь будем рассматривать случай, когда альтернативные распределения

изменяются с ростом n следующим образом

Тогда

, , (1.2.8)

а G₀ (x) ид (t) - непрерывные функции. При этих условиях и при условии (1.2.6) предельное распределение статистики w_n² совпадает с распределением случайной величины

,

где о (t) - гауссовский случайный процесс с нулевым математическим ожидание и корреляционной функцией

.

Пусть л_i и ц_i (t) i=1,2……. - собственные значения и собственные функции корреляционного оператора с ядром К (t,ф).

Обозначим

, k=1, 2…

Тогда предельное распределение статистики при рассматриваемых альтернативах может быть представлена квадратичной формой

где х_i, i=1,2. - независимо одинаково распределенные стандартные нормальные случайные величины.

Характеристическая функция Q есть

(1.2.9)

где

а D (л) - определитель Фредгольма ядра К (t,ф). При выводе этой формулы используется формула для характеристической функции для центрального распределения ч². Так как

а резольвента яда К (t,ф) есть

то учитывая (1.2.8) получаем

где

Справедлива следующая теорема (Чибисова):

При а

Равномерно по х, где Ф (х) - стандартная функция нормально распределения.

2. Практическая часть

2.1 Решение задач о типах сходимости