Статистические критерии определения выбросов в непрерывных статистических данных

Размещено на http://www.allbest.ru/

Курсовая работа

по дисциплине «ВЕРОЯТНОСТЬ И СТАТИСТИКА»

«СТАТИСТИЧЕСКИЕ КРИТЕРИИ ОПРЕДЕЛЕНИЯ ВЫБРОСОВ В НЕПРЕРЫВНЫХ СТАТИСТИЧЕСКИХ ДАННЫХ»

Содержание

Введение

1. Критерии определения выбросов

1.1 Критерии выбросов в случае нормального распределения

1.1.1 Критерий Шовене

1.1.2 Критерий Ирвина

1.1.3 Критерий Граббса

1.1.4 Критерий наибольшего абсолютного отклонения

1.1.5 Критерий Дэвида

1.1.6 Критерии Диксона

1.1.7 Критерий Хоглина-Иглевича

1.1.8 Критерий Титьена-Мура для обнаружения нескольких выбросов

1.1.9 Критерий Роснера для обнаружения нескольких выбросов

1.2 Критерии выбросов для экспоненциального распределения и распределения Вейбулла

1.2.1 Критерий Смоляка-Титаренко

1.2.2 Критерий Бродского-Быцаня-Власенко

1.2.3 Критерий Кимбера для нескольких выбросов

1.2.4 Критерии выбросов для распределения Вейбулла

1.3 Критерий выбросов для любого непрерывного распределения

2. Реализация критериев определения выбросов в статистическом пакете R

2.1 Критерий Шовене

2.2 Критерий Граббса

2.3 Критерий Роснера

2.4 Критерий Дарлинга

3. Исследования смоделированных критериев определения выбросов

3.1 Исследование распределения статистик по критериям согласия Колмогорова и Смирнова

3.2 Исследование асимптотических свойств критериев и анализ эмпирической мощности

Список литературы

Приложение

Введение

Статистический критерий -- это строгое математическое правило, по которому принимается или отвергается та или иная статистическая гипотеза (как правило, рассматриваются нулевая и альтернативная гипотезы) на известном уровне значимости [1]. Для проверки выполнения гипотезы составляется некоторая статистика. Если значение этой статистики попадает в критическую область, то принимается альтернативная гипотеза, если не попадает - основная.

В практической деятельности важную роль играют статистические критерии, предназначенные для выделения аномальных результатов измерений (выбросов).

Иногда результат одного из серии измерений поразительно расходится со всеми остальными. Когда это происходит, экспериментатор должен решить, является ли такой аномальный результат измерения следствием некоторой ошибки и поэтому должен быть отброшен, или же это законный результат, который должен рассматриваться наряду с другими [2]. Исследованием этого вопроса занимались Диксон, Граббс, также свои подходы развивали Роснер, Гутмен, Смит и многие другие.

Результаты измерений, содержащие грубые ошибки обычно бывают хорошо заметны и могут быть выделены без применения статистических методов. Применение статистических методов выявления грубых ошибок целесообразно лишь в сомнительных случаях, когда информация о качестве измерений либо неполна, либо ненадежна.

Большинство существующих критериев определения выбросов в непрерывных статистических данных опирается на предположение о принадлежности наблюдаемых случайных величин нормальному закону.

Данная курсовая работа состоит из трех глав. В первой главе описываются статистические методы определения выбросов в непрерывных статистических данных, рассматриваются критерии, их статистики, критические области и алгоритмы применения этих критериев. Во второй главе приведено описание процедур и функций рассматриваемых критериев, разработанных в статистическом пакете R. Исследование смоделированных статистик по критериям согласия Колмогорова и Смирнова, проверка асимптотических свойств полученных статистик, проведение сравнения их мощностей и анализ реальных данных с помощью разработанных критериев описаны в третьей главе.

1. Критерии определения выбросов

Методы, определяющие наличие выбросов - это методы оценки неоднородности выборочных данных, определяющие наличие аномальных, не согласующихся с остальными элементами выборки наблюдений.

Поскольку результаты проведенных экспериментов или испытаний иногда существенно отличаются от наблюдаемых средних значений, необходимо удостовериться, что эти результаты не являются ошибкой при фиксировании наблюдаемой величины, т.е. следует убедиться, являются ли эти отклонения случайными, либо их появление является следствием проявления систематических неслучайных процессов [3].

Для проверки значимости значительно отклоняющихся от среднего значения экспериментальных данных разработаны специальные статистические критерии. Эти критерии проверяют гипотезу о том, что в выборке имеются выбросы, т.е. подозрительный результат значимо отличается от остальных. Если эта гипотеза оказывается верной (выбросы обнаружены), то исследователь должен выявить причину этих отклонений. Если причина содержится в нарушении условий эксперимента (скачок напряжения сети, поломка измерительного прибора), то она должна быть устранена, а полученный выброс исключается из выборки. Если же причина отклонения содержится в появлении какого-либо нового физического процесса, тогда статистическое установление значимости выброса привлекает внимание исследователя к этому процессу [3].

Необходимо проводить обязательный анализ значимости отклонения крайних значений выборки от остальных (перед этим выборку ранжируют по возрастанию), так как если они являются выбросами, то их использование при оценке выборочных моментов и проверка различных статистических гипотез может привести к большим ошибкам.

1.1 Критерии выбросов в случае нормального распределения

1.1.1 Критерий Шовене

Пусть - наблюдаемая выборка, - построенный по ней вариационный ряд. Проверяемая гипотеза заключается в том, что все принадлежат одной генеральной совокупности (выбросов нет). Альтернативная гипотеза - в наблюдаемой выборке есть выбросы.

Согласно критерию Шовене элемент выборки объема является выбросом, если вероятность его отклонения от среднего значения не больше [3].

Составляется следующая статистика Шовене [3]:

где среднее значение,

- выборочная дисперсия [3]

Определим, какое распределение имеет статистика при выполнении гипотезы . Для этого сделаем предположении, что уже при малых случайные величины и являются независимыми, тогда плотность распределения случайной величины имеет вид [4]:



Значения этой функции распределения можно вычислить с помощью математического пакета Maple 14, подставляя вместо неизвестных параметров полученные значения.

Если статистика то значение () должно быть признано выбросом. Критические значения приведены в таблице (см. приложение А). Вместо в формулу (1.1) подставляем для проверки на наличие выбросов крайние значения.

1.1.2 Критерий Ирвина

Этот критерий используется в случае, когда дисперсия распределения известна заранее.

Из нормальной генеральной совокупности извлекается выборка объема , и составляется вариационный ряд (упорядочивается по возрастанию). Рассматриваются те же гипотезы и , что и в предыдущем критерии.

При наибольшее (наименьшее) значение признается выбросом с вероятностью . Критические значения занесены в таблицу.

1.1.3 Критерий Граббса

Пусть извлечена выборка, и по ней построен вариационный ряд. Проверяемая гипотеза заключается в том, что все () принадлежат одной генеральной совокупности. При проверке на выброс наибольшего выборочного значения альтернативная гипотеза заключается в том, что принадлежат одному закону, а - некоторому другому, существенно сдвинутому вправо. При проверке на выброс наибольшего значения выборки статистика критерия Граббса имеет вид [3]

где вычисляется по формуле (1.2), а - по (1.3)

При проверке на выброс наименьшего выборочного значения альтернативная гипотеза предполагает, что принадлежит некоторому другому закону, существенно сдвинутому влево. В данном случае вычисляемая статистика принимает вид [3]

где вычисляется по формуле (1.2), а - по (1.3).

Статистики или применяются, когда дисперсия известна заранее; статистики и -- когда дисперсия оценивается по выборке с помощью соотношения (1.3).

Максимальный или минимальный элемент выборки считается выбросом, если значение соответствующей статистики превысит критическое: или , где - задаваемый уровень значимости. Критические значения и приведены в сводных таблицах (см. приложение А). Получаемые в этом критерии статистики при выполнении нулевой гипотезы имеют такое же распределение, как и статистика в критерии Шовене.

При > 25 можно пользоваться приближениями для критических значений [3]



где - -квантиль стандартного нормального распределения.

А аппроксимируется следующим образом [3]

Если в извлеченной выборке известны дисперсия () и математическое ожидание (µ - среднее значение), то используется статистика [3]

Критические значения этой статистики также занесены в таблицы. Если , то выброс признается значимым, и принимается альтернативная гипотеза.

1.1.4 Критерий наибольшего абсолютного отклонения

Данный критерий основан на статистике [3]

где - элементы вариационного ряда, а принимает вид [3]

Критические значения на уровне значимости можно посмотреть в таблицах. Таким образом, если , то значение признается выбросом, принимается альтернативная гипотеза.

На уровне значимости существует достаточно точная аппроксимация статистики [3].

Вычисление критического значения по аппроксимации дает значение достаточно близкое к табличному.

1.1.5 Критерий Дэвида

Этот критерий является модификацией критерия Граббса, в составляемой статистике используется выборочная дисперсия, оцениваемая по отдельной независимой выборке, элементы которой ( - объем выборки). Статистика имеет следующий вид [3]

Для проверки гипотезы об отсутствии выбросов критические значения , как и в предыдущих критериях, берутся из готовых таблиц. Если выполняется неравенство , то одно из крайних выборочных значений признается выбросом, т.е. принимается гипотеза .

При к статистике применима аппроксимация [3]



где - -квантиль стандартного нормального распределения (берется из просчитанных таблиц).

1.1.6 Критерии Диксона

Для быстрого выявления выпадающих наблюдений по отношению размаха и подразмахов используются различные критерии Диксона, статистики в которых различаются в зависимости от проверяемых наблюдений:

1) проверка одного сомнительного наблюдения [3]

- (для проверки ) - (для проверки )

2) проверка одного сомнительного наблюдения независимо от противоположного крайнего наблюдения [3]

- (для ) - (для )

3) проверка одного сомнительного наблюдения независимо от двух противоположных крайних [3]

- (для ) - (для )

4) проверка одного сомнительного наблюдения независимо от следующего по величине [3]

 - (для ) - (для )

5) проверка одного сомнительного наблюдения независимо от следующего по величине и крайнего противоположного [3]

- (для ) - (для )

6) проверка одного сомнительного наблюдения независимо от следующего по величине и двух крайних противоположных [3]

- (для ) - (для )

Все критические значения полученных статистик в зависимости от уровня значимости имеются в таблицах. В случаях превышения статистиками соответствующих критических значений признается гипотеза , означающая наличие выбросов в выборке.

Приведенные выше критерии рекомендуется применять при следующих условиях: критерий при , : , : , : [3].

1.1.7 Критерий Хоглина-Иглевича

В данном критерии определяется правило выделения выбросов (промахов наблюдений) в нормально распределенных выборках с помощью порядковых статистик: наблюдение признается выбросом, если его значение находится вне интервала, ограниченного величинами [3]



где -- -я порядковая статистика (т.е. -й по величине член выборки, упорядоченной по возрастанию), - объем выборки.

Значение определяется одним из следующих способов [3]:

Коэффициент определяется в зависимости от значений и вероятности отсутствия выброса - по составленным таблицам.

1.1.8 Критерий Титьена-Мура для обнаружения нескольких выбросов

Титьен и Мур обобщили критерий Граббса для случая выявления нескольких выбросов в выборке. Для выявления наибольших выбросов используется статистика [3]

где определяется по формуле (1.2), а

Если подозрительными являются и крайние левые, и крайние правые наблюдения, то для их обнаружения используется следующее правило: находятся абсолютные отклонения и ранжируются по возрастанию от до . После этого некоторое выборочное значение , для которого является -ым по величине, обозначают через , и проверяют гипотезы исключения наибольших по модулю наблюдений с помощью статистики [3]



Наличие выбросов признается значимым с достоверностью , если или . Значения критических статистик в правых частях неравенств берутся из таблиц.

1.1.9 Критерий Роснера для обнаружения нескольких выбросов

Пусть извлечена выборка из нормальной генеральной совокупности, и по ней построен вариационный ряд . Проверяемая гипотеза заключается в том, что все () принадлежат одной генеральной совокупности, т.е. в выборке нет аномальных наблюдений (выбросов), альтернативная гипотеза заключается в том, что в выборке есть определенное количество выбросов, заранее не известное.

Данный критерий предназначен для выявления наличия выбросов и их количества (в отличие от критерия Титьена-Мура, где количество выбросов заранее известно). Суть критерия в последовательном применении критерия Граббса для выделения одного выброса, основанного на статистике [3]

Алгоритм критерия Роснера:

1) По выборке определяются значения , и .

2) Удаляем из выборки экстремальный член (минимальный или максимальный) в зависимости от того, какое значение сильнее удалено от среднего.

3) Повторяем действия 1 и 2 раз, каждый раз проверяя полученные значения статистики с критическими значениями (из таблиц, см. приложение А).

4) Если статистика превышает критическое значение, то устанавливаем наличие выбросов и их количество, равное значению , при котором появляется первая значимая величина критерия .

5) Последовательное вычисление статистик ведется до тех пор, пока [3].

Поскольку рассматриваемый критерий предполагает последовательное применение критерия Граббса, то статистика при выполнении гипотезы будет иметь распределение аналогичное распределению статистики в критерии Граббса.

1.2 Критерии выбросов для экспоненциального распределения ти распределения Вейбулла

1.2.1 Критерий Смоляка-Титаренко

Случайная величина, распределенная по экспоненциальному закону, имеет плотность распределения вероятностей [3]

Поэтому естественно подозревать на наличие выбросов наибольшие значения в выборке. Авторы данного критерия основывались на отношении величины наибольшего члена выборки к выборочному среднему [3]:

Проверяемый член выборки считается выбросом, если - критическое значение берется из таблиц.

1.2.2 Критерий Бродского-Быцаня-Власенко

Этот критерий является аналогом критерия Диксона для случая экспоненциального распределения, плотность вероятности которого имеет вид [3]

Рассматриваются следующие статистики:

-- для проверки на выброс наибольшего значения при известном [3]:

-- для проверки на выброс наибольшего значения при неизвестном [3]:

Гипотеза , подтверждающая наличие выбросов, отклоняется, если принятый уровень значимости меньше, чем вероятность используемого критерия (см. формулы 1.12 - 1.15) [3].

1.2.3 Критерий Кимбера для нескольких выбросов

Критерий позволяет по аналогии с критерием Роснера последовательную процедуру для выявления нескольких выбросов в выборке из экспоненциального распределения. Рассматриваемая статистика будет иметь вид [3]

Для выделения нижних выбросов используется статистика [3]

Сравнивая формулы (1.16) и (1.17), видно, что . Поэтому определение нижних выбросов аналогично определению верхних выбросов. Определение границ критической области осуществляется с помощью таблиц.

1.2.4 Критерии выбросов для распределения Вейбулла

Рассматриваются методы трансформации статистик известных критериев для обнаружения выбросов в выборках, извлекаемых из генеральных совокупностей, имеющих распределение Вейбулла.

Для выделения верхних выбросов статистиками критериев являются:

-- критерии типа Граббса [3]

-- критерии типа Диксона [3]

Для выделения нижних выбросов статистиками критериев являются

-- критерии типа Граббса [3]

Аналогично всем предыдущим критериям, определяется выполнение гипотез, если , , то в выборке признается верхних выбросов, если , , то - нижних выбросов. Критические значения определяются из таблиц.

1.3 Критерий выбросов для любого непрерывного распределения

Рассматривается выборка , извлеченная из некоторой генеральной совокупности. Данный статистический критерий проверяет гипотезы: нулевую - в выборке нет выбросов против альтернативной - в выборке есть аномальные наблюдения.

Для проверки на выброс максимального или минимального наблюдения из выборки, имеющей любое непрерывное распределение, Дарлинг предложил использовать критерий, основанный на статистике [3]

где - функция распределения вероятностей в точке .

При статистика стремиться к нормальному закону распределения с математическим ожиданием и дисперсией [3].

Тогда критическая область для определения нижнего (верхнего) выбросов запишется в виде [3]

где - квантиль нормального стандартного распределения.

Также существуют модификация критерия Дарлинга с большей мощностью. Здесь записываются такие статистики [3]:

При выполнении неравенства ] принимается нулевая гипотеза об отсутствии выбросов, где - это - квантиль -распределения с степенями свободы [3].

2. Реализация критериев определения выбросов в статистическом пакете R

2.1 Критерий Шовене

Реализуем в статистическом пакете R критерий Шовене, определяющий наличие выбросов в выборке, извлекаемой из нормально распределенной генеральной совокупности. Для этого напишем функцию, которой на входе будем задавать случайную величину, имеющую нормальное распределение, а на выходе будем получать сообщение о том, какая гипотеза принимается.

В переменную запоминаем границу критической области, которая имеет вид . Значение зависит от объема выборки и берется из соответствующих таблиц (см. приложение А). В рассмотренном примере для получаем значение

Статистика, рассматриваемая в этом критерии, определяется формулой (1.1). Статистика проверяет на выброс наименьшее значение вариационного ряда (выборку обязательно нужно упорядочить по возрастанию), а статистика проверяет, соответственно, наибольший элемент вариационного ряда. Для рассмотренной в примере выборки получились следующие значения статистик: Сравнивая полученные значения с критическим, видно, что статистика входит в критическую область, значит, крайний правый элемент выборки признается выбросом и принимается гипотеза .

Таким образом, в данном критерии рассчитываются статистики для крайнего правого и крайнего левого элементов вариационного ряда, и проверяется их попадание в критическую область. Если хотя бы одна статистика попала в критическую область, принимается альтернативная гипотеза о наличии выбросов в выборке, если ни одна не попала - то принимается .

2.2 Критерий Граббса

Для реализации критерии Граббса в пакете R будем использовать формулы для статистик (1.4) - (1.7), (1.10), а для определения критической области будем использовать как готовые таблицы (приложение А), так и аппроксимации (формулы (1.8), (1.9)).

Для начала формируем выборку из нормальной генеральной совокупности объемом . Упорядочиваем эту выборку по возрастанию. Если переменные и равны 0, то будем считать, что м и у² заранее не известны.

Находим границы . Нижняя граница критической области в зависимости от того, известны параметры распределения м и у² заранее или нет, может принимать различные значения: - м и у² заранее не известны, - у² известно, м не известно, - оба параметра определены. Для сформированной в примере выборки () получили следующие критические значения: При для и используются аппроксимации.



В рассматриваемом примере значения м и у² не определены, поэтому при расчете статистики попадаем в первое условие, и получаем результат: ="В выборке нет выбросов! (Гипотеза H0)", а в остальных двух условиях переменная равна пустой строке, потому что в эти условия мы не попали. На аномальность проверяются наибольший и наименьший элементы вариационного ряда, т.е. вычисляются статистики и соответственно. В примере - , . Обе статистики не входят в критическую область, поэтому принимается гипотеза .

В случае, когда параметры распределения заданы, то вычисляется статистика по третьему условию:



Для выборки из нормальной генеральной совокупности с параметрами и , получили значение статистики 7631 и . Отсюда следует, что в выборке нет выбросов - .

Таким образом, критерий Граббса позволяет исследовать выборки, извлеченные из нормальных генеральных совокупностей, на наличие аномальных наблюдений и в зависимости от того известны или нет параметры распределения м и у² вычисляет значения соответствующих статистик и границы критической области.

2.3 Критерий Роснера

Критерий Роснера позволяет не только определить наличие выбросов в выборках, но и посчитать их количество. Для программной реализации этого критерия напишем отдельную функцию, определяющую критическое значение статистики.

Значение статистики зависит от объема выборки , количества вычисленных статистик и номера статистики.

Данный критерий предполагает последовательное применение критерия Граббса к рассматриваемой выборке, т.е. сначала вычисляем статистики по формулам (1.5) и (1.7) для наибольшего и наименьшего элементам вариационного ряда, затем определяем, какой из этих элементов наиболее удален от среднего значения, и удаляем его из выборки. Так повторяем до тех пока новое значение статистики больше значения, вычисленного на предыдущем шаге, т.е. На каждом шаге сравниваем значение статистики с соответствующим критическим значением. Если статистика будет превышать критическое значение, то можно утверждать, что в выборке есть выбросы, количество которых определяется номером вычисленной статистики.

В рассмотренном выше примере извлекается выборка объемом из нормальной генеральной совокупности. Затем определяем значения статистик и записываем их в массив - в данном примере вычислено два значения статистики. Первые две статистики вычисляем отдельно, так как в условии выхода из цикла нужно знать текущее значение и значение статистики на предыдущем шаге. Для полученных статистик вычислены соответствующие критические значения, которые запоминаются в массив Сравнивая полученные значения статистик с критическими значениями, видим, что статистики не принадлежат критической области, поэтому принимается нулевая гипотеза (="В выборке нет выбросов! (Гипотеза H0)", =0).

В результате критерий Роснера удобно применять, когда нужно выявить не только наличие выбросов в нормально распределенных выборках, но и количество этих выбросов.

2.4 Критерий Дарлинга

Критерий Дарлинга применяется для любого непрерывного распределения, заданного функцией распределения . Для реализации этого критерия в статистическом пакете R воспользуемся формулами для статистик (1.18) и для критической области (1.19).

Функция - это функция любого непрерывного распределения. Она может быть различной в зависимости от рассматриваемого распределения. В данном примере рассматривается экспоненциальное распределение с параметром . Формируем некоторую выборку , взятую из заданного экспоненциального распределения, строим по этой выборке вариационный ряд и вычисляем статистики для проверки наибольшего и наименьшего значений. Для проверки наибольшего значения вариационного ряда вычисляем статистику , а для наименьшего значения - (в примере ). Критическая область для этих статистик определяется неравенствами (1.19). Находим критические значения статистик . Как видно из полученных значений и , это означает, что оба крайних значения выборки признаются выбросами.

Таким образом, критерий Дарлинга для определения выбросов в выборках является универсальным критерием для любого непрерывного распределения. Для того чтобы задать вид распределения достаточно написать функцию , которая возвращает значение функции распределения в точке .

3. Исследования смоделированных критериев определения выбросов

3.1 Исследование распределения статистик по критериям согласия Колмогорова и Смирнова

Критерии согласия проверяют основную гипотезу : о равенстве эмпирической функции распределения теоретической, соответственно альтернативная гипотеза : [3].

Колмогоров также нашел предельное распределение статистики - эта статистика имеет распределение Колмогорова [5].

Критическая область имеет вид [5]:

Нижняя граница критической области определяется из таблиц в зависимости от заданного уровня значимости (см. приложение А).

Проверим по критерию согласия Колмогорова распределение статистики (см формулу (1.18)) в критерии Дарлинга, которая при выполнении гипотезы стремиться к нормальному распределению с параметрами

где - объем выборки.

Напишем в пакете R функцию вычисляющую статистику . Для определения статистики воспользуемся формулой (3.1), а для критической области - формулой (3.2), где уровень значимости

Данной функции в качестве аргументов передаем случайную величину - рассматриваемую статистику, математическое ожидание и дисперсию, вычисленные по формулам (3.3) и (3.4). В примере статистика моделируется в цикле из статистик при выполнении гипотезы . Теоретически эта статистика имеет нормальное распределение, поэтому в функции используется стандартная функция [6], моделирующая функцию нормального распределения с заданными параметрами.

Переменная - это значение принимаемой гипотезы. В результате эта переменная принимает значение “H0”, т.е. распределение смоделированной статистики соответствует теоретическому - нормальному распределению с параметрами, определяемыми формулами (3.3) и (3.4).

При увеличении количества получаемых статистик, ошибка (разница между теоретической и эмпирической функциями распределения) убывает и становится близкой к нулю. Критерий согласия Смирнова также основан на расстоянии между теоретической и эмпирической функциями распределения вероятностей. В нем рассматривается следующая статистика [3]:



где - элемент вариационного ряда.

Статистика при выполнении нулевой гипотезы стремиться по вероятности к некоторому закону распределения.

Для критических значений статистики существуют таблицы (см. приложение А), а критическая область записывается [3].

Исследуем эту же статистику , полученную при применении критерия Дарлинга по критерию согласия Смирнова.

Реализуем в программе функцию для нахождения статистики .

Аргументами этой функции являются случайная величина - проверяемая статистика, математическое ожидание и дисперсия, определяемые по формулам (3.3) и (3.4). Поскольку исследуется на согласие статистика , имеющая нормальное распределение при выполнении нулевой гипотезы, то в функции используем стандартную функцию для нормального распределения [6].

В рассмотренном примере для статистики получили значение , которое не принадлежит критической области на уровне значимости 0.05. Поэтому принимается гипотеза о согласованности эмпирической и теоретической функций распределения (теоретическая функция имеет нормальное распределение с параметрами и , см. формулы (3.3) и (3.4)).

Построим графики зависимостей статистик и от объема моделируемой статистики при выполнении нулевой гипотезы.

В результате исследования распределения статистики по критериям согласия получили, что эмпирический закон распределения моделируемой статистики стремиться к теоретическому - нормальному распределению с параметрами и , определяемыми по формулам 3.3 и 3.4.

3.2 Исследование асимптотических свойств критериев и анализ эмпирической мощности

Исследуем асимптотические свойства, а именно, оценку параметров распределения, их состоятельность, и предельное распределение при различных объемах выборки.

Будем исследовать асимптотические свойства для статистики в критерии Дарлинга, когда задан равномерный закон распределения, т.е. в этом случае функция возвращает значение функции распределения равномерно распределенной случайной величины.

Как отмечалось выше, статистика , определяемая формулой (1.18), при выполнении нулевой гипотезы имеет нормальное распределение с параметрами и .

Покажем, что эмпирическое распределение статистики при увеличении объема выборки (моделируемой статистики) будет стремиться к нормальному распределению. Для этого реализуем в R две функции: первая будет строить теоретическую функцию распределения в определенном интервале, а вторая - эмпирическую функцию распределения по полученным значениям статистик.



Рисунок 1 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()

Рисунок 2 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()

Полученные графики позволяют убедиться, что эмпирическая функция распределения (график отображается черным цветом) стремиться к теоретической (красная кривая) при увеличении объема выборки моделируемых статистик, при этом функция не зависит от объема моделируемой случайной величины.

Построим доверительные границы для при различных объемах моделируемой статистики. Допустимая ошибка для математического ожидания при известной дисперсии определяется по формуле [7]

где - надежность.

Рисунок 3. Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()

Как видно из рисунков математическое ожидание вычисленных при выполнении нулевой гипотезы статистик принимает значения в пределах доверительных интервалов и при увеличении объема моделируемой статистики сильнее стремиться к теоретическому значению, определяемому по формуле (3.3).



Рисунок 4 - Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()

Построим доверительные интервалы для дисперсии при известном . Границы интервалов определяются по формуле [7]:

Построенные границы доверительного интервала для дисперсии значений статистики (см. формулу (1.18)) при выполнении нулевой гипотезы на уровне значимости 0.05 получились следующими: , эмпирическое значение дисперсии равно (входит в доверительный интервал), а теоретическое значение . Так, отклонение эмпирического значения дисперсии от теоретического не является значительным и при увеличении объема выборки моделируемой статистики стремиться к теоретическому значению.

Рассмотрим понятие мощности критерия и найдем эмпирическую мощность критерия Дарлинга в зависимости от объема выборки.

Мощность критерия - это вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза, т.е. принимается гипотеза и она верна [7]. Чтобы показать эмпирическую мощность критерия, построим график зависимости от , где - количество неправильно принимаемых гипотез в испытаниях и фиксированных объемах выборок , для статистики в критерии Дарлинга при равномерном распределении. Объемы выборок принимают значения из заданного интервала. Для того чтобы в моделируемых выборках наблюдались выбросы, будем добавлять искусственно дополнительное значение значительно отличающееся от остальных (для равномерно распределения от 0 до 1 можно добавить значение 2).

Рисунок 5 - График эмпирической функции мощности для статистики в критерии Дарлинга ()



Рисунок 6 - График эмпирической функции мощности для статистики в критерии Дарлинга ()

Таким образом, исследование асимптотических свойств статистики в критерии Дарлинга показало, что при увеличении объема моделируемой статистики при выполнении нулевой гипотезы все эмпирические параметры распределения стремятся к теоретическим значениям. А исследование эмпирической мощности показало, что вероятность принятия альтернативной гипотезы при условии, что она верна, стремиться к единице при увеличении объема моделируемой статистики.

3.3 Анализ реальных данных

Проанализируем реальные данные изученными методами, т.е. будем исследовать различные выборки на наличие выбросов с помощью смоделированных критериев.

1) Период колебания маятника

Производиться шесть измерений периода колебаний маятника, получаем результаты (в секундах) 3,8; 3,5; 3,9; 3,9; 3,4; 1,8. В этом примере значение 1,8 поразительно отличается от остальных, и необходимо решить, что с ним делать. Можно подозревать, что время 1,8 с. является результатом какой-то незамеченной ошибки или обусловлено какой-то внешней причиной. Возможно, просто ошиблись при считывании этого последнего значения времени, или, может быть, электронный секундомер остановился во время последнего измерения из-за внезапного нарушения контакта с блоком питания [2]. Будем считать, что эта выборка имеет нормальное распределение. Поскольку выборка небольшая и на выброс подозревается только одно значение, применим к этой выборке критерий Шовене и критерий Граббса.

Таблица 3.1 - Результаты проверки периода колебаний маятника

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1= 1.970462, K2= 0.642993	[1.73,?)	Н1 (наименьший элемент является выбросом)
Граббса	t1= 1.970462 t2=0.642993	[1.996; ?) [2.184; ?)	H0 (в выборке нет выбросов)

Из таблицы 3.1 видно, что применение разных критериев может давать разные результаты, по критерию Шовене значение 1,8 с. признается выбросом, а проверка по критерию Граббса не выявила наличие выбросов в выборке, но значение статистики оказалось очень близким к критической области, что говорит о подозрительности наименьшего измерения.

2) Студент делает 14 измерений периода колебаний генератора и получает результаты (в десятых долях секунды) 7, 3, 9, 3, 6, 9, 8, 7, 8, 12, 5, 9, 9, 3 [2]. Замечаем, что результат 12 подозрительно велик, поэтому применим к этой выборке критерий Шовене, Граббса и Роснера, а полученные данные занесем в таблицу.

Таблица 3.2 - Результаты проверки периода колебаний генератора

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1= 1.47196, K2= 1.83995	[2.1,?)	Н0 (в выборке нет выбросов)
Граббса	t1= 1.47196 t2= 1.83995	[2.461; ?) [2.589; ?)	H0 (в выборке нет выбросов)
Роснера	tau1= 1.83995 tau2= 1.50688	[2.62; ?) [2.39; ?)	H0 (в выборке нет выбросов)

Несмотря на то, что значение 12 является подозрительным, проверка по всем трем критериям не подтвердила наличие выбросов. В таблице 3.2 видно, что статистики для проверки наибольшего значения близки к критической области, но не входят в нее, следовательно, в выборке отсутствуют аномальные наблюдения.

3) Приведем результаты измерений некоторого предмета 258.5, 255.4, 256.6, 256.7, 257.0, 256.5, 256.7, 255.3, 256.0, 266.0, 256.3, 256.5, 256.0, 256.3, 256.9. Нетрудно заметить, что величина 266.0 - явный промах, так как вместо 5 записали 6 [8].

Таблица 3.3 - Результаты проверки измерений некоторого прибора

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1= 0.7060785, K2= 3.460304	[2.13,?)	Н1 (наибольший элемент является выбросом)
Граббса	t1= 0.7060785 t2= 3.460304	[2.493; ?) [2.617; ?)	Н1 (наибольший элемент является выбросом)

Проверка данной выборки на наличие выбросов подтвердила, что ошибочно записанный результат 266.0 является выбросом. В таблице 3.3 оба критерия подтвердили, что наибольший элемент выборки является аномалией.

4) Студент делает десять измерений одной длины х и получает результаты (все в миллиметрах) 46, 48, 44, 38, 45, 47, 58, 44, 45, 43. Заметив, что значение 58 кажется аномально большим, он проверяет свои записи, но не находит указаний на то, что этот результат получился по ошибке [2]. Чтобы проверить на аномальность значение 58 воспользуемся критерием Шовене и критерием Роснера для обнаружения нескольких выбросов.

Таблица 3.4 - Результаты проверки измерений одной длины x

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1= 1.537611, K2= 2.404982	[1.96,?)	Н1 (наибольший элемент является выбросом)
Роснера	tau1= 2.404982 tau2= 2.239900	[2.39; ?) [2.17; ?)	Н1 (наибольший и наименьший элементы являются выбросами)

В таблице 3.4 отражены данные, полученные при применении статистических критериев. Из таблицы видно, что по критерию Шовене наибольший элемент выборки 58 признается выбросом, а критерий Роснера определил наличие двух выбросов: наибольшего 58 и наименьшего 38.

5) Рассмотрим пример применения критериев для исключения грубых погрешностей при измерении скорости ударной волны. Получены результаты 3.42, 3.43, 3.44, 3.45, 3.46, 3.47, 3.48, 3.49, 3.50. Требуется определить, не содержит ли результат наблюдения 3.50 грубую ошибку [9]. Применим критерии Шовене, Граббса и Дарлинга.

Таблица 3.5 - Результаты проверки измерений скорости ударной волны

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1=1.460593, K2= 1.460593	[1.92,?)	Н0 (в выборке нет выбросов)
Граббса	t1=1.460593 t2=1.460593	[2.237; ?) [2.392; ?)	Н0 (в выборке нет выбросов)
Дарлинга	ln= 8.897143 l1= 4.760364	[- ?; 6.343017) [- ?; 3.656983)	Н1 (наибольший элемент является выбросом)

Данные таблицы 3.5 показывают, что при проверке на грубую ошибку значения 3.50 подтвердилась нулевая гипотеза об отсутствии грубой ошибки. Однако проверка по критерию Дарлинга подтвердила, что значение 3.50 является промахом, поэтому этот результат лучше перепроверить или исключить из выборки.

6) Заданы 15 значений систолического давления, измеренные в мм: 154, 136, 91, 125, 133, 125, 93, 80, 132, 107, 142, 115, 114, 120, 141 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.

Таблица 3.6 - Результаты проверки измерений систолического давления

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1=1.942510 K2= 1.603849	[2.13,?)	Н0 (в выборке нет выбросов)
Роснера	tau1=1.942510 tau2=1.775757	[2.65; ?) [2.42; ?)	Н0 (в выборке нет выбросов)
Дарлинга	ln=11.74026 l1=7.394701	(- ?; 9.776645) (- ?; 6.223355]	Н0 (в выборке нет выбросов)

Полученные результаты, представленные в таблице 3.6, показывают, что в выборке нет выбросов, так это подтвердилось тремя критериями их трех. Поэтому все результаты измерения систолического давления у пациентов находятся в пределах нормального.

7) Даны 15 значений диастолического давления пациентов, измеренные в мм: 108, 90, 54, 89, 93, 77, 43, 50, 125, 76, 96, 74, 79, 71, 90 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.

Таблица 3.7 - Результаты проверки измерений диастолического давления

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1=1.942510 K2= 1.603849	[2.13,?)	Н0 (в выборке нет выбросов)
Роснера	tau1=2.028336 tau2=1.870667	[2.65; ?) [2.42; ?)	Н0 (в выборке нет выбросов)
Дарлинга	ln=9.72 l1=7.7626	(- ?; 9.776645] (- ?; 6.223355]	Н1 (наибольший элемент является выбросом)

Из таблицы 3.7 видно, что по критерию Дарлинга для нормального распределения наибольшее значение 125 было признано выбросом, хотя остальные критерии этого не обнаружили. Поэтому данное значение диастолического давления пациента нужно просто перепроверить, измерив еще раз.

8) Для ряда наблюдений (n=20) 0, 15, 16, 22, 22, 23, 26, 27, 27, 28, 28, 31, 32, 33, 35, 37, 38, 41, 56, 58 проверить наличие выбросов критериями Шовене, Граббса, Роснера и Диксона [3].

Таблица 3.8 - Результаты проверки ряда наблюдений

Критерий	Значение статистик	Критическая область	Принимаемая гипотеза
Шовене	K1= 2.267116 K2= 2.152807	[2.24,?)	Н1 (наибольший элемент является выбросом)
Граббса	t1= 2.267116 t2= 2.152807	[2.623; ?) [2.732; ?)	H0 (в выборке нет выбросов)
Роснера	tau1=2.267116 tau2=2.340307 tau3=2.706944 tau4=1.809593	[2.95; ?) [2.63; ?) [2.49; ?) [2.39; ?)	Н1 (в выборке есть три выброса)
Дарлинга	ln= 10.25862 l1= 10.27093	(- ?; 12.56973] (- ?; 8.430271]	Н1 (наибольший элемент является выбросом)

В результате проверки на выбросы некоторого ряда наблюдений наибольшее значение 58 было признано выбросом тремя критериями, значит его нужно исключить из выборки. В то же время критерий Роснера обнаружил в выборке целых три аномальных наблюдения это 0, 56 и 58, поэтому эти значения необходимо перепроверить.

Таким образом, проверка реальных данных с помощью процедур смоделированных статистических критериев определения выбросов позволяет автоматизировать процесс проверки данных на аномальные наблюдения, тем самым экономя время и исключая возможности ошибок, обусловленные человеческим фактором (например, невнимательность или утомление).

Заключение

В данной курсовой работе были изучены различные критерии определения одного или нескольких выбросов для случая нормального распределения, экспоненциального, а также был рассмотрен критерий Дарлинга для любого непрерывного распределения. Для критериев Шовене, Граббса, Роснера (для обнаружения нескольких выбросов), а также критерия Дарлинга (для любого непрерывного распределения) были представлены математические модели методов проверки гипотез и написаны процедуры в статистическом пакете R.

Провели исследование распределения статистик по критериям согласия Колмогорова и Смирнова, построили графики зависимостей полученных статистик от объема выборки. В результате проверки по обоим критериям получили, что принимается нулевая гипотеза о том, что распределение моделируемой статистики при выполнении гипотезы стремиться к некоторой теоретической непрерывной функции распределения, а вероятность ошибки при увеличении объема выборки убывает и стремиться к 0.

Также исследовали асимптотические свойства рассматриваемых критериев при «малых» и «больших» объемах выборок. Построили теоретическую и эмпирическую функции распределения, доверительные границы для параметров распределения и убедились, что при увеличении количества моделируемых статистик эмпирическая функция распределения и эмпирические параметры распределения стремится к теоретическим значениям, а от объема моделируемых случайных величин не зависят. Проведенные исследования позволяют убедиться в правильности работы статистических критериев и дают возможность применять их на практике.

С помощью смоделированных и запрограммированных критериев провели анализ реальных данных, в котором выборки с реальными данными проверялись на наличие в них аномальных наблюдений - выбросов.

Таким образом, разработанные в данной курсовой работе критерии можно применять для анализа реальных данных и на его основе делать соответствующие выводы, если в выборке были обнаружены выбросы.

выброс статистика критерий асимптотический

Список литературы

1. Тейлор Дж. Введение в теорию ошибок. Пер. с англ. - М.: Мир, 2009. - 272 с.

2. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2011. - 816 с.

3. Боровков А.А. Теория вероятностей. - М.: Наука, 1986. - 432 с.

4. Буховец А.Г., Москалев П.В. Статистический анализ данных в системе R. - Воронеж: ВГАУ, 2014. - 124 с.

5. Меретилов М.А. Методические указания к лабораторным работам по курсу «Методы анализа данных». - Красноярск: КГТУ, 2006. - 15 с.

6. Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 2010. - 479 с.

7. Кокунин В.А. Статистическая обработка данных при малом числе опытов. - Киев, 1974. - 790 с.

8. Третьяк Л.Н. Обработка результатов наблюдений. - Оренбург: ГОУ ОГУ, 2004. - 171 с.

9. Аффи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ. Пер. с англ. - М.: Мир, 1982. - 488 с.

Приложение

Таблицы критических точек

Таблица 1 - Критические значения критерия Шовене

3	1.61
4	1.64
5	1.68
6	1.76
7	1.79
8	1.86
9	1.92
10	1.96
11	2.00
12	2.03
13	2.07
14	2.10
15	2.13
16	2.16
17	2.19
18	2.20
20	2.24
22	2.28
24	2.31
25	2.33
26	2.36
30	2.39
50	2.57
100	2.81
300	3.14

Таблица 2 - Критические значения статистик Граббса

	Доверительная вероятность б=0.05
3	1.738	1.412	2.121
4	1.941	1.689	2.234
5	2.080	1.869	2.319
6	2.184	1.996	2.386
7	2.267	2.093	2.442
8	2.334	2.172	2.490
9	2.392	2.237	2.531
10	2.441	2.294	2.568
11	2.484	2.343	2.601
12	2.523	2.387	2.630
13	2.557	2.426	2.657
14	2.589	2.461	2.682
15	2.617	2.493	2.705
16	2.644	2.525	2.746
17	2.668	2.551	2.746
18	2.691	2.577	2.765
19	2.712	2.600	2.783
20	2.732	2.623	2.799
21	2.750	2.644	2.815
22	2.768	2.664	2.830
23	2.784	2.683	2.844
24	2.800	2.701	2.857
25	2.815	2.717	2.870

Таблица 3 - Критические значения критерия Роснера

Доверительная вероятность
10	2	1	2,39	20	4	1	2,95	35	2	1	3,09	50	4	3	2,72	80	3	3	2,81
10	2	2	2,17	20	4	2	2,63	35	2	2	2,74	50	4	4	2,59	80	4	1	3,57
11	2	1	2,45	20	4	3	2,49	40	2	1	3,17	50	5	1	3,45	80	4	2	3,05
11	2	2	2,23	20	4	4	2,39	40	2	2	2,77	50	5	2	2,96	80	4	3	2,84
12	2	1	2,50	20	5	1	2,97	40	3	1	3,22	50	5	3	2,74	80	4	4	2,69
12	2	2	2,27	20	5	2	2,65	40	3	2	2,81	50	5	4	2,61	80	5	1	3,61
13	2	1	2,57	20	5	3	2,51	40	3	3	2,62	50	5	5	2,52	80	5	2	3,11
13	2	2	2,31	20	5	4	2,42	40	4	1	3,32	60	2	1	3,34	80	5	3	2,86
14	2	1	2,62	20	5	5	2,37	40	4	2	2,86	60	2	2	2,90	80	5	4	2,72
14	2	2	2,39	25	2	1	2,99	40	4	3	2,67	60	3	1	3,42	80	5	5	2,62
15	2	1	2,65	25	2	2	2,62	40	4	4	2,55	60	3	2	2,95	100	2	1	3,52
15	2	2	2,42	30	2	1	3,05	40	5	1	3,31	60	3	3	2,73	100	2	2	3,03
16	2	1	2,70	30	2	2	2,67	40	5	2	2,88	60	4	1	3,48	100	3	1	3,60
16	2	2	2,44	30	3	1	3,12	40	5	3	2,69	60	4	2	2,98	100	3	2	3,10
17	2	1	2,75	30	3	2	2,73	40	5	4	2,55	60	4	3	2,77	100	3	3	2,86
17	2	2	2,48	30	3	3	2,56	40	5	5	2,47	60	4	4	2,63	100	4	1	3,64
18	2	1	2,79	30	4	1	3,16	45	2	1	3,17	60	5	1	3,51	100	4	2	3,13
18	2	2	2,46	30	4	2	2,77	45	2	2	2,82	60	5	2	3,01	100	4	3	2,89
19	2	1	2,80	30	4	3	2,59	50	2	1	3,27	60	5	3	2,77	100	4	4	2,74
19	2	2	2,49	30	4	4	2,49	50	2	2	2,85	60	5	4	2,65	100	5	1	3,70
20	2	1	2,83	30	5	1	3,19	50	3	1	3,34	60	5	5	2,56	100	5	2	3,16
20	2	2	2,52	30	5	2	2,78	50	3	2	2,89	80	2	1	3,45	100	5	3	2,91
20	3	1	2,88	30	5	3	2,60	50	3	3	2,68	80	2	2	3,03	100	5	4	2,77
20	3	2	2,60	30	5	4	2,51	50	4	1	3,40	80	3	1	3,49	100	5	5	2,67
20	3	3	2,45	30	5	5	2,45	50	4	2	2,93	80	3	2	3,03

Таблица 4 - Критические значения для критерия согласия Колмогорова

Уровень значимости б	0,01	0,05	0,1	0,2
	1,63	1,36	1,22	1,07

Таблица 5 - Критические значения для критерия согласия Смирнова

Уровень значимости б	0,001	0,01	0,05	0,1
	1,168	0,743	0,461	0,347

Размещено на Allbest.ru