Разработка проекта методики оценки показателей надежности ИРЭ на основе метода бутсреп

Рассмотрим задачу с приборами в третий раз для подтверждения эффективности метода «бутстреп». Напомним, наша выборка:

X=85, 105, 115, 110, 125, 125, 130;

Для расчётов используем программу matlab, так как алгоритм метода уже включен в её состав. Так как количество бутстреп-выборок зависит от «прихоти» исследователя, остановимся на n=5000. Синтаксис выглядит следующим образом:

Xboot = bootstrp(nboot, function, argument)

Применительно к нашему случаю:

Xboot = bootstrp(5000, @median, X)

Нетрудно сосчитать среднее значение Xboot, которое составляет:

Xboot_ср = 116,11

Выборочное смещение же, при этом, у=7,63.



2. Математические основы метода

В чем основная идея группы методов "размножения выборок", наиболее известным представителем которых является бутстреп?

Пусть дана выборка . В вероятностно-статистической теории предполагаем, что это - набор независимых одинаково распределенных случайных величин. Пусть эконометрика интересует некоторая статистика Как изучить ее свойства? Идея, которую предложил в 1949 г. М. Кенуй (это и есть "метод складного ножа") состоит в том, чтобы из одной выборки сделать много, исключая по одному наблюдению (и возвращая ранее исключенные). Перечислим выборки, которые получаются из исходной:

;

;

;

Всего n новых (размноженных) выборок объемом (n-1) каждая. По каждой из них можно рассчитать значение интересующей статистики (с уменьшенным на 1 объемом выборки):

Полученные значения статистики позволяют судить о ее распределении и о характеристиках распределения - о математическом ожидании, медиане, квантилях, разбросе, среднем квадратическом отклонении. Значения статистики, построенные по размноженным подвыборкам, не являются независимыми, при росте объема выборки влияние зависимости может ослабевать и со значениями статистик типа можно обращаться как с независимыми случайными величинами.

Однако и без всякой вероятностно-статистической теории разброс величин дает наглядное представление о том, какую точность может дать рассматриваемая статистическая оценка. Сам М. Кенуй и его последователи использовали размножение выборок в основном для построения оценок с уменьшенным смещением. А вот Б. Эфрон предложил новый способ размножения выборок, существенно использующий датчики псевдослучайных чисел. А именно, он предложил строить новые выборки, моделируя выборки из эмпирического распределения. Другими словами, Б. Эфрон предложил взять конечную совокупность из n элементов исходной выборки и с помощью датчика случайных чисел сформировать из нее любое число размноженных выборок. Процедура, хотя и нереальна без ЭВМ, проста с точки зрения программирования. По сравнению с описанной выше процедурой появляются новые недостатки - неизбежные совпадения элементов размноженных выборок и зависимость от качества датчиков псевдослучайных чисел. Однако существует математическая теория, позволяющая (при некоторых предположениях и безграничном росте объема выборки) обосновать процедуры бутстрепа.

Есть много способов развития идеи размножения выборок. Можно по исходной выборке построить эмпирическую функцию распределения, а затем каким-либо образом от кусочно-постоянной функции перейти к непрерывной функции распределения, например, соединив точки отрезками прямых. Другой вариант - перейти к непрерывному распределению, построив непараметрическую оценку плотности. После этого рекомендуется брать размноженные выборки из этого непрерывного распределения (являющегося состоятельной оценкой исходного), непрерывность защитит от совпадений элементов в этих выборках.

Другой вариант построения размноженных выборок - более прямой. Исходные данные не могут быть определены совершенно точно и однозначно. Поэтому предлагается к исходным данным добавлять малые независимые одинаково распределенные погрешности. При таком подходе одновременно соединяем вместе идеи устойчивости и бутстрепа. При внимательном анализе многие идеи эконометрики тесно друг с другом связаны.

В каких случаях целесообразно применять бутстреп, а в каких - другие статистические методы? В период рекламной кампании встречались, в том числе в научно-популярных журналах, утверждения о том, что и для оценивания математического ожидания полезен бутстреп. Однако это не так. При росте числа испытаний методом Монте-Карло бутстреп-оценка приближается к классической оценке - среднему арифметическому результатов наблюдений. Другими словами, бутстреп-оценка отличается от классической только шумом псевдослучайных чисел.

Аналогичной является ситуация и в ряде других случаев. Там, где статистика хорошо развита, где найдены методы анализа данных, в том или иной смысле близкие к оптимальным, бутстрепу делать нечего. А вот в новых областях со сложными алгоритмами, свойства которых недостаточно ясны, он представляет собой ценный инструмент для изучения ситуации. [2]



2.1 Основные понятия и способы вычисления оценок

Пусть дана независимая повторная выборка объема п из неизвестного распределения F, по которой оценивается значение неизвестного функционала (параметра) (F). Предположим, что для этой цели используется статистика и нас интересует мера погрешности этой статистики. На практике используют такие меры погрешности, как смещение

В_п = В_п (F) = E_F - (F), (2.1.1)

дисперсию

D_n = D_n (F) = E_F ( - E_F )², (2.1.2)

стандартное отклонение

S_n = S_n (F) =, (2.1.З)

квадратичный риск

Q_n=Q_n(F) = E_F( -(F))² (2.1.4)

и некоторые другие. Все эти меры погрешности, как правило, оказываются функционалами от неизвестного точного распределения статистики :

G (х) = G_n (F, х) = P_F{ }. (2.1.5)

Символы Р_F и Е_F здесь и далее указывают на вероятности и математические ожидания, вычисляемые в предположении, что исходная выборка извлечена из распределения F. То, что эта зависимость существенна, можно понять, рассматривая следующий пример. Пусть =Е_F X -- математическое ожидание действительной случайной величины X, подчиняющейся распределению F; Х^п -- выборка объема п из этого распределения, -- выборочное среднее. Тогда ,

D_n = Q_n =n^-1D_FX

где D_FX =dF(x) -- дисперсия случайной величины X. При больших п в соответствии с центральной предельной теоремой можно использовать приближенное равенство

F,(x/[D_FX]^1/2) (2.1.6)

где Ф -- функция распределения стандартной нормальной случайной величины N (0,1), т.е.

(2.1.7)

Сущность бутстрепа состоит в следующем: для оценки той или иной меры точности статистики (относительно неизвестного истинного значения ) рассмотрим оценку истинного распределения F по Х^п. В параметрическом случае, когда семейство F является конечномерным, т.е. , где Н -- открытое подмножество k-мерного евклидова пространства R^k, при выполнении некоторых аналитических предположений (типа условий Крамера -- Рао, обеспечивающих хорошие свойства оценок максимального правдоподобия вектора ), оценка -- это . В непараметрической ситуации, когда F -- почти полностью неизвестное распределение, в роли выступает эмпирическое распределение, приписывающее вес 1/n каждому наблюдению X_i, i = 1,2,..., п. Выбрав соответствующую типу задачи оценку , рассмотрим условно независимые (при заданных X₁,..., Х_п) случайные величины подчиняющиеся распределению , т.е. совместное условное распределение имеет вид

(2.1.8)

Совокупность называется бутстреп-выборкой объема n. Значение -- это бутстреп-реализация или бутстреп-повторение статистики . Условное распределение при заданных X₁,..., Х_п, т.е.

(2.1.9)

называется бутстреп-распределением или бутстреп-оценкой точного распределения G (*), определяемого формулой (2.1.5).

Бутстреп-оиенки рассмотренных выше мер точности (или погрешности) имеют вид:



, (2.1.10)

, (2.1.11)

, (2.1.12)

, (2.1.13)

где индекс * указывает на (условное) математическое ожидание, вычисленное относительно бутстреп-распределения (2.1.9). В непараметрических ситуациях бутстреп-оденки (2.1.10) -- (2.1.13) практически невозможно вычислить для сложной статистики . Дело в том, что для симметрично зависящей от своих аргументов (Хⁿ) статистики (X₁..., Х_п) формулы (2.1.10) -- (2.1.13) требуют, чтобы статистика вычислилась раз, что при n=15 составляет 77 558 760. Также во многих параметрических ситуациях «точное» вычисление бутстреп-оценок предполагает использование многих приближенных процедур. Эфрон предлагает вместо этого использовать синтез идей бутстрепа и метода Монте-Карло. Алгоритм Эфрона содержит следующие шаги:

1. По выборке Х^п строится оценка распределения F.

2. Для m=1, 2,..., М повторить такую процедуру -- извлечь выборку объема n из распределения и вычислить бутстреп-реализацию

.



3. В качестве оценки принимается приближение

(x) = ¦{ }/М, (2.1.14)

где ¦ {А} -- число элементов (конечного) множества А. Таким образом, приближенные бутстреп-оденки смещения, дисперсии и других характеристик точности статистического вывода можно получить с помощью вытекающих из выражения (2.1.14) соотношений

, (2.1.15)

,

, (2.1.16)

. (2.1.17)

В действительности важно знать, какое именно количество М бутстреп-реализаций гарантирует необходимую точность приближений Монте-Карло. Также интересно знать, что произойдет, если извлекать бутстреп-выборку объема т, отличного от п. И наконец, нельзя ли улучшить бутстреп-оценки в каком-либо смысле. Для ответа на «наивный» вопрос о том, зачем вообще нужны бутстреп-методы, мы рассматриваем предложенные Эфроном способы построения приближенных доверительных интервалов. Именно здесь теоретическая новизна сочетается с практической полезностью, причем трудно представить более удачный по сравнению с бутстрепом алгоритм построения приближенных доверительных границ, столь хорошо согласующихся с точными, когда последние вообще можно определить.[14]

Прежде, чем говорить об асимптотических свойствах бутстреп-оценок, приведем лишь один пример применения бутстрепа в довольно часто встречающейся регрессионной модели. Пусть мы получили п наблюдений случайной величины Y, которым соответствуют значения k-мерного вектора аргументов -- предикторов. Предположим для простоты, что модель зависимости описывается линейным уравнением

. (2.1.18)

Здесь -- независимые, одинаково распределенные остатки, подчиняющиеся неизвестному распределению F, а вектор коэффициентов оценивается по методу наименьших квадратов. Будем считать, что погрешность оценки измеряется матрицей ее ковариаций C = Cov (). Первый способ оценить матрицу С состоит в том, что, определив в модели (2.1.18), мы вычисляем оцененные остатки по формуле

и строим по ним. как по независимым наблюдениям, эмпирическое распределение F. Затем для выборки объема из распределения вычисляются значения бутстреп-реализаций зависимой переменной: . По полученным бутстреп-данным строится оценка наименьших квадратов так же, как по исходным данным, строилась оценка вектора . Найденные бутстреп-реализации вектора , т.е. совокупность можно далее использовать для оценки матрицы С по формуле

, (2.1.19)

.

Другой способ бутстреп-анализа состоит в том, что эмпирическое распределение строится по многомерным исходным данным, при этом на первом шаге появляется (k+1)-мepное эмпирическое распределение , которое приписывает вес 1/n наблюдению , затем извлекается бутстреп-выборка объема п из этого распределения и по полученным векторам строится оценка наименьших квадратов -- бутстреп-реализация статистики . Интересующая нас оценка ковариационной матрицы С определяется по величинам с помощью той же формулы (2.1.19). Б. Эфрон и Р. Тибширани отмечают, что, хотя для конечных выборок результаты и различны, они оказываются эквивалентными в асимптотике.[1], [14]

2.2 Асимптотическая оптимальность бутстреп-оценок

Рассмотрим задачу оценивания функции распределения F по выборке объема п из . Для простоты предположим, что функция распределения F и оценка принадлежат некоторому пространству Z функций на прямой, которое снабжено нормой || * ||. При этом потери от принятия оценки , когда истинная функция распределения есть F, измеряются величиной , где l -- монотонная неубывающая функция на множестве неотрицательных чисел. Например, можно измерять потери величиной или . Риском оценки называется среднее значение потерь, т.е. . Чтобы исключить появление так называемых суперэффективных оценок, вводится минимаксный риск , где V -- окрестность (неизвестного истинного распределения) в F. Оценка называется локальной асимптотической минимаксной, если в пределе при ее минимаксный риск по любой достаточной малой окрестности V оказывается меньше, чем у любой другой оценки, т.е.

.

Свойство локальной асимптотической минимаксности для оценки будет, как правило, справедливо и для другой оценки отклоняющейся от нее на , т.е. (по вероятности).

Для многих задач оценивания функций (не только функций распределения) нижние границы асимптотического риска оценок описываются неравенством информации вида

.

Более наглядная форма последнего утверждения, приближающая его к классическим неравенствам информации, получается, если перейти к пределу по окрестностям V, стягивающимся к (неизвестному истинному достаточно произвольному) распределению F⁰:

.



Здесь -- гауссовский процесс с непрерывными траекториями, который имеет нулевое среднее и ковариации, определяемые видом оцениваемой функции и степенью априорной неопределенности распределения наблюдений. Так, в задаче непараметрического оценивания функции распределения при полной неопределенности распределения -- это хорошо известный-броуновский мост с ковариационной функцией вида

; (2.2.1)

здесь -- минимум из t, s. Пусть -- бутстреп-версия эмпирического процесса ,

где -- эмпирическая функция распределения, построенная по бутстреп-выборке объема т из распределения .

Беран рассмотрел такую ситуацию. Предположим, что по независимой повторной выборке Xⁿ объема п строится статистика обладающая свойством асимптотической нормальности. Точнее, существует последовательность функционалов , для которой имеет место сходимость по распределению при , т.е. -- оценка зависящего от п функционала . Беран ввел ряд аналитических предположений, которые означают, что функция распределения случайной величины допускаег асимптотическое разложение первого порядка, (типа разложения Эджворта) равномерно по функции распределения F из малой окрестности произвольного истинного распределения F⁰. Таким образом, Беран использует негрубую аппроксимацию , а более аккуратное приближение

(2.2.2)

Здесь коэффициенты k (F), (F) и b (F) зависят от неизвестного распределения F и удовлетворяют некоторым дополнительным предположениям. Отметим, что -- стандартное отклонение статистики . Равномерность подобного разложения означает, что для достаточно малой окрестности V (неизвестного) произвольного распределения F⁰ остаточный член не просто стремится к нулю при , а удовлетворяет условию

.

При этих предположениях Беран описывает нижние границы асимптотического риска относительно функции потерь вида , где - свертка функции W с некоторой абсолютно непрерывной функцией распределения V.

Справедливо неравенство:

. (2.2.3)

В правой части этого неравенства фигурирует гауссовский процесс

(2.2.4)

где -- зависящая от неизвестного распределения F неслучайная величина; -- неслучайная функция вида ; Z -- стандартная нормальная случайная величина.

Оценка функции распределения обладает свойством локальной асимптотической минимаксности. В частности, этим условиям удовлетворяет бутстреп-оценка . При этом для бутстреп-оценки имеет место слабая сходимость процесса к гауссовскому процессу , в терминах которого описываются нижние границы асимптотического риска. Используя разложение Эджворта (2.2.2), можно подставить вместо неизвестных коэффициентов их оценки. Получаемая таким способом оценка функции распределения отличается от бутстреп-оценки на величину и обладает теми же асимптотическими свойствами. Правда, на практике этот подход может привести к некоторым неудобствам, так как оценка с помощью разложения Эджворта может не быть функцией распределения, т.е. некоторым событиям она будет приписывать отрицательные вероятности, но с ростом объема выборки этот эффект будет все менее и менее заметным.

Беран также объяснил известный в анализе данных парадокс. Казалось бы. если функция распределения при приближенно равна (здесь -- функция распределения стандартной нормальной величины), то оценка , где -- оценка величины , фигурирующей в (21), также представляется вполне приемлемой. На самом деле нормированное отклонение при слабо сходится к процессу , где -- некоторая неслучайная функция, определяемая истинной функцией распределения . В частности, если распределение имеет ненулевой коэффициент асимметрии или оценка смещена, функция отлична от нуля. В таком случае из результатов вытекает, что асимптотический риск оценки превосходит асимптотический риск бутстреп-оценки.

Результаты Берана проясняют теоретические свойства процедур бутстрепа. Дело в том, что многие процедуры построения приближенных доверительных интервалов существенно опираются на оценки функции распределения и функционалов от . [12], [14]

2.3 Бутстреп-методы доверительного оценивания

Одно из наиболее интересных применений бутстрепа относится к доверительному оцениванию. Это направление долгое время играло второстепенную роль в теоретических исследованиях. Дело в том, что при точно известном распределении статистики или другой монотонной по функции , когда это распределение не зависит от истинного распределения выборки, несложно построить точный доверительный интервал для . Например, если статистика подчиняется нормальному распределению с известной дисперсией , то центральный доверительный интервал для имеет вид

,

где -- -квантиль распределения N (0, 1); . Такой доверительный интервал называют центральным, потому что обе «хвостовые» вероятности и равны . Кажется, что для асимптотически нормальных статистик при

(2.3.1)



можно строить приближенные доверительные интервалы, пользуясь оценками предельной дисперсии. Это приводит к так называемым стандартным интервалам с границами

(2.3.2)

Эфрон привел ряд примеров, когда стандартные интервалы неудовлетворительны. Это понятно, ведь они основаны на не самом эффективном выборе оценки функции распределения статистики

, а именно, на оценке вида где -- оценка предельного стандартного отклонения .

Для устранения недостатков стандартных интервалов Эфрон предложил использовать бутстреп. Он рекомендует, например, строить приближенный доверительный интервал на основе процентилей (или процентных точек) бутстреп-оценки функции распределения . Это означает, что из исходной выборки извлекается бутстреп-выборка по которой определяется бутстреп-реализация статистики . Проводя этот процесс большое число М раз, мы получаем значения , по которым и строится бустреп-оценка функции распределения вида

.

Квантили распределения , т.е. решения уравнений ; и предлагается применять в качестве приближенных границ доверительный интервал уровня , это так называемый процентильный интервал. Если статистика имеет в точности нормальное распределение , то эффективнее оценивать с помощью , где , -- оценки , .

Таким образом, стандартный интервал -- это частный случай процентильного интервала. В сущности, подобные способы доверительного оценивания применял еще Фишер при построении доверительных интервалов для корреляции двумерной нормальной выборки. Пусть --эмпирический коэффициент корреляции, , (преобразование Фишера). Тогда распределение статистики хорошо аппроксимируется нормальным распределением , т.е. вероятность почти совпадает с . Поэтому процентильный интервал для можно получить, применив обратное преобразование к стандартному интервалу для .

Эфрон дал общее условие применимости процентильного интервала, которое состоит в том, что оценивающая статистика может быть преобразована к нормально распределенной статистике, т.е., если найдутся монотонные преобразования , , так что статистика подчиняется нормальному распределению , то можно использовать процентильный метод. При этом не обязательно знать вид преобразований g, h и значение константы -- это не используется при построении процентильного интервала. Процедура процентильного метода инвариантна относительно монотонных замен шкал , , т.е.

. (2.3.3)



Здесь -- доверительная граница процентильного метода:

. (2.3.4)

В сложных ситуациях и процентильный метод можно улучшить за счет известной в анализе данных процедуры коррекции смещения. Дело в том, что хорошие свойства процентильного интервала объясняются совпадением медианы бутстреп-распределения статистики и самой величины , т.е. . Когда это не так, процентильный интервал может иметь заметное смещение относительно точного доверительного интервала. Коррекция смещения проводится с помощью величины

. (2.3.5)

Это приводит к так называемым ВС-интервалам, или процентильным интервалам с коррекцией смещения, границы которых определяются формулой

. (2.3.6)

Эфрон предложил дальнейшее развитие ВС-метода, так называемый ВС_б-метод. Константа «ускорения» б (на самом деле б оказывается функционалом от распределения статистики ) выражается формулой

. (2.3.7)



Здесь -так называемая эмпирическая функция влияния, a -- вырожденное распределение вероятностей, сосредоточенное в точке х. Название «эмпирическая функция влияния» вызвано формальным сходством с «теоретической» функцией влияния [17]. Доверительные границы для по ВС_б-методу имеют вид

, (2.3.8)

так что при б=0 получим те же границы, что и при ВС-методе.

Эфрон обосновывает бутстреп-методы доверительного оценивания лишь в сравнительно простых ситуациях (когда статистика подчиняется распределению , так что бутстреп-распределение -- это ), высказывая надежду, что дальнейшее развитие асимптотической теории позволит обосновать эти методы для широкого класса задач. [14]

2.4 Построение доверительных интервалов

Ответ на вопрос, какие статистики лучше использовать при построении доверительных интервалов с помощью бутстрепа, кроется в двух простых соображениях. Во-первых, бутстреповское распределение центрировано не около истинного значения статистики, а около его выборочного аналога. Во-вторых, полагается бутстрепировать асимптотически пивотальные статистики.

Рассмотрим несколько вариантов бутстраповских статистик, используемых для построения доверительных интервалов и подчеркнем их положительные и отрицательные качества. Пусть нас интересует построение статистических выводов относительно параметра из ее оценки .

* Эфроновский доверительный интервал. В данном случае бутстрепируемой статистикой является сама оценка, т.е. . Таким образом, мы получаем бутстреповское распределение . Соответствующие квантили распределения - , а доверительный интервал -

. (2.4.1)

Эфроновский доверительный интервал был популярен, когда бутстреповский подход только начинал использоваться. На самом деле, этот доверительный интервал дает неплохую аппроксимацию для истинных уровней значимости, поскольку сохраняет смещение исходной выборки.

* Холловский доверительный интервал. Холл предложил использовать для построения доверительного интервала рецентрированную статистику , что снимает проблему смещения, связанного с конечностью выборки. Таким образом, получается бутстреповское распределение . Соответствующие квантили - , а доверительный интервал -

. (2.4.2)

Холловский доверительный интервал дает лучшую, чем Эфроновский. аппроксимацию уровней значимости. Плюсом использования Холловского доверительного интервала является отсутствие необходимости оценивания стандартных ошибок.

* t-процентный доверительный интервал. Такой интервал использует в качестве бутстрепируемой статистики t-статистику, т.е.. Таким образом, находят бутстреповское распределение статистики и соответствующие квантили , а сам t-процентный доверительный интервал строят как

. (2.4.3)

t-процентный доверительный интервал еще лучше аппроксимирует истинные уровни значимости, чем Холловский доверительный интервал. Но использовать его рекомендуется только если стандартные ошибки можно построить качественно.

* Симметричный t-процентный доверительный интервал. Такой интервал использует в качестве бутстрепируемой "симметризованную t-статистику". Распределение бутстреповской статистики есть , а правый кванитиль -. Симметричный t-процентный доверительный интервал есть

. (2.4.4)

Симметричный t-процентный доверительный интервал имеет в определенных случаях преимущество перед t-процентным доверительным интервалом. А именно, если асимптотическое распределение статистики симметрично (как раз как в случае асимптотической нормальности), то дает лучшую аппроксимацию уровней значимости.[1], [2]

2.5 Доверительные интервалы, основанные на модифицированном бутстрепе

Основная идея метода бутстрепа базируется на том факте, что эмпирическое распределение F_п сближается с истинным распределением F_о. Отсюда можно сделать заключение, что распределение оценок , полученных по наблюдениям, имеющих распределение F_п, близко к распределению оценок по наблюдениям с распределением F_о. С другой стороны, доверительные интервалы обладают следующим свойством: концы интервала соответствуют довольно сильно различающимся между собой распределениям. Другими словами, вероятность получить выборку с «сильно различающимися» наблюдениями равна б, т.е. единица минус уровень доверия.

Наша основная идея состоит в построении двух распределений F_n+ и F_n - таких, что вероятность получить наблюдаемую оценку равна б. Мы также потребуем, чтобы эти два распределения были построены по наблюдаемой выборке. Кроме этих ограничений, мы потребуем еще, чтобы эти распределения были близки к эмпирическому распределению. Другими словами, мы хотим изменить функцию эмпирического распределения, но не более, чем это необходимо. Доверительные интервалы будут определяться и-значениями, соответствующими F_n - и F_n+.

Появление зависимых наблюдений влияет на вероятностные свойства эмпирического распределения. Мы будем измерять это влияние, используя следующее линейное выражение, которое ведет себя как псевдо-значение



(2.5.1)

Если и определено для выборки размера n-1, то последнее выражение может быть заменено обычным псевдо-значением из теории статистик метода складного ножа.

Распределения F_n - и F_n+ выбираются в виде, где с выбрано так, чтобы вероятности «хвостов» были бы в точности равны б и 1- б (знак означает пропорциональность левой и правой частей, ).

Если и линейна по z_i, то эти распределения имеют наибольшую энтропию среди всех распределений с такими же «хвостовыми» вероятностями. Аппроксимация доверительного интервала для и(F) может теперь быть построена в виде интервала.

Легко осуществить повторную выборку из распределений F_n+ и F_n - тем же самым способом, что и повторный выбор в обычном бутстрепе. Возьмем N независимых бутстреп выборок с простым случайным выбором с возвращением из наблюдаемой выборки. Для каждой бутстреп выборки вычислим соответствующие оценки , i = 1, 2, …, n.

Для фиксированного значения с «хвостовые» вероятности соответствующих распределений могут быть легко оценены выражением

. (2.5.2)

Используя интерполяцию, легко получить значения с, дающие корректные «хвостовые» вероятности для а= (т.е. б и 1- б). Раз определены два значения с, то соответствующие им значения дают бутстреп интервал и .

2.6 Тестирование гипотез с помощью бутстрепа

Одной из основных целей бутстрепа является тестирование гипотез. Рассмотрим, как с помощью бутстрепа тестируются простейшие статистические гипотезы. Пусть нулевая гипотеза имеет вид , где - скаляр.

* Альтернативная гипотеза односторонняя: . Бутстрепим t-процентную статистику

(2.6.1)

и получаем бутстреповское распределение этой статистики и соответствующий квантиль:

(2.6.2)

Гипотеза H₀ отвергается, если .

* Альтернативная гипотеза двусторонняя: . В этом случае мы бутстрепим симметричную t-процентную статистику

. (2.6.3)



Получаем бутстреповское распределение и квантиль:

. (2.6.4)

Гипотеза H₀ отвергается, если .

Пусть нулевая гипотеза имеет вид , где - вектор. В этом случае мы бутстраиим Вальдовскую статистику (с точностью до коэффициента пропорциональности)

.

Соответственно, получаем бутстреповское распределение и квантиль:

(2.6.5)

Гипотеза H₀ отвергается, если .

Пусть теперь нулевая гипотеза имеет вид линейных ограничений на коэффициенты , где R - матрица ограничений. В этом случае мы снова бутстрепим Вальдовскую статистику (с точностью до коэффициента пропорциональности)

.



Получаем бутстреповское распределение, из которого находим соответствующий квантиль:

. (2.6.6)

Заметим, что мы рецентрируем бутстреповскую статистику. Без этого бутстреповское распределение унаследовало бы смещение, свойственное первоначальной статистике. Гипотеза H₀ отвергается, если .

2.7 Асимптотическое рафинирование

Иногда говорят, что с помощью бутстрепа достигается асимптотическое рафинирование. В этой главе мы обсудим, что такое асимптотическое рафинирование и в каких случаях оно имеет место.

Пусть у нас есть некоторая статистика . истинное распределение которой . Обозначим бутстреповское распределение этой статистики через . Говорят, что с помощью бутстрепа достигается асимптотическое рафинирование, если ошибка аппроксимации истинного распределения бутстреповским - большего порядка малости, чем ошибка аппроксимации асимптотическим распределением при стремлении объема выборки к бесконечности.

Приведем примеры, использующие разложение Эджворта функции распределения статистики вокруг предельного распределения.

1. асимптотически пивотальиая t-статистика. Пусть бутстрепируемая нами статистика есть

.

Ее асимптотическое распределение, как мы уже видели, является стандартным нормальным: (т.е. статистика асимптотически пивотальная). Обозначим точное распределение статистики через а бутстреповское - через. Для кумулятивной функции стандартного нормального распределения используем обычное обозначение .

Итак, разложим истинное и бутстраповское распределения вокруг асимптотического:

(2.7.1)

Здесь - четная по х. непрерывная по F функция, - нечетная по х, непрерывная но F функция. Ошибки аппроксимации точного распределения асимптотическим и бутстреповским, соответственно, равны

(2.7.2)

Здесь мы воспользовались тем фактом, что разность имеет асимптотику поскольку



.

Таким образом, в данном примере использование бутстрепа приводит к асимптотическому рафинированию.

2. асимптотически непивотальиая статистика. Рассмотрим статистику

Сохранив обозначение кумулятивных функций распределения для точного распределения и бутстреповского из предыдущего пункта, обозначим асимптотическое распределение через . Заметим, что теперь наша статистика асимптотически непивотальна, т.е. ее ассимтотическое распределение зависит от неизвестного параметра, в данном случае . Как в предыдущем примере, разложим точное и бутстреповское распределения вокруг асимптотического:

,

. (2.7.3)

Ошибки аппроксимации для асимптотического и бутстреповского распределений считаются аналогично предыдущему примеру:



,

. (2.7.4)

Как видно, в данном случае использование бутстрепа не приводит к асимптотическому рафинированию. Вообще, как правило, бутстрепирование асимптотически непивотальных статистик не дает асимптотического рафинирования.

3. асимптотически пивотальная симметричная t-статнстнка. Теперь рассмотрим в качестве примера симметричную t-статистику

.

Сохраняя обозначения предыдущих примеров, разложим точное и бутстреповское распределения:

,

. (2.7.5)

Таким образом, ошибки аппроксимации для асимптотики и бутстрепа имеют порядки

,

. (2.7.6)

Таким образом, мы получаем асимптотическое рафинирование. Заметим, что бутстрепирование симметричного двустороннего теста имеет ошибку более высокого порядка, чем бутстрепирование одностороннего теста.

2.8 Скорость сходимости для зависимого бутстрепа среднего

Работы о состоятельности бутстреп-оценок привлекают в последнее время большое внимание как с теоретической, так и с прикладной точки зрения из-за растущей потребности в этой процедуре. Важно отметить, что экспоненциальные неравенства играют большую роль в доказательстве асимптотической значимости бутстрепа среднего.

Начнем с небольшого обсуждения предыдущих результатов, где рассматривается последовательность независимых одинаково распределенных (н.о.р.) случайных величин и классический (независимый) бутстреп среднего. Пусть есть последовательность н.о.р. случайных величин, определенных на вероятностном пространстве . Для и пусть означает эмпирическую меру и пусть -- н.о.р. случайные величины с законом распределения , где -- последовательность натуральных чисел. Другими словами, случайные величины получены случайным отбором с возвращением из п случайных величин . Для каждого случайный вектор называется бутстреп выборкой Эфрона [24] из объема m(n). Пусть -- выборочное среднее.

Когда распределение X невырождено и ЕХ² <, Бикел и Фридман [19] показали, что для почти всех верна следующая центральная предельная теорема:

. (2.8.1)

Здесь и далее = DX. Отметим, что по теореме Гливенко-Кантелли приближается к Y(X) для почти всех с ростом п и по классической центральной предельной теореме Леви

(2.8.2)

Отсюда следует, что для почти всех бутстреп-статистика

близка по распределению к

, (2.8.3)

когда п достаточно велико. В этом заключается основная идея бутстрепа, и мы отсылаем к основополагающей работе Эфрона [24], где эта интересная идея выражена явно и подтверждена серией важных примеров.

Усиленные законы больших чисел для бутстрепа среднего были доказаны Атрейей и Чёргё. Аренал-Гутиэррес, Матран и Куеста-Албертос проанализировали результаты, затем, учитывая различные скорости роста объема повторной выборки т(п), они привели новые, более простые доказательства этих результатов. Они также привели примеры, показывающие, что объемы повторных выборок, необходимые для утверждения сходимости почти наверное (п.н.), являются практически оптимальными.

Другая публикация - это работа Микоша [25]. Он установил ряд полезных экспоненциальных неравенств, которые являются важным инструментом для доказательства состоятельности бутстрепа среднего. Основываясь на этих экспоненциальных неравенствах, Ли, Росальский и Ахмед доказали полную сходимость в духе Баума-Каца, Эрдёша, Сюя-Роббинса и Спитцера для бутстрепа среднего и наличие моментов супремума нормированных бутстреп-сумм. Важно отметить, что не накладываются условия на маргинальные или совместные распределения случайных величин, из которых извлекается бутстреп-перевыборка.

Понятие процедуры зависимого бутстрепа было введено Смитом и Тейлором, где также установлены некоторые важные свойства такого бутстрепа. Основной целью является расширение и обобщение результатов Ли, Росальского и Ахмеда об усиленном законе больших чисел на случай процедуры зависимого бутстрепа. Основными инструментами являются расширение и обобщение результатов Микоша [25] и Смита и Тейлора [12].

1. Зависимый бутстреп. Результаты этого пункта представляют собой изменение, обобщение и расширение результатов Смита и Тейлора на случай зависимого бутстрепа из последовательности не обязательно н.о.р. случайных величин. Отметим, что Смит и Тейлор рассматривали только случай н.о.р.

Пусть -- последовательность случайных величин (не обязательно независимых и одинаково распределенных), которые определены на вероятностном пространстве . Пусть и -- две последовательности таких натуральных чисел, что для всех .

Для и зависимый бутпстреп определяется как выборка объема т(п), извлеченная без возвращения из набора пk(п) значений, полученных как k(п) копий выборочных наблюдений . Эта процедура зависимого бутстрепа предназначена для уменьшения разброса оценок и, следовательно, для получения лучших доверительных интервалов. В статье [26], где доказан этот факт и приведены результаты моделирования доверительных интервалов с целью изучения возможных выигрышей в вероятности накрытия и длине интервалов.

Приводимое ниже предложение 1 дает совместное распределение случайных величин, полученных из зависимого бутстрепа. Нам потребуются следующие обозначения.

Для , и вещественного числа х положим , где -- индикаторная функция. Следовательно, случайная величина подсчитывает число наблюдений, меньших или равных x.

Для конечной последовательности вещественных чисел обозначим ее невозрастающую перестановку, т.е. и для любого найдется такое , что .

Предложение 1. Пусть , и -- последовательность вещественных чисел.

1) Если для всех , то

. (2.8.4)

2) Если хотя бы для одного , то эта вероятность равна нулю.

Доказательство. Пусть -- такая перестановка чисел 1,...,m(n), что для . Тогда



,

если для всех .

Вторая часть предложения очевидна.

Естественно, случайные величины , полученные зависимым бутстрепом, являются зависимыми. Они обладают так называемым свойством отрицательной зависимости -- это будет показано в предложении 2. Понятие отрицательной зависимости было введено Леманом следующим образом.

Случайные величины отрицательно зависимы, если для любого выполняются неравенства

,

, (2.8.5)

каковы бы ни были последовательности вещественных чисел.

Предложение 2. Для и случайные величины, полученные зависимым бутстрепом , являются отрицательно зависимыми и перестановочными.

Доказательство. Докажем только первое неравенство в определении отрицательной зависимости, ибо второе неравенство доказывается аналогичным образом.

Пусть -- последовательность вещественных чисел. Представляет интерес только случай, когда для всех . В силу предложения 1

Свойство перестановочности непосредственно следует из предложения 1.

2. Несколько технических лемм. В этом пункте мы приводим несколько технических результатов, используемых при доказательстве основных результатов статьи. Некоторые из лемм представляют собой расширение и обобщение известных ранее результатов. Для того чтобы статья была самодостаточна, мы намечаем их доказательства.

Для простоты под ln-функцией в этом пункте мы подразумеваем функцию натурального логарифма. Результаты могут быть легко обобщены на другие логарифмические функции с основанием, большим единицы.

Первая лемма хорошо известна и тривиальна. Поэтому мы опускаем доказательство.

Лемма 1. Пусть -- последовательность отрицательно зависимых случайных величин.

1) Если -- последовательность измеримых, монотонно возрастающих (или убывающих) вещественных функций, то есть последовательность отрицательно зависимых случайных величин.

2) Для всех справедливо неравенство если эти математические ожидание конечны.

К сожалению, функция, обратная к функции , t > 0, , не выписывается в явном виде. Но следующая лемма дает хорошую «аппроксимацию» обратной функции.

Лемма 2. Пусть и , t e, . Тогда

. (2.8.6)

Доказательство. Отметим, что

и

для t e, что может быть установлено дифференцированием.

Основная идея леммы 2 состоит в том, что для положительной случайной величины Y условия и равносильны.

Лемма 3. Пусть , t > 0, -- положительная, строго возрастающая функция, удовлетворяющая условию , когда . Положим , . Пусть, более того, -- последовательность одинаково распределенных случайных величин. Если

(2.8.7)



и , где -- обратная функция к , то

п.н. (2.8.8)

В следующей лемме также важно отметить отсутствие условия независимости.

Лемма 4. Пусть -- такая последовательность одинаково распределенных случайных величин, что

для некоторого . Тогда

п.н.

Доказательство. Для того чтобы применить лемму 3, положим , , , и (тогда ). Если ,

t е, то ,и по лемме 2 с условия и будут эквивалентны. Отметим, что

.

Последнее, что мы должны установить, это соотношение .

Имеем:



.

Так как последовательность строго возрастает, то последняя сумма не превосходит

.

В силу леммы 3

п.н.

Лемма 4 доказана.

Две следующие леммы имеют дело со сходимостью максимумов случайных величин. Опять-таки, не накладываются условия независимости.

Лемма 5. Пусть -- последовательность положительных случайных величини -- такая неубывающая последовательность положительных чисел, что . Тогда условия п.н. и п.н. равносильны.

Доказательство. Пусть п.н. Для любого справедливы следующие неравенства:

.

Так как последовательность не убывает, то последнее выражение не превосходит

,

где сперва , а потом . Обратное утверждение очевидно.

Лемма 6. Пусть, t 0, -- строго возрастающая функция и -- такая неубывающая последовательность положительных чисел, что , п 1, где С не зависит от п. Пусть, более того, -- такая последовательность положительных одинаково распределенных случайных величин, что при любом . Тогда

п.н.

Доказательство. Для любого

.

По лемме Бореля-Кантелли п.н. Теперь для завершения доказательства достаточно применить утверждение леммы 5.

Следующее экспоненциальное неравенство является основным инструментом, используемым при доказательстве закона больших чисел для зависимого бутстрепа среднего. Оно является аналогом экспоненциального неравенства Микоша на случай зависимого бутстрепа.

Нам нужно добавить два дополнительных обозначения к обозначениям из п. 2. Пусть -- последовательность (не обязательно независимых или одинаково распределенных) случайных величин. Для и положим



, (2.8.9)

, (2.8.10)

.

Лемма 7. Пусть u -- две последовательности положительных чисел. Тогда для и таких, что , и любых > 0 выполняется следующее неравенство:

.

.

Доказательство. По неравенству Маркова

.

Оценим только среднее в первом слагаемом в правой части, точно такая же оценка имеет место и для среднего во втором слагаемом.

Начнем с того, что в силу предложения 2 случайные величины , , полученные процедурой зависимого бутстрепа, являются отрицательно зависимыми и перестановочными. Следовательно, по п. 1) леммы 1 случайные величины

отрицательно зависимы и одинаково распределены. Поэтому

по п. 2) леммы 1. В силу одинаковой распределенности это выражение равно

.



Таким образом,

(2.8.11)

3. Скорость полной сходимости для зависимого бутстрепа среднего. С помощью полученных результатов можно вывести закон больших чисел для зависимого бутстрепа среднего.

Теорема. Пусть -- последовательность (не обязательно независимых или одинаково распределенных) случайных величин и -- последовательность положительных чисел. Если

п.н., (i)

п.н., (ii)

то для всех вещественных чисел r, любого > 0 и почти всех и

. (2.8.12)

Прежде чем доказывать эту теорему, сделаем ряд замечаний.

Замечания.

1. Результат теоремы будет тем более сильным, чем больше значение r. В противоположность теоремам Баума-Кана, Эрдёша, Сюя-Роббинса и Спитцера о полной сходимости, значение r не играет никакой роли в условиях теоремы и может быть взято произвольно большим.

2. При r = 0 по лемме Бореля-Кантелли и результату теоремы можно утверждать, что для почти всех

п.н.

3. В силу леммы 5, если монотонно, то условие (i) теоремы эквивалентно более слабому и значительно более простому условию

п.н.

4. Тщательный анализ доказательства теоремы показывает, что условия (i) и (ii) могут быть слегка ослаблены:

п.н., (i')

п.н., (ii')

Игнорируя тот факт, что условия (i') и (ii') очевидно слабее, чем условия (i) и (ii), следует заметить, что они более громоздки и их сложнее проверить.

Доказательство теоремы. Утверждение теоремы очевидно для r < -1, так что предположим, что . В обозначениях леммы 7 пусть

.



Легко проверить, что условия (i) и (ii) влекут .

Для фиксированного ,> 0 и положим

, .

Так как , то можно утверждать, что

, .

Пусть n будет настолько большим, что

и .

Из леммы 7 следует, что

,

так как , откуда следует утверждение теоремы.

Следствие. Пусть -- последовательность одинаково распределенных (не обязательно независимых) случайных величин и . Если



,

то для любого r, любого > 0 и почти всехш

. (2.8.13)

Доказательство. Положим

и , .

Нужно проверить, что выполняются условия (i) и (ii).

Для условия (i) обозначим

и , .

В силу леммы 2 имеем , где величина С не зависит от n. Теперь условие (i) следует из леммы 6.

Условие (ii) непосредственно вытекает из леммы 4. Следует отметить, что утверждение леммы 4 остается справедливым даже при более слабом моментном условии.



3. Применение метода бутстреп

Постановка задачи. Сравним оценку средней интенсивности отказов технической системы классическим методом, бутстрепом и методом складного ножа. Пусть время безотказной работы технической системы подчиняется закону Вейбулла с параметрами S = 0,5; 1; 2. Для моделирования вероятностей безотказной работы воспользуемся генератором псевдослучайных чисел в интервале (0;1). Число экспериментов - 100. Количество наблюдений параметра наработки на отказ - 5; 10; 100. Используемое программное обеспечение - excel, matlab.

Алгоритм решения. Генерируются 100 выборок объема N (где N - количество наблюдений параметра наработки на отказ), состоящих из случайных чисел от 0 до 1. Для этого в среде matlab используем следующую команду:

x=rand(100,N)

Легко рассчитать время наработки на отказ при каждом наблюдении:

t = где S - параметр формы

Интенсивность отказов:

л _ср.=

Для метода складного ножа в среде matlab используется следующий синтаксис:



j = jackknife(стат. функция, аргумент)

Для метода бутстреп:

b = bootstrp(кол-во бутстреп-выборок, стат. функция, аргумент)

Итоговые результаты представлены в таблице 2.1

Таблица 3.1

S	л	лjack	лboot	у	уjack	уboot
N=5
0,5	0,0022131	0,0022131	0,0021583	0,0027803	0,0000279	0,0002753
1	0,0011827	0,0011827	0,0011822	0,0006027	0,0000061	0,0000659
2	0,0010295	0,0010295	0,0010274	0,0002555	0,0000026	0,0000269
N=10
0,5	0,0015549	0,0015549	0,0015460	0,0009692	0,0000098	0,0000254
1	0,0010954	0,0010954	0,0010969	0,0003439	0,0000035	0,0000375
2	0,0010127	0,0010127	0,0010109	0,0001650	0,0000017	0,0000184
N=100
0,5	0,0010424	0,0010424	0,0010438	0,0002440	0,0000025	0,0000254
1	0,0010132	0,0010132	0,0010136	0,0001086	0,0000011	0,0000116
2	0,0010052	0,0010052	0,0010061	0,0000544	0,0000005	0,0000057

Таким образом, оценка складного ножа и бутстрепа практически не отличается от классической оценки. Тем не менее, видно, что стандартное отклонение по методу складного ножа на два порядка меньше классического метода, благодаря чему повышается точность оценки. Тем не менее, из-за необходимости исключения одного наблюдения, метод складного ножа не позволяет сохранить все степени свободы исходной выборки. Бутстреп же лишен этого недостатка [25].

Метод бутстреп был использован в ФГУП «Спецмагнит» для статистического регулирования технологических процессов при производстве четырех видов магнитов на основе магнитотвердых сплавов типа ЮНДКТ. В обозначении марок сплавов буквы обозначают: Ю - алюминий, Н - никель, Д - медь, К - кобальт, Т - титан.

Технические условия на магниты ТУ 6391 - 014 - 07588290 - 2009. Они предназначены для использования в магнитных системах, цепях, элементах приборов, машин и аппаратов общетехнического и специального назначения.

Технологией производства предусмотрен промежуточный контроль параметров, который проводится после термомагнитной обработки магнитов (изотермической магнитной обработки) и перед их окончательной механической обработкой.

В начале производства оборудование (специальные печи и ванны) настраивают на номинальное значение параметра. В дальнейшем, однако, как показывает опыт, появляются отклонения, обусловленные случайными и систематическими ошибками. К систематическим ошибкам в данном случае можно, например, отнести износ оборудования, неконтролируемый нагрев и деформацию обрабатываемой детали, неоднородность в сырье и пр.

В таблице 2.1 приведены исходные данные. Предполагается, что контролируемый параметр распределен нормально с математическим ожиданием, равным номинальному значению, и дисперсией, определяемой допустимым отклонением на основании «правила трех сигм».

Таблица 3.2 Исходные данные для статистического регулирования изделий ФГУП «Спецмагнит»

Наименование изделия	Контролируемый параметр	Номинальное значение	Допуск на параметр	Допустимый разброс
«Литва»	Индукция	93мТл	±2,5%	0,85 мТл
«Акация»	Индукция	140мТл	±2,5%	1,05 мТл
«Тень»	Коэрцитивная сила	64кА/м	±5%	1,00 кА/м
«Воля»	Индукция	60мТл	±2,5%	0,70 мТл



В случае разладки технологического процесса среднее значение контролируемого параметра имеет тенденцию к уменьшению относительно номинального значения, а стандартное отклонение, напротив, возрастает.

Произведем оценку погрешности среднего значения , вычисленного по значениям х₁,,..., х_п из некоторого распределения F. Данная задача имеет известное теоретическое решение, которое целесообразно сравнить с решением, полученным с помощью метода бутстреп.

С этой целью отобрана выборка из 6 изделий «Акация», которые характеризуются следующими значениями индукции (в мТл): 140; 141,5; 139,5; 140,5; 138,9; 141,3. Номинальное значение контролируемого параметра составляет 140 мТл.

Произведем оценку и построим доверительный интервал по имеющейся выборке:

1) вычисляем оценку выборочного среднего

2) находим среднеквадратическое отклонение

3) по полученным данным построим доверительный интервал

Зададим доверительную вероятность и на основании полученных данных получаем доверительный интервал:

Вследствие того, что выборка слишком мала, полученный доверительный интервал, в 2 раза шире доверительного интервала, соответствующего реальному распределению генеральной совокупности, который составляет . Такое отклонение является слишком большим, и, следовательно выборочное среднее значение может быть недостоверным для надежной оценки среднего значения генеральной совокупности.

Классическая центральная предельная теорема дает гарантию того, что в случае выборки большого объема статистическая оценка среднего с большой вероятностью совпадает с истинным значением . Но в случае малой выборки нужна некоторая мера, при помощи которой можно было бы оценить статистическую достоверность вычисленного значения .