Разработка проекта методики оценки показателей надежности ИРЭ на основе метода бутсреп

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ДИПЛОМНАЯ РАБОТА

Разработка проекта методики оценки показателей надежности ИРЭ на основе метода бутсреп



Введение

выборка бутстеп математический смета

Прикладная статистика бурно развивается в последние десятилетия. Серьезным стимулом является стремительно растущая производительность вычислительных средств. Поэтому понятен острый интерес к статистическим методам, интенсивно использующим компьютеры.

Как известно, целью статистических методов служит представление полученных данных в компактном, удобном и наглядном виде (свертка), обобщение их с помощью математических моделей и выработка решений об оптимальных дальнейших действиях.

Бутстреп отличается от традиционных методов тем, что он предполагает многократную обработку различных частей одних и тех же данных, как бы поворот их «разными гранями», и сопоставление полученных таким образом результатов.

Подход был предложен Эфроном в 1977 г. Он прочитал об этом лекцию в риецовских чтениях (в память Генри Льюиса Риеца (Н. L. Rietz, 1875-1943), профессора Иллинойского университета, в 1935-1937 гг. президента американского института математической статистики), которая была опубликована в 1979 г. [1]

Сам термин «бутстреп» (bootstrap) буквально означает «вытягивание себя за шнурки от ботинок», метод бутстреп - дальнейшее развитие «метода складного ножа». Идея, которую предложил в 1949 году М. Кенуй («метод складного ножа») состоит в том, чтобы из одной выборки сделать много, исключая по одному наблюдению (и возвращая ранее исключенные). Б. Эфрон разработал новый способ размножения выборок, существенно использующий датчики псевдослучайных чисел. Он предложил строить новые выборки, моделируя выборки из эмпирического распределения.

Актуальность темы

Есть много способов развития идеи размножения выборок. Можно по исходной выборке построить эмпирическую функцию распределения, а затем каким-либо образом от кусочно-постоянной функции перейти к непрерывной функции распределения. Другой вариант - перейти к непрерывному распределению, построив непараметрическую оценку плотности. После этого рекомендуется брать размноженные выборки из этого непрерывного распределения (являющегося состоятельной оценкой исходного), непрерывность защитит от совпадений элементов в этих выборках. Следующий вариант построения размноженных выборок - более прямой. Исходные данные не могут быть определены совершенно точно и однозначно. Поэтому предлагается к исходным данным добавлять малые независимые одинаково распределенные погрешности. При таком подходе одновременно соединяем вместе идеи устойчивости и бутстрепа [1].

В новых научно-практических областях со сложными алгоритмами, свойства которых недостаточно ясны, бутстреп представляет собой ценный инструмент для изучения ситуации.

Не всегда статистические методы используются в чистом виде. Часто их включают в виде важных элементов в комплексные методики, предусматривающие сочетание статистических методов с другими, например, экспертными оценками [4], [9].

Цель работы

Разработка методологии бутстреп для повышения точности и достоверности оценки показателей надежности изделий радиоэлектроники.

Задачи

Поставленная цель предполагает следующие задачи:

1. Сравнительный анализ эффективности применения известных методов размножения выборок для повышения точности и достоверности оценки показателей надежности изделий радиоэлектроники.

2. Разработка математического аппарата метода бутстреп для точности и достоверности оценки показателей надежности изделий радиоэлектроники.

3. Применение полученных результатов в теории и практике статистического регулирования технологических процессов, создание соответствующего программного обеспечения, предназначенного для практического использования.

Практическая значимость работы состоит в том, что предложенный метод доведен до уровня, обеспечивающего возможность его практического применения. Данный метод позволит с наименьшими затратами средств выявлять нарушения в технологическом процессе. При этом повышается точность контроля, соответственно уменьшается доля бракованной продукции, снижается риск необоснованных регулировок технологического процесса.

1. Обзор методов размножения выборок

Появление новых подходов всегда вызывает желание выяснить источники и составные части возникшей концепции, структуру и свойства процедур, области применения, возможные трудности и ожидаемое дальнейшее развитие. Выполнять такую программу в полном объеме сейчас вряд ли осуществимо, но попытаемся все-таки сформулировать некоторые основные утверждения. [1]

1.1 Концепция максимального правдоподобия

Прежде всего, приходится констатировать, что подход Б. Эфрона возник под сильным влиянием идей Р. Фишера -- в основном концепции максимального правдоподобия, появившейся в 1912 г. Из нее, собственно, следует, что то, что наблюдалось в эксперименте, как раз и "должно было произойти. Поэтому все неизвестные, которые нам надлежит извлечь из эксперимента, надо находить таким образом, чтобы они как можно лучше согласовывались с имеющимися данными. Тогда оценки неизвестных и будут «наиболее правдоподобными» в свете имеющихся данных. Многолетнее интенсивное развитие этой концепции превратило ее в один из краеугольных камней современной математической статистики.

Но есть три обстоятельства, мешающие нам в полной мере осознать преимущества подхода, основанного на принципе максимального правдоподобия. Это -- возможное смещение на конечных выборках (а с другими мы, к сожалению, не имеем дела), потребность в существенной априорной информации (знании вида закона распределения исследуемых случайных величин) и вычислительные трудности. Впрочем, последние не имеют принципиального характера, зато с первыми двумя приходится считаться. Бутстреп-метод первоначально возник как средство преодоления выборочного смещения или, во всяком случае, как средство его существенного уменьшения. Если выяснится, что он корректен, то из этого будет следовать, что классическая процедура метода максимума правдоподобия не позволяет извлечь из выборки всю имеющуюся в ней информацию. [1], [6].

1.2 Рандомизация

Обратимся к принципу рандомизации, предложенному Р. Фишером. Часто вместо рандомизации употребляют термин «перестановочный тест» (permutation), имея в виду перестановку данных между отдельными группами. Этот термин не вполне удачен, поскольку в действительности осуществляются не перестановки, а берутся различные комбинации данных, уникальных относительно выбранной тестовой статистики. Рандомизация -- искусственное внесение случайности в эксперимент для превращения некоторых систематических ошибок в случайные. Она оказала огромное влияние и на теоретические, и на прикладные исследования во многих областях статистики, особенно в планировании эксперимента.

Этот метод позволяет эффективно уменьшать систематическую погрешность (методическую и инструментальную) путем измерения некоторой физической величины рядом однотипных приборов с последующей оценкой результата измерений в виде математического ожидания (среднего арифметического значения) выполненного ряда наблюдений. В данном методе при обработке результатов измерений используются случайные изменения погрешности от прибора к прибору. Уменьшение систематической погрешности достигается и при изменении случайным образом методики и условий проведения измерений.

Метод рандомизации используется при моделировании, когда:

а) случайные свойства, связанные с надежностью, эффективностью, наступлением события, временем функционирования или ошибками измерений в системе или среде, влияют на результаты моделирования;

б) необходимо получить скорее частные, чем обобщенные, результаты;

в) необходимо определить законы распределения результатов и наряду со средними значениями вычислить дисперсии.

Вот как характеризуют эту идею Р. Фишера М. Кендалл и А. Стьюарт: «... Возможно, не будет преувеличением сказать, что его (Р. Фишера) пропаганда рандомизации при планировании экспериментов была самым важным и имеющим самое большое влияние результатом из его многочисленных достижений в статистике» [5].

Для практического осуществления рандомизации нужен какой-то механизм. В этой роли обычно выступают таблицы или генераторы случайных чисел. Качество получаемых случайных чисел имеет большое значение во всех областях их использования, в том числе и в бутстрепе.

Частным случаем рандомизации является рандомизационный тест. Основная его цель состоит в том, чтобы проверить некоторую нулевую гипотезу. Рассмотрим схему реализации рандомизационного теста для сравнения двух независимых выборок:

1. Выберем метрику T, позволяющую оценить статистическую значимость возможного фактора различий двух групп данных. В качестве таковой удобнее использовать разность между выборочными средними.

2. Вычислим значение статистики для исходных данных t_исх

3. Повторяем N раз следующие действия:

· Случайным образом перемешиваем данные обеих выборок.

· Первые n1 наблюдений отбираем в первую группу, остальные n2 - во вторую.

· Вычисляем значение статистики t_рнд для рандомизационных данных.

· Если t_рнд> t_исх увеличиваем на 1 счетчик S

4. Разделив значение S на N, получим соотношение частот, с которой метрика t_рнд на рандомизированных данных превысила значение t_исх на данных, которые мы получили в эксперименте. Иными словами, вычислим оценку вероятности р того, что случайная величина Т примет значение, большее, чем t_исх. По традиции, если р > 0,05, то принимается нулевая гипотеза H₀ об отсутствии значимых отличий исходных выборок от их нуль-модели по индексу Т, а если р меньше задаваемого уровня значимости, то H₀ отклоняется в пользу альтернативы.

Разберем конкретный пример. Пусть показатели наработки на отказ группы из трёх ИРЭ составили, соответственно, 85, 105 и 115 тысяч часов. Тогда как этот показатель группы контроля из четырёх ИРЭ, у которых была произведена замена интегральных микросхем импортными аналогами - 110, 125, 125 и 130 тысяч часов. Если замена не влияет на показатель надежности и нулевая гипотеза об отсутствии различий между группами верна, то любые 3 из имеющихся 7 наблюдений с одинаковой вероятностью могли бы быть приписаны к контрольной совокупности, а остальные - к группе с воздействием (т.е. наблюдалось бы явление «exchangeable» или «обмениваемости» данных). Выпишем все 35 возможных вариантов разбиений 7 измерений на 2 группы (таблица 1.2.1). Проанализировав результаты, мы легко найдем, что есть только одна псевдо-комбинация данных, при которой среднее значение для контрольной группы было бы еще меньше (а для группы с воздействием, соответственно, еще больше), чем это получено в эксперименте. Таким образом, различие между группами, столь же большое как это зафиксировано эмпирически, произошло бы только в 2 случаях из 35, т.е. вероятность справедливости сформулированной нулевой гипотезы составляет 0.0571.

Таблица 1.2.1

1 группа	Групповое среднее	2 группа	Групповое среднее
85	105	115	101,67	110	125	125	130	122,5
85	105	110	100,00	115	125	125	130	123,75
85	105	125	105,00	115	110	125	130	120
85	105	125	105,00	115	110	125	130	120
85	105	130	106,67	115	110	125	125	118,75
85	115	110	103,33	105	125	125	130	121,25
85	115	125	108,33	105	110	125	130	117,5
85	115	125	108,33	105	110	125	130	117,5
85	115	130	110,00	105	110	125	125	116,25
85	110	125	106,67	105	115	125	130	118,75
85	110	125	106,67	105	115	125	130	118,75
85	110	130	108,33	105	115	125	125	117,5
85	125	125	111,67	105	115	110	130	115
85	125	130	113,33	105	115	110	125	113,75
85	125	130	113,33	105	115	110	125	113,75
105	115	110	110,00	85	125	125	130	116,25
105	115	125	115,00	85	110	125	130	112,5
105	115	125	115,00	85	110	125	130	112,5
105	115	130	116,67	85	110	125	125	111,25
105	110	125	113,33	85	115	125	130	113,75
105	110	125	113,33	85	115	125	130	113,75
105	110	130	115,00	85	115	125	125	112,5
105	125	125	118,33	85	115	110	130	110
105	125	130	120,00	85	115	110	125	108,75
105	125	130	120,00	85	115	110	125	108,75
115	110	125	116,67	85	105	125	130	111,25
115	110	125	116,67	85	105	125	130	111,25
115	110	130	118,33	85	105	125	125	110
115	125	125	121,67	85	105	110	130	107,5
115	125	130	123,33	85	105	110	125	106,25
115	125	130	123,33	85	105	110	125	106,25
110	125	125	120,00	85	105	115	130	108,75
110	125	130	121,67	85	105	115	125	107,5
110	125	130	121,67	85	105	115	125	107,5
125	125	130	126,67	85	105	115	110	103,75

1.3 Понятие повторных опытов

Обратимся теперь к планированию экспериментов. Кроме понятий смещения и рандомизации, нам понадобится теперь понятие повторных (параллельных) опытов. Представьте себе опытное поле квадратной формы. Вам предстоит выяснить влияние на урожай глубины вспашки и количества внесенных удобрений. Чтобы получить делянки для разной вспашки, разделим квадрат пополам горизонтальной чертой. Верхнюю часть поля будем вспахивать на одну глубину, а нижнюю -- на другую. Сравним урожаи с этих двух делянок: где урожай больше, там и глубина вспашки оказалась более подходящей. Теперь, чтобы учесть влияние удобрений, разделим опытное поле снова пополам, но на этот раз по вертикали. На правую половину внесем большое количество удобрений, а на левую -- малое. Мы получили 4 делянки, каждая из которых характеризуется своим сочетанием условий обработки почвы под урожай. А логика сравнений остается прежней. Не ясно только, как выбрать масштаб для сравнения урожаев.

Конечно, идея о многократном повторении опытов в одинаковых, насколько возможно, условиях появилась задолго до Р. Фишера. Она была одним из основных принципов научного исследования. Казалось бы, опираясь на этот принцип, надо разделить каждую из получившихся делянок на некоторое число одинаковых повторных делянок и на основании различий в их урожаях оценить ошибку воспроизводимости эксперимента, которая и может служить эталоном, масштабом для сравнения обработок и получения ответов на интересующие нас вопросы о влиянии на урожай глубины вспашки и количества удобрений. Однако такое разделение может привести к смещению оценок из-за особенностей урожайности, рельефа и других свойств опытного поля. Панацеей от такого смещения оказалась рандомизация. Весьма близкое рассуждение провел и Б. Эфрон, перенеся рандомизацию на процедуры обработки данных. И это не единственная связь бутстрепа с идеями планирования эксперимента. [1]

1.4 Планирование эксперимента

Представления о рандомизации и повторных наблюдениях оказали глубокое воздействие не только на теорию планирования эксперимента, но и на теорию выборочного метода с его широчайшей областью приложений. Один ряд работ, начавшийся исследованиями Ю. Неймана (1923 г.), связывает выборочные методы с планированием эксперимента при различных вариантах ограничений на рандомизацию. Другой ряд работ, первые из которых -- исследования П. Маха-ланобиса, относится к выборочным обследованиям. В были предложены взаимопроникающие выборки. Этот следующий шаг получается при частичном рандомизированном повторении обследования некоторых единиц. Вот как характеризует этот прием Ф. Йейт: «Дополнительное преимущество взаимопроникающих выборок состоит в том, что они позволяют получить отдельные и независимые оценки значений тех или иных признаков изучаемой совокупности. Согласованность таких оценок для неспециалистов часто более убедительна, чем величина ошибки выборки, в какой бы форме она ни была представлена». Как часто бывает с распространенными методами, взаимопроникающие выборки получили несколько синонимичных названий: подсовокупности, области изучения, дублированный отбор и др.

«Точно так же, как в искусстве политики, в организации статистического исследования всегда имеет место компромисс между желаемым и возможным». После достижения мучительного компромисса в ходе реализации программы обследования или плана эксперимента тоже не все получается так, как задумано. Возникают сбои, пропуски, путаница. Результаты оказываются не совсем теми, на какие мы рассчитывали. Приходится либо разрабатывать специальные, как правило, более сложные, методы обработки данных, либо пытаться «исправить», «откорректировать», «отремонтировать» полученную выборку. Предложение такого рода исходит, видимо, от Д. Гласса. Он корректировал результаты путем взвешивания отдельных групп таким образом, чтобы ошибки в соотношениях компенсировались. Как справедливо отмечается в, «отсутствие данных компенсируется надлежащим образом лишь постольку, поскольку значения изучаемых переменных у пропущенных единиц сходны со значениями их у остальных единиц в соответствующих типических районах». В частности, рассматривается такой вариант: часть единиц из типических районов с наименьшей долей пропусков отбрасывается (случайно), а часть с большей долей пропусков дублируется (тоже случайно). Такие операции родственны бутстрепу. Аналогичный подход предложен и в работе.

С помощью теории планирования эксперимента решаются следующие задачи:

- поиск значений параметров системы, обеспечивающих достижение оптимального значения показателя качества исследуемого объекта при известных ограничениях на значения этих параметров. Перебор всех допустимых сочетаний значений параметров системы с целью поиска оптимального варианта нерационален по затратам ресурсов. Для решения указанной задачи ТПЭ предлагает такую последовательность проведения опытов, которая позволяет применить градиентные методы поиска при априорно неизвестной функции, связывающей показатель качества с параметрами системы;

- приближенное аналитическое описание функциональной связи показателей качества с параметрами системы по результатам проведенного эксперимента. Традиционные методики проведения экспериментов из-за зависимости компонентов восстанавливаемого аналитического описания не позволяют определить раздельное влияние каждого фактора на результирующий показатель, т.е. эти методики обеспечивают получение аналитических зависимостей, пригодных лишь для решения интерполяционных задач. В отличие от них ТПЭ дает возможность оценить вклад каждого параметра в значение показателя, т.е. приближенно восстановить закон функционирования объекта по экспериментальным данным. Полученное аналитическое описание объекта можно использовать для предварительного исследования вариантов построения системы или в интересах построения модели старшей системы, включающей данный объект на правах элемента;

- оценка дифференциального влияния уровней параметров системы на показатель качества. Такая задача возникает в случае, когда параметры системы являются по своей природе качественными или когда количественные параметры могут принимать небольшое число различных значений;

- испытания образцов техники. Планирование должно позволить оценить степень соответствия показателей качества образцов заданным требованиям при минимальном объеме испытаний;

- отсеивающие эксперименты. Предназначены выявить параметры, незначительно влияющие на показатель качества системы;

- адаптивное планирование. Применяется в условиях управления технологическим процессом, когда система управления все время должна приспосабливаться к конкретным условиям функционирования, а возможно, и предсказывать дальнейшее развитие процесса.

Решение задач с применением ТПЭ предусматривает использование априорной информации об изучаемом процессе для выбора общей последовательности управления экспериментами, которая уточняется после очередного этапа проведения исследований на основе вновь полученных сведений. Тем самым достигается возможность рационального управления экспериментами при неполном первоначальном знании характеристик исследуемого объекта. Целесообразность применения ТПЭ тем выше, чем сложнее исследуемая система.

В ТПЭ исследуемый объект (реальный объект, модель объекта) рассматривается как "черный ящик", имеющий входы v (управляемые независимые параметры) и выходы y.

Переменные v принято называть факторами. Теория ПЭ изучает только активный тип экспериментов, когда имеется возможность независимо и целенаправленно менять значения факторов v во всем требуемом диапазоне. Факторы в эксперименте бывают качественными и количественными. Качественные факторы можно квантифицировать или приписать им числовые обозначения, тем самым перейти к количественным значениям. В дальнейшем будем считать, что все факторы являются количественными и представлены непрерывными величинами (если другое не оговорено особо). Переменным v можно сопоставить геометрическое понятие факторного пространства - пространства, координатные оси которого соответствуют значениям факторов. Совокупность конкретных значений всех факторов образует точку в многомерном факторном пространстве. Примерами факторов являются: интенсивность потока запросов к базе данных, скорость передачи данных по каналу, объем запоминающего устройств. Кроме того, на объект воздействуют возмущающие факторы, они являются случайными и не поддаются управлению.

Область планирования задается интервалами возможного изменения факторов v_i,min< v_i < v_i,max для i =1, 2, …, k, где k - количество факторов. В теории ПЭ часто используют нормализацию факторов, т.е. преобразование натуральных значений факторов в безразмерные (кодированные) величины. Переход к безразмерным значениям x_i задается преобразованием

x_i = (v_i - v_i0)/Dv_i,

где v_i - натуральное значение фактора, v_i0 - натуральное значение основного уровня фактора, соответствующее нулю в безразмерной шкале, Dv_i - интервал варьирования. Совокупность основных уровней всех факторов представляет собой точку в пространстве параметров, называемую центральной точкой плана или центром эксперимента. С геометрической точки зрения нормализация факторов равноценна линейному преобразованию пространства факторов, при котором проводятся две операции: перенос начала координат в точку, соответствующую значениям основных уровней факторов; сжатие - растяжение пространства в направлении координатных осей.

Активный эксперимент включает: систему воздействий, при которых воспроизводится функционирование объекта; регистрацию отклика объекта. План эксперимента задает совокупность данных, определяющих количество, условия и порядок реализации опытов. Опыт составляет элементарную часть эксперимента и предусматривает воспроизведение исследуемого явления в конкретных условиях с последующей регистрацией результата. В условиях случайности в одних и тех же условиях проводятся параллельные (повторные) опыты в интересах получения статистически устойчивых результатов. Опыт u предполагает задание конкретных значений факторам v _u = v_1u, v_2u, …, v_ku, а совокупность значений факторов во всех N точках плана эксперимента образует матрицу плана

v₁₁, v₂₁, …, v_k1

v₁₂, v₂₂, …, v_k2

v_1N, v_2N, …, v_kN.

Строки матрицы соответствуют опытам, столбцы - факторам, элемент матрицы v_iz задает значение z-го фактора в i-м опыте.

Вектор y называется откликом. В ТПЭ обычно изучается ситуация, в которой вектор отклика y состоит из одного элемента y. При наличии нескольких составляющих вектора y, каждую из них можно исследовать отдельно. Зависимость отклика от факторов носит название функции отклика, а геометрическое представление функции отклика - поверхности отклика. Функция отклика рассматривается как показатель качества или эффективности объекта. Этот показатель является функцией от параметров - факторов. На практике широкое распространение получили простые функции вида М{y^'} = bf(v),, где b=(b₀, b₁, …, b_h) - вектор неизвестных параметров модели размерности h+1, f(v)=(f₀(v), f₁(v), …, f_h(v)) - вектор заданных базисных функций, М{y^'} - математическое ожидание функции отклика. Такое представление функции отклика соответствует линейной по параметрам модели регрессионного анализа, т.е. функция отклика есть линейная комбинация базисных функций от факторов.

Вследствие влияния на результаты экспериментов случайных воздействий истинные значения коэффициентов можно определить только приближенно. Оценку b--=--(b_{_},--b₁,--…,--b_h) вектора неизвестных параметров b находят по результатам экспериментов, в ходе которых получают значения y_u при заданных значениях факторов v_u. Эти оценки обычно рассчитываются с помощью метода наименьших квадратов (МНК) на основе выборок значений факторов и откликов системы на воздействия. В качестве оценки ? вектора b выбирается такое значение, которое минимизирует

,

где y^'_u - вычисленное на модели значение функции отклика в u-й точке факторного пространства. Приравнивая нулю частные производные от данной квадратичной формы, взятые по переменным b₀, b₁, …, b_h, можно получить систему уравнений вида

,

где i= 0, 1, 2, …, h. Значение b находят путем решения этой системы уравнений. Решение системы возможно при линейной независимости базисных функций.

Если не принимать специальных мер, то оценки коэффициентов ? станут взаимозависимыми, и полученное выражение для функции отклика можно рассматривать только как интерполяционную формулу, что затрудняет ее физическую интерпретацию и последующие расчеты. Однако, формируя специальным образом матрицу плана, можно получить независимые значения b. И эти величины будут характеризовать вклад каждого фактора в значение функции отклика.

Итак, задача заключается в определении общей формы записи функции отклика y^'. В большинстве случаев вид этой функции, получаемый из теоретических соображений, является сложным для практического применения, а при неполном знании объекта вообще неизвестен. По данным причинам функцию целесообразно представить в универсальном, удобном для практического применения виде, чему соответствует представление в виде полинома. Тогда системой базисных функций является совокупность степенных функций с целыми неотрицательными значениями показателей степени. Полиномиальная форма представления функции отклика примет вид

y^' = b_{_--}+--b₁x₁ + …+ b_kx_k + b₁₂x₁x₂ + b₁₃x₁x₃+…

+b_k-_1,k x_k-₁x_k + +b₁₁x²₁ + …+b_kkx²_k + … + e,

где--e--- случайная величина, характеризующая ошибку опыта.

Такая функция отклика линейна относительно неизвестных коэффициентов и будет полностью определена, если заданы степень полинома и коэффициенты. Степень полинома обычно задается исследователем априорно и уточняется в ходе исследования. На практике наибольшее распространение получили полиномы первого и второго порядка, соответственно линейные и квадратичные модели. Коэффициенты полинома принято называть эффектами факторов.

Иногда функцию отклика целесообразно представить в другом виде, например, в виде степенной функции, так как достижение заданной точности требует применения полинома высокого порядка. Однако использование функций, нелинейных относительно неизвестных параметров, усложняет вычисления, затрудняет оценку их свойств. В некоторых случаях задачу можно упростить путем искусственного преобразования нелинейной функции в линейную. При этом требуется соответствующее преобразование и результатов экспериментов.

Применение ТПЭ основано на ряде допущений, а именно:

1. функция отклика содержит в своем составе неслучайную и случайную составляющую. Многие показатели качества автоматизированных систем обработки информации носят случайный характер. Это требует многократного повторения опытов в одних и тех же условиях в целях получения статистически устойчивых результатов, а получаемые оценки показателей должны обладать свойствами состоятельности, эффективности, несмещенности и достаточности. Оценки типовых показателей формируются путем усреднения результатов наблюдений. Поэтому при достаточно большом количестве наблюдений можно считать, что случайная составляющая e распределена по нормальному закону с нулевым математическим ожиданием, что позволяет получить несмещенную оценку математического ожидания функции отклика в конкретной точке плана. Будем также считать, что величина ? имеет дисперсию, не зависящую от значений факторов. Иначе говоря, результаты, полученные путем усреднения повторных опытов в каждой точке плана, представляют собой независимые, нормально распределенные случайные величины;

2. факторы v₁, v₂, …, v_k измеряются с пренебрежимо малой ошибкой по сравнению с ошибкой в определении величины y (учет помех в задании факторов приводит к трудно разрешимым проблемам в оценке коэффициентов функции отклика). Ошибка в определении значения функции отклика объясняется не столько погрешностью измерений, сколько влиянием на результат работы системы неучтенных или случайных факторов, например различиями в формируемой последовательности случайных чисел при статистическом моделировании;

3. дисперсии среднего значения функции отклика в различных точках равны друг другу (выборочные оценки дисперсии однородны). Это означает, что при многократных повторных наблюдениях над величиной y_u при некотором наборе значений v_1u, v_2u, …, v_ku, получаемая оценка дисперсии среднего значения не будет отличаться от оценки дисперсии, полученной при многократных наблюдениях для любого другого набора значений независимых переменных v_1s, v_2s, …, v_ks.

Указанные допущения позволяют использовать для расчетов коэффициентов полинома МНК, который дает эффективные и несмещенные оценки коэффициентов и обеспечивает простоту проведения самих расчетов. Применение МНК, вообще говоря, не требует соблюдения нормального распределения результатов наблюдения. Этот метод в любом случае дает решение, минимизирующее сумму квадратов отклонений результатов наблюдения от значений функции отклика. Допущение о нормальном распределении используется при проведении различного рода проверок, например, при проверке адекватности функции отклика и экспериментальных данных. Естественно, что точность оценок коэффициентов функции отклика повышается с увеличением числа опытов, по которым вычисляются коэффициенты.

В ходе эксперимента возможно смещение. Оно может возникать по трем причинам. Выборочное смещение, обусловившее бутстреп. Другой источник смещения -- ошибка измерения, возникающая, как правило, из-за. различий в измерительных приборах или навыках измерителя. Чтобы избежать таких смещений, обычно используют специальные приемы градуировки средств измерения и вычисления поправочных коэффициентов, учитываемых в результатах. Все это традиционно относится к области метрологии. Наконец, последний источник смещения -- это смещение, обусловленное моделью, формулой, по которой вычисляется статистика. Если мы считаем, например, что имеет место нормальное распределение, то пользуемся, конечно, соответствующими формулами для вычисления среднего, дисперсии и других интересующих нас величин. И нас не должно удивлять возникновение смещения, поскольку распределение фактически было совершенно другим. В этом проявляется связь с априорной информацией в методе максимума правдоподобия.

Как бороться с таким смещением? Первая возможность -- знать фактическую модель или, по крайней мере, верить, что предлагаемая модель верна. Это стандартный прием параметрической статистики, при котором, по определению, подобные смещения не возникают. Вторая возможность -- выбирать такие модели, для которых результаты слабо зависят от действительной ситуации. Это прием непараметрической статистики. Он характерен и для методов робастного оценивани. Причем непараметрическая статистика предполагает поиск способов и формул оценивания, «работоспособных» при любых обстоятельствах (например, при любых распределениях из заданного класса). Робастные же процедуры остаются, в сущности, в рамках параметрического подхода, но с их помощью пытаются противостоять различным засорениям, загрязнениям, выбросам и другим чужеродным примесям в данных. Рассматривая непараметрический подход как средство борьбы со смещениями, можно убедиться, что рандомизация играет в этих процедурах заметную роль. Это прежде всего относится к критерию рандомизации, введенному Р. Фишером. Критерий рандомизации, перестановочные рандомизированные критерии глубоко укоренились в непараметрической статистике. Поскольку они связаны с предметом нашего обсуждения, приведем характерные примеры. Начнем с похожего на ранговый критерия Л. Мозеса и родственных ему процедур. Этот критерий для проверки гипотезы о значимости различия в разбросах двух совокупностей предполагает использование случайных подвыборок. Обращение к рандомизации вызвано стремлением избавиться от обременительного требования равенства медиан. В шаговых процедурах регрессионного анализа возникает трудность с назначением уровня значимости для F-критерия при включении в модель очередного члена и при исключении из нее члена, не оправдавшего надежд. И тут на помощь приходят перестановочные процедуры. При анализе регрессионных остатков применению простых формул препятствует корреляция. В.П. Бородюк и В.Е. Кузнецов предложили добавлять к вектору остатков случайный вектор с нулевым математическим ожиданием и относительно малыми дисперсиями с тем, чтобы за счет небольшого смещения получить независимые наблюдения, к которым приложимы простые формулы. Еще один известный пример -- метод случайного баланса в планировании отсеивающих экспериментов, предложенный Ф. Саттерзвайтом в 1959 г.. При этом методе рандомизируют подозреваемые эффекты факторов в надежде минимизировать объем эксперимента.

Рандомизированные процедуры настолько важны для подведения основы под используемые в сложных и неопределенных случаях критерии, что их неоднократно «открывали» вновь. Наиболее яркий пример такого рода -- это метод хаотизации. Хаотизация предполагает, скажем,в регреесии рандомизацию вектора откликов при фиксированной матрице плана. Отметим, что такой подход, в отличие от бутстрепа, порождает как бы новую эмпирическую информацию.

До сих пор мы говорили о влиянии на развитие бутстрепа концепции Р. Фишера. Но уже в рамках непараметрической статистики, кроме его работ, решающее воздействие имели исследования А.Н. Колмогорова, Н.В. Смирнова, Ф. Уилкоксона, Дж. Ходжеса и Э. Леманна, а также их многочисленных учеников и последователей. Для бутстрепа непараметрическая статистика-- и источник идей, и объект приложения.

1.5 Бутсреп и применение ЭВМ

Еще 30 лет назад из-за большого объема вычислений процедуры типа бутстрепа были немыслимы. Это машинно-ориентированные методы, существенно зависящие от развития вычислительной техники и внешних систем ЭВМ. Конечно, и раньше существовали методы, требующие применения вычислительной техники, например метод Монте-Карло, играющий важную роль и в бутстреп-процедурах. Это направление возникло с появлением работы Н. Метрополиса и С. Улама. Метод Монте-Карло представляет собой рандомизацию условий испытаний при принципиально неполном переборе, причем сами испытания могут быть не только физически экспериментами, но и расчетами на ЭВМ. Родственное направление -- случайный. поиск, развивающееся с начала 60-х годов.

Создание концепции имитационного моделирования, связанное с работами Т. Нейлора, обеспечило достаточно прочную основу для применения ЭВМ в статистике и статистики в машинных экспериментах. Одним из важнейших достижений было осознание возможности формулировать задачу имитации как задачу планирования эксперимента. Бутстреп и имитационное моделирование находятся под взаимным влиянием.

Бутстреп-процедура может рассматриваться как способ управления выборкой в ходе обработки данных. Традиционная область управления выборкой -- планирование экспериментов или обследований. Новое заключается в переносе идей активного эксперимента на процедуры вычислений, на обработку данных.

При традиционном подходе, если выборка задана, то для получения наиболее эффективных оценок и для проверки гипотез критериями с наибольшей мощностью надо использовать все выборочные наблюдения до одного. Исключение из расчета каждого наблюдения означает уменьшение на единицу числа степеней свободы со всеми вытекающими последствиями. Исследователь в поте лица добывает бесценные крупицы информации, и статистик должен не «расплескать» ни одной из них. Обрабатывали всегда все данные, которыми располагали. Возникновение при таком подходе смещения не было секретом. Адекватность регрессионной модели оценивали по имеющимся данным, уже использованным для вычисления коэффициентов. Настоящее же испытание модели было впереди, когда экспериментатор сможет добыть новые данные. Однако до этого доходило редко: данные добываются действительно не легко и не быстро. Ну а если все-таки нужные данные находились, то это редко приносило радость статистику из-за смещения оценок.

Другое дело, когда данные поступают последовательными сериями (выборками) или единицами. В этом случае применяются и соответствующие методы: текущий регрессионный анализ, стохастическая аппроксимация, рекуррентное оценивание, контрольные карты и т.п. Для применения бутстрепа к последовательным и любым другим экспериментам нет никаких противопоказаний, но в статьях Б. Эфрона, включенных в сборник, упор сделан на случай единственной выборки, быть может, и не слишком большого объема. Это наиболее сложный и принципиальный случай.

До появления имитационного моделирования с его гораздо более легким отношением к эксперименту в статистических работах трудно отыскать даже намеки на управление выборкой в ходе вычислений. Зато существовала другая, хотя и близкая, область исследования -- распознавание образов. Первоначальная статистическая постановка задачи распознавания принадлежит Р. Фишеру (это так называемый дискриминантный анализ). Позже был предложен подход, часто называемый «распознаванием с учителем». Теперь его принято называть перепроверкой или кросс-проверкой. Этот простейший прием заключается в том, что исходная выборка случайным образом делится пополам. Одна часть используется для получения интересующих исследователя оценок, а вторая -- для «экзамена» (вот почему «распознавание с учителем»).

Легко представить себе дальнейшую эволюцию этой идеи, особенно если под рукой есть хорошая вычислительная техника. Действительно, почему надо делить пополам только один раз, а не несколько (лучше много) раз? Почему надо делить именно пополам? Может быть, для экзамена хватит и одной десятой? [1]

Например, проблеме изучения метода «бутстреп», уделяют внимание не только профессиональные статистики и математики.

Летом 2009 студенты принимали участие в программе Университета Лайолы SCORE (Summer Collaborative Outreach and Research Experience), основанной Луизианским Советом попечителей. Главной задачей SCORE было увеличение количества студентов Луизианы, которые бы стремились к карьерам в области Научно-технической инженерии и математики(Science Technology Engineering and Mathematics (STEM)). В конце концов, SCORE организовала исследовательские группы, состоящие из производственного руководителя, студентов ВУЗов, учеников и учителей средней школы. Планировалось, что опыт в этих группах вдохновит студентов и учеников к научной карьере. Исследовательская группа, включала в себя двух учеников средней школы, двух студентов и производственного участника. Должно быть замечено, что исследовательская команда была малой и программа была запущена летом. Однако, команда не может быть представлена, как возможные участники в течении обычного семестра.

Главной задачей руководителя было определение подходящей исследовательской задачи, которой должна была достичь группа. Задачами были выбраны исследование симуляции Монте Карло с использованием метода Стьюдента и непараметрические доверительные интервалы с использованием бутстрепа для определения подходящего метода. Эта задача была поставлена с тех пор, когда бутстреп как основной вычислительный метод, получил большую долю внимания в статистической литературе, но только недавно начал появлятся в изданиях, которые используются в вузах. На самом деле, даже беглый обзор книг по введению в статистику на www.amazon.com показал, что большинство текстов про статистику вузовского уровня совсем не включают идею бутстрепа. Тексты, которые содержат темы по бутстрепу и техникам повторной выборки, находятся в "дополнительных" главах или в "дополнительных" секциях, которые часто пропускают преподаватели вузов. Методы бутстрепа имеют дополнительную привлекательность в том, что нет необходимости знать массивную математическую составляющую и в том, что данные методы легко программируются. Участники исследовательской команды использовали версии Matlab 2009 для студентов, на которых программировались и запускались симуляции бутстрепа, которые были дополнительной выгодой участия в программе SCORE.

Это симуляционное исследование подчёркивает полезность процедур бутстрепа для оценки неизвестных зависимостей с ассиметричным набором данных. Даже через иследование процедур бутстрепа был сделан шаг вперёд на арене статистических иследований, применение бутстрепа в других академических дисциплинах и в промышленности очень ограничены и методы бутстрепа не так широко известны студентам по статистике. Для стимуляции должного применения этих интенсивных вычислений и очень полезных методов, рекомендуется введение данных методов в курсы статистики для студентов ВУЗов. [25]

1.6 Метод «Cкладного ножа»

Вычислительная техника позволяет осуществить процедуру, связанную с незначительной потерей эффективности, но позволяющую значительно снизить выборочное смещение. Такую процедуру в 1949 г. предложил М. Кенуй. Идея заключалась в том, чтобы последовательно исключать из рассмотрения по одному наблюдению, обрабатывать всю оставшуюся информацию и предсказывать результат в исключенной точке. Совокупность полученных таким образом по всем точкам расхождений несет в себе информацию о смещении, которой можно воспользоваться. Более того, в этих данных есть еще и информация о дисперсии, что открывает перед процедурой новые перспективы. Дж. Тьюки, принимавший активное участие в совершенствовании этого метода, назвал его методом складного ножа. Понятие «складной нож» относится к универсальному методу, призванному заменить частные методики, которые не всегда пригодны, подобно бойскаутскому ножу, годящемуся на все случаи жизни».

Пусть дана выборка . В вероятностно-статистической теории предполагаем, что это - набор независимых одинаково распределенных случайных величин. Пусть эконометрика интересует некоторая статистика Как изучить ее свойства? Идея, которую предложил в 1949 г. М. Кенуй (это и есть "метод складного ножа") состоит в том, чтобы из одной выборки сделать много, исключая по одному наблюдению (и возвращая ранее исключенные). Перечислим выборки, которые получаются из исходной:

;

;

;

Всего n новых (размноженных) выборок объемом (n-1) каждая. По каждой из них можно рассчитать значение интересующей статистики (с уменьшенным на 1 объемом выборки):



Полученные значения статистики позволяют судить о ее распределении и о характеристиках распределения - о математическом ожидании, медиане, квантилях, разбросе, среднем квадратическом отклонении. Значения статистики, построенные по размноженным подвыборкам, не являются независимыми, при росте объема выборки влияние зависимости может ослабевать и со значениями статистик типа можно обращаться как с независимыми случайными величинами.

Однако и без всякой вероятностно-статистической теории разброс величин дает наглядное представление о том, какую точность может дать рассматриваемая статистическая оценка. Сам М. Кенуй и его последователи использовали размножение выборок в основном для построения оценок с уменьшенным смещением.

Мы тоже не будем отступать от этой традиции. Вернемся к рассмотренной ранее задаче. Пусть показатели наработки на отказ группы ИРЭ составили, соответственно, 85, 105, 115, 110, 125, 125 и 130 тысяч часов.

Но теперь мы хотим оценить выборочную медиану, которая дала бы нам наиболее точное представление об истинном значении параметра наработки на отказ.

· Составим вариационный ряд из исходных данных:

X=85, 105, 110, 115, 125, 125, 130

· Вычислим выборочную медиану, исходя из исходных данных, она, соответственно, равна:

Med(X)=x в случае чётного n (где n - объем выборки)

Med(X) = в случае нечётного n



Med(X)= 115

· Применяя метод складного ножа, получим «размноженные выборки»:

X*₁=105, 110, 115, 125, 125, 130;

X*₂=85, 110, 115, 125, 125, 130;

X*₃=85, 105, 115, 125, 125, 130;

X*₄=85, 105, 110, 125, 125, 130;

X*₅=85, 105, 110, 115, 125, 130;

X*₆=85, 105, 110, 115, 125, 130;

X*₇=85, 105, 110, 115, 125, 125;

Выборочные медианы, соответственно:

Med(X₁)= 120

Med(X₂)= 120

Med(X₃)= 120

Med(X₄)= 117,5

Med(X₅)= 112,5

Med(X₆)= 112,5

Med(X₇)= 112,5

Усредняя полученные значения:

Med_jack(X)=116,43

Оценка по методу складного ножа, хотя и менее точна, но дает меньшее выборочное смещение по сравнению с классическим методом:

у=15,47

у_jack=3,78



В 1959 г. Дж. Дарбин распространил этот метод на конечные выборки. В 1972 г. X. Грей и У. Шукани обобщили его, а в 1974 г. Р. Миллер систематизировал накопленные к тому времени результаты. Более поздним исследованиям посвящены работы.

В русских переводах этот метод называли по-разному: метод Кенуя, поправка на смещение, метод расщепления и т.п..

Специалисты по распознаванию образов независимо от исследований статистиков, приведших к методу складного ножа (правда, позже, чем они), пришли к тем же результатам. Ведь и в распознавании жаль использовать экспериментальные точки слишком расточительно. Одно из первых таких предложений сделал М.Н. Вайнцвайг в 1968 г.. Оно получило название «скользящий контроль». В 1969 г. была доказана несмещенность получаемых таким образом оценок.

Остановимся еще на одном любопытном «ответвлении» в развитии обсуждаемых идей. Это разработанный в конце 60-х годов А.Г. Ивахненко метод группового учета аргументов (МГУА), многочисленные работы о котором публикуются в журнале «Автоматика» (Киев). Этот метод представляет собой соединение идей эволюции (варьирование + селекция), что характерно и для процедур шаговой регрессии, регрессионного анализа, процедур перепроверки.

1.7 Принцип метода бутстреп

Бутстреп был предложен как некоторое обобщение процедуры складного ножа. Дело в том, что формирование подвыборок в методе складного ножа, а тем более в методах перепроверки, означает выбор без возвращения из имеющейся совокупности. Б. Эфрон предложил пользоваться выбором с возвращением. Тогда формально сохраняются все степени свободы на каждом этапе обработки данных. Видимо, именно в этом заключается преимущество бутстрепа перед другими планами управления выборкой. Вопрос о корректности такого приема остается, на наш взгляд, открытым. Но если признать его законным, то достоинства бутстрепа, особенно асимптотические, удается доказать вполне строго.

В одной из первых публикаций на русском языке бутстреп-процедура описывалась так. Надо взять эмпирическую выборку, имеющуюся в нашем распоряжении, и протиражировать ее очень большое число раз, допустим миллион. Затем из новой огромной совокупйости случайным образом отобрать очень много выборок объема N, где N -- объем эмпирической выборки. Для каждой из отобранных таким образом бутстреп-выборок следует провести обработку данных в соответствии с первоначальными целями работы и получить в результате не один ответ, а большое множество их. Наконец, надо как-то распорядиться накопленным «богатством» для уменьшения смещения, для оценивания дисперсии, для построения доверительных интервалов или для проверки гипотез. Заметим, что при осуществлении процедур такого типа удобно пользоваться матричными выборками, известными в планировании эксперимента. Такое представление сразу показывает, что эквивалентное описание бутстреп-процедуры выглядит совсем не так страшно. Действительно, достаточно ввести в рассмотрение некоторую квадратную диагональную матрицу весов, удовлетворяющую двум условиям: целочисленность диагональных элементов и равенство следа числу опытов N. Тогда случайный выбор диагональных элементов матрицы и будет задавать каждую бутстреп-реализацию. Да и программно это реализовать гораздо проще.

Обратимся теперь к необычному названию этого метода. Слово «bootstrap» образовано из двух существительных «boot» и «strap». Каждое из них многозначно. Приведем некоторые их значения. Для первого: ботинок, пинок ногой, колодка (орудие пытки), новобранец (во флоте), контейнер и т.д. Для второго: ремень, ремешок, полоска материи или металла, завязка, липкий пластырь, лямка, скоба, хомут, серьга, кредит, порка ремнем. Соединение этих слов дает значение: кожаная полоска, прикрепляемая петлей к заднику походного ботинка для облегчения его натягивания на ногу. Такие ботинки вошли в моду в Англии в 30-е годы XIX в. Видимо, тогда же появилась и поговорка: «Lift oneself by the bootstrap». Эта поговорка означает: «Выбиться в люди благодаря собственным усилиям», «Самому пробить себе дорогу». Бутстреп-процедур а не требует информации о виде закона распределения изучаемой случайной величины и в этом смысле может рассматриваться как непараметрическая, т.е. она работает без опоры на существенную часть априорной информации, чем, по-видимому, и обусловлен такой выбор термина.

Первое применение термина «бутстреп» относится, по-видимому, к концу 50-х годов. Уже в первых поколениях ЭВМ возникла задача осуществления начальной загрузки -- «ввода программы, позволяющей машине осуществить ввод». Это делалось с помощью так называемой нуль-программы. По-русски термин переводился словом «раскрутка». В некоторых операционных системах ЭВМ третьего поколения есть даже команды начальной загрузки BOOT (сокращение от «boot-strap», например в ОС РАФОС для ЭВМ СМ-4 или в близких к ней PDP-11 (операционная система RT-11). Позже значение термина расширилось. Он трактуется так: «Bootstrap -- самообеспечивающийся. Относится к методу или устройству, обладающему способностью приводить себя в требуемое состояние с помощью своих собственных действий...». Интересно, что Англо-русский словарь математических терминов (М.: ИЛ, 1962) приводит еще одно значение, связанное с вычислительной техникой: «bootstrap integrator -- интегратор с параметрической компенсацией погрешностей». [1]