Как видно из таблицы, чем меньше уровень значимости, то есть чем реже исследователь хочет ошибаться, тем больше критическое значение . Значит, тем реже будут удаляться «подозрительные» данные из серии.

Следует только отметить, что после исключения измерения характеристики серии изменяются, поэтому процесс отсева производится по шагам, при этом на каждом шаге пересчитывается среднее арифметическое и среднее квадратическое отклонение данных (рис.).

В результате стандартной процедуры обработки многократных измерений за результат измерения принимается среднее арифметическое значение, а разброс измерений характеризуется величиной среднего квадратичного отклонения результата измерений. Если предположить, что случайные погрешности подчиняются нормальному закону распределения, то можно определить интервал, в котором содержится истинное значение измеряемой величины.

Доверительный интервал

Задача определения доверительного интервала связана с определением таких нижней х_н и верхней х_в границ, чтобы с достаточно большой вероятностью (надежностью) ? можно было утверждать, что истинное значение измеряемой величины лежит внутри интервала (х_н, х_в). Определение такого интервала неоднозначно, поэтому чаще всего считается, что он должен быть симметричным. При этом

Выбирается доверительная вероятность (надежность) ?, достаточно близкая к единице. Например, стандартное значение ? = 0,95 означает, что в среднем в 95 случаях из 100 истинное значение измеряемой величины будет находиться внутри доверительного интервала.

По таблице распределения Стьюдента определяется коэффициент Стьюдента t для заданного числа измерений n и выбранной надежности ?. Например, для n = 10 и ? = 0,95 определяем t = 2,26. Если же хочется иметь более высокую надежность, например, ? = 0,99, то получим t = 3,25. При ? = 0,999 получим t = 4,78.

Записывается доверительный интервал

Как известно, при увеличении числа измерений СКО результата измерений уменьшается обратно пропорционально . Поэтому для заметного увеличения точности приходится использовать длинные серии измерений. В реальных измерениях при возрастании длины серии уменьшение ошибки происходит еще медленнее, поэтому расчетные границы доверительного интервала оказываются слишком оптимистическими.

Кроме того, следует иметь в виду, что чем с большей надежностью мы хотим определить нахождение неизвестного результата наблюдения, тем шире границы доверительного интервала.

Лекция № 10

Робастные методы

Оценка положения центра данных и рассеивания. Удаление РВЗ. Обработка групп измерений (однородные равноточные и неравноточные измерения).

Робастные оценки характеристик данных

Предположение о нормальном законе распределения случайных погрешностей является обычным приемом, который позволяет довольно просто решить все задачи обработки измерений. В действительности нормальной закон является только удобной идеализацией, а на самом деле точное распределение данных неизвестно.

В этих условиях желательно иметь такие процедуры обработки данных, которые были бы малочувствительны (устойчивы) к отличиям между предполагаемым и истинным (неизвестным!) распределением данных. В современной терминологии их называют робастными (от англ. robust -- крепкий, прочный, здоровый).

Медиана является простейшей и давно применяемой робастной оценкой положения центра данных, особенно эффективной для данных с единичными РВЗ.

Медиана -- это такое число, слева и справа от которого располагается одинаковое число данных.

Для определения медианы данных необходимо:

1. Упорядочить данные по возрастанию.

2. Если число измерений в серии нечетное, то медиана Ме просто равна измерению с номером

из упорядоченной серии.

3. Если число измерений четное, то

Например, рассмотрим серию из пяти измерений.

Среднее арифметическое измерений равно 15,2. Медиана серии равна 16. Близость медианы и среднего арифметического позволяет считать, что распределение данных, скорее всего, симметричное.

Если теперь в данные попадет всего одно РВЗ, например, х₂ = 62, то медиана не изменится(!), а среднее арифметическое станет равным 23,2. Значит, заметное отличие среднего арифметического и медианы позволяет считать, что распределение данных несимметричное, а, значит, не является нормальным.

При расчете характеристики разброса данных, для которых возможно заметное отклонение распределения от нормального, рекомендуется использовать следующую процедуру:

1. Вычислить абсолютные отклонения данных от медианы.

2. Упорядочить абсолютные отклонения по возрастанию.

3. Найти медиану абсолютных отклонений (MAО).

4. Вычислить характеристику рассеивания S_М = 1,483MAО.

После этого следует сравнить СКО данных и величину S_М. Если они значительно различаются, то распределение данных вряд ли можно считать нормальным.

Проделаем эти шаги для рассмотренного примера.

Поэтому MAО = 5, a S_M = 7,1. Среднее квадратическое отклонение данных в нашем случае равно S_x = 4,9. По-видимому, следует проявить осторожность и не настаивать на нормальном законе распределения данных до проведения дополнительных измерений.

Довольно часто рекомендуется использовать другую робастную оценку рассевания данных, связанную с определением вероятного (срединного) отклонения.

Вероятное отклонение -- это половина длины участка, симметричного относительно центра рассеивания, вероятность попадания в который равна 0,5.

Для нормального закона Е ? 0,675 ?.

Для определения оценки вероятного отклонения по упорядоченным данным измерений надо найти два числа: сначала х_1/4 , такое, что слева от него находится четверть всех данных, а затем х_3/4 , справа от которого также находится четверть всех данных. В большинстве случаев при небольшом объеме серии измерений непосредственно по данным эти числа (их называют квартили) найти невозможно, поэтому приходится использовать ту же идею среднего, что и для медианы.

В нашем примере при пяти данных квартиль х_1/4 находится между 10 и 11, так что можно считать х_1/4 = 10,5. Квартиль х_3/4 находится между 17 и 22, поэтому запишем, что х_3/4 = 19,5. Это дает возможность определить оценку вероятного отклонения Е = х_3/4 -- х_1/4 = 9. Для наших данных вероятное отклонение Е заметно отличается от величины 0,675S = 3,45. Это служит еще одним доводом для сомнения в нормальности распределения данных.

При таком сомнении следует, прежде всего, проверить исходные данные на наличие в них РВЗ, причем провести эту проверку также по робастному правилу, которое не предполагает нормальность распределения. Самое простое правило удаления, показавшее хорошую эффективность при практическом использовании, выглядит так:

33

Тема №1. Теоретические основы метрологии

Вероятное отклонение -- это половина длины участка, симметричного относительно центра рассеивания, вероятность попадания в который равна 0,5.

Для нашего примера в первом случае левая граница равна 16 -- 5,2*5= 10, а правая 16+26 = 42. так что ничего удалять не следует. Однако во втором случае, измерение 62 подлежит удалению.

После удаления данных, хотя бы и по робастному правилу, также следует пересчитать все необходимые характеристики данных и вновь проанализировать соответствие результатов, полученных по классическим и робастным процедурам.

В заключение необходимо сказать, что удаление «неправдоподобных» значений нельзя рассматривать как самоцель. В ряде случаев такие значения могут оказаться очень интересными данными, допускающими особое истолкование. Они могут подвести исследователя к новой информации.

Таким образом, РВЗ следует не только обнаруживать, но и пытаться объяснять. Для этого необходимо привлекать знания о природе объекта (источника измерительной информации), а не ограничиваться формальными процедурами. Формальное удаление данных является простым и легким первым шагом, причем использование робастного правила позволяет уверенно выделить из данных «подозрительные» точки, которые затем можно подвергнуть тщательному изучению.

Обработка групп измерений

Во многих случаях серии измерений проводятся в различных условиях, например, с помощью различных СИ. В таких случаях возникает задача проверки равноточности измерений в сериях.

Поскольку мерой рассеяния данных является дисперсия, то основная идея проверки состоит в том, что если дисперсии серий можно считать одинаковыми, то следует считать измерения равноточными. Предварительно обязательно следует провести анализ исходных данных для выявления и удаления возможных РВЗ.

Проще всего проверить предположение (гипотезу) о равноточности двух групп (серий) измерений. Для этого по данным обычным образом вычисляются оценки дисперсий для первой и второй группы . Затем вычисляется отношение F максимальной дисперсии и минимальной дисперсии (отношение Фишера). Интуитивно понятно, что если измерения равноточные, то величина F не должна быть слишком большой. Для принятия решения она сравнивается с критическим значением, найденным по таблицам F-распределения Фишера для заданного, обычно стандартного уровня значимости.

Если отношение дисперсий меньше критического, то измерения считаются равноточными, данные объединяются в одну серию и обрабатываются обычным образом.

Если же измерения оказались неравноточными, то результат измерения вычисляется с учетом неодинаковости дисперсий

Из этой формулы следует, что при равенстве дисперсий результат измерения по двум группам (сериям) равен полусумме результатов измерения по каждой группе, а если измерения неравноточные, то больший вес имеет группа с малой дисперсией (более точная).

Если проведено более двух серий измерений, то проверка равноточности измерений (однородности дисперсий) проводится по другим более сложным критериям. Все критерии проверки однородности дисперсий чувствительны к отклонению распределения данных от нормального, поэтому при сравнении дисперсий необходима особая осторожность в принятии решений.