Регрессионный анализ. Факторный эксперимент

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Московский Авиационный Институт

(Национальный Исследовательский Университет)

Курсовая работа

по дисциплине: Теория идентификации и диагностики САУ

«Регрессионный анализ. Факторный эксперимент»

Выполнил:

студент гр. 03-504 Хвостов И.П.

Принял: Хайрнасов К.З.

Москва, 2012

Задание

1) Для исследования влияния некоторых факторов вакуумной сушки на усадку платы по площади y (% полученной площади образца после сушки от первоначальной) были поставлены эксперименты по плану ПФЭ 23. В качестве факторов, влияющих на эту величину, бы- ли выбраны следующие:

Требуется построить уравнение регрессии, учитывая взаимодействия факторов, проверить полученную модель на адекватность и произвести ее интерпретацию.

Исходная матрица планирования ПФЭ 23

№ экспери- мента	Изучаемые факторы	Результаты опытов
	z1	z2	z3	y1	y2	y3
1 2 3 4 5 6 7 8	- + - + - + - +	- - + + - - + +	- - - - + + + +	1,23 1,24 1,25 0,803 0,802 0,805 0,98 0,99 0,97 0,474 0,476 0,475 0,27 0,28 0,26 0,926 0,926 0,918 0,49 0,49 0,49 0,694 0,692 0,696

С помощью кода Хемминга проверить обнаружить и скорректировать одиночную ошибку в двоичном коде числа.

Количество информационных разрядов m=7, контролирующих кодов k=4.

Исходное слово: 00101102

Теоретическая часть

Полный факторный эксперимент (ПФЭ) - совокупность нескольких измерений, удовлетворяющих следующим условиям:

Количество измерений составляет 2n, где n - количество факторов;

Каждый фактор принимает только два значения - верхнее и нижнее;

В процессе измерения верхние и нижние значения факторов комбинируются во всех возможных сочетаниях.

Преимуществами полного факторного эксперимента являются

простота решения системы уравнений оценивания параметров;

статистическая избыточность количества измерений, которая уменьшает влияние погрешностей отдельных измерений на оценку параметров.

Оценка параметров системы

В практической деятельности часто требуется оценить параметры некоторой системы, то есть построить её математическую модель и найти численные значения параметров этой модели. В качестве исходных данных для построения модели служат результаты эксперимента, который представляет собой совокупность нескольких измерений, выполненных по определённому плану. В простейшем случае план является описанием условий проведения измерений, то есть значения входных параметров (факторов) во время измерения.

В качестве примера систем, оценка параметров которых актуальна с практической точки зрения, могут служить различные технологические процессы. Для иллюстрации рассмотрим процесс фотолитографии.

Фотолитография представляет собой нанесение рисунка на поверхность фотографическим методом. Она состоит из следующих этапов: подготовка поверхности, нанесение фоточувствительной эмульсии (фоторезиста), сушка, установка трафарета или пластины с негативным рисунком, экспозиция (засвечивание) ультрафиолетовыми лучами, травление (проявление). Поскольку технологические тонкости фотолитографии в данном контексте не важны, в качестве основных факторов, влияющих на процесс литографии, будем считать толщину фоточувствительной эмульсии d(в микронах) и время экспозиции t(в секундах). Выходным параметром (откликом) процесса будем считать его разрешение R, то есть максимальное количество различимых линий, которые возможно провести на одном миллиметре поверхности. Эта величина определяется путём нанесения на поверхность специального тестового изображения.

Итак, технологический процесс фотолитографии описывается некоторой функцией вида

Построение модели технологического процесса позволяет выявить поведение отклика системы в зависимости от изменения факторов и тем самый найти пути для оптимизации технологии. Для данного конкретного случая -- выбрать такую толщину эмульсии и время экспозиции, которые обеспечат наилучшее качество изображения.

В общем случае отклик системы описывается некоторой функцией переменных

Математическая модель системы получается в результате апроксимации этой функции какой-либо другой функцией, например линейной

,

где - искомые параметры модели.

На рисунке в графическом виде представлен процесс построения линейной модели процесса фотолитографии, где - толщина плёнки фотоэмульсии, - время экспонирования, -- разрешение, полученное в данных условиях. Функция нелинейна, однако в достаточной близости от точки её можно заменить касательной плоскостью . В показанной на рисунке области максимальная ошибка модели составляет .

Зная коэффициенты модели , можно с определённой точностью предсказывать значение функции (а значит и поведение системы) в окрестностях точки . В определении значений коэффициентов и состоит цель эксперимента.

Матрица ПФЭ в общем виде

В общем виде матрица полного факторного эксперимента с n факторами имеет вид

Свойства матрицы ПФЭ

Матрица ПФЭ обладает следующими свойствами:

Число строк в матрице равно 2n;

Нулевой столбец матрицы состоит из единиц:

В столбцах 1...n находятся все возможные 2n сочетаний значений -1 и +1;

В последнем столбце находятся результаты измерений, полученные при значениях факторов, записанных в соответствующих строках в столбцах 1...n.

Сумма элементов нулевого столбца всегда равна 2n:

Сумма элементов любого столбца, кроме нулевого и последнего, равна нулю:

Два последних выражения можно объединить в единое соотношение:

где - единичная матрица, ;

Сумма квадратов элементов любого (кроме последнего) столбца всегда равна 2n:

Сумма произведений соответственных элементов двух любых столбцов (кроме последнего) равна нулю:

Два последних выражения можно записать как ортогональность столбцов матрицы:

Вычисление коэффициентов линейной модели

Коэффициенты линейной модели в нормированных координатах вычисляются по формулам:

Коэффициенты линейной модели в естественных (ненормированных) координатах вычисляются по формулам:

Преобразование естественных факторов в нормированные и обратно

Дробный факторный эксперимент

Количество опытов в полном факторном эксперименте значительно превосходит число определяемых коэффициентов линейной модели. Другими словами, полный факторный эксперимент обладает большой избыточностью опытов. Было бы заманчивым сократить их число за счет той информации, которая не очень существенна при построении линейных моделей. При этом нужно стремиться, чтобы матрица планирования не лишилась своих оптимальных свойств. Сделать это не так просто, но все же возможно. Итак, начнем поиск путей минимизации опытов.

Минимизация числа опытов

Начнем с самого простого - полного факторного эксперимента 2k. Запишем еще раз матрицу планирования

№ опыта	x0	x1	x2	(x3) x1x2	y
1	+	-	-	+	y1
2	+	+	-	-	y2
3	+	-	+	-	y3
4	+	+	+	+	y4

Пользуясь таким планированием, можно вычислить четыре коэффициента и представить результаты эксперт в виде неполного квадратного уравнения



Если имеются основания считать, что в выбранных интервалах варьирования процесс может быть описан линейной моделью, то достаточно определить три коэффициента: b0, b1 и b2. Остается одна степень свободы. Употребим ее для минимизации числа опытов. При линейном приближении и вектор-столбец x1x2 можно использовать для нового фактора x3. Поставим этот фактор в скобках над взаимодействием x1x2 и посмотрим, каковы будут оценки коэффициентов. Здесь уже не будет тех раздельных оценок, которые мы имели в полном факторном эксперименте 2k. Оценки смешаются следующим образом:

, , .

Но нас это не должно огорчать. Ведь мы постулируем линейную модель, и, следовательно, все парные взаимодействия незначимы. Главное, мы нашли средство минимизировать число опытов: вместо 8 опытов для изучения трех факторов оказывается можно поставить четыре! При этом матрица планирования не теряет своих оптимальных свойств (ортогональность, ротатабельность и т.п.). Найденное правило можно сформулировать так: чтобы сократить число опытов, нужно новому фактору присвоить вектор-столбец матрицы, принадлежащий взаимодействию, которым можно пренебречь. Тогда значение нового фактора в условиях опытов определяется знаками этого столбца.

Дробная реплика

Поставив четыре опыта для оценки влияния трех факторов, мы воспользовались половиной полного факторного эксперимента 23 или «полурепликой». Если бы мы х3 приравняли к -x1x2, то получили бы вторую половину матрицы 23. В этом случае , , . При реализации обеих полуреплик можно получить раздельные оценки для линейных эффектов и эффектов взаимодействия, как и в полном факторном эксперименте 23. Объединение этих двух полуреплик и есть полный факторный эксперимент 23. Матрица из восьми опытов для четырех факторного планирования будет полурепликой от полного факторного эксперимента 24, а для пятифакторного планирования - четверть-репликой от 25. В последнем случае два линейных эффекта приравниваются к эффектам взаимодействия. Для обозначения дробных реплик, в которых p линейных эффектов приравнены к эффектам взаимодействия, удобно пользоваться условным обозначением 2k-p. Так, полуреплика от 23 запишется в виде 23-1 а четвертьреплика от 25 - в виде 25-2.

Проведение эксперимента

Познакомимся с вычислением ошибки опыта, или, как ее часто называют, ошибки воспроизводимости.

Ошибки параллельных опытов

Каждый эксперимент содержит элемент неопределенности вследствие ограниченности экспериментального материала. Постановка повторных (или параллельных) опытов не дает полностью совпадающих результатов, потому что всегда существует ошибка опыта (ошибка воспроизводимости). Эту ошибку и нужно оценить по параллельным опытам. Для этого опыт воспроизводится по возможности в одинаковых условиях несколько раз и затем берется среднее арифметическое всех результатов. Среднее арифметическое равно сумме всех п отдельных результатов, деленной на количество параллельных опытов п

.

Отклонение результата любого опыта от среднего арифметического можно представить как разность где - результат отдельного опыта. Наличие отклонения свидетельствует об изменчивости, вариации значений повторных опытов. Для измерения этой изменчивости чаще всего используют дисперсию. Дисперсией называется среднее значение квадрата отклонений величины от ее среднего значения. Дисперсия обозначается s2 и выражается формулой

.

где (n - 1) - число степеней свободы, равное количеству опытов минус единица. Одна степень свободы использована для вычисления среднего.

Корень квадратный из дисперсии, взятый с положительным знаком, называется средним квадратическим отклонением, стандартом или квадратичной ошибкой

Стандарт имеет размерность той величины, для которой он вычислен. Дисперсия и стандарт - это меры рассеяния, изменчивости. Чем больше дисперсия и стандарт, тем больше рассеяны значения параллельных опытов около среднего значения.

Ошибка опыта являемся суммарной величиной, результатом многих ошибок: ошибок измерений факторов, ошибок измерений параметра оптимизации и др. Каждую из этих ошибок можно, в свою очередь, разделить на составляющие.

Вопрос о классификации ошибок довольно сложный и вызывает много дискуссий. В качестве примера одной из возможных схем классификации мы приведем схему из книги Ю.В. Кельница «Теория ошибок измерений» (М., изд-во «Недра», 1967).

Все ошибки принято разделять на два класса: систематические и случайные.

Систематические ошибки порождаются причинами, действующими регулярно, в определенном направлении. Чаще всего эти ошибки можно изучить и определить количественно.

Систематические ошибки находят, калибруя измерительные приборы и сопоставляя опытные данные с изменяющимися внешними условиями (например, при градуировке термопары по реперным точкам, при сравнении с эталонным прибором).

Если систематические ошибки вызываются внешними условиями (переменной температуры, сырья и т. д.), следует компенсировать их влияние. Как это делать, будет показано ниже.

Случайными ошибками называются те, которые появляются нерегулярно, причины возникновения которых неизвестны и которые невозможно учесть заранее.

Систематические и случайные ошибки состоят из множества элементарных ошибок. Для того, чтобы исключать инструментальные ошибки, следует проверять приборы перед опытом, иногда в течение опыта и обязательно после опыта. Ошибки при проведении самого опыта возникают вследствие неравномерного нагрева реакционной среды, разного способа перемешивания и т.п. При повторении опытов такие ошибки могут вызвать большой разброс экспериментальных результатов.

Очень важно исключить из экспериментальных данных грубые ошибки, так называемый брак при повторных опытах. Для отброса ошибочных опытов существуют правила. Для определения брака используют, например, критерий Стьюдента

.

Значение t берут из таблицы t-распределения Стьюдента. Опыт считается бракованным, если экспериментальное значение критерия t по модулю больше табличного значения.

Дисперсия параметра оптимизации

Дисперсия всего эксперимента получается в результате усреднения дисперсий всех опытов. По терминологии, принятой в планировании эксперимента, речь идет о подсчете дисперсии параметра оптимизации или, что то же самое, дисперсии воспроизводимости эксперимента

При подсчете дисперсии параметра оптимизации квадрат разности между значением yq в каждом опыте и средним значением из n повторных наблюдений y нужно просуммировать по числу опытов в матрице N, а затем разделить на N(n - 1):

,

Где i = 1, 2, …, N; q = 1, 2, …, n.

Такой формулой можно пользоваться в случаях, когда число повторных опытов одинаково во всей матрице.

Дисперсию воспроизводимости проще всего рассчитывать, когда соблюдается равенство числа повторных опытов во всех экспериментальных точках. На практике весьма часто приходится сталкиваться со случаями, когда число повторных опытов различно. Это происходит вследствие отброса грубых наблюдений, неуверенности экспериментатора в правильности некоторых результатов (в таких случаях возникает желание еще и еще раз повторить опыт) и т.п.

Тогда при усреднении дисперсий приходится пользоваться средним взвешенным значением дисперсий, взятым с учетом числа степеней свободы

,

где

- дисперсия i-го опыта;

- число степеней свободы i-м опыте, равное числу параллельных опытов ni минус 1.

Число степеней свободы средней дисперсии принимается равным сумме чисел степеней свободы дисперсий, из которых она вычислена.

Случай с неравным числом наблюдений, который мы рассмотрели выше, связан с нарушением ортогональности матрицы. Поэтому здесь нельзя использовать расчетные формулы для коэффициентов, приведенные ранее. Этот вопрос будет рассмотрен ниже.

Экспериментатору не следует забывать о проверке однородности дисперсий, неоднородные дисперсии усреднять нельзя. Прежде чем пользоваться приведёнными выше формулами, нужно убедиться в однородности суммируемых дисперсий.

Проверка однородности дисперсий

Проверка однородности дисперсий производится с помощью различных статистических критериев. Простейшим из них является критерий Фишера, предназначенный для сравнения двух дисперсий. Критерий Фишера (F-критерий) представляет собою отношение большей дисперсии к меньшей. Полученная величина сравнивается с табличной величиной F-критерия.

Если полученное значение дисперсионного отношения больше приведенного в таблице для соответствующих степеней свободы и выбранного уровня значимости, это означает, что дисперсии значимо отличаются друг от друга, т. е. что они неоднородны.

Если сравниваемое количество дисперсий больше двух и одна дисперсия значительно превышает остальные, можно воспользоваться критерием Кохрена. Этот критерий пригоден для случаев, когда во всех точках имеется одинаковое число повторных опытов. При этом подсчитывается дисперсия в каждой горизонтальной строке матрицы

,

а затем из всех дисперсий находится наибольшая которая делится на сумму всех дисперсий. Критерий Кохрена - это отношение максимальной дисперсии к сумме всех дисперсий

.

Гипотеза об однородности дисперсий подтверждается, если экспериментальное значение критерия Кохрена не превышает табличного значения. Тогда можно усреднять дисперсии и пользоваться формулой

.

Если возникает предположение о наличии неоднородности дисперсий для случая, когда число повторных опытов неодинаково во всех точках, можно воспользоваться критерием Бартлета. По уже знакомой формуле подсчитывается дисперсия воспроизводимости

.

Далее находится величина

,

где .

Здесь число степеней свободы равно N-1, где N - число сравниваемых дисперсий. При планировании эксперимента типа 2k это число равно числу опытов в матрице.

Бартлет показал, что величина приближенно подчиняется - распределению с (N-1) степенями свободы. Значимость критерия Бартлета проверяется обычным способом.

Критерий Бартлета базируется на нормальном распределении. Если имеются отклонения от нормального распределения, то проверка неоднородности дисперсий может привести к ошибочным результатам.

Можно предложить использование F-критерия даже в тех случаях, когда число дисперсий больше двух. Делается это следующим образом. Из всех дисперсий выделяются наибольшая и наименьшая. По F-критерию производится проверка, значимо ли они различаются между собой. Ясно, что если наибольшая и наименьшая дисперсии не отличаются значимо, то дисперсии, имеющие промежуточные значения, также не могут значимо отличаться друг от друга. Тогда всю группу дисперсий можно считать принадлежащей к единой совокупности. В таких случаях нет надобности применять критерий Бартлета.

Рандомизация

Чтобы исключить влияние систематических ошибок, вызванных внешними условиями (переменой температуры, сырья, лаборанта и т. д.), рекомендуется случайная последовательность при постановке опытов, запланированных матрицей. Опыты необходимо рандомизировать во времени. Термин «рандомизация» происходит от английского слова random - случайный.

Разбиение матрицы типа 2k на блоки

Если экспериментатор располагает сведениями о предстоящих изменениях внешней среды, сырья, аппаратуры и т. п., то целесообразно планировать эксперимент таким образом, чтобы эффект влияния внешних условий был смешан с определенным взаимодействием, которое не жалко потерять. Так, при наличии двух партий сырья матрицу 23 можно разбить на два блока таким образом, чтобы эффект сырья сказался на величине трехфакторного взаимодействия. Тогда все линейные коэффициенты и парные взаимодействия будут освобождены от влияния неоднородности сырья.

№ блока	x0	x1	x2	x3	x1x2	x1x3	x2x3	x1x2x3	y
1	+	-	-	+	+	-	-	+
	+	+	-	-	-	-	+	+
	+	-	+	-	-	+	-	+
	+	+	+	+	+	+	+	+
2	+	-	-	-	+	+	+	-	y5
	+	+	-	+	-	+	-	-	y6
	+	-	+	+	-	-	+	-	y7
	+	+	+	-	+	-	-	-	y8

В этой матрице при составлении блока 1 отобраны все строки, для которых , а при составления блока 2 - все строки, для которых . Различие в сырье можно рассматривать как новый фактор . Тогда матрица 23, разбитая на два блока, представляет собой полуреплику 24-1 с определяющим контрастом .

, ;

, ;

, ;

, ;

, ;

, ;

, ;

, ;

Эффект сырья отразился на подсчете свободного члена b0 и эффекта взаимодействия второго порядка b123.

Аналогично можно разбить на два блока любой эксперимент типа 23. Главное - правильно выбрать взаимодействие, которым можно безболезненно пожертвовать. При отсутствии априорных сведений выбирают взаимодействие самого высокого порядка: x1x2x3 для 23, x1x2x3х4 для 24, x1x2x3x4x5 25 и т. д. Но если экспериментатору известно, что одно из парных взаимодействий лишено, например, физико-химического смысла, то можно пожертвовать парным взаимодействием.

Матрицу типа 2k можно разбить на количество блоков 2n (n - степень двойки) при . Так, матрица 23 разбивается на два блока по четыре опыта в каждом и на четыре блока по два опыта в каждом. Матрица 24 - на два блока по 8 опытов в каждом, на четыре блока по четыре опыта и на восемь блоков по два опыта и т.д.

Обработка результатов эксперимента

Тщательное, скрупулезное выполнение эксперимента, несомненно, является главным условием успеха исследования. Это общее правило, и планирование эксперимента не относится к исключениям.

Однако нам не безразлично, как обработать полученные данные. Мы хотим навлечь из них всю информацию и сделать соответствующие выводы. Как всегда, мы находимся между Сциллой и Харибдой. С одной стороны, не извлечь из эксперимента все, что из него следует,- значит пренебречь нелегким трудом экспериментатора. С другой стороны, сделать утверждения, не следующие из эксперимента, - значит создавать иллюзии, заниматься самообманом.

Статистические методы обработки результатов позволяют нам не перейти разумной меры риска.

Метод наименьших квадратов

Начнем с простого случая: один фактор, линейная модель. Интересующая нас функция отклика (которую мы будем также называть уравнением регрессии) имеет вид

Это хорошо известное уравнение прямой линии. Наша цель - вычисление неизвестных коэффициентов b0 и b1. Мы провели эксперимент, чтобы использовать при вычислениях его результаты. Как это сделать наилучшим образом?

Если бы все экспериментальные точки лежали строго на прямой линии, то для каждой из них было бы справедливо равенство

,

где i = 1, 2,..., N - номер опыта. Тогда не было бы никакой проблемы. На практике это равенство нарушается и вместо него приходится писать

,

где - разность между экспериментальным и вычисленным по уравнению регрессии значениями y в i-й экспериментальной точке. Эту величину иногда невязкой.

Мы хотим найти такие коэффициенты регрессии, при которых невязки будут минимальны. Это требование можно записать по-разному. В зависимости от этого мы будем получать разные оценки коэффициентов. Вот одна из возможных записей

,

которая приводит к методу наименьших квадратов.

Когда мы ставим эксперимент, то обычно стремимся провести больше (во всяком случае не меньше) опытов, чем число неизвестных коэффициентов. Поэтому система линейных уравнений



оказывается переопределенной и часто противоречивой (т. е. она может иметь бесконечно много решений или может не иметь решений). Переопределенность возникает, когда число уравнений больше числа неизвестных; противоречивость - когда некоторые из уравнений несовместимы друг с другом. Только если все экспериментальные точки лежат па прямой, то система становится определенной и имеет единственное решение.

МНК обладает тем замечательным свойством, что он делает определенной любую, произвольную систему уравнений. Он делает число уравнений равным числу неизвестных коэффициентов.

Для определения двух неизвестных коэффициентов требуется два уравнения. Давайте попробуем их получить.

Минимум некоторой функции, если он существует, достигается при одновременном равенстве нулю частных производных по всей неизвестным, т. е.

.

В явном виде это запишется как

,

.

Окончательные формулы для вычисления коэффициентов регрессии, которые удобно находить с помощью определителей, имеют вид

,

.

Величина называется остаточной суммой квадратов ( - значение параметра оптимизации, вычисленное из уравнения регрессии). МНК гарантирует, что эта величина минимально возможная.

Обобщение на многофакторный случай не связано с какими-либо принципиальными трудностями.

Воспользуемся тем, что матрицы планирования ортогональны и нормированы, т.е.

и

Для любого числа факторов коэффициенты будут вычисляться по формуле

В этой формуле j = 0, 1, 2..., k - номер фактора. Ноль записан для вычисления b0.

Так как каждый фактор (кроме x0) варьируется на двух уровнях +1 и -1, то вычисления сводятся к приписыванию столбцу y знаков соответствующего фактору столбца и алгебраическому сложению полученных значений. Деление результата на число опытов в матрице планирования дает искомый коэффициент.

Регрессионный анализ

До сих пор мы пользовались МНК как вычислительным приемом. Нам нигде не приходилось вспоминать о статистике. Но, как только мы начинаем проверять какие-либо гипотезы о пригодности модели или о значимости коэффициентов, приходится вспоминать о статистике. И с этого момента МНК превращается в регрессионный анализ.

А регрессионный анализ как всякий статистический метод, применим при определенных предположениях, постулатах.

Первый постулат. Параметр оптимизации y есть случайная величина с нормальным законом распределения. Дисперсия воспроизводимости - одна из характеристик этого закона распределения.

В данном случае, как и по отношению к любым другим постулатам, нас интересуют два вопроса: как проверить его выполнимость и к чему приводят его нарушения?

При наличии большого экспериментального материала (десятки параллельных опытов) гипотезу о нормальном распределении можно проверить стандартными статистическими тестами (например, - критерием). К сожалению, экспериментатор редко располагает такими данными, поэтому приходится принимать этот постулат на веру.

При нарушении нормальности мы лишаемся возможности установления вероятностей, с которыми справедливы те или иные высказывания. В этом таится большая опасность. Мы рискуем загипнотизировать себя численными оценками и вероятностями, за которыми ничего не стоит. Вот почему надо очень внимательно относиться к возможным нарушениям предпосылок.

Второй постулат. Дисперсия y не зависит от абсолютной величины y. Выполнимость этого постулата проверяется с помощью критериев однородности дисперсий в разных точках факторного пространства. Нарушение этого постулата недопустимо.

Всегда существует такое преобразование y, которое делает дисперсии однородными. Увы, его не всегда легко найти. Довольно часто помогает логарифмическое преобразование, с которого обычно начинают поиски.

Третий постулат. Значения факторов суть неслучайные величины. Это несколько неожиданное утверждение практически означает, что установление каждого фактора на заданный уровень и его поддержание существенно точнее, чем сшибка воспроизводимости.

Нарушение этого постулата приводит к трудностям при реализации матрицы планирования. Поэтому оно обычно легко обнаруживается экспериментатором.

Существует еще четвертый постулат, налагающий ограничения на взаимосвязь между значениями факторов. У Нас он выполняется автоматически в силу ортогональности матрицы планирования.

Проверка адекватности модели

Первый вопрос, который нас интересует после вычисления коэффициентов модели, это проверка ее пригодности. Мы будем называть такую проверку проверкой адекватности модели.

Для характеристики среднего разброса относительно линии регрессии вполне подходит остаточная сумма квадратов. Неудобство состоит в том, что она зависит от числа коэффициентов в уравнении: введите столько коэффициентов, сколько вы провели независимых опытов, и получите остаточную сумму, равную нулю. Поэтому предпочитают относить ее на один «свободный» опыт. Число таких опытов называется числом степеней свободы f.

Числом степеней свободы в статистике называется разность между числом опытов и числом коэффициентов (констант), которые уже вычислены по результатам этих опытов независимо друг от друга.

Остаточная сумма квадратов, деленная на число степеней свободы, называется остаточной дисперсией, или дисперсией адекватности

.

В статистике разработан критерий, который очень удобен для проверки гипотезы об адекватности модели. Он называется F-критерием Фишера и определяется следующей формулой:

.

- это дисперсия воспроизводимости со своим числом степеней свободы.

Удобство использования критерия Фишера состоит в том, что проверку гипотезы можно свести к сравнению с табличным значением.

Если рассчитанное значение F-критерия не превышает табличного, то, с соответствующей доверительной вероятностью, модель можно считать адекватной. При превышении табличного значения эту приятную гипотезу приходится отвергать.

Этот способ расчета дисперсии адекватности, подходит, если опыты в матрице планирования не дублируются, а информация о дисперсии воспроизводимости извлекается из параллельных опытов в нулевой точке или из предварительных экспериментов.

Важны два случая: 1) опыты во всех точках плана дублируются одинаковое число раз (равномерное дублирование), 2) число параллельных опытов не одинаково (неравномерное дублирование).

В первом случае дисперсию адекватности нужно умножать на n, где n - число повторных опытов

.

Такое видоизменение формулы вполне естественно. Чем больше число параллельных опытов, тем с большей достоверностью оцениваются средние значения. Поэтому требования к различиям между экспериментальными и расчетными значениями становятся более жесткими, что отражается в увеличении F-критерия.

Во втором случае, когда приходится иметь дело с неравномерным дублированием, положение усложняется. Даже когда экспериментатор задумал провести равное число параллельных опытов, часто не удается по тем или иным причинам все их реализовать. Кроме того, иногда приходится отбрасывать отдельные опыты как выпадающие наблюдения.

При неравномерном дублировании нарушается ортогональность матрицы планирования и, как следствие, изменяются расчетные формулы для коэффициентов регрессии и их ошибок, а также для дисперсии адекватности.

Для дисперсии адекватности можно записать общую формулу

,

где N - число различных опытов (число строк матрицы);

ni - число параллельных опытов в i-й строке матрицы;

- среднее арифметическое из ni параллельных опытов;

- предсказанное по уравнению значение в этом опыте.

Смысл этой формулы очень прост: различию между экспериментальным и расчетным значением придается тем больший вес, чем больше число повторных опытов.

Для b-коэффициентов нельзя записать универсальную расчетную формулу. Все зависит от того, какой был план и как дублировались опыты. Всякий раз приходится делать специальные расчеты, пользуясь методом наименьших квадратов.

Проверка значимости коэффициентов

Проверка значимости каждого коэффициента проводится независимо.

Ее можно осуществлять двумя равноценными способами: проверкой по t-критерию Стьюдента или построением доверительного интервала. При использовании полного факторного эксперимента или регулярных дробных реплик доверительные интервалы для всех коэффициентов (в том числе и эффектов взаимодействия) равны друг другу.

Прежде всего, надо найти дисперсию коэффициента регрессии . Она определяется в нашем по формуле

Из формулы видно, что дисперсии всех коэффициентов равны друг другу, так как они зависят только от ошибки опыта и числа опытов.

Теперь легко построить доверительный интервал

Здесь t - табличное значение критерия Стьюдента при числе степеней свободы, с которыми определялась , и выбранном уровне значимости (обычно 0,05); - квадратичная ошибка коэффициента регрессии.

Коэффициент значим, если его абсолютная величина больше доверительного интервала.

Принятие решений после построения модели

Интерпретация результатов

Адекватная линейная модель, имеет вид полинома первой степени. Коэффициенты полинома являются частными производными функции отклика по соответствующим переменным. Их геометрический смысл - тангенсы углов наклона гиперплоскости к соответствующей оси. Больший по абсолютной величине коэффициент соответствует большему углу наклона и, следовательно, более существенному изменению параметра оптимизации при изменении данного фактора.

До сих пор мы употребляли абстрактный математический язык. Перевод модели на язык экспериментатора называется интерпретацией модели.

Задача интерпретации весьма сложна. Ее решают в несколько этапов. Первый этап состоит в следующем. Устанавливается, в какой мере каждый из факторов влияет на параметр оптимизации. Величина коэффициента регрессии - количественная мера этого влияния. Чем больше коэффициент, тем сильнее влияет фактор. О характере влияния факторов говорят знаки коэффициентов. Знак плюс свидетельствует о том, что с увеличением значения фактора растет величина параметра оптимизации, а при знаке минус - убывает. Интерпретация знаков при оптимизации зависит от того, ищем ли мы максимум или минимум функции отклика. Если , то увеличение значений всех факторов, коэффициенты которых имеют знак плюс, благоприятно, а имеющих знак минус - неблагоприятно. Если же то, наоборот, благоприятно увеличение значений тех факторов, знаки коэффициентов которых отрицательны.

Далее выясняется, как расположить совокупность факторов в ряд по силе их влияния на параметр оптимизации. Факторы, коэффициенты которых не значимы, конечно не интерпретируются. Можно сказать только, что при данных интервалах варьирования и ошибке воспроизводимости они не оказывают существенного влияния на параметр оптимизации.

Изменение интервалов варьирования приводит к изменению коэффициентов регрессии. Абсолютные величины коэффициентов регрессии увеличиваются с увеличением интервалов. Инвариантными к изменению интервалов остаются знаки линейных коэффициентов регрессии. Однако и они изменяться на обратные, если при движении но градиенту мы «проскочим» экстремум.

В некоторых задачах представляет интерес построение уравнения регрессии для натуральных значений факторов. Уравнение для натуральных переменных можно получить, используя формулу перехода. Коэффициенты регрессии изменятся. При этом пропадает возможность интерпретации влияния факторов по величинам и знакам коэффициентов регрессии. Вектор-столбцы натуральных значений переменных в матрице планирования уже не будут ортогональными, коэффициенты определяются зависимо друг от друга. Если же поставлена задача получения интерполяционной формулы для натуральных переменных, такой прием допустим.

Теперь мы получили основу для перехода к следующему этапу. На основе априорных сведений обычно имеются некоторые представления о характере действия факторов. Источниками таких сведений могут служить теория изучаемого процесса, опыт работы с аналогичными процессами или предварительные опыты и т.д.

Если, например, ожидается, что с ростом температуры должно происходить увеличение параметра оптимизации, а коэффициент регрессии имеет знак минус, то возникает противоречие. Возможны две причины возникновения такой ситуации: либо в эксперименте допущена ошибка, и он должен быть подвергнут ревизии, либо неверны априорные представления. Нужно иметь в виду, что эксперимент проводится в локальной области факторного пространства и коэффициент отражает влияние фактора только в этой области. Заранее неизвестно, в какой мере наивно распространить результат на другие области. Теоретические же представления имеют обычно более общий характер. Кроме того, априорная информация часто основывается на однофакторных зависимостях. При переходе к многофакторному пространству ситуация может изменяться. Поэтому мы должны быть уверены, что эксперимент проведен корректно. Тогда для преодоления противоречия можно выдвигать различные гипотезы и проверять их экспериментально.

В тех, довольно редких, случаях, когда имеется большая априорная информация, позволяющая выдвигать гипотезы о механизме явлений, можно перейти к следующему этапу интерпретации. Он сводится к проверке гипотез о механизме явлений и выдвижению новых гипотез.

Получение информации о механизме явлений не является обязательным в задачах оптимизации, но возможность такого рода следует использовать. Здесь особое внимание приходится уделять эффектам взаимодействия факторов. Как их интерпретировать?

Пусть в некоторой задаче взаимодействие двух факторов значимо и имеет положительный знак. Это свидетельствует о том, что одновременное увеличение, как и одновременное уменьшение, значений двух факторов приводит к увеличению параметра оптимизации (без учета линейных эффектов).

Интерпретация эффектов взаимодействия не так однозначна, как линейных эффектов. В каждом случае имеется дна варианта. Какому из вариантов отдавить предпочтение? Прежде всего, нужно учесть знаки линейных эффектов соответствующих факторов. Если эффект взаимодействия имеет знак плюс и соответствующие линейные эффекты отрицательны, то выбор однозначен: сочетание -1 и -1. Однако возможен случай, когда знаки линейных эффектов различны. Тогда приходится учитывать численные значения коэффициентов и жертвовать самым малым эффектом.

Иногда приходится учитывать технологические соображения: например, эксперимент в одной области факторного пространства дороже (или труднее), чем в другой.

Упомянем еще об интерпретации эффектов взаимодействия высоких порядков. Если значимым оказался эффект взаимодействия трех факторов, например , то его можно интерпретировать следующим образом. Этот эффект может иметь знак плюс, если отрицательные знаки будут у четного числа факторов (ноль или любые два). Знак минус будет, если нечетное число факторов имеет знак минус (все три или любой один). Это правило распространяется на взаимодействия любых порядков. Пользуются еще таким приемом: произведение двух факторов условно считают одним фактором и сводят трехфакторное взаимодействие к парному и т.д.

Мы сказали, что интерпретация результатов - это перевод с одного языка на другой. Такой перевод обеспечивает взаимопонимание между статистиком и экспериментатором, работающим совместно над задачами оптимизации. Интерпретация уравнения регрессии важна не только для понимания процесса, но и для принятия решений при оптимизации.

Принятие решений после построения модели процесса

Нам придется принимать решения в сложных ситуациях. Решения зависят от числа факторов, дробности плана, цели исследования (достижение оптимума, построение интерполяционной формулы) и т.д. Количество возможных решений по примерной оценке достигает нескольких десятков тысяч. Поэтому будем рассматривать только наиболее часто встречавшиеся случаи и выделим «типичные» решения. Положение здесь сложнее, чем в случае принятия решений о выборе основного уровня и интервалов варьирования факторов, где удалось рассмотреть все варианты. Ситуации будем различать по адекватности и неадекватности модели, значимости и незначимости коэффициентов регрессии в модели, информации о положении оптимума.

Обсудим сначала принятие решения для адекватного линейного уравнения регрессии.

Линейная модель адекватна. Здесь возможны 3 варианта.

1. Все коэффициенты регрессии значимы.

2. Часть коэффициентов регрессии значима, часть незначима.

3. Все коэффициенты регрессии незначимы.

В каждом варианте оптимум может быть близко, далеко или о его положении нет информации (неопределенная ситуация).

Рассмотрим первый вариант.

Если область оптимума близка, возможны три решения: окончание исследования, переход к планам второго порядка и движение по градиенту.

Переход к планированию второго порядка дает возможность получить математическое описание области оптимума и найти экстремум.

Движение по градиенту используется при малой ошибке опыта, поскольку на фоне большой ошибки трудно установить приращение параметра оптимизации.

Решение при неопределенной ситуации или удаленной области оптимума одно и то же: движение по градиенту.

Второй вариант - часть коэффициентов регрессии значима, часть незначима. Движение по градиенту наиболее эффективно, если коэффициенты значимы. Поэтому выбираются решения, реализация которых приводит к получению значимых коэффициентов. На этом этапе важно выдвинуть гипотезы, объясняющие незначимость эффектов. Это может быть и неудачный выбор интервалов варьирования, и включение (из осторожности) факторов, не влияющих на параметр оптимизации, и большая ошибка опыта, и т.д. Решение зависит от того, какую гипотезу мы предпочитаем.

Если, например, выдвинута первая гипотеза, то возможно такое решение: расширение интервалов варьирования по незначимым факторам и постановка новой серии опытов. Изменение интервалов варьирования иногда сочетают с переносом центра эксперимента в точку, соответствующую условиям наилучшего опыта. Невлияющие факторы стабилизируются и исключаются из дальнейшего рассмотрения. Другие возможные решения для получения значимых коэффициентов: увеличение числа параллельных опытов и достройка плана. Увеличение числа параллельных опытов приводит к уменьшению дисперсии воспроизводимости и соответственно дисперсии коэффициентов регрессии. Опыты могут быть повторены либо во всех точках плана, либо в некоторых.

Достройка плана осуществляется несколькими способами.

1. Методом «перевала» - у исходной реплики изменяют знаки на обратные. В этом случае основные эффекты оказываются не смешанными с парными эффектами

2. Переходом к полному факторному эксперименту.

3. Переходом к реплике меньшей дробности.

4. Переходом к плану второго порядка (если область оптимума близка).

Реализация любого из этих решений требует значительных экспериментальных усилий. Поэтому иногда можно и не следовать строго правилу «двигайтесь по всем факторам», а пойти на некоторый риск и двигаться только по значимым факторам.

Наконец, если область оптимума близка, то возможно принятие таких же решений, как и в случае значимости всех коэффициентов регрессии.

Рассмотрим последний случай: линейная модель адекватна, все коэффициенты регрессии незначимы (кроме b0). Чаще всего это происходит вследствие большой ошибки эксперимента или узких интервалов варьирования. Поэтому возможные решения направлены, прежде всего, на увеличение точности эксперимента и расширение интервалов варьирования. Увеличение точности может достигаться двумя путями: благодаря улучшению методики проведения опытов или вследствие постановки параллельных опытов. Если область оптимума близка, то возможно также окончание исследования.

В заключение приведем блок-схему принятия решения в задаче определения оптимальных условий, линейная модель адекватна. В блок-схеме пунктирными линиями обведены ситуации, сплошными линиями - принимаемые решения.

Линейная модель неадекватна. Если линейная модель неадекватна, значит не удается аппроксимировать поверхность отклика плоскостью. Формальные признаки (кроме величины F-критерия), по которым можно установить неадекватность линейной модели, следующие.

1.Значимость хотя бы одного из эффектов взаимодействия.

2.Значимость суммы коэффициентов регрессии при квадратичных членах . Оценкой этой суммы служит разность между b0 и значением зависимой переменной в центре плана y0. Если разность превосходит ошибку опыта, то гипотеза о незначимости коэффициентов при квадратичных членах не может быть принята. Однако надо учесть, что сумма может быть незначима, и при значимых квадратичных эффектах, если они имеют разные знаки.

Для неадекватной модели мы не будем делать различия между случаями значимых и незначимых линейных коэффициентов регрессии, поскольку решения для них обычно совпадают.

Решения, принимаемые для получения адекватной модели: изменение интервалов варьирования факторов, перенос центра плана, достройка плана.

Наиболее распространенный прием - изменение интервалов варьирования. Он, конечно, требует постановки новой серии опытов. Иногда отказываются от построения адекватной модели, чтобы ценой нескольких опытов проверить возможность движения по градиенту. Это решение нельзя считать достаточно корректным. Движению по градиенту обычно предшествует оценка кривизны поверхности отклика (по сумме коэффициентов при квадратичных членах) и сопоставление величин линейных эффектов и эффектов взаимодействия. Если вклад квадратичных членов и эффектов взаимодействия невелик, то решение о движении по градиенту представляется возможным.

Еще одно решение: включение в модель эффектов взаимодействия и движение с помощью неполного полинома второго порядка. Этот прием связан с получением и анализом уравнений второго порядка. Направление градиента будет меняться от точки к точке.

Если область оптимума близка, то возможны варианты окончания исследования и перехода к построению плана второго порядка.

На рис. 7 приведена блок-схема принятия решений в задаче оптимизации для случая, когда линейная модель неадекватна.

Особый случай возникает при использовании насыщенных планов. При значимости всех коэффициентов регрессии ничего нельзя сказать об адекватности или неадекватности модели. Движение по градиенту в такой ситуации показывает правильность предположения, что коэффициенты регрессии являются оценками для линейных эффектов.

Построение интерполяционной формулы, линейная модель неадекватна

Первое, что следует сделать ври решении этой задачи, - включить в уравнение эффекты взаимодействия. Конечно, такое решение возможно, если был применен ненасыщенный план. После добавления эффектов взаимодействия может не хватить степеней свободы для проверки гипотезы адекватности и потребуется реализация ещё двух-трех опытов внутри области эксперимента.

Все остальные способы построения интерполяционной формулы связаны с необходимостью проведения новых опытов. Один из них - достройка плана. Используются все те же приемы, что и при устранении незначимости коэффициентов регрессии: метод «перевала», достройка до полного факторного эксперимента, до дробной реплики, для которой ранее смешанные эффекты становятся «чистыми», достройка до плана второго порядка.

Наконец, если не удалось все же получить адекватную модель, то остается разбить область эксперимента на несколько подобластей и описать отдельно каждую из них. Это требует уменьшения интервалов варьирования факторов.

Приведем блок-схему принятия решений в задаче построения интерполяционной формулы для случая, когда лилейная модель неадекватна. Если линейная модель адекватна, то задача решена.

Крутое восхождение по поверхности отклика

Движение по градиенту

Наиболее короткий путь к оптимуму - направление градиента функции отклика. Градиент непрерывной однозначной функции есть вектор

,

где - обозначение градиента, - частная производная функции по i-му фактору, i, j, k - единичные векторы в направлении координатных осей.

Следовательно, составляющие градиента суть частные производные функции отклика, оценками которых являются, коэффициенты регрессии.

Изменяя независимые переменные пропорционально величинам коэффициентов регрессии, мы будем двигаться в направлении градиента функции отклика по самому крутому пути. Поэтому процедура движения к почти стационарной области называется крутым восхождением.

Величины составляющих градиента определяются формой поверхности отклика и теми решениями, которые были приняты при выборе параметра оптимизации, нулевой точки и интервалов варьирования. Знак составляющих градиента зависит только от формы поверхности отклика и положения нулевой точки.

регрессия математическая модель

Расчет крутого восхождения

Возникает вопрос: а как выбрать шаг движения по градиенту? Это еще один этап, для которого не существует формализованного решения. Небольшой шаг потребует значительного числа опытов при движении к оптимуму, большой шаг увеличивает вероятность проскока области оптимума. Во всяком случае, аналогично выбору интервалов варьирования, нижняя граница задается возможностью фиксирования двух соседних опытов, а верхняя областью определения фактора. Для облегчения работы шаги обычно округляют.

На расчет градиента не оказывает влияние b0. Для качественных факторов на двух уровнях либо фиксируется лучший уровень, либо градиент реализуется дважды для каждого уровня в отдельности. Незначимые факторы стабилизируются на любом уровне в интервале ±1. Если нет специальных соображений, то выбирают нулевой уровень. Если же по экономическим соображениям, например, выгодно поддерживать нижний уровень, то выбирают его. В движении по градиенту эти факторы не участвуют.

Таким образом, расчет сводится к тому, чтобы выбрать шаг движения по одному из факторов и пропорционально произведениям коэффициентов регрессии на интервалы варьирования рассчитать шаги по другим факторам.

Остались не рассмотренными два момента: как влияют на крутое восхождение соотношения численных значений коэффициентов регрессии и почему движение по градиенту начинается из нулевой точки.

Представим себе, что в адекватном линейном уравнении значим только один коэффициент. Тогда в движении по градиенту будет участвовать только один фактор. Многофакторная задача выродится в однофакторную. А это менее эффективно. Рассмотренный случай является крайним, но в практике довольно часто b-коэффициенты существенно различаются между собой, оставаясь значимыми.

Функция, величины коэффициентов которой различаются не существенно, называется симметричной относительно коэффициентов. Движение по градиенту для симметричной функции наиболее эффективно. Удачным выбором интервалов варьирования можно сделать симметричной любую линейную функцию для значимых факторов.

На первом этапе планирования не всегда удается получить симметричную функцию. Если функция резко асимметрична (коэффициенты различаются на порядок), то выгоднее вновь поставить эксперимент, изменив интервалы варьирования, а не двигаться по градиенту.

Реализация мысленных опытов

Рассчитав составляющие градиента, мы получили условия мысленных опытов. Число мысленных опытов зависит от задачи. Ограничением сверху служит граница области определения хотя бы по одному из факторов. Иногда по технологическим соображениям нет смысла определять условия многих опытов. Обычно рассчитывается 5-10 мысленных опытов.

Как реализовать мысленные опыты? Нужно ли ставить все опыты подряд или только некоторые из них? С какого опыта начинать? Если модель адекватна, то начинают реализацию с тех опытов, условия которых выходят за область эксперимента хотя бы по одному из факторов. Для неадекватной модели часто 1-2 опыта выполняют в области эксперимента.

Условия мысленных опытов следует тщательно обдумать и убедиться, что нет затруднений в их реализации. Если что-то не ладится, можно изменить шаг и рассчитать мысленные опыты заново.

Существует две принципиально различные стратегии реализации мысленных опытов. Все намеченные к реализации опыты ставятся одновременно либо последовательно по некоторой программе. Одновременно могут ставиться все мысленные опыты через один, через два и т. д. Последовательный принцип заключается в том, что вначале ставятся два-три опыта, анализируются результаты и принимается решение о постановке новых опытов. Выбор стратегий определяется стоимостью опытов, их длительностью и условиями экспериментирования.

Представьте себе задачу, в которой опыт длится несколько месяцев, но одновременно можно поставить довольно большое число опытов. При последовательной стратегии реализация мысленных опытов надолго затягивается. Выгоднее реализовать сразу все намеченные опыты. Это характерно для сельскохозяйственных, биологических, металлургических задач и т.д.

Преимущество одновременной реализации опытов в том, что эта стратегия исключает временной дрейф.

Когда опыты быстры и дешевы, эта стратегия вполне пригодна. А если опыты дороги, приходится пользоваться последовательной стратегией, так как минимизация числа опытов приобретает большую актуальность.

Имеется несколько вариантов последовательной стратегии. Можно реализовать опыты по одному и после каждого анализировать результаты. Другой путь - ставятся одновременно два-три опыта и затем принимаются решения. При незначительном изменении параметра оптимизации (поверхность пологая) следующим реализуется далеко отстоящий опыт, при сильном (поверхность крутая) - близлежащий.

Иногда пользуются методом «ножниц»: реализуются два крайних мысленных опыта, а затем прощупывается пространство внутри этого интервала. Минимальное число опытов - три, так как оптимум необходимо захватить «в вилку». Два опыта могут оказаться достаточными, когда координаты оптимума близки к координатам опытов исходного плана или же когда попытка продвинуться по неадекватной модели оказывается неудачной.