Расчет и моделирование статистических данных

5. Причинно-следственная диаграмма (рис. 24)

а) пример условной диаграммы, где:

1 - факторы (причины); 2 - большая «кость»;

3 - малая «кость»; 4 - средняя «кость»;

5 - «хребет»; 6 - характеристика (результат).

б) пример причинно-следственной диаграммы факторов, влияющих на качество продукции.

Рисунок 24 - Примеры причинно-следственной диаграммы.

Причинно-следственная диаграмма используется, когда требуется исследовать и изобразить возможные причины определенной проблемы. Ее применение позволяет выявить и сгруппировать условия и факторы, влияющие на данную проблему.

Рассмотрим форму причинно-следственной диаграммы на рис. 24 (она называется еще «рыбий скелет» или диаграмма Исикавы).

Порядок составления диаграммы:

1). Выбирается проблема для решения - «хребет».

2). Выявляются наиболее существенные факторы и условия, влияющие на проблему - причины первого порядка.

3). Выявляется совокупность причин, влияющих на существенные факторы и условия (причины 2-, 3- и последующих порядков).

4). Анализируется диаграмма: факторы и условия расставляются по значимости, устанавливаются те причины, которые в данный момент поддаются корректировке.

5). Составляется план дальнейших действий.

5. Контрольный листок (таблица накопленных частот) составляется для построения гистограммы распределения, включает в себя следующие графы: (табл.24).

Таблица 24 - Контрольный листок

№ интервала	Измеренные значения	Частота	Накопленная частота	Накопленная относительная частота

На основании контрольного листка строится гистограмма (рис. 25), или, при большом количестве измерений, кривая распределения плотности вероятностей (рис. 26).

Рисунок 25 - Пример представления данных в виде гистограммы

Рисунок 26 - Виды кривых распределения плотности вероятностей.

Гистограмма представляет собой столбчатый график и применяется для наглядного изображения распределения конкретных значений параметра по частоте появления за определенный период времени. При нанесении на график допустимых значений параметра можно определить, как часто этот параметр попадает в допустимый диапазон или выходит за его предел.

При исследовании гистограммы можно выяснить, в удовлетворительном ли состоянии находятся партия изделий и технологический процесс. Рассматривают следующие вопросы:

· какова ширина распределения по отношению к ширине допуска;

· каков центр распределения по отношению к центру поля допуска;

· какова форма распределения.

В случае, если

а) форма распределения симметрична, то имеется запас по полю допуска, центр распределения и центр поля допуска совпадают - качество партии в удовлетворительном состоянии;

б) центр распределения смещен вправо, то есть опасение, что среди изделий (в остальной части партии) могут находиться дефектные изделия, выходящие за верхний предел допуска. Проверяют, нет ли систематической ошибки в измерительных приборах. Если нет, то продолжают выпускать продукцию, отрегулировав операцию и сместив размеры так, чтобы центр распределения и центр поля допуска совпадали;

в) центр распределения расположен правильно, однако ширина распределения совпадает с шириной поля допуска. Есть опасения, что при рассмотрении всей партии появятся дефектные изделия. Необходимо исследовать точность оборудования, условия обработки и т.д. либо расширить поле допуска;

г) центр распределения смещен, что свидетельствует о присутствии дефектных изделий. Необходимо путем регулировки переместить центр распределения в центр поля допуска и либо сузить ширину распределения, либо пересмотреть допуск;

д) ситуация аналогична предыдущей, аналогичны и меры воздействия;

е) в распределении 2 пика, хотя образцы взяты из одной партии. Объясняется это либо тем, что сырьё было 2-х разных сортов, либо в процессе работы была изменена настройка станка, либо в 1 партию соединили изделия, обработанные на 2-х разных станках. В этом случае следует производить обследование послойно;

ж) и ширина, и центр распределения - в норме, однако незначительная часть изделий выходит за верхний предел допуска и, отделяясь, образует обособленный островок. Возможно, эти изделия - часть дефектных, которые вследствие небрежности были перемешаны с доброкачественными в общем потоке технологического процесса. Необходимо выяснить причину и устранить её.

6. Диаграмма разброса (рассеяния) применяется для выявления зависимости (корреляции) одних показателей от других или для определения степени корреляции между n парами данных для переменных x и y:

(x₁,y₁), (x₂,y₂), ..., (x_n, y_n).

Эти данные наносятся на график (диаграмму разброса), и для них вычисляется коэффициент корреляции по формуле

где

ковариация;

стандартные отклонения случайных переменных x и у;

n - размер выборки (количество пар данных - х_i и у_i);

и - среднеарифметические значения х_i и у_i cоответственно.

Рассмотрим различные варианты диаграмм разброса (или полей корреляции) на рис. 27:

Рисунок 27 - Варианты диаграмм разброса.

В случае:

а) можно говорить о положительной корреляции (с ростом x увеличивается y);

б) проявляется отрицательная корреляция (с ростом x уменьшается y);

в) при росте x y может как расти, так и уменьшаться, говорят об отсутствии корреляции. Но это не означает, что между ними нет зависимости, между ними нет линейной зависимости. Очевидная нелинейная (экспоненциальная) зависимость представлена и на диаграмме разброса г).

Коэффициент корреляции всегда принимает значения в интервале , т.е. при r>0 - положительная корреляция, при r=0 - нет корреляции, при r<0 - отрицательная корреляция.

Для тех же n пар данных (x₁,y₁), (x₂,y₂), ..., (x_n, y_n) можно установить зависимость между x и y. Формула, выражающая эту зависимость, называется уравнением регрессии (или линией регрессии), и ее представляют в общем виде функцией

у = а + bх.

Для определения линии регрессии (рис.27) необходимо статистически оценить коэффициент регрессии b и постоянную a. Для этого должны быть выполнены следующие условия:

1) линия регрессии должна проходить через точки (x, y) средних значений x и y.

2) сумма квадратов отклонений от линии регрессии значений y по всем точкам должна быть наименьшей.

3) для расчета коэффициентов а и b используются формулы

Т.е. уравнением регрессии можно аппроксимировать реальные данные.

Рисунок 27 - Пример линии регрессии.

7. Контрольная карта.

Одним из способов достижения удовлетворительного качества и поддержания его на этом уровне является применение контрольных карт. Для управления качеством технологического процесса необходимо иметь возможность контролировать те моменты, когда выпускаемая продукция отклоняется от заданных техническими условиями допусков. Рассмотрим простой пример. Проследим за работой токарного станка в течение определённого времени и будем измерять диаметр детали, изготавливаемой на нем (за смену, час). По полученным результатам построим график и получим простейшую контрольную карту (рис. 28):

Рисунок 28 - Пример контрольной карты.

В точке 6 произошла разладка технологического процесса, необходимо его регулирование. Положение ВКГ и НКГ определяется аналитически либо по специальным таблицам и зависит от объёма выборки. При достаточно большом объеме выборки пределы ВКГ и НКГ определяют по формулам

ВКГ = +3 д,

НКГ = -3д,

ВКГ и НКГ служат для предупреждения разладки процесса, когда изделия еще соответствуют техническим требованиям.

Контрольные карты применяются, когда требуется установить характер неисправностей и дать оценку стабильности процесса; когда необходимо установить, нуждается ли процесс в регулировании или его необходимо оставить таким, каков он есть.

Контрольной картой можно также подтвердить улучшение процесса.

Контрольная карта является средством распознания отклонений из-за неслучайных или особых причин от вероятных изменений, присущих процессу. Вероятные изменения редко повторяются в прогнозируемых пределах. Отклонения из-за неслучайных или особых причин сигнализируют о том, что некоторые факторы, влияющие на процесс, необходимо идентифицировать, расследовать и поставить под контроль.

Контрольные карты основываются на математической статистике. Они используют рабочие данные для установления пределов, в рамках которых будут ожидаться предстоящие исследования, если процесс останется неэффективным из-за неслучайных или особых причин.

Информация о контрольных картах содержится и в международных стандартах ИСО 7870, ИСО 8258.

Наибольшее распространение получили контрольные карты среднего значения X и контрольные карты размаха R, которые используются совместно или раздельно. Контролироваться должны естественные колебания между пределами контроля. Нужно убедиться, что выбран правильный тип контрольной карты для определенного типа данных. Данные должны быть взяты точно в той последовательности, в какой собраны, иначе они теряют смысл. Не следует вносить изменения в процесс в период сбора данных. Данные должны отражать, как процесс идет естественным образом.

Контрольная карта может указать на наличие потенциальных проблем до того, как начнется выпуск дефектной продукции.

Принято говорить, что процесс вышел из-под контроля, если одна или более точек вышли за пределы контроля.

Существуют два основных типа контрольных карт: для качественных (годен - негоден) и для количественных признаков. Для качественных признаков возможны четыре вида контрольных карт: число дефектов на единицу продукции; число дефектов в выборке; доля дефектных изделий в выборке; число дефектных изделий в выборке. При этом в первом и третьем случаях объем выборки будет переменным, а во втором и четвертом - постоянным.

Таким образом, целями применения контрольных карт могут быть:

· выявление неуправляемого процесса;

· контроль за управляемым процессом;

· оценивание возможностей процесса.

Обычно подлежит изучению следующая переменная величина (параметр процесса) или характеристика:

· известная важная или важнейшая;

· предположительная ненадежная;

· по которой нужно получить информацию о возможностях процесса;

· эксплуатационная, имеющая значение при маркетинге.

При этом не следует контролировать все величины одновременно. Контрольные карты стоят денег, поэтому нужно использовать их разумно: тщательно выбирать характеристики; прекращать работу с картами при достижении цели: продолжать вести карты только тогда, когда процессы и технические требования сдерживают друг друга.

Необходимо иметь в виду, что процесс может быть в состоянии статистического регулирования и давать 100% брака. И наоборот, может быть неуправляемым и давать продукцию, на 100% отвечающую техническим требованиям.

Контрольные карты позволяют проводить анализ возможностей процесса. Возможности процесса - это способность функционировать должным образом. Как правило, под возможностями процесса понимают способность удовлетворять техническим требованиям

Существуют следующие виды контрольных карт:

1. Контрольные карты для регулирования по количественным признакам (измеренные величины выражаются количественными значениями):

а) контрольная карта состоит из контрольной карты , отражающей контроль за изменением среднего арифметического, и контрольной карты R, служащей для контроля изменений рассеивания значений показателей качества. Применяется при измерении таких показателей, как длина, масса, диаметр, время, предел прочности при растяжении, шероховатость, прибыль и т.д.;

б) Контрольная карта состоит из контрольной карты , осуществляющей контроль за изменением значения медианы, и контрольной карты R. Применяется в тех же случаях, что и предыдущая карта. Однако она более проста, поэтому более пригодна для заполнения на рабочем месте.

2. Контрольные карты для регулирования по качественным признакам:

а) контрольная карта p (для доли дефектных изделий) или процента брака, применяется для контроля и регулирования технологического процесса после проверки небольшой партии изделий и разделения их на доброкачественные и дефектные, т.е. определения их по качественным признакам. Доля дефектных изделий получена путём деления числа обнаруженных дефектных изделий на число проверенных изделий. Может применяться также для определения интенсивности выпуска продукции, процента неявки на работу и т.д.;

б) контрольная карта pn (количество брака), применяется в случаях, когда контролируемым параметром является число дефектных изделий при постоянном объеме выборки n. Практически совпадает с картой p;

в) контрольная карта c (число дефектов на одно изделие), используется, когда контролируется число дефектов, обнаруживаемых среди постоянных объемов продукции (автомобили - одна или 5 транспортных единиц, листовая сталь - один или 10 листов);

г) контрольная карта n (число дефектов на единицу площади), используется, когда площадь, длина, масса, объём, сорт непостоянны и обращаться с выборкой как с постоянным объемом невозможно.

При обнаружении дефектных изделий целесообразно прикреплять к ним разные ярлыки: для дефектных изделий, обнаруженных оператором (тип A), и для дефектных изделий, обнаруженных контролером (тип B). Например, в случае A - красные буквы по белому полю, в случае B - чёрные буквы по белому полю.

На ярлыке указывают номер детали, наименование изделия, технологический процесс, место работы, год, месяц и число, сущность дефекта, число отказов, причину возникновения дефектности, принятые меры воздействия.

В зависимости от целей и задач анализа качества продукции, а также возможностей получения необходимых для его осуществления данных аналитические методы его проведения существенно различаются. Влияет на это и этап жизненного цикла продукции, охватываемый деятельностью предприятия.

На этапах проектирования, технологического планирования, подготовки и освоения производства целесообразно применение функционально-стоимостного анализа (ФСА): это метод системного исследования функций отдельного изделия или технологического, производственного, хозяйственного процесса, структуры, ориентированный на повышение эффективности использования ресурсов путем оптимизации соотношения между потребительскими свойствами объекта и затратами на его разработку, производство и эксплуатацию.

Основными принципами применения ФСА являются:1. функциональный подход к объекту исследования;2. системный подход к анализу объекта и выполняемых им функций;3. исследование функций объекта и их материальных носителей на всех стадиях жизненного цикла изделия;4. соответствие качества и полезности функций продукции затратам на них;5. коллективное творчество.

Выполняемые изделием и его составляющими функции можно сгруппировать по ряду признаков. По области проявления функции подразделяются на внешние и внутренние. Внешние - это функции, выполняемые объектом при его взаимодействии с внешней средой. Внутренние - функции, которые выполняют какие-либо элементы объекта, и их связи в границах объекта.

По роли в удовлетворении потребностей среди внешних функций различают главные и второстепенные. Главная функция отражает главную цель создания объекта, а второстепенная - побочную.

По роли в рабочем процессе внутренние функции можно подразделить на основные и вспомогательные. Основная функция подчинена главной и обусловливает работоспособность объекта. С помощью вспомогательных реализуются главные, второстепенные и основные функции.

По характеру проявления все перечисленные функции делятся на номинальные, потенциальные и действительные. Номинальные задаются при формировании, создании объекта и обязательны для выполнения. Потенциальные отражают возможность выполнения объектом каких-либо функций при изменении условий его эксплуатации. Действительные - это фактически выполняемые объектом функции.

Все функции объекта могут быть полезными и бесполезными, а последние нейтральными и вредными.

Цель функционально-стоимостного анализа заключается в развитии полезных функций объекта при оптимальном соотношении между их значимостью для потребителя и затратами на их осуществление, т.е. в выборе наиболее благоприятного для потребителя и производителя, если речь идет о производстве продукции, варианта решения задачи о качестве продукции и ее стоимости. Математически цель ФСА можно записать следующим образом:

ПС/З = max?

где ПС - потребительная стоимость анализируемого объекта, выраженная совокупностью его потребительных свойств (ПС=?nc_i);

3 - издержки на достижение необходимых потребительных свойств.

8. Словарь терминов

Аппроксимация

Аппроксимация, или приближение (от approximation) - замена математического объекта более простым объектом, имеющим сходные свойства.

Аппроксимация позволяет упростить исследование характеристик объекта, сведя задачу к изучению более простых или более известных объектов.

Наиболее распространенный в аналитической химии пример аппроксимации - это приближение градуировочной функции прямой. Такой прием позволяет упростить вычисления и просто и наглядно представить градуировочные характеристики.

Выборка

Выборка (выборочная совокупность) - часть объектов из генеральной совокупности, отобранных для изучения, с целью получения информации о всей генеральной совокупности.

Число объектов, составляющих выборочную совокупность, называется объемом выборки.

Методы математической статистики позволяют оценить случайную ошибку изучаемых признаков выборки определенного объема. Также можно решить обратную задачу - определить объем выборки, удовлетворяющий заданным требованиям точности.

Кроме объема выборки, существенную роль играет способ формирования выборки. Не вдаваясь в детали, можно отметить, что выборка, которая сохраняет все свойства генеральной совокупности, называется репрезентативной выборкой. Свойство репрезентативности - необходимое условие для того, чтобы выводы, сделанные для выборочной совокупности, можно было распространить на генеральную совокупность.

Градуировка

Градуировка - процесс построения градуировочной функции (градуировочной характеристики) опытным путем.

В аналитической химии градуировочная функция связывает аналитический сигнал и содержание определяемого компонента. В случае однокомпонентной градуировки градуировочная функция может быть наглядно представлена в виде градуировочного графика.

Большинство методов анализа требуют построения градуировки. Исключение составляют абсолютные методы анализа.

Одной из важных задач метрологии является определение погрешности градуировки.

Дисперсия

Дисперсия - (от лат. dispersio - рассеяние), в математической статистике наиболее употребительная мера рассеивания, отклонения случайных значений от среднего.

Для выборочной совокупности дисперсия рассчитывается по следующей формуле:

(1)

где n - число измерений, xi - единичное значение, - среднее значение.

Дисперсия является случайной величиной и подчиняется хи-квадрат распределению. Достоверность дисперсии определяется числом степеней свободы f. В данном случае (1) f = n-1

Применительно к обработке результатов измерения дисперсия характеризует случайную погрешность. Наряду с дисперсией используется стандартное отклонение, которое равно квадратному корню из дисперсии.

Если на результат измерения влияют несколько независимых случайных факторов, то вступает в силу закон сложения дисперсий: дисперсия результата равна сумме "составляющих" дисперсий.

Индекс

Индекс - относительная величина, показывающая, во сколько раз уровень изучаемого явления в данных условиях отличается от уровня того же явления в других условиях. Различие условий может проявляться во времени (территориальные индексы), в выборе в качестве базы сравнения какого-либо условного уровня, например планового показателя, уровня договорных обязательств или, если плановый уровень сравнивается с уровнем предыдущего периода, - индекс планового задания

Интерполяция

Интерполяция - метод нахождения промежуточных значений некоторой величины по известному дискретному набору значений.

Набор значений исследуемой величины обычно получают экспериментальным методом. Часто бывает необходимо построить фунцию, которая позволит предсказать получаемые значения этой величины. Другими словами, необходимо доопредилить функцию в промежутках между имеющимися дискретными значениями.

Построение функции в общем случае называется аппроксимацией. Интерполяцию можно рассматривать как частный случай аппроксимации, при котором кривая построенной функции проходит точно через имеющиеся точки данных.

Аппроксимация в применяется в аналитической химии при построении градуировки методом наименьших квадратов. Суть метода заключается в поиске наиболее близкой к имеющимся экспериментальным точкам прямой, при этом получаемая прямая не обязательно должна проходить через все точки.

Примером примерения метода интерполяции может служить интерполяция спектра: спектральный сигнал измеряют через определенные промежутки длин волн (или энергий), т.е. дискретно. Затем с помощью интерполяции спектр описывают некоторой непрерывной кривой, на которой лежат все экспериментальные точки.

Существует множество алгоритмов интерполяции. Наиболее часто в методе интерполяции используются полиномы (например, полином Лагранжа), а также различные виды сплайн-интерполяции.

Кластерный анализ

При этом используется кластерная модель представления объектов - объекты со схожими свойствами относятся к одному классу.

Кластерный анализ - метод группировки объектов в классы на основании экспериментальных данных о свойствах объектов.

При этом используется кластерная модель представления объектов - объекты со схожими свойствами относятся к одному классу.

Кластерный анализ включает в себя набор различных алгоритмов классификации (в качестве примера метода кластерного анализа можно привести метод дендрограмм).

При этом, как правило, количество классов и принципы разделения на классы определяются заранее исходя из общей информации о наборе объектов и целей кластерного анализа.

Методы кластерного анализа дополняется методами дискриминантного анализа, которые позволяют определить границы между кластерами и использовать их для решения задач анализа и классификации данных.

Ковариация

Ковариация (от англ. covariation - "совместная вариация") - мера линейной зависимости двух величин.

Ковариация несет тот же смысл, что и коэффициент корреляции - она показывает, есть ли линейная взаимосвязь между двумя случайными величинами, и может рассматриваться как "двумерная дисперсия". Однако, в отличие от коэффициента корреляции, который меняется от -1 до 1, ковариация не инвариантна относительно масштаба, т.е. зависит единицы измерения и масштаба случайных величин.

Знак ковариации указывает на вид линейной связи между рассматриваемыми величинами: если она > 0 - это означает прямую связь (при росте одной величины растет и другая), ковариация < 0 указывает на обратную связь. При ковариации = 0 линейная связь между переменными отсутствует.

Основная разница - в "масштабируемости". Т.е. ковариация - в абсолютных единицах, а корреляция - в относительных. Это как можно сказать "прибыль составила 20 000 руб", а можно сказать "прибыль составила 5%". Используют то, что удобнее в данном конкретном случае

Линейный дискриминантный анализ

Линейный дискриминантный анализ - метод классификации, относящийся к группе граничных методов. Алгоритм линейного дискриминатного анализа предполагает, что границы между классами аппроксимируются с помощью линейных функций. Для вычисления параметров граничной функции используется подход, основанный на анализе и моделировании функций условной плотности (conditional density functions). В линейном дискриминатном анализе предполагается, что данные подчиняются закону нормального распределения. Однако, есть и другие методы, в которых функции условной плотности предполагают другие виды распределения - например, метод Нейва Байеса, который предполагает биномиальное распределение.

Метод К ближайших соседей

Метод К ближайших соседей - один из наиболее простых алгоритмов классификации, относящийся к группе структурных методов.

В качестве обучающей выборки используется набор объектов, каждый из которых принадлежит к одному из двух или более классов. Каждый объект может быть представлен точкой в n-мерном пространстве, где n - число аналититических признаков, используемых для классификации.

Неизвестный объект относится к одному из классов по следующему принципу: находится K ближайших объектов из обучающей выборки в пространстве образов (обычно используется мера расстояния Евклида). Затем определяется, к какому классу принадлежит большинство ближайших объектов обучающей выборки - к этому классу относится и неизвестный объект. Оптимальное число K, как правило, подбирают экспериментальным путем. Увеличение K приводит к уменьшению влияния случайных погрешностей в данных, но при этом разделение на классы становится менее четким.

Метод наименьших квадратов

Метод наименьших квадратов (МНК) - метод оценки параметров модели на основании экспериментальных данных, содержащих случайные ошибки. В основе метода лежат следующие рассуждения: при замене точного (неизвестного) параметра модели приблизительным значением необходимо минимизировать разницу между экспериментальными данными и теоретическими (вычисленными при помощи предложенной модели). Это позволяет рассчитать параметры модели с помощью МНК с минимальной погрешностью.

Мерой разницы в методе наименьших квадратов служит сумма квадратов отклонений действительных (экспериментальных) значений от теоретических. Выбираются такие значения параметров модели, при которых сумма квадратов разностей будет наименьшей - отсюда название метода:

= min

где Y - теоретическое значение измеряемой величины, y - экспериментальное.

При этом полученные с помощью МНК параметры модели являются наиболее вероятными.

Метод наименьших квадратов, а также его различные модификации (нелинейный МНК, взвешенный МНК и т.д.) широко используется в аналитической химии, в частности, при построении градуировочной модели. Как правило, предполагается линейная зависимость (параметры которой требуется установить) между аналитическим сигналом и содержанием определяемого вещества. В этом случае метод наименьших квадратов позволяет оптимизировать параметры градуировки (и получить наименьшую погрешность анализа), а сумма квадратов разностей теоретического и экспериментального значения аналитического сигнала является мерой погрешности градуировки и линейно связана с так называемой остаточной дисперсией (дисперсией адекватности модели)

Метрология

Метрология - наука об измерениях, методах достижения их единства и требуемой точности. Помимо общей теории измерения метрология содержит следующие основные разделы:

1) Единицы физических величин, системы единиц (например, система СИ), шкала измерения.

2) Проблема единства измерений - эталоны, образцовые средства измерения, схемы поверки и градуировки измерительных приборов. Для законодательного контроля единства измерений создаются метрологические службы.

3) Оценка погрешности измерений методами математической статистики и теории вероятностей.

Методики измерения проходят стандартизацию и сертификацию, существует государственная система стандартизация (госстандарты, ГОСТы), регламентирующие измерительные процедуры

Погрешность измерения

Погрешность измерения - отклонение результата измерения от действительного значения измеряемой величины.

Также для обозначения этого понятия иногда используют термин ошибка.

Любой экспериментально полученный результат содержит погрешность, причем можно выделить две ее составляющие: случайную и систематическую.

Случайная погрешность, как понятно из названия, изменяется случайным образом в серии повторных экспериментов, проведенных в одинаковых условиях. В аналитической химии для нее используется термин воспроизводимость, которая характеризуется дисперсией. Дисперсия - (от лат. dispersio - рассеяние), в математической статистике наиболее употребительная мера рассеивания, отклонения случайных значений от среднего.

Систематическая погрешность остается постоянной в серии повторных экспериментов. В аналитической химии для этой величины используется термин правильность.

Общая ошибка (систематическая и случайная) характеризует точность метода.

Для того, чтобы количественно охарактеризовать погрешность измерения, проводят ее вероятностную оценку. Проще всего оценить случайную составляющую с помощью дисперсии - для этой цели используется критерий Стьюдента. При этом выявить систематическую ошибку на фоне случайной - сложная и часто нерешаемая задача.

Регрессионный анализ, регрессия

Регрессионный анализ - статистический метод, используемый для исследования отношений между двумя величинами.

Регрессия в математической статистике - зависимость среднего значения одной величины (y) от другой величины (или нескольких величин) x. В отличие от строгой функциональной зависимости y = f(x) в регрессионной модели одному и тому же значению величины x могут соответствовать несколько значений величины y, иными словами, при фиксированном значении x величина y имеет некоторое случайное распределение.

Регрессионный анализ используется для определения общего вида уравнения регрессии (наиболее часто используется линейная модель), оценки параметров этого уравнения, а также проверки различных статистических гипотез относительно регрессии.

Регрессионная модель основана на предположении о том, что величина x является контролируемой величиной, значения которой задаются во время эксперимента, а величина y является наблюдаемой в ходе эксперимента.

В аналитической химии линейный регрессионный анализ используется при построении градуировочной модели. В качестве величины x выбирается содержание определяемого компонента (которое является установленной величиной для серии образцов сравнения), а в качестве наблюдаемой величины y выступает аналитический сигнал, который подчиняется случайному распределению.

Необходимо отметить, что в том случае, если величина x также является случайной, то для изучения связи между величинами используются методы корреляционного анализа.

В аналитической химии также применяется множественный регрессионный анализ - при исследовании многомерных зависимостей (например, при построении многокомпонентной градуировки используется множественная регрессия и т.д.)

Теория вероятностей

Теория вероятностей - раздел математики, занимающийся вычислением вероятностей ожидаемых случайных событий, которые зависят от неопределенных или недостаточно известных причин.

Теория вероятности изучает законы, или статистические закономерности, которым подчиняются связи случайных событий. Так, например, если при условиях S событие A имеет определенную вероятность P, то можно утверждать, что при достаточно длинной серии из n испытаний при данных условиях событие A произойдет m раз, причем приблизительно будет выполняться соотношение m/n = P - эта формула выражает так называемое классическое определение вероятности.

Пример: если кидать шестигранный игральный кубик (это условие S) достаточно много раз, то четверка выпадет (это событие A) примерно в 1/6 случаях, т.е. P = 1/6.

В приведенном примере выпавшее на кубике число является случайной величиной, которая может принимать значение от 1 до 6, вероятность появления каждого из этих значений равно 1/6. Набор возможных значений случайной величины и соответствующих им вероятностей называется распределением вероятностей случайной величины. В случае с игральным кубиком набор значений случайной величины носит дискретный характер, однако на практике чаще встречаются непрерывные распределения. Так, результаты химического анализа обычно подчиняются распределению Гаусса. В таких случаях вместо полного перечисления значений случайной величины и соответствующих вероятностей используют числовые характеристики распределения, наиболее употребительными из которых являются математическое ожидание и дисперсия

При изучении совместного распределения нескольких случайных величин пользуются коэффициентами корреляции и методами корреляционного анализа.

Теория вероятности широко применяется при изучении случайных величин и процессов в различных областях естествознания.

Факторный анализ

Факторный анализ - метод многомерного статистического анализа, позволяющий на основе экспериментального наблюдения признаков объекта выделить группу переменных, определяющих корреляционную взаимосвязь между признаками. Например, при проведении элементного анализа предельных углеводородов можно отдельно измерять массовую долю углерода и массовую долю водорода - два признака. Однако, эти признаки не являются независимыми (коррелируют между собой) и оба определяются длиной углеродной цепи. В этом и состоит суть факторного анализа - на основе исследования корреляционных взаимосвязей признаков находить причины, определяющие эти взаимосвязи.

В общем случае моделью описываемой взаимосвязи является набор линейных уравнений. Коэффициентами этих уравнений являются так называемые нагрузки, которые показывают "вес" каждого из факторов для данного признака. В матричном виде эта система уравнений может быть записана как X = S*F + E (1) где X - матрица признаков (или переменных), S - матрица нагрузок, F - матрица новых - "латентных" - переменных, E - матрица остатков. Это уравнение, по сути, описывает переход от первичных переменных (признаков) к новым переменным (факторам). Такое преобразование позволяет:

1. Выделить переменные, определяющие исследуемый набор признаков, проанализировать их число и природу

2. Сжать данные - вместо большого объема переменных система полностью описывается несколькими факторами. Так, например, спектр поглощения смеси красителей представляет собой массив данных - значений интенсивности для различных длин волн. Этот же спектр можно описать значениями концентраций компонентов смеси.

Факторный анализ часто применяется при решении задач классификации, а также при простроении многомерных градуировочных моделей. В качестве недостатков этого метода можно перичислить следующие:

1. Нет однозначного подхода к определению числа значимых переменных. Экспериментальные данные, как правило, содержат случайную ошибку, что вызывает появление дополнительных факторов, которые по сути бесполезны и описывают погрешность эксперимента. Существует множество способов отделения значимых переменных от незначимых, однако в кадом конкретном случае требуется индивидуальный подход.

2. Сложность интерпретации переменных - преобразование (1) можно провести бесконечным множеством способов, при этом выяснить физическую суть каждой новой переменной довольно сложно, а часто и невозможно. Так, например, если применить факторное преобразование к спектру смеси красителей, то каждая новая переменная, скорее всего, будет представлять собой не сами концентрации индивидуальных красителей, а некую линейную комбинацию концентраций.

Наиболее распространенные алгоритмы факторного анализа - метод главных компонент (principal component analysis, PCA) и разложение по сингулярным значениям (singular value decomposition, SVD).

Хемометрика

Хемометрика - наука, которая связывает экспериментальные данные, полученные для химических систем или процессов с состоянием системы посредством применения методов математической статистики.

В хемометрику входит широкий круг методов обработки экспериментальных данных:

1. Методы, касающиеся сбора данных: оптимизация параметров эксперимента, план эксперимента, калибровка, обработка сигнала и др.

2. Методы, позволяющие извлекать полезную информацию из экспериментальных данных: распознавание образов, моделирование, оценка количественных связей структура-свойство и др.

Экстраполяция

Экстраполяция - один из видов аппроксимации, при котором функция достраивается не между имеющимися значениями, а вне этого интервала.

Метод экстраполяции позволяет опредилить приближенное значение функции в точках вне некоторого отрезка по имеющимся значениям внутри этого отрезка, т.е. "продлить" функцию.

Следует отметить, что экстраполяция при построении градуировки в аналитической химии нежелательна, т.к. за пределами заданного интервала резко возрастает погрешность анализа, что связано с высокой погрешностью экстраполяции. Рекомендуется выбирать интервал градуировки таким образом, чтобы в него попадали все возможные измеряемые значения.

Список использованых источников

1. Батырева Л.В. Общая теория статистики: Учебно-практическое пособие. - Челябинск: УрСЭИ АТиСО, 2003. - 84 с.

2. Герасимов, Б.И. Экономико-математические модели погрешностей оценки качества: эконометрика: монография / Б.И. Герасимов. - 8-е изд. - Тамбов: Изд-во Тамб. гос. техн. ун-та, 2009. - 80 с.

3. Гусаров В.М. Теория статистики: Учебное пособие для вузов. - М.: Аудит, ЮНИТИ, 1998. - 247 с

4. Ефимова М.Р., Петрова Е.В., Румянцев В.Н. Общая теория статистики: Учебник. - М.: ИНФРА-М, 1998. - 416 с

5. Мищенко С. В., Цветков Э. И., Чернышова Т. И. Метрологическая надежность измерительных средств. М.: Машиностроение-1, 2001. 96 с.

6. Общая теория статистики: Статистическая методология в изучении коммерческой деятельности: Учебник/А.И. Харламов, О.Э. Башина, В.Т. Бабурин и др.; Под ред. Спирина, О.Э. Башиной.-М.: Финансы и статистика, 1996.

7. Общая теория статистики:/Статистическая методология в коммерческой деятельности: учебник для вузов/под редакцией А.С. Спирина и О.Е. Башиной. - М.: Финансы и статистика, 1994.

8. Общая теория статистики Учеб. для вузов / В.С. Козлов, Я.М. Эрлих и др. М.: Финансы и статистика, 1985

9. Практикум по статистике: Учебное пособие для вузов / под редакцией В.М. Симчеры / ВЗФЭИ. - М.: ЗАО "Финстатинформ", 1999. - 259 с

10. Ребрин Ю.И. Управление качеством: Учебное пособие. Таганрог: Изд-во ТРТУ, 2004.

11. Российский статистический ежегодник 2009. Статистический сборник. Госкомстат

12. Ряузов Н.Н. Общая теория статистики: Учебник для вузов.-М.: Финансы и статистика, 1984.

13. Сироткина Т.С., Каманина А.М. Основы теории статистики: учебное пособие. - М.: АО «Финстатинформ», 1995.

14. Статистика: Курс лекций/Харченко Л.П., Долженкова В.Г., Ионин В.Г. и др.; Под ред. Канд.экон.наук В.Г. Ионина.- Новосибирск:Изд-во НГАЭиУ;М.:ИНФРА-М, 2000.

15. Статистика: программ, методические указания и варианты курсовых работ.7-е изд/Сост.: Б.И. Герасимов, Л.В. Пархоменко; под ред. Д-ра экон.наук, проф. Б.И. Герасимова.-Тамбов: Изд-во Тамб. гос.техн. ун-та, 2007.

16. Теория статистики: Учебник под редакцией профессора Шамойловой Р.А. -М.: «Финансы и Статистика: Курс лекций для вузов / Под ред. В.Г. Ионина. - М.: Инфра-М, 1996 г.

17. http://www.nntu.sci-nnov.ru/RUS/fakyl/VECH/metod/metrology/7_1.htm

Размещено на http://www.allbest.ru