О теории вероятностей

б) моды

где х_Мо- начало модального интервала, h -длина частичного интервала, n_мо - частота модального интервала, n_Мо-1 -частота предмодального интервала, n_Мо+1 - частота послемодального интервала;

в) средней арифметической, совпадающей с формулой (3.2.1) для дискретного вариационного ряда, причем в качестве вариант х_i принимаются середины соответствующих интервалов (интервалы могут иметь как одинаковую, так и разную длину).

Мода и медиана используются в качестве характеристики среднего положения в случае, если границы ряда нечеткие или если ряд не симметричен.

34. Проблема размерностей в многомерных методах исследования

Метод МСА базируется на представлении данных в многомерном признаковом пространстве размерностью, равной числу признака. При этом исследователь часто сталкивается с понятием размерности.

В общем случае изучается n-мерное эвклидово пространство. При n>3 все задачи решаются только логически и алгебраически (n>>m) (m=2-3). Для этого обычно стараются снизить размерность изучаемого пространства без видимых потерь информации.

Основные предпосылки перехода к производству меньшей размерности.

1. дублирование информации

2. ненормативность признаков

3. возможность агрегирования (простого или взвешенного суммирования)

Основной минус МСА: статистические методы оценивания и сравнения основываются только на многомерном нормальном законе раск-ния.

35. Введение в Excel

Табулирование - вычисление значений функций, при известных значениях аргумента.

БД - это фактически любой набор данных. Создание баз данных упрощает обработку данных и их анализ.

Группировка - разбиение на группы, удовлетворяющие определенным критериям

Можно для облегчения работы с данными использовать Пакет анализа содержащий 13 категорий функций:

Финансовые (51 функция)

Дата и время (19 функций)

Математические (60)

Пользовательские (11-при сложных вычислениях)

Логические (6)

Статистические (самая объемная - 78)

Ссылки и массивы

Информационные и тд.

36. Современные пакеты прикладных программ МС исследования. Пакет статистика. Стандарт качества ISO 9000. Система SEWS применение многомерных статистических методов в социально экономических исследованиях

За 200 лет математиками, экономистами, психологами был создан аппарат принятия решений, которых называется МС, а позже прикладной С или анализом данных

Широкому внедрению методов анализа данных в 60-70гг. способствовало появление компонентов, причем если до середины 80г. Эти методы рассматривались, как инструмент научных исследований, то теперь основными показателями стали компоненты организации и тд.

Пакет statistika версия stat 5.5 русскоязычная поддержка всех архитектур документация 3000с.

1. иногда слишком поверхностны

2. неудобный редактор отсчета

3. высокая стоимость

37. Дисперсия дискретного ряда

Дисперсия дискретного ряда распределения:

характеризует средний квадрат отклонения х от х^---,

Среднее квадратическое отклонение дискретного ряда распределения:



выражается в тех же единицах, что и х_i.

Коэффициент вариации:

характеризует относительное значение среднего квадратического отклонения и обычно служит для сравнения колеблемости несоизмеримых показателей.

Если объединяются несколько распределений в одно, то общая дисперсия у₀*² нового распределения равна средней арифметической из дисперсий объединяемых распределений, сложенной с дисперсией частных средних относительно общей средней нового распределения:

где x₀^-- - средняя ариф-кая нового распределения, x_i^-- - средняя ариф-кая i-го частного распределения (I=1,…,k).

n - объем i-гo частного распределения, хij - j-й член i-го частного распределения (j=l,..., n_i; i=l,2,..., к), д*² -

межгрупповая дисперсия, ^--у*² - внутригрупповая дисперсия, N=?n_i - объем нового распределения.

Значения ^--у*² и д*² определяются по формулам



Дисперсия имеет важное свойство, заключающееся в том, что

D^*=(?(x_i-d)²n_i)/k принимает наименьшее значение при d=^--x.

38. Моменты для вариационных рядов в математической статистике находятся по формулам, аналогичным формулам (2.7.6), (2.7.7)>(2.7.11), (2.10.3):

- начальный момент s-го порядка,

- центральный момент s-го порядка.

- основной момент s-гo порядка

- основной момент порядка s, h.

Соотношения между начальными и центральными моментами в математической статистике соответствуют формулам (2.7.8).

Коэффициент асимметрии

Sk*=

39. Проверка адекватности модели регрессии

После построения уровня регрессии возникает вопрос о качестве решения.

Пусть при исследовании n пар наблюдений (х_i, у_i) получено уравнение регрессии У на Х.



y_i = a + bx_i

Рассмотрим тождество:

y_i - y_i = y_i - y_i - (y_i -y_i)

Если переписать это уравнение в виде

(y_i-y) = (y_i-y) + (y_i-y)

возвести обе части в квадрат и просуммировать по i, то получим

(y_i-y)² = (y_i-y)² + (y_i-y)² (*)

Уравнение (*) является основополагающим в дисперсионном анализе.

Для сумм обычно вводятся названия:

y_i² - нескорректированная сумма квадратов У-ков;

- коррекция на среднее суммы квадратов У-ков.

-сумма квадратов отношений относительно среднего наблюдений.

(y_i-y)²- сумма квадратов относительно регрессии.

(y_i-y_i)² - сумма квадратов обусловленная регрессией.

40. Интервальные оценки. Доверительная вероятность, доверительный интервал

Интервальной называют оценку, которая определяется 2 числами - границами интервала. Она позволяет ответить на вопрос: внутри какого интервала и с какой вероятностью находится неизвестное значение оцениваемого параметра генеральной совокупности. Пусть и точечная оценка параметра и. Чем меньше разность и - и , тем точнее и лучше оценка. Обычно говорят о доверительной вероятности p = 1-б, с которой и будет находиться в интервале и-Д < и < и+Д, где: Д (Д 0) - предельная ошибка выборки, которая может быть либо задана наперед, либо вычислена; - риск или уровень значимости (вероятность того, что неравенство будет неверным). В качестве 1- принимают значения 0,90;0,95;0,99;0,999. Доверительная вероятность показывает, что в (1-) 100% случаев оценка будет накрываться указанным интервалом. Для построения доверительного интервала параметра а - математического ожидания нормального распределения, составляют выборочную характеристику (статистику), функционально зависимую от наблюдений и связанную с а, например, для повторного отбора:

Статистика u распределена по нормальному закону распределения с математическим ожиданием а = 0 и средним квадратическим отклонением = 1. Отсюда

P(u<u _/2)= 1- или 2Ф(u_/2)=1-,

где Ф-функция Лапласа, u_/2 - квантиль нормального закона распределения, соответствующая уровню значимости .

Определение доверительного интервала для средней и доли при случайном обороте. Определение доверительного интервала для средней и доли при типическом обороте;. Определение необходимой численности выборки. Распространение данных выборки на генеральную совокупность).



Где:

1) t-- квантиль распределения соответствующая уровню значимости:

а) при n 30 t=- квантиль нормального закона распре деления,

б) при n<30t - квантиль распределения Стьюдента с v=n-1 степенями свободы для двусторонней области;

2) - выборочная дисперсия:

а) при n30 можно считать, что

б) при n<30 вместо берут исправленную выборочную дисперсию

S² ()

далее везде рассматривается исправленная выборочная дисперсия S²;

З) рq -- дисперсия относительной частоты в схеме повторных независимых испытаний;

4) N -- объем генеральной совокупности;

5) n -- объем выборки;

6) -- средняя арифметическая групповых дисперсий (внутригрупповая дисперсия);

7) -- средняя арифметическая дисперсий групповых долей,

8) -- межсерийная дисперсия,

9) pq_м.с. -- межсерийная дисперсия доли;

10) N_c -- число серий в генеральной совокупности;

11) n_c -- число отобранных серий (объем выборки);

12) -- предельная ошибка выборки.



41. Статистические критерии проверки гипотез, уровень значимости и мощность критерия. Выбор м/у гипотезами Н₀ и Н₁ может сопровождаться ошибками 2 родов. Ошибка первого рода означает вероятность принятия Н₁, если верна гипотеза

Н₀: =Р(Н₁/Н₀)

Ошибка второго рода означает вероятность принятия Н₀ если верна гипотеза

Н₁: =Р(Н₀/Н₁)

Существует правильное решение двух видов

Р(Н₀/Н₀) = 1- и Р(Н₁/Н₁)=1-.

Правило, по которому принимается решение о том, что верна или неверна гипотеза Н₀ называется критерием, где:

=Р(Н₁/Н₀)

уровень значимости критерия;

М= Р(Н₁/Н₁)=1-

мощность критерия. Статистический критерий К - случайная величина, с помощью которой принимают решение о принятии или отклонении Н₀.



42. Концепция Data Mining

Data Mining переводится как "добыча" или "раскопка данных". Нередко рядом с Data Mining встречаются слова "обнаружение знаний в базах данных" (knowledge discovery in databases) и "интеллектуальный анализ данных". Их можно считать синонимами Data Mining. Возникновение всех указанных терминов связано с новым витком в развитии средств и методов обработки данных. Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, откровенно спасовала перед лицом возникших проблем. Главная причина -- концепция усреднения по выборке, приводящая к операциям над фиктивными величинами (типа средней температуры пациентов по больнице, средней высоты дома на улице, состоящей из дворцов и лачуг и т.п.). Методы математической статистики оказались полезными главным образом для проверки заранее сформулированных гипотез (verification-driven data mining) и для “грубого” разведочного анализа, составляющего основу оперативной аналитической обработки данных (online analytical processing, OLAP). В основу современной технологии Data Mining (discovery-driven data mining) положена концепция шаблонов (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных. Эти шаблоны представляют собой закономерности, свойственные подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками априорных предположений о структуре выборке и виде распределений значений анализируемых показателей.

43. Понятие корреляционной зависимости

При изучении случайных величин в общем случае необходимо рассматривать стохастическую зависимость, когда каждому значению СВ Х может соответствовать одно и более значений СВ Y, причем до опыта нельзя предсказать возможное соответствие. В случае стохастической связи изменение CВY, вследствие изменения СВ Х, можно разбить на 2 компоненты: 1. функциональную, связанную с зависимостью Y от Х, 2. случайную, связанную со случайным характером самих СВ Х и Y. Соотношение м/у функциональной и случайной компонентой определяет силу связи. Отсутствие первой компоненты указывает на независимость СВ Х и Y, отсутствие второй компоненты показывает, что м/у CВ X и Y существует функциональная связь.

Важным частным случаем стохастической зависимость является корреляционная. Корреляционная зависимость м/у переменными величинами - это та функциональная зависимость, которая существует м/у значениями одной из них и групповыми средними другой. (Корреляционные зависимости Y на Х и Х на Y обычно не совпадают). Корреляционная связь чаще всего характеризуется выборочным коэффициентом корреляции r, который характеризует степень линейной функциональной зависимости м/у CB X и Y. Для двух СВ Х и Y коэффициент корреляции имеет => св-ва:

1. -1?r?1;

2. если r=+ 1, то м/у СВ Х и Y существует функциональная линейная зависимость;

3. если r=0, то СВ Х и Y некоррелированны, что не означает независимости вообще;

4. если Х и Y образуют систему нормально распределенных СВ, то из их некоррелированности => их независимость.

Коэффициенты корреляции Y на Х и Х на Y совпадают.

Корреляция используется для количественной оценки взаимосвязи двух наборов данных с помощью коэффициента корреляции. Коэффициент корреляции выборки представляет собой ковариацию двух наборов данных, деленную на произведение их стандартных отклонений.



44. Критерий согласия

Проверка гипотезы о предполагаемом законе неизвестного распределения производится так же, как и проверка гипотезы о параметрах распределения, т. е. при помощи специально подобранной случайной величины -- критерия согласия.

Критерием согласия называют критерий проверки гипотезы о предполагаемом законе неизвестного распределения.

Имеется несколько критериев согласия: ч² («хи квадрат») К. Пирсона, Колмогорова, Смирнова и др.

Ограничимся описанием применения критерия Пирсона к проверке гипотезы о нормальном распределении генеральной совокупности (критерий аналогично применяется и для других распределений, в этом состоит его достоинство). С этой целью будем сравнивать эмпирические (наблюдаемые) и теоретические (вычисленные в предположении нормального распределения) частоты. Обычно эмпирические и теоретические частоты различаются.

Случайно ли расхождение частот? Возможно, что расхождение случайно и объясняется малым числом; наблюдений, либо способом их группировки, либо другими причинами. Возможно, что расхождение частот неслучайно (значимо) и объясняется тем, что теоретические частоты вычислены, исходя из неверной гипотезы о нормальном распределении генеральной совокупности. Критерий Пирсона отвечает на поставленный выше вопрос. Правда, как и любой критерий, он не доказывает справедливость гипотезы, а лишь устанавливает, на принятом уровне значимости, ее согласие или несогласие с данными наблюдений.

Итак, пусть по выборке объема п получено эмпирическое распределение:

варианты x_l, x₁, x₂ ... x_s,

эмп. частоты n_i n₁ п₂ ... n_s.

Допустим, что в предположении нормального распределения генеральной совокупности, вычислены теоретические частоты п. При уровне значимости б, требуется проверить нулевую гипотезу; генеральная совокупность распределена нормально.

В качестве критерия проверки нулевой гипотезы примем случайную величину

(*)

Эта величина случайная, так как в различных опытах она принимает различные, заранее неизвестные значения. Ясно, что чем меньше различаются эмпирические и теоретические частоты, тем меньше величина критерия (*) и, следовательно, он в известной степени характеризует близость эмпирического и теоретического распределений.

Заметим, что возведением в квадрат разностей частот устраняют возможность взаимного погашения положительных и отрицательных разностей. Делением на n'_i достигают уменьшения каждого из слагаемых; в противном случае сумма была бы настолько велика, что приводила бы к отклонению нулевой гипотезы даже и тогда, когда она справедлива. Разумеется, приведенные соображения не являются обоснованием выбранного критерия, а лишь пояснением.

Доказано, что при n>? закон распределения случайной величины (*), независимо от того, какому закону распределения подчинена генеральная совокупность, стремится к закону распределения ч² с k степенями свободы. Поэтому случайная величина (*) обозначена через ч², а сам критерий называют критерием согласия «хи квадрат».

Число степеней свободы находят по равенству

k=s-1-r



где s -- число групп выборки; r -- число параметров предполагаемого распределения, которые оценены по данным выборки.

В частности, если предполагаемое распределение -- нормальное, то оценивают два параметра (математическое ожидание и среднее квадратическое отклонение) поэтому r=2 и число степеней свободы

k=s-1-r=s-1-2-s-3.

Если, например, предполагают, что генеральная совокупность распределена по закону Пуассона, то оценивают один параметр X, поэтому r=1 и k=s-2.

Поскольку односторонний критерий более «жестко» отвергает нулевую гипотезу, чем двусторонний, построим правостороннюю критическую область, исходя из требования, чтобы вероятность попадания критерия в эту область, в предположении справедливости нулевой гипотезы, была равна принятому уровню значимости б:

Т.о., правосторонняя критическая область определяется неравенством

а область принятия нулевой гипотезы -- неравенством

Обозначим значение критерия, вычисленное по данным наблюдений, через ч²_набл и сформулируем правило проверки нулевой гипотезы.

Правило. Для того чтобы, при заданном уровне значимости, проверить нулевую гипотезу H₀: генеральная совокупность распределена нормально, надо сначала вычислить теоретические частоты, а затем наблюдаемое значение критерия

(**)

и по таблице критических точек распределения ч², по заданному уровню значимости б, и числу степеней свободы k=s-3, найти критическую точку ч² (б; k).

Если ч²_набл<ч²_кр - нет оснований отвергнуть нулевую гипотезу.

Если ч²_набл >ч²_кр -- нулевую гипотезу отвергают.

Замечание 1. Объем выборки должен быть достаточно велик, во всяком случае не менее 50. Каждая группа должна содержать не менее 5--8 вариант; малочисленные группы следует объединять в одну, суммируя частоты.

Замечание 2. Поскольку возможны ошибки первого и второго рода, в особенности, если согласование теоретических и эмпирических частот «слишком хорошее», следует проявлять осторожность.

Замечание 3. В целях контроля вычислений, формулу (**) преобразуют к виду

45. Понятие и модели дисперсионного анализа

Дисперсионный анализ позволяет ответить на вопрос о наличии существенного влияния некоторых факторов на изменчивость фактора, значения которого могут быть получены в результате опыта. При проверке статистических гипотез предполагается случайность вариации изучаемых факторов. В дисперсионном анализе один или несколько факторов изменяются заданным образом, причем, эти изменения могут влиять на результаты наблюдений. Исследование такого влияния и является целью дисперсионного анализа.

Идея дисперсионного анализа заключается в том, что основная дисперсия разлагается в сумму составляющих ее дисперсий, каждое слагаемое которой соответствует действию определенного источника изменчивости. Например, в двухфакторном анализе мы получим разложение вида:

_С²=_А²+_В²+_АВ²+_Z'²,

где

_С² -общая дисперсия изучаемого признака С

_А² -доля дисперсии, вызванная влиянием фактора А

_В² - доля дисперсии, вызванная влиянием фактора В

_АВ² - доля дисперсии, вызванная взаимодействием факторов А и В

_Z'² -доля дисперсии, вызванная неучтенными случайными причинами (случайная дисперсия).

В дисперсионном анализе рассматривается гипотеза: Н₀ - ни один из рассматриваемых факторов не оказывает влияния на изменчивость признака. Значимость каждой из оценок дисперсии проверяется по величине ее отношения к оценке случайной дисперсии и сравнивается с соответствующим критическим значением, при уровне значимости , с помощью таблиц критических значений F - распределения Фишера-Снедекора. Гипотеза Н₀ относительно того или иного источника изменчивости отвергается, если F_расч. F_кр.

В дисперсионном анализе рассматриваются эксперименты трех видов:

А) эксперименты, в которых все факторы имеют систематические (фиксированные) уровни;

Б) эксперименты, в которых все факторы имеют случайные уровни;

В) эксперименты, в которых есть факторы, имеющие случайные уровни, а так же факторы, имеющие фиксированные уровни.

Все три случая соответствует трем моделям, которые рассматриваются в дисперсионном анализе.

Однофакторный дисперсионный анализ.

Рассмотрим единичный фактор, который принимает р различных уровней, и предположим, что на каждом уровне сделано n наблюдений, что дает N = np наблюдений. (все факторы имеют фиксированные уровни)

Пусть результаты представлены в виде Хij (i=1,2...,p; j=1,2...,n).

Предполагается, что доля каждого уровня n наблюдений имеется средняя, которая равна сумме общей средней и ее вариации обусловленной выбранным уровнем:

X_ij = + A_i + _ij,

где - общая средняя;

A_i - эффект, обусловленный i-м уровнем фактора;

_ij - вариация результатов внутри отдельного уровня фактора. С помощью члена _ij принимаются в расчет все неконтролируемые факторы.

Пусть наблюдения на фиксированном уровне фактора нормально распределены относительно среднего значения + A_i с общей дисперсией ².

Тогда (точка вместо индекса обозначает усреднение соответствующих наблюдений по этому индексу):

X_ij - X_.. = (X_i. - X_..) + (X_ij - X_i.).



Иначе первую формулу можно записать: S = S₁ + S₂. Величина S₁ вычисляется по отклонениям р средних от общей средней X_.. , поэтому S₁ имеет (р-1) степеней свободы. Величина S2 вычисляется по отклонениям N наблюдений от р выборочных средних и, следовательно, имеет N - р = np - p = p(n - 1) степеней свободы. S имеет (N -1) степеней свободы.

Если гипотеза о том, что влияние всех уровней одинаково, справедлива, то обе величины М₁ и М₂ будут несмещенными оценками ². Значит, гипотезу можно проверить, вычислив отношение (М₁/М₂) и сравнив его с F_кр. с ₁= (р-1) и ₂= (N - р) степенями свободы.

Если F_расч. F_кр. , то гипотеза о незначимом влиянии фактора А на результат наблюдений не принимается.

Многофакторный дисперсионный анализ. Дисперсионный анализ в Excel.

Дисперсионный анализ позволяет ответить на вопрос о наличии существенного влияния некоторых факторов на изменчивость фактора, значение которого могут быть получены в результате опыта. При проверке статистических гипотез предполагается случайность вариации изучаемых факторов. В дисперсионном анализе один или несколько факторов изменяются заданным образом, причем, эти изменения могут влиять на результаты наблюдений. Исследование такого влияния и является целью дисперсионного анализа. Идея дисперсионного анализа заключается в том, что основная дисперсия разлагается на сумму составляющих ее дисперсий, каждое слагаемое которой соответствует действию определенного источника изменчивости. Например, в двухфакторном анализе мы получим разложение вида:

_C²=_A² + _B² + _AB² + _Z²

_C² - общая дисперсия изучаемого признака С;

_A² - доля дисперсии, вызванная влиянием фактора А;

_B² - доля дисперсии, вызванная влиянием фактора В;

_AB² - доля дисперсии, вызванная взаимодействием факторов А и В;

_Z² - доля дисперсии, вызванная неучтенными случайными причинами (случайная дисперсия);

В дисперсионном анализе рассматривается гипотеза Н₀ - и один из рассматриваемых факторов не оказывает влияния на изменчивость признака. Значимость каждой из оценок дисперсии проверяется по величине ее отношения к оценке случайной дисперсии и сравнивается с соответствующим критическим значением, при уровне значимости , с помощью таблиц критических значений F-распределения Фишера-Снедекора. Гипотеза Н₀ относительно того или иного источника изменчивости отвергается, если F_расч>F_кр. В дисперсионном анализе рассматриваются эксперименты 3 видов:

1. эксперименты, в которых все факторы имеют систематические (фиксированные) уровни;

2. эксперименты, в которых все факторы имею случайные уровни;

3. эксперименты, в которых есть факторы, имеющие случайные уровни, а так же факторы, имеющие случайные уровни.

Двухфакторный дисперсионный анализ с повторениями представляет собой более сложный вариант однофакторного анализа, включающего более чем одну выборку для каждой группы данных. Двухфакторный дисперсионный анализ позволяет статистически обосновать существенность влияния факторных признаков А и В взаимодействия факторов (А и В) на результативный фактор F.

Двухфакторный дисперсионный анализ без повторений позволяет оценить существенность воздействия факторов А и В на результирующий фактор без учета воздействия взаимодействии факторов А и В.



46. Оценка методом наименьших квадратов коэффициентов регрессии

Регрессионный анализ - один из основных методов современной мат статистики. Корреляционный анализ позволяет установить существует или не существует зависимость м/у парами наблюдений, то регрессионный анализ дает целый арсенал методов построения соответствующих зависимостей. Классическим методом оценивания коэффициентов уравнения регрессии является метод наименьших квадратов (МНК).

На основании известных n пар наблюдений (x_i, y_i) делается предположение о виде зависимости, например:

y=a+bx,

где y - зависимая (результативная) переменная, х - независимая (факторная) переменная.

Пусть переменная x задается точно (без ошибок), тогда отклонение наблюдений y_i от зависимости y=a+bx является случайным и параметры a и b можно найти из условия минимизации суммы квадратов ошибок

е_i=y_i-a-bx_i

S= е_i²> min,

S= ( y_i-a-bx_i)²> min,

Эта система носит название системы нормальных уравнений Гаусса, т.к. получена из условия минимизации суммы квадратов отклонении, в предположении, что x_i - фиксированы, т.е. отклонения перпендикулярны оси ОХ.