Информационная система комплексного менеджмента

Итак, основными достоинствами Apache считаются надежность, относительная устойчивость к взлому и гибкость конфигурации. Он позволяет подключать внешние модули для предоставления данных, использовать СУБД для аутентификации пользователей, модифицировать сообщения об ошибках и т.д. Достоинства Web-сервера Apache:

· Модульность структуры;

· Открытая архитектура (можно скачать как исходный код, так и откомпилированный вариант);

· Работоспособность под несколькими платформами;

· Бесплатное распространение;

· Возможность работы с CGI программами;

· Управление доступом средствами сервера;

· Контроль за доступом по имени домена/IP-адресу.

2.5 Выбор программно-аппаратной платформы разработки информационной системы

Поскольку, сервисы, реализуемые информационной системой должны удовлетворять следующим условиям:

1 Высокая производительность.

2 Отказоустойчивость.

3 Высокая степень доступности.

В связи с этим пунктами, была разработана программно-аппаратная платформа информационной систем, основанная на современных технологиях кластеризации сервисов.



Рисунок 2.4

2.5.1 Обеспечение отказоустойчивости решения

При подходе к проектированию отказоустойчивости платформы были выбраны следующие критерии и рамки к аппаратному и программному обеспечению:

1 Четыре сервера архитектуры x86 на базе процессора Intel Xeon Quad Core с тактовой частотой не менее 2,5 Ггц. Сервера должны быть укомплектованы:

· двумя сетевыми интерфейсами.

· объемом оперативной памяти не менее 8 Гб и

· контроллером жестких дисков с поддержкой RAID 1.

· для формирования массива RAID 1 должны быть использованы SCSI (SAS) диски объемом не менее 72 ГБ каждый со скоростью вращения цилиндров не менее 10000 rpm.

2 В качестве операционной системы серверов выбран продукт Windows Server 2003 Enterprise Edition R2 SP2 32 bit English.

3 Доступ к web-приложению будет осуществляться посредством IIS (версии 2.0) + PHP не ниже версии 5.0. (узлы кластера сервера web-приложений Apache1, Apache2)

4 В качестве СУБД выбран Microsoft SQL Server 2005 Enterprise Edition 32 bit SP2 English (узлы кластера сервера СУБД MS SQL1, MS SQL2).

5 Внешний дисковый массив (система хранения данных) с поддержкой RAID 1,5 и количеством дисков не менее 10 на корзину.

2.5.2 Использование failover кластера (отказоустойчивого кластера)

Failover кластер создается для обеспечения высокой доступности сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов - два, это минимальное количество, приводящее к повышению доступности.

Операционная система Windows Server 2003 релиз Enterprise предоставляет возможность создания конфигурации отказоустойчивого кластера. В кластере будут работать следующие сервисы:

1. Microsoft SQL Server со всеми его службами и сервисами.

2. Apache 2.0.

Внешний дисковый массив будет использоваться в качестве дискового пространства для хранения конфигурационных файлов и файлов баз данных SQL сервера. Пространство дискового массива будет разбито следующим образом:

Таблица 2.1. Разбиение дискового простанства на системе хранения данных

1 ая Дисковая группа (Raid 1)	2 ая Дисковая группа (Raid 5)
Служит для хранения конфигурационных файлов кластера SQL сервера	Служит для хранения баз данных Microsoft SQL Server'а

2.5.3 Принцип функционирования кластера

Как видно из логической схемы программно-аппаратного комплекса «Дети. Кино. Музыка. Интернет» в существующем кластере будет 2 узла. Сервисы и службы Microsoft SQL Server'а и Apache будут представлять собой единую кластерную группу, то есть при выходе из строя одного из сервисов на одном узле, сервисы будут запущены на другом узле. Один сетевой интерфейс на каждом сервере будет использован для выхода в общую сеть программно-аппаратного комплекса, а еще один будет использован для функционирования кластера (требования производителя). Эти интерфейсы будут входить в подсеть heartbeat (выделенный и изолированный от общей сети vlan). VLAN - виртуальная локальная вычислительная сеть.VLAN могут являться частью большой LAN, имея определенные правила взаимодействия с другими VLAN, либо быть полностью изолированными от них.

2.5.4 Персональный компьютер пользователя (Клиент)

Персональный компьютер на базе процессора Intel Pentium IV; 2048 Mb оперативной памяти; от 50 Gb свободного дискового пространства; Операционная система MS Windows XP/2003/Vista с поддержкой русского языка; Web-браузер Microsoft Internet Explorer v. 6.0 и выше; Для работы в локальной сети на всех компьютерах, участвующих в работе, должен быть установлен сетевой адаптер FastEthernet. Минимальная полоса пропускания при работе в сети должна составлять 100 Мбит/с.

3. Разработка информационной системы

3.1 Проверка закона распределения данных по критериям К. Пирсона (критерии согласия)

При проектрировании и планировании модулей информационный системы для оптимизации распределения вычислительных процессов использовался закон распределения данных К. Пирсона, с целью наиболее эффективного планирования нагрузки на ядро информационной системы.

Имеется семейство распределений F (например, всех непрерывных распределений), и есть гипотетический член семейства F₀ F. По выборке x_1, x₂,…, x_n реализаций с.в. проверяется гипотеза Н: F₀(x). Если распределение F₀ полностью задано (а его возможные параметры известны), то говорят, что гипотеза Н простая. Если же имеем целое параметрическое семейство распределений {F₀ (x;)} F, и значения параметра (параметров) неизвестны и их нужно оценить по выборке, то гипотеза Н сложная.

Заметим, что, русский эквивалент «критерий согласия» английского термина «goodness-of-fit tests» крайне неудачен. В самом деле, в случае непрерывной с.в. её ф.п.в. f(x) определяется счётным множеством значений аргумента x при рациональных значениях x. Между тем мы всегда имеем выборку x_1, x₂,…, x_n конечного объёма n. Ясно, что нельзя однозначно идентифицировать f(x) по её поведению в конечном числе точек, даже если бы мы наблюдали непосредственно f(x), а не её проявление - выборочные значения с.в. f(x). Поэтому скорее эти критерии можно назвать критериями несогласия: если выборочные значения заметно не согласуются с гипотетической f(x), то гипотеза о том, что данные имеют это распределение, должна быть отвергнута.

I. Критерии типа ².

Первый из критериев согласия был предложен в 1901 г. К. Пирсоном и получил название ². Критерии такого типа и сейчас широко используются из-за их универсальности: они приложимы к дискретным и непрерывным распределениям, одномерным и многомерным данным.

Итак, пусть проверяется простая гипотеза H: F₀ (x). Рассмотрим разбиение области значений E с.в. , порождающей выборку x_1, x₂,…, x_n, на ячейки E _j, j = 1, 2, … k, причём E _j E _l = при j l, и E ₁ E ₂ … E _k = E_. Пусть число попаданий x_1, x₂,…, x_n в E _j (частота попаданий) есть r_j, а вероятность попадания

p_j = , j = 1, …, k. (1)

Пирсон решил, что разности r_j - n p_j между частотами и ожидаемыми числами попаданий выражают меру несоответствия данных с F₀, и он нашёл подходящую функцию от этих разностей как меру несоответствия. При этом Пирсон опирался на положения:

1) Случайный вектор r = (r₁,…, r_k-1)^T R^{k - 1} имеет мультиномиальное распределение, и если Н верна, то это распределение с параметрами p_1,…, p_k-1: r M (n; p_1,…, p_{k - 1)} (это не описка: мы рассматриваем k ячеек разбиения, но r₁ + … + r_k = n, и r_k = n - r₁ - … - r_{k - 1;} с другой стороны, p₁ + p₂ + … + p_k = 1, так что p_k = 1 - p₁ - … - p_k-1; поэтому только k - 1 частот являются независимыми). Действительно, рассмотрим x_i - i-ый член выборки. Для него возможно наступление взаимно исключающих событий x_i E_1, x_i E_2,…, x_i E_k, причём вероятности наступления этих событий p_1,…, p_k одинаковы для всех i = 1, …, n. Введём функцию-индикатор

и рассмотрим вектор h_i = (h_i^(1),…, h_i^{(k - 1))T} R ^{k - 1.} Для с.в. x_i возможны k исходов {x_i E_j}, j = 1,…, k, так что с.в. h_i имеет мультиномиальное распределение. Когда Н верна, h_i M (1; p_1,…, p_{k - 1)}. Если M (1; p_1,…, p_{k - 1)}, то её х.ф. (t) = (t_1, …, t_{k - 1)} = (С. Уилкс «Математическая статистика», 1967, стр. 153), откуда легко вычислить E{_j } = p_j, Var{_j } = p_j - p_j^2, cov{_j^, _l} = - p_j p_l, j = 1,…, k-1; l = 1,…, k-1; l j.

В векторном виде два низших момента (и её выборочной реализации h _i) запишутся в виде:

E{} = p = , cov{_, } = = || _jl p_j - p_j p_l || R ^{(k - 1) x (k - 1).} (2)

Вернёмся к вектору r. Так как члены выборки - независимые одинаково распределённые с.в., то очевидно, что

r = (*)

будет иметь мультиномиальное распределение M (n; p_1,…, p_{k - 1)} (это вытекает из воспроизводимости мультиномиального распределения по n - числу испытаний). Из (2) и (*) легко найти м.о. и ковариационную матрицу для r:

E{r } = n p, cov {r, r} = n = || n( _jl p_j - p_j p_l)||, j, l = 1, …, k-1, (2')

а для M (n; p_1,…, p_{k - 1)} вероятность события {₁ = r_{1, 2} = r_2,…, _{k -1} = r_{k -1} } равна

Prob{₁ = r_1,…, _k-1 = r_k-1 } = (3)

2) Если r M (n; p_1,…, p_{k - 1)}, то, согласно многомерному варианту ц.п.т. (см. С. Уилкс, стр. 269 - 270), при n

r - n p N _{k - 1} (0, n ), а y = N _{k - 1} (0, ), (**)

Действительно, согласно (*), r - сумма n одинаково распределённых и независимых слагаемых h_i что доказывает первое утверждение. Справедливость второго вытекает из усиленной воспроизводимости многомерного нормального распределения.

3) Если y N_q (), > 0, то квадратичная форма Q = (y - )^{T - 1} (y - ) _q² (это утверждение доказано в теореме 2.3 книги М.В. Уфимцева «Методы многомерного статистического анализа», изд. МГУ, 1997 г.).

4) Для y = эта форма Q имеет вид

X ² = (p_k = 1 - p₁ - … - p_k-1; r_k = n - r₁ - … - r_{k -1}). (4)

Действительно, непосредственным перемножением матриц и ^{- 1} можно проверить, что

^{- 1} = || _jl / p_j +1 / p_k ||, j, l = 1, …, k - 1: (5)

( ^{- 1)}_ll = p_l / p_l - p_l + p_l / p_k - p_l / p_k = 1 - p_l + p_l / p_k - p_l / p_k + p_l = 1;

( ^{- 1)}_{lj, l j} = = p_l / p_k - p_l - p_l / p_k = p_l / p_k - p_l - p_l / p_k + p_l = 0.

Так как асимптотически y N _{k - 1} (0, ), то в силу определения y и (5) квадратичная форма

Q =

== X ².

Тогда, согласно утверждению 3, с.в. X ² имеет асимптотически распределение _k-1 ² независимо от формы гипотетического распределения F₀ (x), т.е. статистика X ² является свободной от распределения.

Можно показать (см. [2], стр. 290; [3], стр. 559), что статистика Пирсона X ² асимптотически эквивалентна статистике отношения правдоподобия (ОП). Пусть верна Н ( F₀ (x)); переобозначим вероятности в формуле (1) как p_01, …, p_{0 k}. Тогда ФП для Н, согласно (3), равна

L(p_01, …, p_{0 k}; r₁, …, r_k) = n! . (6)

Альтернативой К служит любая ф.р. F₁ (x), для которой при данном разбиении ячеек E _1, E ₂,…, E _k найдётся хотя бы один номер j такой, что

p_{1 j} = . (1')

Таким образом, при группировке в ячейки речь идёт о возможности различать распределения, имеющие разные вероятности (1), (1'), т.е. на самом деле вместо Н проверяется гипотеза, что для , порождающей выборку, вероятности попадания в ячейки равны p_01, …, p_{0 k}. Тогда F₁ (x) соответствует ФП

L(p_11, …, p_{1 k}; r₁, …, r_k) = n! . (6')

Так как вероятности {p_{1 j}} заранее неизвестны, в отличие от {p_{0 j}}, найдём безусловный максимум для ФП (6'). Перейдя к логарифмам, имеем:

LL (p; r) = ln L (p; r) = ;

дифференцируем по p_1j и приравниваем производные к 0. С учётом того, что p_{1 k} = 1 - p₁₁ - … - p_1k-1, получим

, j = 1, 2, …, k - 1,

откуда в стационарной точке p_{1 j} пропорциональна r_j. Вспомнив, что {p_{1 j}} нормированы на 1, получим МП-оценку в случае альтернативы F₁(x): , j = 1, 2, …, k - 1. Нетрудно проверить, что найденное решение соответствует максимуму ФП (для этого нужно устремить p_{1 j} к 0 или к 1). Значение L в точке максимума равно

L _max = = . (7)

Обозначая n p_{0 j} = a _j, запишем ОП в виде

= . (8)

Логарифмируя (8), получим

-2 ln = -2. (9)

Если Н истинна, то E{r_j } = a_j, {r_j } = , а по неравенству Чебышева {r_j } как раз определяет характерные отклонения с.в. r_i - a_i. Поэтому можно разложить логарифм в правой части (9) по степеням n ^-1/2 и получить, учитывая, что :

G ² =

= + O(n ^{- 1 / 2)}. (10)

Поэтому статистика ОП G ², равная -2ln , асимптотически эквивалентна статистике X ². Поскольку для критерия ОП критическими являются малые значения , то из доказанной эквивалентности с.в.

G ² = -2 ln = 2 X ² (11)

следует, что критическими являются большие значения X², и Н отвергается, если X ² > _{k-1, 1 -} ².

В случае сложной гипотезы Н: x_1, x₂,…, x_n F₀ (x;), причём значение q-мерного параметра неизвестно, рассмотрение Пирсона не проходит, так как оценка - с.в. и в частности, E{r_j - np_j ()} = n(p_j() - E{p_j ()}) Здесь вероятности

p_j() = , j = 1, …, k. (1»)

Фишер (1924) показал, что в случае сложной гипотезы статистика

X ²() = (4')

не распределена как _k-1 ², а её распределение зависит от метода оценивания . Фишер предложил использовать оценку максимального правдоподобия (МП-оценку), основанную на частотах r_j попадания в ячейки (мультиномиальную МП-оценку). В силу (3) ФП имеет вид

L(; r₁, …, r_k) = n! , (6»)

и тогда, логарифмируя (6»), беря производную логарифма ФП по _l, l = 1, …, q и приравнивая её к 0, получим систему уравнений МП, однородную по r_j:

= 0, l = 1, …, q. (12)

Вернёмся немного назад и приведём иной вывод асимптотического распределения (4) в случае простой гипотезы, принадлежащий Фишеру (1922). Это рассмотрение позволит нам понять, что изменится при наличии системы уравнений (12) для оценок параметров.

Предположим, что имеются k независимых пуассоновских с.в., из которых j-я имеет параметр np_j. Вероятность того, что первая величина примет значение r₁, вторая r₂ и т.д., равна

P(r₁, r₂, …, r_k) = = e ^{- n} n ⁿ .

Рассмотрим теперь условную вероятность наблюдения этих значений при фиксированной их сумме . Сумма k независимых пуассоновских с.в. сама имеет распределение Пуассона с параметром . Таким образом, вероятность того, что эта сумма равна n, есть

P = e ^{- n} n ⁿ / n!.

Теперь мы можем получить требуемую условную вероятность:

P(r₁, r₂, …, r_k | ) = = .

Это в точности совпадает с ф.в. (3) мультиномиального распределения. Ранее я доказывал (см. файл NORM.DOC), что нормированная с.в.

_j =

асимптотически нормальна N (01) при n . Следовательно, при при n с.в.

X ² =

представляет собой сумму квадратов k независимых стандартных нормальных величин, подчинённых единственному условию , что эквивалентно условию . Следовательно, согласно примеру 11.6 книги М.Дж. Кендалл, А. Стьюарт «Теория распределений»; М.: «Наука», 1966 с.в. X ² имеет асимптотически распределение ² с k - 1 степенью свободы.

Польза от этого второго доказательства состоит в том, что в совокупности с примером 11.6 оно показывает, что если наложить дополнительно q однородных линейных условий (12) на r_j, то всё влияние этого на асимптотическое распределение X ² будет заключаться в уменьшении числа степеней свободы с (k - 1) до (k - q - 1).

Доказательство асимптотической эквивалентности статистики логарифма отношения правдоподобия (ОП) G ² = -2ln и X ² можно обобщить на случай сложной гипотезы. Отсюда Фишер вывел, что оценка, эквивалентная МП-оценке (12), может быть найдена путём минимизации (4') (метод минимума ²). Необходимое условие экстремума (4') приводит к системе уравнений

, l = 1, …, q (13)

(при получении (13) нужно воспользоваться последней формулой в (4')). Фишером было показано, что если - оценка, получаемая как решение (12) (или (13)) и дающая глобальный максимум (6») (глобальный минимум (4')), то

X ²()_{k - 1 - q}² (14)

(для эквивалентной статистики ОП G²() = -2ln() асимптотическое распределение ² в случае, если Н верна <с числом степеней свободы, равным числу свободных параметров>, было получено при общих предположениях о критерии ОП Уилксом (1938)).

Позднее фон Нейман (1949) получил ещё одну оценку параметров, асимптотически эквивалентную X ²() и G²(): нужно минимизировать по модифицированную X ²

X_m ²() = , (15)

что приводит к системе уравнений

, l = 1, …, q, (16)

то решение задачи глобальной минимизации (15) асимптотически эквивалентно . Нередко (16) легче решить, чем (12) или (13). Однако даже она является нелинейной и обычно требует численного решения. Так, если F₀ (x;) - функция одномерного нормального распределения, E _j = (a _{j - 1,} a _j), а (z) = - ф.р. стандартного распределения N (0 1) (интеграл ошибок), то

p_j () = , (17)

и указанная вероятность (17) вычисляется только численно.

Если же использовать оценки не , а обычные МП-оценки для негруппированных данных, например, в случае нормального распределения использовать обычные МП-оценки

,

то X ²() в (4') не распределена по _{k - 1 - q}². Как показали Chernoff and Lehmann, при использовании МП-оценок для не группированных данных статистика X ²() асимптотически распределена как

X ²() ₀ + , (18)

где _{0, 1}, ₂,…,_q - независимые с.в., причём _{0 k - 1 - q}², _1, …, _{q 1} ², соответственно, а 0 _l - неизвестные числа. Поэтому при заданном размере критерия верные критические точки в этом случае попадают между критическими точками для ²_{k - 1 - q, 1 -} и ²_{k - 1, 1 -} .

Какую же статистику использовать? Показано, что если k фиксировано, а n , то G ² предпочтительнее по мощности. Если же k растёт с n, то мощнее X².

Каковы же рецепты по использованию критерия ²? Вообще говоря, нужно исходить из того, что средняя частота попаданий в каждую ячейку E{r_j } = n p_j должна быть велика, E{r_j } 1, j = 1, …, k, чтобы можно было использовать ц.п.т. (предположение 2). В частности:

1. Mann and Wald (1942) доказали несмещённость критерия ² в случае равновероятного разбиения при простой гипотезе, и поэтому рекомендовали использовать разбиение на ячейки с равновероятными попаданиями p₁ = p₂ = … = p_k = 1/k. Это требование вытекает и из здравого смысла: при равновероятном разбиении величина достигает своего максимального значения, равного n/k. Если гипотеза сложная, то нужно использовать ячейки, равновероятные при значениях параметров, равных вычисленным оценкам.

2. Эти же исследователи обосновали выбор числа ячеек в случае простой гипотезы. Показано, что при равновероятном разбиении следует использовать для выборки объёма n и размера критерия число ячеек

k = 4 , (19)

где c() - (1-) - квантиль стандартного нормального распределения N (0 1): . Более поздние исследования показали, что при стандартном = 0.05 выбор k = 2 n ^{2 / 5} хорош даже при небольших n. Процедуры, реализующие критерий Пирсона, есть во многих статистических пакетах, например, S-PLUS, SPSS, STATISTICA.

Обобщение критериев типа ² основано на использовании общих квадратичных форм. Пусть (здесь означает аргумент функции, а не постоянное истинное значение вектора параметров )

p_j() = , j = 1, …, k. (1» ')

и пусть v_n() - вектор размера k с компонентами . Пусть Q_n = Q_n(x_1, x₂,…, x_n) = Q_n^T R^{k x k}, Q_n 0. Рассматривались статистики типа квадратичных форм

R_n = v_n^T() Q_n v_n(). (20)

Заметим, что статистика Пирсона X ² тоже входит в семейство (20) (ей отвечает Q_n = I _k).

Рао и Робсон [Rao, K.C., and Robson, D.S. (1974) A chi-square statistic for goodness-of-fit within the exponential family. Comm. Statist., 3, 1139-1153] нашли квадратичную форму вида (20), которая имеет асимптотически распределение _{k - 1} ², если подставить в (20) вместо обычную МП-оценку для не группированных данных . Соответствующая матрица равна

Q_n() = I _k + B() [J() - B ^T() B()] ^{- 1} B ^T(), (21)

где матрица B () R^{k x q} и имеет элементы

, j = 1, …k; l = 1, …q,

а J() R ^{q x q} - информационная матрица Фишера для F₀ (x; ). Её rs-ый матричный элемент равен

J_{r s} () = .

Здесь f (x; ) = F₀ (x; ) - ф.п.в. для непрерывных распределений и f (x; ) - ф.в. для дискретных распределений. В матрице (21) нужно взять вместо обычную МП-оценку для не группированных данных .

Заметим, что статистика Рао-Робсона (20) складывается из X ² Пирсона, плюс член, связанный с B () и достраивающий (18) до _{k - 1} ², т.е.

R_n = X ²() + (v_n^T B) [J - B ^T B] ^{- 1} (v_n^T B) ^T (22)

в точке = . Показано, что обычно R_n примерно на 40% мощнее, чем X ² или G ² (это обусловлено отсутствием потери числа степеней свободы в асимптотическом распределении R_{n k - 1} ²).

Тем не менее, при использовании критериев типа ² в случае непрерывных распределений всегда происходит потеря информации при группировке в ячейки. Поэтому для непрерывных с.в. хотелось бы поискать более мощные критерии.

II. Статистики, основанные на эмпирической функции распределения (EDF Tests)

Пусть абсолютно непрерывная с.в. F(x) = P{ x}, и есть выборка x_1, x₂,…, x_n. Построим вариационный ряд x₍₁₎ < x₍₂₎ <… < x _(n). Тогда эмпирическая ф.р. определяется как

F_n(x) = (число наблюдений, x) / n, - < x < , (23)

или более подробно,

(23')

т.е. это ступенчатая функция со скачками в выборочных точках и высотой ступеньки n ^{- 1}. EDF-тесты основаны на вертикальных разностях между F_n(x) и F(x) и подразделяются на супремум-статистики и квадратичные статистики.

Супремум-статистики: примеры их

D⁺ = D- = (24)

и статистика Колмогорова

D = . (24')

Квадратичные статистики. Это семейство Крамера-фон Мизеса

Q = n , (25)

где x - заданная весовая функция. При x 1 имеем статистику Крамера-фон Мизеса W ², а при

x = {F(x) (1 - F(x))}^-1

статистику Андерсона-Дарлинга А².

Теоретическое обоснование для рассмотрения EDF-тестов основано на общем результате теории вероятностей (теорема Гливенко-Колмогорова), следующем из свойств статистики Колмогорова (24') (Уилкс, стр. 350): F_n(x) сходится по вероятности к F(x) (это знал уже Бернулли), причём сходимость по x равномерная (Гливенко, Колмогоров) при n .

Пусть гипотеза Н простая: F(x) - с.в. непрерывного типа. Тогда справедливо вероятностное интегральное преобразование (PIT), или теорема Смирнова: Если F(), то её ф.р. F*(z) = z, 0 z 1, F*(z) = 0 при z < 0, и F*(z) = 1 при z > 1, т.е. с.в. имеет стандартное равномерное распределение R (1/2, 1). Действительно, случаи z < 0 и z > 1 тривиальны. Если 0 z 1, получим

F^*(z) = P{ z} = P {F() z} = P{ F ^{- 1}(z)} = F(F ^{- 1}(z)) = z

(в случае, если решение уравнения z F(x) не единственно, можно условиться понимать под F ^{- 1}(z), например, наименьшее из таких x).

Обозначим z_i F(x_i), i = 1, …, n, и пусть F^*_n(z) - EDF для z_1,…, z_n. Тогда легко показать, что для и , связанных соотношением F(), соответствующие вертикальные разности равны, т.е.

F_n(x) - F(x) = F ^*_n(z) - z = F ^*_n(z) - F^*(z). (26)

Значит, EDF-статистики, вычисленные для z_i, сравниваемой с равномерным распределением, будут иметь те же значения, как если бы они были вычислены из EDF для x_i, сравниваемой с F(x). Иными словами, EDF-критерии свободны от распределения, и достаточно вычислить их процентные точки для случая равномерного распределения. Если вариационный ряд для {z_i } есть z₍₁₎ < z₍₁₎ < … < z_(n), то справедливы формулы (см. гл. 4 книги D'Agostino and M.A. Stephens):

D ⁺ = (i/n - z_(i)), D ^- = (z_(i) - ), D = max{D ⁺, D ^- },

W ² = , A ² = - n - = - n- . (#)

Если же гипотеза Н сложная, т.е. x_1, x₂,…, x_n предполагается взятой из непрерывного распределения F (x;), где вектор параметров неизвестен и его нужно как-то оценить по выборке, то, взяв оценку и вычислив z_(i) F(x_(i); ), мы по-прежнему можем вычислить EDF-статистики по формулам (#), но не сможем апеллировать к теореме Смирнова, чтобы обосновать независимость статистик от проверяемой гипотезы, так как мы не получим упорядоченную равномерную выборку из z_(i), ибо z_(i) теперь зависят от проверяемого распределения, истинных значений параметров, метода оценивания, а также от объёма выборки.

Если неизвестные компоненты вектора - параметры положения и / или масштаба, и они оцениваются подходящими методами (МП), то распределения EDF-статистик не будут зависеть от истинных значений неизвестных параметров, а только от проверяемого семейства и от объёма выборки n. Однако точные распределения EDF-статистик и в этом случае найти трудно, и используется метод Монте-Карло. Для квадратичных статистик W ² и A ² есть асимптотическая теория, и процентные точки этих статистик для конечного n быстро сходятся к асимптотическим. Для D⁺, D ^- и D общей асимптотической теории нет (кроме случая простой гипотезы), и для них используется метод Монте-Карло для расчёта процентных точек.

В случае простой гипотезы EDF-статистики намного мощнее, чем ². Статистика D Колмогорова часто менее мощная, чем W ² и A ². Особенно мощна A ² при различии F_n(x) и F(x) на хвостах распределений. Почти во всех статистических пакетах реализована статистика Колмогорова (в том числе модификация для проверки нормальности, если параметры распределения неизвестны (Lilliefors test в STATISTICA, SPSS), а в STATISTICA есть ещё статистика Андерсона-Дарлинга A ².

III. Критерии согласия для ф.п.в. вида f(w), где w = . Критерии нормальности

Рассмотрим ф.р. вида

dF₀(x; ) = f() d () = f() ,

где параметр сдвига - а - параметр масштаба. Примеры:

(а) нормальное распределение,

f(w) = ,

т.е. в традиционных обозначениях, идущих от К. Пирсона, = , = ;

(б) распределение Коши, f(w)

= ;

(в) Лапласа, f(w)

= , - < x < + ;

(г) трёхпараметрическое гамма-распределение,

f(w) = , x , и f (x - ) = 0

при x < , где p > 0 - число степеней свободы.

Проверяется гипотеза Н: F₀ (x; ). Пусть все параметры распределения F₀ известны, неизвестны только и (в частности, в случае (г) p задано). Пусть w₁, …, w_n - выборка реализаций с.в. f(w), w = (w₍₁₎,…, w_(n))^T - вектор порядковых статистик для неё, и пусть m_i = E{w_(i)}, i = 1, …, n - множество констант. Введём вектор m = (m_1, …, m_n) ^T. Мы можем рассматривать w₁, …, w_n как выборку из F₀(x; ) с = 0 и =1 и можем (при заданных и ) построить выборку x_1, x₂,…, x_n из F₀(x; ), вычисляя

x_i = + w_i, i = 1, …, n. (27)

Так как , то

x_(i) = + w_(i), (27')

и тогда

E{x_(i)} = + m _i. (28)

Введём вектор x = = (x₍₁₎, x₍₂₎, …, x_(n))^T. Тогда в векторном виде

x = 1 + w, (27»)

где вектор 1 = (1, 1, …, 1) ^T R ⁿ.

Соотношение (28) означает, что в плоскости (m_i, x_(i)) точки сосредоточатся примерно на прямой линии с пресечением вертикальной оси в точке и с тангенсом наклона . Квадрат выборочного коэффициента корреляции между m и x равен

, (29)

где . Значение r² должно быть близко к 1 (это следует из теоремы Гёфдинга), а статистика

z = n {1 - r²(x, m)}, (30)

наряду с r²(x, m), также может служить для проверки Н. Гипотеза Н отвергается, если величина z > z - критического значения для размера (корреляционный критерий).

Легко показать, что статистика (29) не зависит от значений и . Из (27») следует, что

.

Тогда статистика (29) перепишется в форме

,

т.е. не зависит от параметров и .

Если вдобавок распределение f(w) симметрично, то для с.в. f(w) имеем E{} = 0. Тогда статистика (29) имеет более простой вид: в этом случае

n , и тогда

= . (29')

где S ² = В частности, для нормального распределения N(, ²) с f(w) = (2) ^{- 1 / 2} exp{-w² / 2}, w = величины m_i - уже знакомые нам нормальные метки. Тогда (29') может служить для проверки нормальности: если для заданного размера критерия выполнено r ² (x, m) < r², то нормальность отвергается (критерий Shapiro - Fransia). Аналогично, если в (30) z > z_, то нормальность нужно отвергнуть.

Этот критерий, основанный на корреляциях, - не единственный критерий для проверки нормальности. К (28) можно подойти и с позиций регрессии. (Вплоть до формулы (33') моё изложение основано на результатах Ллойда: Lloid E.H. (1952) Least-squares estimation of location and scale parameters using order statistics, Biometrika, 39, p. 88). Обозначим через V R ^{n x n} матрицу с элементами V_{i j} = E{(w_(i) - m_i) (w_(j) - m_j)}; это ковариационная матрица для вектора w. Поскольку

x_(i) = + m _i + _i, (28')

где _i, i = 1, …, n - случайные отклонения x_(i) от их м.о. (28), или в векторной форме

x = 1 + m + , E{} = 0, cov{, } = ² V, (31)

Это обобщённые НК-оценки для и , минимизирующие целевую функцию

Q(, ) = (x - 1 - m)^T V ^{- 1} (x - 1 - m), (32)

равны ([3], стр. 126-127)

, (33) где матрица

(34)

(обобщённые НК-оценки будут рассмотрены дальше; сейчас кратко замечу, что если в линейной модели

y = A + ,

где y - вектор измерений, - вектор ошибок, для которого E{} = 0, cov{, } = V; - неизвестный вектор параметров, A - известная матрица данных < для (31) y = x, A = (1: m) R ^{n x 2} >, и ищется минимум целевой функции (y - A ) ^TV ^{- 1}(y - A ), то обобщённая НК-оценка параметров равна

(A ^T V ^{- 1} A) ^{- 1} A ^T V ^{- 1} y.

Осталось подставить нашу матрицу данных A, получить

A ^T V ^{- 1} A =

обратить A ^T V ^{- 1} A и найти и как

.

Предлагается сделать это как домашнее упражнение по МНК).

В случае симметричного распределения для с.в. f(w) распределение с.в. (-) такое же, как для . Отсюда следует, что совместное распределение упорядоченных наблюдений w₍₁₎, w₍₂₎ …, w_(n) такое же, как множества {-w_(n), - w_{(n - 1),} …, - w₍₁₎ }.

Это можно выразить в матричной форме, введя матрицу перестановок J R ^{n x n:}

J = .

При умножении матрицы J на вектор v порядок его элементов меняется на обратный. Матрица J симметричная и ортогональная: J = J ^T = J - ¹, а суммы её элементов по строкам все равны 1: J ^T 1 = 1. Тогда можно записать (-w_(n), - w_{(n - 1),} …, - w₍₁₎₎^T = - J w.

Так как с.в. w и - J w имеют одинаковые распределения, то E {-J w} = E{w} = m, cov {- J w, - J w} = cov {w, w} = V, т.е. (см. лемму 1.3 книги Уфимцева (1997 г.)) m = - J m, V = J V J, и отсюда V ^{- 1} = J V ^{- 1} J.

Возвращаясь к матрице A ^T V ^{- 1} A, легко показать, что в случае симметричного распределения с.в. матрица A ^T V ^{- 1} A - диагональная, т.е. что 1 ^T V ^{- 1} m = 0. Действительно, 1 ^T V ^{- 1} m = 1 ^T (J V ^{- 1} J⁾ (- J m) = - 1 ^T J V ^{- 1} J ² m = - 1 ^T V ^{- 1} m, т.к. 1 ^T J = 1 ^T, J ² = J J ^T = J J ^{- 1} = I_n. Получили равенство d = - d, возможное только при d = 1 ^T V ^{- 1} m = 0.

Тогда обратная матрица (A ^T V ^{- 1} A) ^{- 1} = diag {1/1 ^T V ^{- 1} 1, 1/ m ^T V ^{- 1} m}, и наши оценки (33) переходят в

.

В случае нормального распределения, когда = и = , (см. Кендалл, Стъюарт «Статистические выводы и связи», стр. 126-129), оценки (33) сводятся к

. (33')

(Основания, по которым Ллойд пришёл к первому соотношению (33'): так как - (обобщённая) НК-оценка, то она не хуже всякой другой линейной несмещённой оценки, в частности, , т.е. Var{} Var {}, стало быть, Var{} Var {}. С другой стороны, в общем курсе статистики в теории точечных оценок доказывается, что в случае выборки из нормального распределения является эффективной оценкой параметра этого распределения, откуда Var{} Var {}. Приходим к выводу о равенстве дисперсий: Var{} = Var {}. Но так как эффективная оценка единственна <Кендалл и Стьюарт «Статистические выводы и связи», стр. 34 - 35>, то = ).

На основании этого Shapiro and Wilk предложили статистику отношения оценок (квадрата) масштаба

W = , (35)

где S ² = , R ² = m ^T V ^{- 1} m, c ² = m ^T V ^{- 1} V ^{- 1} m. Множители в (35) гарантируют, что 0 W 1, где W записано в эквивалентном виде

W = = . (35')

В самом деле, если рассмотреть corr ² {V ^{- 1} m, x} - квадрат выборочного коэффициента корреляции, то его можно представить в виде

corr ² {V ^{- 1} m, x} = . (35»)

Нетрудно видеть, что по доказанному n = = 0, и тогда мы получим, что corr ² {V ^{- 1} m, x} = W [0, 1]. Проводя такие же рассуждения, как в случае статистики (29), из (35») нетрудно видеть, что статистика Шапиро_Уилка W не зависит от параметров распределения и .

Если подставить из (33') в (35'), то мы увидим, что алгоритм вычислений следующий:

1. Вычислим вектор a^* = V ^{- 1}m; тогда c ² = || a ^*|| ² = a ^*Ta ^*. Пусть a = a ^* / c.

2. Вычисляем статистику

W = = . (36)

Таким образом, нужны либо 1) нормальные метки m_i и элементы матрицы V (а ещё лучше V ^-1), либо 2) величины a_i; и то, и это - для разных значений n. В статье Шапиро, Уилка (и в упомянутой в начале лекции книге D'Agostino) для умеренных выборок затабулированы матричные элементы V, а для больших n есть асимптотики. Есть также и вычисленные по Монте-Карло значения величин a_i, i = 1,…, n `для 3 < n <= 21, а для 21 < n <= 50 используется их аппроксимация. Точное распределение W при верной Н (нормальность) зависит от n, но не от истинных значений и . Критическими являются малые значения W. Критерий Шапиро-Уилка обычно используется при n 50, а при n > 50 был предложен критерий Shapiro-Fransia (29'). Для проверки нормальности статистика W слегка мощнее W ² и A ² и существенно мощнее D. Функции, реализующие критерий Шапиро-Уилка, есть в составе статистических пакетов SPSS и STATISTICA; фортранная программа вычисления W и проверки нормальности опубликована в журнале «Applied Statistics».

Критерий Шапиро-Уилка предложен в 1965 г. До этого пользовались специальными критериями нормальности, предложенными Пирсоном. Они, собственно, проверяют равенство нулю 3-го и 4-го семиинвариантов. Для справки: если (t) - х.ф. распределения F(x), то коэффициенты разложения её логарифма по степеням i t:

ln (t) =

называются семиинвариантами (кумулянтами) _h. Так как для нормального распределения

ln (t) = it - ² t ² / 2,

то ₃ = ₄ = … = 0. С другой стороны, можно показать (Кендалл и Стъюарт «Теория распределений», стр. 103), что

₃ = ₃, ₄ = ₄ - 3₂ ², (37)

где _j = E{( - E{})^j} - j - ый центральный момент. Впрочем, для нормального распределения равенство ₃ = 0 - очевидное следствие симметричности ф.п.в., а ₄ = 3₂ ² = 3 ⁴ легко подсчитать.

Рассмотрим величины

_{1 3} ³ _{3 2} ^{3 / 2} (асимметрия) и (38)

_{2 4} ⁴ _{4 2} ² - 3 (эксцесс).

Если распределение нормальное, то _{1 2}0. Пирсон счёл это характерным свойством нормального распределения. Рассмотрим выборочные аналоги ₁ и ₂:

b₁ = m₃ / (s ²) ^{3 / 2}, b₂ = m₄ / (s ²) ² - 3, (39)

где m - -ый выборочный центральный момент:

m = . (40)

Из теории вероятностей известно, что если существует E{}, то E{} по вероятности (теорема Хинчина), откуда , = 2, 3, 4, … Функции моментов b₁ и b₂ непрерывно зависят от m b_{1 1}, b_{2 2} по вероятности. Но для нормального распределения _{1 2}0. Поэтому Н: N(.) отвергается, если

(| b₁ | > b_1, ) (| b₂ | > b_2, ) (41)

для заданного размера критерия .

Распределения статистик b₁ и b₂ (а следовательно, и критические значения b_1, и b_{2, )} не зависят от величин и ^. Действительно, введя z_i = (x_i - )/ (т.е. z₁, z₂, …, z_n - выборка из N (0 1)), получим

x_i = z_i + .

Тогда (x_i - ) = (z_i - ) и, например,

,

т.е. зависимости от и нет. На дом: аналогичное рассмотрение для b₂.

Поэтому достаточно затабулировать b_1, и b_2, для N (0 1). Следует отметить, что критерии нормальности Пирсона обычно применимы для выборок большого объёма n порядка сотен или даже тысяч наблюдений.

3.2 Разработка и реализация пользовательского интерфейса

3.2.1 История развития веб-дизайна от технической графики до современных сайтов

Сразу после создания Всемирной паутины, она, прежде всего, использовалась научными учреждениями, правительствами и военными, как средство обмена простой информацией «старого» образца. Так что документы тех времен были очень простыми. В конце концов, ученым и академикам нет особого дела до привлекательности web-страниц.

Первый в мире веб-сайт появился 6 августа 1991 года. http://info.cern.ch/ Его создатель Тим Бернерс-Ли (Tim Burners-Lee) опубликовал на нём описание новой технологии World Wide Web (WWW), основанной на протоколе передачи данных HTTP, системе адресации URI и языке гипертекстовой разметки HTML. Также на сайте были описаны принципы установки и работы веб-серверов и веб-браузеров. Сайт стал и первым в мире интернет-каталогом, так как позже Тим Бернерс-Ли разместил на нём список ссылок на другие сайты.

Вспомним, какими были первые сайты. Либо - аршинные красные буквы на бирюзовом фоне (сейчас такие сайты заводят школьники на narod. ru, да и то кажется пародией), либо - очень красивые, очень тяжелые и совершенно нефункциональные ресурсы. Явно дорогие. Явно сделаны профессионалами. Но - профессионалами в какой-то совершенно иной сфере. Красота и функциональность не находили точек соприкосновения. Уродство, правда, тоже - но уродливые сайты, по крайней мере, дешевле обходились владельцам.