Обобщенный метод наименьших квадратов

Размещено на http://www.allbest.ru/

1. Обобщенный метод наименьших квадратов

Вопрос об эффективности линейной несмещенной оценки вектора в для обобщенной регрессионной модели решается с помощью следующей теоремы.

Теорема Айткена. В классе линейных несмещенных оценок вектора в для обобщенной регрессионной модели оценка

b* = (X'Щ?№X)?№X'Щ?№Y

имеет наименьшую ковариационную матрицу.

Доказательство. Убедимся в том, что оценка b* является несмещенной. Учитывая обобщенную линейную модель множественной регрессии (Y = X в + е), представим ее в виде:

b* = (X'Щ?№X)?№X'Щ?№(Xв + е) = (X'Щ?№X)?№(X'Щ?№X)в + (X'Щ?№X)?№X'Щ?№е = в + (X'Щ?№X)?№X'Щ?№е.

Математическое ожидание оценки b*, т.е. М(b*) = в, ибо М(е) = 0, т.е. оценка b* есть несмещенная оценка в.

Для доказательства оптимальных свойств оценки b* преобразуем исходные данные - матрицу X, вектор Y и возмущение е к виду, при котором выполнены требования классической модели регрессии.

Из матричной алгебры известно, что всякая невырожденная симметричная (n*n) матрица А допускает представление в виде А=РР', где Р - некоторая невырожденная (n*n) матрица.

Поэтому существует такая невырожденная (n*n) матрица Р, что

Щ = РР'

(представление матрицы Щ в виде Щ = РР' не единственно, но для нас это не имеет значения).

Учитывая свойства обратных квадратных матриц, т. е.

(AВ) ?№= В?№А?№ и (Р') ?№ = (P?№)' , это означает, что

Щ?№=(P ?№)' P ?№

Заметим, что если обе части равенства (умножить слева на матрицу PЇ№, а справа -- на матрицу (Р') Ї¹=(РЇ¹)', то в произведении получим единичную матрицу.

Действительно,

РЇ¹ Щ (Р') ?№ = РЇ¹ РР')(Р') ?№ =(Р ?№Р)Р'(Р') ?№ =Е _п.т.е.РЇ¹ Щ (P ?№)' = Е_п.

Теперь, умножив обе части обобщенной регрессионной модели

Y=X в + е на матрицу РЇ¹ слева, получим

Y.=Х. в + е.,

Где

У = РЇ¹ Y, Х.=РЇ¹ X, е.=РЇ¹ е.

Убедимся в том, что модель Y=Х в + е удовлетворяет всем требованиям классической линейной модели множественной регрессии:

М(е.) =М(РЇ¹ е)=РЇ¹ М (е) = 0, ибо М(е) = 0;

Уе. = М(е. е '.) = М [(РЇ¹ е )( РЇ¹ е') '] =М [РЇ¹ е е'(РЇ¹ ) ']=

= РЇ¹ М(е е ')( РЇ¹)'= РЇ¹ Щ(РЇ¹ ) '= Е_п

r(X)=p + 1 < n (так как матрица Р - невырожденная).

Следовательно, на основании теоремы Гаусса--Маркова наиболее эффективной оценкой в классе всех линейных несмещенных оценок является оценка

Ь* =(Х. 'Х.) Ї¹ X.'Y.

Возвращаясь к исходным наблюдениям X и Y и учитывая Щ?№=( P ?№)' P?№, получим

b*=[(PЇ¹X) c(PЇ¹X)] Ї¹(PЇ¹ X)'PЇ¹Y =

=[X '(PЇ¹ )'PЇ¹X] Ї¹X '(PЇ¹ ) ' PЇ¹Y=(X 'Щ Ї¹X) Ї¹ X 'Щ Ї¹Y,

т. е. выражение b* = (X'Щ?№X)?№X'Щ?№Y, что и требовалось доказать.

Нетрудно проверить, что в случае классической модели, т. е. при выполнении предпосылки Уе = Щ = у²Е_п , оценка обобщенного метода наименьших квадратов b* (b* = (X'Щ?№X)?№X'Щ?№Y) совпадает с оценкой «обычного» метода b.

При выполнении предпосылки 5 о нормальном законе распределения вектора возмущений е можно убедиться в том, что оценка b* обобщенного метода наименьших квадратов для параметра в при известной матрице Щ совпадает с его оценкой, полученной методом максимального правдоподобия.

Оценка b* = (X 'X) Ї¹ X'Y является точкой минимума по b остаточной суммы квадратов

S = . = e. 'e. =(Y.-X.b) '(Y.-X.b).

Переходя к исходным наблюдениям,

S = [PЇ¹ (Y-Xb]'[PЇ¹ (Y-Xb)] = = (Y- Xb) ' (PЇ¹ ) ' PЇ¹ (Y - Xb) = (Y- Xb) '

ЩЇ¹ (Y- Xb) =е' ЩЇ¹е,

т. е. оценка b* обобщенного метода наименьших квадратов может быть определена как точка минимума обобщенного критерия е' ЩЇ¹е .

Следует отметить, что для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации вычисленный по формуле

RІ=1-

(где b* -- оценка обобщенного метода наименьших квадратов (b* = (X'Щ?№X)?№X'Щ?№Y)), не является удовлетворительной мерой качества модели. В общем случае R² может выходить даже за пределы интервала [0;1], а добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению).

Причина состоит в том, что разложение общей суммы квадратов Q на составляющие Q_r и Q_e выводилось в предположении наличия свободного члена в обобщенной модели. Однако, если в исходной модели содержится свободный член, то мы не можем гарантировать его присутствие в преобразованной модели (Y = Х в + е.). Поэтому коэффициент детерминации R² в обобщенной модели может использоваться лишь как весьма приближенная характеристика качества модели.

В заключение отметим, что для применения обобщенного метода наименьших квадратов необходимо знание ковариационной матрицы вектора возмущений Щ, что встречается крайне редко в практике эконометрического моделирования. Если же считать все п(п+1)/2 элементов симметричной ковариационной матрицы Щ неизвестными параметрами обобщенной модели (в дополнении к (p+1) параметрам в_i), то общее число параметров значительно превысит число наблюдений п, что сделает оценку этих параметров неразрешимой задачей. Поэтому для практической реализации обобщенного метода наименьших квадратов необходимо вводить дополнительные условия на структуру матрицы Щ. Так мы приходим к практически реализуемому (или доступному) обобщенному методу наименьших квадратов.

2. Разложение временного ряда в ряд Фурье

Преобразование Фурье -- операция, сопоставляющая функции вещественной переменной другую функцию вещественной переменной. Эта новая функция описывает коэффициенты («амплитуды») при разложении исходной функции на элементарные составляющие -- гармонические колебания с разными частотами.

Преобразование Фурье функции f вещественной переменной является интегральным преобразованием и задается следующей формулой:

Отметим, что разные источники могут давать определения, отличающиеся от приведенного выбором коэффициента перед интегралом, а также знака «-» в показателе экспоненты. Все свойства в этом случае будут аналогичны, хотя вид каких-то формул может измениться.

Кроме этого, существуют разнообразные обобщения этого понятия, которые будут приведены ниже.

Свойства

Хотя формула, задающая преобразование Фурье, имеет ясный смысл только для функций класса , преобразование Фурье может быть определено и для более широкого класса функций, и даже обобщённых функций. Это возможно благодаря ряду свойств преобразования Фурье:

· Преобразование Фурье является линейным оператором:

· Справедливо равенство Парсеваля: если , то преобразование Фурье сохраняет L₂-норму:

Это свойство позволяет по непрерывности распространить определение преобразования Фурье на всё пространство . Равенство Парсеваля будет при этом справедливо для всех .

· Формула обращения:

справедлива, если интеграл в правой части имеет смысл. В частности, это верно, если функция f является достаточно гладкой. Если , то формула также верна, поскольку равенство Парсеваля позволяет придать интегралу в правой части смысл с помощью предельного перехода.

Эта формула объясняет физический смысл преобразования Фурье: правая часть -- (бесконечная) сумма гармонических колебаний e^iщx с частотами щ, амплитудами и фазовыми сдвигами соответственно.

· Теорема о свертке: если , тогда

, где

Эта формула может быть распространена и на случай обобщённых функций.

· Преобразование Фурье и дифференцирование. Если , то

Из этой формулы легко выводится формула для n-й производной:

Формулы верны и в случае обобщённых функций.

· Преобразование Фурье и сдвиг.

Эта и предыдущая формула являются частными случаями теоремы о свёртке, так как сдвиг по аргументу -- это свёртка со сдвинутой дельта-функцией д(x ? x₀), а дифференцирование -- свёртка с производной дельта-функции.

· Преобразование Фурье и растяжение.

· Преобразование Фурье обобщённых функций. Преобразование Фурье можно определить для широкого класса обобщённых функций. Определим вначале пространство гладких быстро убывающих функций (пространство Шварца):

Ключевым свойством этого пространства является то, что это инвариантное подпространство по отношению к преобразованию Фурье.

Теперь определим его двойственное пространство . Это некоторое подпространство в пространстве всех обобщённых функций -- так называемые обобщённые функции медленного роста. Теперь для функции её преобразованием Фурье называется обобщённая функция , действующая на основные функции по правилу

Например, вычислим преобразование Фурье дельта-функции:

Таким образом, преобразованием Фурье дельта-функции является константа .

Применения преобразования Фурье

Преобразование Фурье используется во многих областях науки -- в физике, теории чисел, комбинаторике, обработке сигналов, теории вероятностей, статистике, криптографии, акустике, океанологии, оптике, геометрии, и многих других. В обработке сигналов и связанных областях преобразование Фурье обычно рассматривается как декомпозиция сигнала на частоты и амплитуды, то есть, обратимый переход от временномго пространства (time domain) в частотное пространство (frequency domain). Богатые возможности применения основываются на нескольких полезных свойствах преобразования:

· Преобразования являются линейными операторами и, с соответствующей нормализацией, также являются унитарными (свойство, известное как теорема Парсеваля или, в более общем случае как теорема Планшереля, или в наиболее общем как дуализм Понтрягина).

· Преобразования обратимы, причём обратное преобразование имеет практически такую же форму, как и прямое преобразование.

· Синусоидальные базисные функции (вернее, комплексные экспоненты) являются собственными функциями дифференцирования, что означает, что данное представление превращает линейные дифференциальные уравнения с постоянными коэффициентами в обычные алгебраические. (Например, в линейной стационарной системе частота -- консервативная величина, поэтому поведение на каждой частоте может решаться независимо.)

· По теореме о свёртке, преобразование Фурье превращает сложную операцию свёртки в простое умножение, что означает, что они обеспечивают эффективный способ вычисления основанных на свёртке операций, таких как умножение многочленов и умножение больших чисел.

· Дискретная версия преобразования Фурье может быстро рассчитываться на компьютерах, используя алгоритм быстрого преобразования Фурье (БПФ, англ. FFT).

регрессионный модель айткен фурье

Разновидности преобразования Фурье

Многомерное преобразование Фурье

Преобразование Фурье функций, заданных на пространстве , определяется формулой

Здесь щ и x -- векторы пространства , -- их скалярное произведение. Обратное преобразование в этом случае задается формулой

Эта формула может быть интерпретирована как разложение функции f в линейную комбинацию (суперпозицию) «плоских волн» вида с амплитудами , частотами щ и фазовыми сдвигами соответственно. Как и прежде, в разных источниках определения многомерного преобразования Фурье могут отличаться выбором константы перед интегралом.

Замечание относительно области задания преобразования Фурье и его основные свойства остаются справедливыми и в многомерном случае, со следующими уточнениями:

· Взятие частных производных под действием преобразования Фурье превращается в умножение на одноимённую координату:

· Изменяется константа в теореме о свёртке:

· Преобразование Фурье и сжатие координат:

· Более обще, если -- обратимое линейное отображение, то:

Ряды Фурье

Непрерывное преобразование само фактически является обобщением более ранней идеи рядов Фурье, которые определены для 2р-периодических функций и представляют собой разложение таких функций в (бесконечную) линейную комбинацию гармонических колебаний с целыми частотами:

Разложение в ряд Фурье применимо также к функциям, заданным на ограниченных промежутках, поскольку такие функции могут быть периодически продолжены на всю прямую.

Ряд Фурье является частным случаем преобразования Фурье, если последнее понимать в смысле обобщённых функций. Для любой 2р-периодической функции имеем

Иными словами, преобразование Фурье периодической функции представляет собой сумму точечных нагрузок в целых точках, и равно нулю вне их.

Дискретное преобразование Фурье

Дискретное преобразование Фурье -- преобразование конечных последовательностей (комплексных) чисел, которое, как и в непрерывном случае, превращает свёртку в поточечное умножение. Используется в цифровой обработке сигналов и в других ситуациях, где необходимо быстро выполнять свёртку, например, при умножении больших чисел.

Пусть -- последовательность комплексных чисел. Рассмотрим многочлен

Выберем какие-нибудь n точек на комплексной плоскости . Теперь многочлену f(t) мы можем сопоставить новый набор из n чисел:

Заметим, что это преобразование обратимо: для любого набора чисел существует единственный многочлен f(t) степени не выше n ? 1 с такими значениями в соответственно(см. Интерполяция).

Набор {f_k} и называется дискретным преобразованием Фурье исходного набора {x_k}. В качестве точек z_k обычно выбирают корни n-й степени из единицы:

.

Такой выбор продиктован тем, что в этом случае обратное преобразование принимает простую форму, а также тем, что вычисление преобразования Фурье может быть выполнено особенно быстро. Так, в то время как вычисление свёртки двух последовательностей длины n напрямую требует порядка n² операций, переход к их преобразованию Фурье и обратно по быстрому алгоритму может быть выполнен за O(nlog n) операций. Для преобразований Фурье свёртке соответствует покомпонентное умножение, которое требует лишь порядка n операций.

Оконное преобразование Фурье

где даёт (вообще говоря несколько искажённое) распределение частот части оригинального сигнала f(t) в окрестности времени t.

Классическое преобразование Фурье имеет дело со спектром сигнала, взятым во всем диапазоне существования переменной. Нередко интерес представляет только локальное распределение частот, в то время как требуется сохранить изначальную переменную (обычно время). В этом случае используется обобщение преобразования Фурье, так называемое оконное преобразование Фурье. Для начала необходимо выбрать некоторую оконную функцию W, эта функция должна иметь хорошо локализованный спектр.

На практике дискретный спектральный анализ реализован в современных цифровых осциллографах и анализаторах спектра. Используется, как правило, выбор окна из 3--10 типов окон. Применение окон принципиально необходимо, поскольку в реальных приборах исследуется всегда некоторая вырезка из исследуемого сигнала. При этом разрывы сигнала вследствие вырезки резко искажают спектр из-за наложения спектров скачков на спектр сигнала.

Некоторые анализаторы спектра используют быстрое (или кратковременное) оконное преобразование. При нём сигнал заданной длительности разбивается на ряд интервалов с помощью скользящего окна того или иного типа. Это позволяет получать, исследовать и строить в виде спектрограмм динамические спектры и анализировать их поведение во времени. Спектрограмма строится в трёх координатах -- частота, время и амплитуда. При этом амплитуда задаётся цветом или оттенком цвета каждого прямоугольника спектрограммы. Подобные анализаторы спектра называют анализаторами спектра реального времени. Основным их производителем является корпорация Tektronix (США). Такие анализаторы появились в конце прошлого века и ныне бурно развиваются. Частотный диапазон исследуемых ими сигналов достигает сотен ГГц.

Указанные методы спектрального анализа реализуются и в системах компьютерной математики, например, Mathcad, Mathematica, Maple и MATLAB.

Другие варианты

Дискретное преобразование Фурье является частным случаем (и иногда применяется для аппроксимации) дискретного во времени преобразования Фурье (DTFT), в котором x_k определены на дискретных, но бесконечных областях, и таким образом спектр является непрерывным и периодическим. Дискретное во времени преобразование Фурье является по существу обратным для рядов Фурье.

Эти разновидности преобразования Фурье могут быть обобщены на преобразования Фурье произвольных локально компактных абелевых топологических групп, которые изучаются в гармоническом анализе; они преобразуют группу в её дуальную группу. Эта трактовка также позволяет сформулировать теорему свёртки, которая устанавливает связь между преобразованиями Фурье и свёртками. См. также дуализм Понтрягина.

Интерпретация в терминах времени и частоты

В терминах обработки сигналов, преобразование берёт представление функции сигнала в виде временнымх рядов и отображает его в частотный спектр, где щ -- угловая частота. То есть оно превращает функцию времени в функцию частоты; это разложение функции на гармонические составляющие на различных частотах.

Когда функция f является функцией времени и представляет физический сигнал, преобразование имеет стандартную интерпретацию как спектр сигнала. Абсолютная величина получающейся в результате комплексной функции F представляет амплитуды соответствующих частот (щ), в то время как фазовые сдвиги получаются как аргумент этой комплексной функции.

Однако важно осознавать, что преобразования Фурье не ограничиваются функциями времени и временными частотами. Они могут в равной степени применяться для анализа пространственных частот, также как для практически любых других функций.

Таблица важных преобразований Фурье

Следующая таблица содержит список важных формул для преобразования Фурье F(щ) и G(щ) обозначают фурье компоненты функций f(t) и g(t), соответственно. f и g должны быть интегрируемыми функциями или обобщёнными функциями.

Помните, что соотношения в этой таблице и в особенности множители такие как , зависят от соглашения, какая форма определения для Фурье преобразования использовалась прежде (хотя в общем виде соотношения, конечно, правильны).

Список использованных источников и литературы

1. Афонский А.А., Дьяконов В.П. Цифровые анализаторы спектра, сигналов и логики. Под ред. проф. В.П. Дьяконова -- М: СОЛОН-Пресс, 2009. -- С. 248.

2. Дьяконов В.П. MATLAB 6.5 SP1/7.0/7.0 SP1 + Simulink 5/6/ Обработка сигналов и проектирование фильтров -- М: СОЛОН-Пресс, 2005. -- С. 676.

3. Сергиенко А.Б. Цифровая обработка сигналов -- 2-е. -- Спб: Питер, 2006. -- С. 751.

4. М.А. Павлейно, В.М. Ромаданов Спектральные преобразования в MatLab -- СПб, 2007. -- С. 160.

Размещено на Allbest.ru