Статистический анализ многомерных неоднородных данных в программной среде R
Знакомство с возможностями среды статистических вычислений R для классификации многомерных неоднородных ассиметричных данных. EM алгоритм как общий метод для нахождения оценок максимального правдоподобия параметров моделей по данным с пропусками.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | реферат |
Язык | русский |
Дата добавления | 14.12.2014 |
Размер файла | 449,2 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
15
Статистический анализ многомерных неоднородных данных в программной среде R
Введение
При статистическом анализе многомерных данных из различных областей человеческой деятельности часто возникает проблема неоднородности данных, которая может быть переформулирована как задача классификации [1]. С точки зрения теории вероятности, при решении данной задачи наиболее адекватным является параметрический подход, при котором для описания данных используется модель смеси вероятностных распределений (Finite Mixture Model - FMM) [2]. В качестве базовой модели используется модель смеси нормальных распределений [3], поскольку она наиболее полно изучена теоретически. Однако на практике, например, в задачах генетики, обработки сигналов, медицины и экономики, данные чаще всего демонстрируют асимметричное распределение с ярко выраженными тяжелыми хвостами [2]. Поскольку нормальное распределение является симметричным, требуется использование модели асимметричных распределений, в частности скошенного нормального распределения [4]. В условиях указанной модели для одновременной оценки параметров и классификации наблюдений традиционно используется итерационный алгоритм расщепления смесей распределений [1], который в англоязычной литературе имеет название Expectation-Maximization (EM) [5].
Существует множество реализаций EM алгоритма для некоторых из перечисленных выше задач, но для научных исследований представляется наиболее удобным использование реализаций данного алгоритма из специализированных библиотек среды статистического программирования R [6]. В данных библиотеках реализованы различные версии EM алгоритма для классификации как симметричных, так и асимметричных одномерных и многомерных наблюдений. Более того, язык программирования R позволяет относительно быстро разрабатывать и тестировать новые алгоритмы.
Основной целью данной работы является изучение возможностей среды статистических вычислений R для классификации многомерных неоднородных ассиметричных данных с помощью EM алгоритмов, в частности, классификации многомерных данных по финансовой отчетности предприятий из ранее проведенного исследования [7]. Таким образом, объектом данного исследования является модель смеси многомерных распределений, а предметом исследования - классификация неоднородных данных с помощью EM алгоритмов расщепления смесей распределений. Основными задачами являются: подготовка обзора по соответствующим реализациям EM алгоритмов в R, проверка работоспособности данных алгоритмов на модельных данных, а также адаптация указанных алгоритмов для задачи оценивания кредитных рейтингов предприятий.
1. Обзор литературы
1.1 EM алгоритмы для FMM
статистический вычисление неоднородный ассиметричный
EM алгоритм является общим методом для нахождения оценок максимального правдоподобия параметров моделей по данным с пропусками [7]. В случае FMM пропусками являются все значения категориальной переменной, обозначающей принадлежность наблюдения к одной из компонент смеси распределений. Данная переменная называется переменной классификации. Примером такой переменной может служить переменная, классифицирующая пациентов согласно категориям заболевания, при наличии клинических данных о состоянии пациентов. При этом предполагается, что значения данной переменной являются СВ или, в общем случае, реализациями случайного процесса, примером которого может быть цепь Маркова.
Существует множество подходов к оцениванию параметров модели FMM, включая метод максимального правдоподобия (Maximum Likelihood-based Inference - ML), байесовский метод на основе метода Монте-Карло c использованием цепи Маркова (Bayesian approach based on Markov chain Monte Carlo), онлайн EM алгоритм (Online EM)[2]. Как правило, последние методы являются более эффективными в вычислительном плане, позволяя оценивать параметры смесей в более жестких условиях, таких как большая размерность модели, большой объем данных и т.п. Поскольку в задаче оценивания кредитных [7] рейтингов названные проблемы не являются столь существенными, для данной работы выбраны EM алгоритмы на основе метода максимального правдоподобия, поскольку алгоритмы данного типа имеют более простую реализацию и хорошо представлены в программных библиотеках R [9], о которых пойдет речь в следующем разделе.
Алгоритм EM на базе ML [5] предоставляет общий подход, который может быть применен для FMM с различными распределениями вероятностей. Так, для классификации симметричных данных может быть применен EM алгоритм для расщепления смеси гауссовских (нормальных) распределений [3], а для асимметричных данных - алгоритмы EM расщепления смеси скошенных нормальных и t-распределений Стьюдента [4]. Все указанные алгоритмы в общем случае применимы для случая многомерных данных. Для данных, у которых пропущенные номера классов подчиняются марковской зависимости, также может быть использована специальная версия EM алгоритма с учетом марковской зависимости [7].
1.2 Использование R для анализа FMM
Свободная среда статистического программирования R [6] предоставляет исчерпывающий набор встроенных функций и библиотек расширений для анализа данных с использованием широко круга статистических методов и моделей. Полный список библиотек может быть найден на сайте CRAN [9] в разделе Contributed extension packages, где по ссылке CRAN Task Views все библиотеки расположены по категориям согласно области применения. Для данной работы используются библиотеки из секции Cluster, подсекции Model-Based Clustering, пункта ML estimation.
Перечислим наиболее полезные библиотеки R, которые могут быть использованы в данном исследовании. Во-первых, перечислим некоторые библиотеки, предназначенные для анализа симметричных смесей распределений: EMCluster, FisherEM, teigen, mclust. Библиотека mclust содержит процедуры для моделирования и анализа с помощью EM алгоритма смеси многомерных нормальных распределений, а также сопровождается наиболее полным теоретическим описанием и примерами, которые можно посмотреть в [3]. Во-вторых, единственной библиотекой R, предназначенной для анализа асимметричных данных методом ML является mixsmsn, которая предоставляет средства моделирования и анализа с помощью EM алгоритма смесей одномерных и многомерных асимметричных распределений, являющихся обобщением класса нормальных распределений: скошенных нормальных (Skew.normal) и t-распределений Стьюдента (Skew.t), а также таких асимметричных распределений, как асимметричные слеш-распределения (Skew.slash) и асимметричные засоренные нормальные распределения (asymmetric contaminated-normal - Skew.cn). В скобках указаны обозначения для асимметричных моделей, которые приняты в указанной библиотеке. Также библиотека реализует симметричные модели нормального (Normal) и t-распределения (t). Теоретическое описание для одномерных распределений и EM алгоритма, реализованного в библиотеке mixsmsn приведено в [10].
Для каждой библиотеки R имеется справочное руководство с примерами анализа данных в формате pdf, которое может быть найдено на сайте CRAN на отдельной страницы каждой из библиотек. После установке библиотек также имеется доступ к справке в формате html.
2. Методика исследования
2.1 Описание EM алгоритма
Приведем общее описание EM алгоритма для решения задачи расщепления смесей вероятностных распределений в случае независимых компонент согласно [7]. Для начала определим модель данных и сформулируем задачу. Модель данных типа смеси распределений (FMM) имеет следующее общее представление
где - вектор числовых характеристик,
- априорные вероятности классов, такие что ,
- параметры распределений, ,
- функции плотности распределения (компоненты смеси).
Обозначим через составной вектор всех параметров смеси , - выборку наблюдений, - вектор классификации, где принимает значение номера класса, которому соответствует наблюдение , тогда логарифмическая функция правдоподобия параметров по выборке представляется в виде функционала
,
который можем оптимизировать с помощью различных алгоритмов.
Во многих задачах классификация неизвестна, поэтому возникает задача совместного оценивания параметров и классификации. Такие задачи относится к задачам анализа данных с пропусками, которые успешно решаются с помощью EM алгоритмов. Данные алгоритмы являются итерационными, и для их применения требуется предварительно задать начальные значения параметров модели, а также определить механизм их обновления на каждой итерации. Обозначим через значения соответствующих параметров на k-ой итерации. С помощью формулы Байеса получим апостериорные вероятности для возможных реализаций пропущенных значений классификационной переменной:
,
причем - апостериорная вероятность для реализации вектора классификации .
В частном случае, если является смесью из многомерных нормальных распределений с параметрами и плотностью
где через обозначен составной вектор всех данных параметров независимых параметров из , то в результате максимизации функционала по выборке данных с учетом значений параметров и апостериорных вероятностей на текущей итерации, формулы для обновления оценок параметров принимают вид [1]
,
,
Определим общую схему EM алгоритма. При заданной выборке, заданных законах распределения , начальных значениях параметров , можно использовать итерационный алгоритм последовательного уточнения оценок вектора параметров смеси и вектора классификации выборки. Данный алгоритм относится к классу ЕМ-алгоритмов, широко применяемых в задачах статистического оценивания параметров в условиях априорной неопределенности [1]. При этом k итерация () предлагаемого ЕМ-алгоритма включает два последовательно выполняемых этапа:
- этап Е (Expectation): оценивание при текущих значениях параметров модели апостериорных вероятностей классов , знание которых позволяет оценить вектор классификации выборки;
- этап М (Maximization): обновление оценок параметров смеси из условия максимума логарифмической функции правдоподобия на основании полученных ранее апостериорных вероятностей классов.
Работа алгоритма продолжается до достижения заданного условия остановки [5].
2.2 Примеры ассиметричных распределений
В данном разделе дадим обзор распределений вероятностей, которые могут быть использованы как компоненты смеси . Перечислим только те распределения, которое представлены в программной библиотеке mixsmsn в соответствии с описанием в [10]. Все данные распределения относятся к специальному классу на основе скошенных нормальных распределений SMSN(Scale Mixtures of Skew-Normal distribution), а модели смесей на основе данных распределений формируют класс моделей FMSMSN (Finite Mixures of Scale Mixtures of Skew-Normal distributions), для которых в указанной библиотеки реализованы алгоритмы моделирования данных и анализа с помощью EM алгоритма.
Приведем полный список распределений реализованных в библиотеке с принятыми сокращениями, которые в качестве параметров при вызове функций: нормальное распределение (Normal), асимметричное нормальное распределение (Skew.normal), асимметричное слеш-распределение (Skew.slash) и асимметричное нормальное распределение з засорениями (asymmetric contaminated-normal - Skew.cn), а также t-распределение Стьюдента (t) и его асимметричная версия (Skew.t). Все данные распределения представлены как для одномерного, так и для многомерного случая.
Скошенное N-мерное нормальное распределение (skew-normal) имеет плотность
,
где - функция плотности N-мерного нормального распределения с вектором средних и ковариационной матрицей ,
- функция распределения стандартного нормального закона,
- вектор параметров смещения (асимметричности).
Определим остальные распределения из класса SMSN.
Определение. Случайный вектор имеет распределение из класса SMSN, если
,
где - вектор параметров центрального положения,
- случайный вектор с распределением ,
U - неотрицательная случайная величина, независимая относительно Z, с функцией распределения , - параметр (вектор параметров).
Согласно определению, маргинальная функция плотности случайной величины Y имеет представление
,
где выбор функции определяет конкретное распределение из класса SMSN.
Перечислим частные случаи распределения из класса SMSN, которые реализованы в библиотеке mixsmsn и определим, при каких условиях они относятся к классу :
1) нормальное распределение, если и ;
2) скошенное нормальное распределение, если ;
3) скошенное t-распределение, если - Гамма-распределение;
4) скошенное слеш-распределение, если - Бета-распределение;
5) скошенное нормальное распределение с засорениями (skew-contaminated normal), если U является дискретной случайной величиной, принимающей с вероятностью значение и с вероятностью и значение 1, где .
Модель смеси FMSMSN задается согласно , где компонент смеси с номером l имеет распределение из класса SMSN согласно с параметрами . При этом будем рассматривать только такие смеси, в которых все компоненты имеют распределения одного типа и параметры смешивающей функции распределения равны: .
Для моделей смесей с распределениями из класса SMSN, которые представлены выше, примем соответствующие обозначения (относительно распределения вероятностей для компонент смеси) нормальное - FMNOR, скошенное нормальное - FMSN, скошенное t-распределение - FMST, скошенное слеш-распределение - FMSSL и скошенное нормальное распределение с засорениями - FMSCN.
3. Результаты численных экспериментов
В данной главе приводятся численные эксперименты с использованием моделей типа FMSMSN с распределениями, описанными в разделе 2.2. В разделе 3.1 продемонстрируем использование функций из библиотеки mixsmsn в R: вначале смоделируем выборку асимметричных данных и применим к их анализу EM алгоритм в предположениях симметричности и асимметричности распределений. Последнее необходимо для того, чтобы кроме работоспособности реализованных процедур показать, насколько нарушение предположения о симметричности данных влияет на адекватность результатов. В разделе 3.2 применим EM алгоритм для классификации ненормированных квартальных данных по финансовому состоянию предприятий промышленности в предположении описанных моделей распределений из класса SMSN для сравнения с методикой классификации [7], использующей обычный кластерный анализ в пространстве нормированных коэффициентов.
3.1 Модельные данные
Согласно [10], смоделируем выборку из модели FMSN с компонентами, имеющими скошенное многомерное нормальное распределение размерности . Выберем следующие параметры:
;
,
где и - параметры для первой и второй компонент соответственно.
Оценим параметры и классификацию полученной выборки в условиях двух режимов применения EM алгоритма: в предположении модели FMNOR или модели FMSN. Для сравнения результатов будет использовать статистики информационных критериев AIC, BIC, EDC и ICL [10]. Полученные результаты приведены в таблице 1. Согласно данным результатам, все статистики принимают наименьшие значения для модели FMSN, которая является образующей для выборки данных, что и следовало доказать.
Таблица 1. - Информационные критерии для альтернативных моделей
Модель |
AIC |
BIC |
EDC |
ICL |
|
FMNOR |
7773.877 |
7827.863 |
7821.447 |
7838.332 |
|
FMSN |
7644.406 |
7718.022 |
7709.274 |
7723.102 |
Также, на рисунке 1 визуализирована используемая выборка данных с нанесением контурных линий, где слева нанесены контурные линии для случая оценивания модели FMNOR, а справа - FMSN. Согласно данному рисунку, графическая визуализация в данном случае менее информативна.
Рисунок 1. - Контурные графики для моделей FMNOR, FMSN
Большой интерес вызывает сравнение оцененных классификаций (в предположении различных моделей) с истинной классификацией, обозначающей принадлежность каждого наблюдения к заданной компоненте смеси, для чего, как правило, используются оценки ошибок классификации. Однако последнее оказалось невозможным, поскольку функция генерации выборки данных, реализованная в библиотеке mixsmsn, не предоставляет вектор классификации при генерации данных.
3.2 Реальные данные
Применим EM алгоритм к квартальным данным по финансовому состоянию предприятий (16 кварталов, 300 предприятий, 4800 наблюдений) [7]. Оценим все имеющиеся в библиотеки модели: FMNOR, FMSN, FMSSL, FMSCN, и FMT и FMST. Для оценивания будем использовать ненормированные коэффициенты. Также будем классифицировать выборку на 4 класса, т.е. рассмотрим случай 4 компонент в смеси распределений.
При вычислении некоторых коэффициентов для 4 наблюдений были получены пропущенные значения. Исключив данные наблюдения из анализа, получим выборку из 4796 наблюдений. Применим EM алгоритм для оценивания каждой из перечисленных моделей. В ходе экспериментов при оценивании моделей FMSSL, FMSCN не была достигнута сходимость EM алгоритма, поэтому были получены результаты только для остальных четырех моделей, которые представлены в таблице 2.
Таблица 2. - Информационные критерии для альтернативных моделей
Модель |
AIC |
BIC |
EDC |
ICL |
|
FMNOR |
158380.4 |
161482.2 |
164056.9 |
161956.3 |
|
FMSN |
155541.7 |
159006.1 |
161881.8 |
159468.5 |
|
FMT |
141542.8 |
144644.6 |
147219.2 |
145131.8 |
|
FMST |
140066.1 |
143530.5 |
146406.2 |
144054.5 |
Согласно таблице 2, наилучшее соответствие данным достигнуто при использовании модели FMST (смесь скошенных многомерных t-распределений), поскольку значениями статистик всех информационных критериев для данной модели принимают наименьшее значение.
Также были предприняты попытки оценить все вышеуказанные модели по соответствующим нормированным данным, однако во всех случаях в вычислениях возникли ошибки, что не позволило оценить ни одну из моделей. Последнее может свидетельствовать о неприменимости моделей и алгоритмов из библиотеки mixsmsn к нормированным данным. Это вызывает трудности при сравнении классификации, полученной с помощью кластерного анализа в пространстве нормированных коэффициентов, с классификациями, полученными с помощью указанных алгоритмов по ненормированным данным [7], поэтому здесь данное сравнение не приводится. В целом, оценивание такой выборки данных для данных алгоритмов оказалось довольно трудной задачей (потребовалось довольно много времени для вычислений), поэтому в дальнейших исследованиях предлагается разбить всю выборку данных по кварталам и оценивать получаемые подвыборки отдельно.
Заключение
В данной работе получены следующие результаты:
1) подготовлен обзор по методам и алгоритмам параметрической классификации многомерных неоднородных наблюдений с помощью алгоритмов типа EM, предназначенных для анализа преимущественно асимметричных данных;
2) подготовлен обзор основных программных библиотек для среды статистического программирования R, которые могут быть полезны для решения указанные методы и алгоритмы;
3) проведены эксперименты на модельных и реальных данных, иллюстрирующие особенности применения процедур, реализующих указанные алгоритмы;
4) выявлены недостатки указанного программного обеспечения, как отсутствие вектора истинной классификации при моделировании данных, а также их неприменимость к нормированным данным при анализе данных по финансовому состоянию предприятий.
Приведенные обзор литературы свидетельствует о широкой востребованности данной темы как в научных исследованиях, так и на практике. Обилие программных реализаций соответствующих методов и алгоритмов, в частности в R, дает большие возможности по анализу данных без необходимости самостоятельно писать данные алгоритмы. Однако, ввиду специфичности конкретной задачи, требуется доработка отдельных алгоритмов, что относительно быстро может быть достигнуто при использования языка статистического программирования R.
Библиографический список
1. Айвазян, С.А. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян [и др.]. М. : Финансы и статистика, 1989. - 607 с.
2. Mengersen, K. Mixtures: Estimation and Applications / K. Mengersen, C.P. Robert, D.M. Titterington. - Hoboken, N.J. : Wiley, 2011. - 311 p.
3. Fraley, C. Model-based Clustering, Discriminant Analysis and Density Estimation / C. Fraley, A.E. Raftery // J. of the American Statistical Association. - 2002. -Vol. 97, № 458. - P. 611-631.
4. Basso, R.M. Robust Mixture Modeling Based on Scale Mixtures of Skew-normal Distributions / R.M. Basso, V.H. Lachos, C.R.B. Cabral, P. Ghosh // Computational Statistics & Data Analysis. - 2010. - Vol. 54. - P. 2926-2941.
5. Dempster, A.P. Maximum likelihood from incomplete data via the EM algorithm / A.P. Dempster, N.M. Laird, D.B. Rubin // Journal of the Royal Statistics Society. Ser. B. - 1977. - Vol. 39, № 1. - P. 1-38.
6. The R Project for Statistical Computing : [Electronic resource] / R Foundation. - Mode of access : www.r-project.org. - Date of access : 26.10.2014.
7. Малюгин, В.И. Система статистических кредитных рейтингов предприятий: методика построения, верификации и применения / В.И. Малюгин [и др.] // Банковский Вестник. Исследования банка. - №5. - 2013. - 73 с.
8. Bilmes, J.A. A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models : Technical Report / J.A. Bilmes ; Int. Computer Science Institute, Berkeley CA. - Berkeley,1998. - 13 p.
9. Comprehensive R Archive Network : [Electronic resource] / R Foundation. - Mode of access : http://cran.rstudio.com/index.html. - Date of access : 27.10.2014.
Размещено на Allbest.ru
Подобные документы
Изучение возможностей среды статистических вычислений R для классификации многомерных неоднородных ассиметричных данных с помощью Expectation-Maximization (EM) алгоритмов. Использование R для анализа модели смеси вероятностных распределений (FMM).
реферат [1,8 M], добавлен 09.12.2014Точечные и пространственные данные. Отображение в одномерном пространстве, сеточна органзация. K-d-деревья, тетрарные деревья и K-D-B-деревья. Требования к структурам многомерных данных. Свойства точечного пространства. Объекты с переменной размерностью.
презентация [125,9 K], добавлен 11.10.2013Сущность разработки и построения хранилища данных в цепочке локальных сетей. Его типичная структура. Особенности организации хранения информации. Алгоритм действия системы ROLAP и его сравнение с алгоритмом многомерных систем управления базами данных.
курсовая работа [743,1 K], добавлен 23.01.2015Реализация алгоритма верификации данных; разработка программы обнаружения аномальных данных в одномерных выборках. Характеристика методов D-статистики, Титьена-Мура, диаграммы "Ящик с усами"; обеспечение эффективности оценок статистических данных.
курсовая работа [2,5 M], добавлен 27.05.2013Разработка программ на языке Turbo Pascal на основе использования массивов данных. Особенности хранения данных, способы объявления переменных, действия над элементами массивов, их ввод и вывод. Практическое применение одномерных и многомерных массивов.
методичка [17,8 K], добавлен 25.11.2010Определение оптимального плана производства продукции при наличии определенных ресурсов, проблемы оптимизации распределения неоднородных ресурсов на производстве с помощью системы символьной математики Mathcad. Составление алгоритма симплекс-метода.
курсовая работа [676,5 K], добавлен 20.09.2009Индексирование в базах данных. Создание индекса, его типы, виды и структура. Индексы для последовательных файлов. Неупорядоченные и упорядоченные файлы. Типы хеширования, древовидные структуры для многомерных данных. Деревья квадрантов и их вершины.
реферат [2,6 M], добавлен 19.06.2015Метод оценки максимального правдоподобия. Основные методы вычисления 95% доверительного интервала. Сознание программы-функции на Matlab для исследования точности оценки параметра экспоненциального распределения методом максимального правдоподобия.
курсовая работа [175,6 K], добавлен 18.05.2014Обзор и анализ программных технологий создания WEB-приложений для аналитической обработки данных. Разработка многомерных моделей данных для построения OLAP-кубов по международному научно-техническому и образовательному сотрудничеству вузов России.
дипломная работа [3,8 M], добавлен 16.05.2013История создания, понятие, типы и функции системы управления базами данных. Изучение технологии копирования данных средствами устройства их хранения. Процесс разработки алгоритма и программы для нахождения максимального элемента массива А в массиве В.
отчет по практике [360,4 K], добавлен 08.02.2014