Разработка хранилища данных для маркетингового агентства с использованием технологии OLAP

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Современные организации работают в условиях быстро изменяющейся внутренней и внешней среды. Деятельность организаций включает в себя большое число бизнес-процессов и отдельных операций, которые генерируют данные. Понимание эффективности работы компании требует от ее руководства обработки огромных объемов разнородных сведений. В такой ситуации менеджеры оказываются окружены большим количеством информации, что затрудняет принятие управленческих решений. Использование технологий, предназначенных для хранения, анализа и наглядного представления данных, позволит решить эту проблему.

Описанная выше проблема в той или иной мере затрагивает предприятия всех размеров и отраслей. Одна из них - маркетинговая деятельность, которая является необходимой для ведения бизнеса. В виду ряда причин многие компании доверяют эту деятельность сторонним организациям - маркетинговым агентствам. Агентства предоставляют такие услуги, как проведение исследований рынков, разработка стратегий продвижения продуктов, консультирование бизнеса. Таким образом, в повышении эффективности деятельности маркетинговых компаний заинтересованы не только их менеджеры, но и многочисленные клиенты отрасли.

Актуальность исследования заключается в необходимости собирать отчетную информацию из различных информационных систем для последующего вывода ее в удобном для руководства виде. Работа современных маркетинговых агентств состоит из множества видов деятельности. Как правило, имеющиеся системы отчетности предоставляют информацию о текущих процессах, но не позволяют оценить функционирование организации в целом, из-за чего менеджерам трудно комплексно оценить реальное состояние дел в компании. Это ведет к принятию неверных управленческих решений, ухудшению положения компании на рынке.

Добиться конкурентного преимущества и обеспечить более высокий уровень услуг можно с помощью использования информационных технологий. Так, хранилище данных, интегрированное с отчетными системами компании, позволит собрать все сведения о деятельности организации, а технологии OLAP и панель индикаторов - формировать информативные отчеты, которые будут служить основанием для принятия того или иного решения руководителя.

Объектом исследования является маркетинговое агентство.

Предмет исследования - мониторинг деятельности компании (предоставление услуг сферы маркетинга).

Целью работы является проектирование и построение хранилища данных и основанной на нем панели индикаторов, предоставляющей ценную для менеджеров организации информацию.

Для достижения данной цели поставлены и решены следующие задачи:

1. Выявление наиболее существенных показателей деятельности маркетинговых компаний;

2. Построение концептуальной и даталогической моделей хранилища данных;

3. Проектирование и разработка хранилища данных;

4. Формирование OLAP-куба на основе данных хранилища;

5. Построение панели индикаторов, наглядно представляющей информацию о деятельности компании.

Методы исследования: теоретический анализ и обобщение литературы по теме исследования, сравнение подходов к созданию хранилищ данных, анализ и построение модели предметной области, средства проектирования и построения хранилищ данных, OLAP-кубов и панелей индикаторов.

Новизна исследования заключается в разработке готовой к практическому применению информационно-аналитической системы для конкретного типа компаний - маркетинговых агентств.

1. Технологии работы с данными как метод решения проблем управления маркетинговыми компаниями

1.1 Описание деятельности маркетинговых компаний

Маркетинг - это деятельность организации, направленная на поиск способов удовлетворения целевого рынка в обмен на прибыль. С этой целью маркетинг определяет границы сегмента рынка, его объем, степень удовлетворенности и измеряет размер потенциальной прибыли. Маркетинг помогает компании выделить те сегменты рынка, которые она способна обслужить наилучшим образом, а также создать и продвинуть соответствующие товары и услуги.

Маркетинг является неотъемлемой частью деятельности любой компании. Отдел маркетинга направляет бизнес-стратегию, связанную с любыми продуктами или услугами, за счет изучения рынков и составления рекомендаций для бизнеса. Отдел маркетинга выполняет три функции:

· найм и обучение специалистов по маркетингу;

· разработка маркетинговой стратегии компании;

· организация согласованного предоставления продуктов и услуг компании.

В современных реалиях целесообразным является решение вынести некоторые функции отдела маркетинга или даже весь отдел целиком на аутсорсинг. Для этого существует ряд причин: отсутствие квалифицированных кадров, желание выйти на рынок другой страны, необходимость проведения однократных действий (например, рекламной кампании). В таких случаях руководители организаций обращаются к маркетинговым агентствам - компаниям, которые специализируются на выполнении функций отдела маркетинга и обладают всеми необходимыми для этого ресурсами (специалистами, опытом, доступом к информационным каналам).

Маркетинговые агентства занимаются оказанием следующих услуг:

· проведение маркетинговых исследований на заказ;

· проведение опросов общественного мнения на заказ;

· продажа готовых отчетов о проведенных маркетинговых исследованиях и опросах;

· разработка стратегий продвижения бренда или продукта;

· консультирование в области маркетинга;

· проведение тренингов.

Согласно общероссийскому классификатору видов экономической деятельности (ОКВЭД), работе маркетинговых агентств соответствуют коды 73.20.1 (исследование конъюнктуры рынка) и 73.20.2 (деятельность по изучению общественного мнения).

Используя приведенные классификаторы, можно воспользоваться данными базы FIRA для получения статистических сведений об отрасли.

Одними из основных показателей, характеризующих состояние отрасли, являются прибыль, капитал, а также стоимость оказанных услуг. В таблице 1 приведены соответствующие данные за несколько последних лет.

Табл. 1 - Основные показатели отрасли (2013-2016 гг.)

	2013	2014	2015	2016
Прибыль до налогообложения, тыс. руб	1 995 166	4 231 109	3 820 549	4 849 526
Капитал и резервы, тыс. руб	103 026 536	108 026 735	107 733 242	100 942 494
Оказано услуг собственными силами (без НДС и акцизов), тыс. руб	19 403 936	17 390 908	47 897 710	82 245 600

Активный рост стоимости оказанных услуг на фоне более спокойного роста прибыли компаний может свидетельствовать об увеличении расходов маркетинговых агентств и, следовательно, стоимости их услуг.

Стоит также учитывать то, в каких регионах чаще всего предъявляется спрос на услуги маркетинговых агентств. На рисунке 1 приведена диаграмма, показывающая разбиение стоимости оказанных в 2016 году услуг по трем федеральным округам - Центральному, Северо-Западному и Южному (доля объема услуг в остальных федеральных округах близка к нулю).

Рис. 1 - Стоимость оказанных услуг по федеральным округам (2016 г.)

Из диаграммы видно, что подавляющее число услуг оказываются в Центральном Федеральном Округе. Это связано с тем, что большая часть крупнейших маркетинговых агентств России расположены в Москве. На втором и третьем местах расположены Северо-Западный и Южный Федеральные Округа.

Эффективность использования ресурсов компаниями отрасли может быть оценена с помощью рентабельности затрат (рисунок 2).

Рис. 2 - Динамика рентабельности затрат (2013-2016 гг.)

Из графика видно, что рентабельность затрат в последние годы стабильно растет. Достигнутый в 2016 году уровень в 7,5% означает, что 1000 рублей, потраченная на оказание услуги приносит 75 рублей прибыли до налогообложения.

Социальная значимость предприятия (создание рабочих мест и обеспечение работников достойной заработной платой) характеризуется средней численностью работников компании, фондом начисленной заработной платы и среднемесячной заработной платой (рисунки 3-5).

Рис. 3 - Средняя численность работников (2013-2016 гг.)

Рис. 4 - Фонд начисленной з/п (2013-2016 гг.)



Рис. 5 - Среднемесячная заработная плата (2013-2016 гг.)

Приведенные выше графики позволяют отметить постоянное увеличение числа работников отрасли, а также рост как фонда оплаты, так и средней заработной платы в отрасли. Стоит отметить, что сейчас она составляет 117 тысяч рублей в месяц, что является довольно привлекательной суммой для соискателей

В 2016 году компания FDFgroup составила рейтинг маркетинговых агентств, основываясь на объеме их выручки. Ниже приведены первые 10 строк этого рейтинга (таблица 2).

Табл. 2 - Рейтинг маркетинговых агентств (2015 г.)

Место в рейтинге	Название компании	Выручка за 2014, млн.руб.	Выручка за 2015, млн.руб.
1	TNS	3 188	3 132
2	AC Nielsen	2 541	2 995
3	Ipsos Comcon	2 425	2 185
4	ГФК-РУСЬ	1 633	1 831
5	A/R/M/I-Marketing	803	763
6	РОМИР	310	330
7	МАСМИ	170	181
8	МАГРАМ	148	178
9	Бизнес Аналитика	204	169
10	FDFgroup	89	162

Первое место в рейтинге заняла компания TNS, имеющая более трех миллиардов рублей выручки. Другими крупными игроками являются агентства AC Nielsen, Ipsos Comcon и ГФК-РУСЬ.

В связи с тем, что продукт деятельности маркетинговых компаний - это услуга, задачи и проблемы управления маркетинговых агентств соответствуют задачам и проблемам управления других компаний сферы услуг. Среди них стоит отдельно выделить следующие:

· задача контроля отношений с клиентами;

· задача контроля качества услуг;

· задача управления персоналом.

Для решения этих проблем необходимо собирать данные о проходящих бизнес-процессах компании, то есть об оказываемых услугах. Наиболее эффективно это можно реализовать за счет использования IT-решений, в частности, хранилищ данных.

1.2 Технология хранилищ данных

Понятие «хранилище данных» (ХД) обсуждается в научных кругах с 70-х годов прошлого века, когда Билл Инмон впервые ввел этот термин в употребление. Классическое определение хранилища данных приводится в его книге «Построение хранилищ данных», первое издание которой было издано в 1992 году. Согласно этому определению, хранилище данных - это «предметно-ориентированный, интегрированный, неизменяемый и зависимый от времени набор данных, предназначенный для поддержки управленческих решений».

Из приведенного выше определения можно выявить следующие принципы, на которых построены хранилища данных:

· предметная ориентированность - данные хранятся в соответствии с описываемыми областями;

· интегрированность - хранилище данных взаимодействует с различными ИТ-системами компании, удовлетворяя потребности предприятия в целом;

· неизменяемость - данные поступают только из внешних источников и не подлежат созданию, изменению или удалению;

· зависимость от времени - все данные в хранилище привязаны к конкретному промежутку времени.

Также из определения следует основная цель хранилища данных - поддержка управленческих решений. Эта цель достигается с помощью агрегирования данных из различных информационных систем и предоставления возможности удобной их визуализации. Стоит отметить, что деятельность работников подразделений при этом не затрагивается - хранилище помогает облегчить только процесс принятия решений менеджерами предприятия.

Потребности пользователей диктуют набор требований, которым должны удовлетворять хранилища:

· быстрый доступ к данным;

· автоматическая поддержка непротиворечивости данных;

· предоставление возможности работы со срезами данных;

· наличие удобных средств визуализации;

· обеспечение целостности и достоверности данных.

Выделяют три категории данных в хранилище:

· детальные - данные, соответствующие элементарным фиксируемым событиям на предприятии (например, оказание услуги);

· агрегированные - данные, полученные путем суммирования детальных данных по какому-либо измерению (например, по дате оказания услуги, либо по ее типу). Для соблюдения требования быстрого доступа к информации часть агрегированных данных, к которым пользователи обращаются наиболее часто, необходимо хранить в хранилище. При этом невозможно избежать избыточности данных. Для ее минимизации те данные, к которым пользователи обращаются достаточно редко, должны вычисляться в ходе выполнения запросов;

· метаданные - «данные о данных»; информация о данных, содержащихся в хранилище. Метаданные описывают, что хранится в хранилище, кто использует эти данные, где они хранятся, как они используются, когда и с какой целью производятся операции над ними.

Хранилища данных состоят из двух типов таблиц: таблицы фактов и таблицы измерений. Таблицы фактов содержат информацию о событиях, значимых для компании и анализа ее деятельности (продажи, оказание услуг). Измерения - это атрибуты событий, по которым может производиться фильтрация или агрегация фактов. Измерения могут иметь иерархию и связываются с таблицами фактов с помощью внешних ключей.

Связи между фактами и измерениями обуславливают две возможные схемы представления данных:

1. Звезда - таблица фактов денормализована. С ней связан набор таблиц измерений, характеризующих события, заносимые в таблицу фактов. Данная схема понятна пользователю и может быть удобно представлена на диаграмме (рисунок 6).

Рис. 6 - Схема «звезда»

2. Снежинка - развитие схемы «звезда», в которой отдельные таблицы создаются для разных уровней иерархии таблиц измерений. Это позволяет избежать избыточности данных в таблицах измерений, что ведет к ускорению процесса анализа данных. Однако при этом усложняется процедура добавления данных в хранилище, так как необходимо работать с бульшим числом таблиц. Кроме того, такая схема менее прозрачна для пользователя (рисунок 7).

Рис. 7 - Схема «снежинка»

Таким образом, хранилище данных - это база данных с особой структурой, предназначенной для упрощения последующей обработки данных. Для анализа данных из хранилища используется технология OLAP.

1.3 Технология OLAP и панели индикаторов

маркетинговый программный хранилище концептуальный

Термин OLAP (Online Analytical Processing - интерактивная аналитическая обработка) в 1993 году ввел в обращение Эдгар Кодд. Под OLAP он подразумевал «динамический анализ предприятия, необходимый для создания, манипуляции, оживления и синтезирования данных из интерпретирующих, созерцательных, и шаблонных моделей анализа данных». Он же сформировал набор из 12 правил, определяющих OLAP:

1. многомерность - данные должны быть представлены в виде многомерной модели;

2. прозрачность - реализация модели, способ организации, обработки и хранения данных, источники и т.д. должны быть прозрачны для пользователя;

3. доступность - пользователь должен иметь доступ к данным, независимо от места их хранения;

4. постоянство при создании отчетов - скорость создания отчетов не должна значительно изменяться при изменении количества измерений;

5. клиент-серверная архитектура - данные должны располагаться на стороне сервера, в то время как анализ должен проводиться на стороне клиента;

6. равноправие измерений - все измерения модели должны быть равноправны;

7. динамическое управление разреженными матрицами - скорость работы системы не должна зависеть от разреженности данных;

8. поддержка многопользовательского режима - должен быть организован одновременный доступ нескольких пользователей к единым данным;

9. неограниченные перекрестные операции - отношения между данными должны сохраняться независимо от производимых с ними манипуляций;

10. интуитивная манипуляция данными - совершение операций над данными должно быть максимально простым и интуитивно понятным;

11. гибкие возможности получения отчетов - система должна поддерживать возможности визуализации данных с учетом всех возможных комбинаций измерений, фильтров и т.д.;

12. неограниченная размерность и число уровней агрегации - система должна поддерживать не менее 15 измерений и не должна содержать ограничения по числу уровней агрегации.

Популярность OLAP обусловлена растущими объемами данных, собираемых предприятиями ввиду необходимости их анализа. До середины 1990-х годов технология поставлялась только специализированными вендорами и была очень дорогостоящей. Однако в настоящее время поставщики СУБД прилагают OLAP к своему программному обеспечению. Примерами могут служить Microsoft SQL Server Analysis Services, Oracle Darwin, IBM DB2.

Выделяют три типа реализации OLAP:

· MOLAP (Multidimensional OLAP) - все данные хранятся в виде кубов;

· ROLAP (Relational OLAP) - все данные хранятся в виде реляционных таблиц;

· HOLAP (Hybrid OLAP) - является гибридом двух подходов.

Суть технологии OLAP состоит в загрузке данных из различных источников (или из хранилища данных, в котором они уже загружены) и представлении их в виде структуры, которая называется OLAP-куб. Куб - это данные из таблицы фактов, агрегированные по всем уровням всех измерений (рисунок 8).



Рис. 8 - OLAP-куб

Представление данных в виде кубов позволяют совершать над ними ряд операций:

· срез (Slice) - выбор всех данных таблиц фактов, соответствующих определенному значению какого-либо измерения. В сущности, данная операция представляет собой получение n-мерной проекции n+1-мерного куба;

· вращение (Rotate) - изменение измерений, представленных в отчете, например, замена столбцов таблицы строками или замена одного измерения другим, не содержащимся в отчете;

· консолидация и детализация (Drill Up и Drill Down) - переход от детального представления данных к агрегированному и наоборот.

Несмотря на то, что системы OLAP имеют собственные средства создания отчетов, их возможности сильно ограничены. Для эффективной визуализации необходимо использовать сторонние инструменты, например, аналитические панели индикаторов.

Панели индикаторов используются в различных сферах уже достаточно давно. Они представляют собой набор индикаторов, благодаря которым пользователь той или иной системы может быстро узнать ее состояние и текущие характеристики. Примером панели индикаторов может служить панель автомобиля (спидометр, тахометр, указатель уровня топлива и т.д.). Благодаря ей водитель может в считанные секунды оценить состояние своего транспортного средства и принять «управленческое решение» - например, снизить скорость или отправиться на заправку.

Концепция панели индикаторов как части СППР аналогична концепции панели индикаторов: руководитель должен иметь возможность оценить состояние своей компании одним взглядом и принять решение. Однако с точки зрения реализации, в виду обширности требующих визуализации данных, панель индикаторов менеджера - это совершенно другое понятие.

Панель индикаторов, о которой идет речь в данной работе - это «визуальное отображение наиболее важной информации, необходимой для достижения одной или нескольких целей [предприятия], консолидированных и размещенных на одном экране таким образом, что информация может быть просмотрена одним взглядом».

Панели индикаторов представляют собой набор графиков, таблиц, диаграмм, карт и прочих методов визуального отображения информации. Выбор подходящих элементов для размещения на панели является непростой задачей и зависит от целей бизнеса. Иногда имеет смысл создать несколько панелей, соответствующих, например, различным сферам деятельности компании.

Панели индикаторов можно классифицировать по их предназначению и уровню использования. Стратегические панели отображают индикаторы работы высокого уровня, а также прогнозы на будущие периоды. Дизайн панелей для операционных нужд сильно зависит от того, какие операции отслеживаются с их помощью: уникальные характеристики операции задают внешний вид средств отображения.

Предыдущие два типа панелей индикаторов являются «статичными». Они отображают строго определенный набор данных строго определенным способом. При этом они не предоставляют возможности консолидации или детализации данных, их фильтрации, «вращения» или «среза». Указанные функции, весьма полезные для анализа сведений, присутствуют в классе аналитических панелей индикаторов.

Аналитические панели индикаторов представляют собой интерактивные экраны, позволяющие мгновенно производить все необходимые для анализа операции с данными, решая, таким образом, задачи поиска корреляций между показателями, поиска детальных сведений и т.д. Ключевыми преимуществами этого типа панелей являются:

· представление как общей картины, так и деталей на одном экране;

· манипуляция данными через единый интерфейс;

· предоставление возможностей удобного создания выборок данных, их последующего сравнения;

· высокая скорость предоставления информации;

· возможность выгрузки полученных отчетов.

Таким образом, аналитические панели индикаторов - мощнейший инструмент визуализации, позволяющий не только отображать данные, но и гибко настраивать способ их визуализации.

1.4 Программное обеспечение для реализации системы управленческой отчетности

Для реализации хранилищ данных можно использовать программное обеспечение двух типов:

1. реляционные СУБД (MS SQL, DB2, Oracle);

2. специализированные платформы (Sybase IQ, RedBrick, Teradata).

Однако не все из них предоставляют возможность работы с многомерными базами данных, необходимых для создания OLAP-кубов. Реализация OLAP требует либо использования специального ПО (Applix, OLAP Option, Mondrian), либо установки дополнительных пакетов сервисов для СУБД (MS SQL Server Analysis Services, IBM DB2 OLAP Server).

Ниже приведен рейтинг компаний, производящих средства управления данными для аналитики, построенный американской исследовательской и консалтинговой компании Gartner (рисунок 9).

Рис. 9 - Магический квадрант средств управления данными для аналитики

Согласно данным исследования Gartner, к лидерам рынка можно отнести компании Oracle, Teradata, Microsoft, IBM и SAP.

Oracle. Решения компании основаны на предложении потребителям обширного ассортимента программных средств самой фирмы и деятельность партнеров в рамках проекта Warehouse Technology Initiative.

СУБД Oracle Database 11g/10g предназначена для построения хранилищ данных и использует язык SQL для доступа к ним.

Конкурентные преимущества Oracle следующие:

· предоставление готовых приложений, обеспечивающих разработку хранилищ данных;

· имидж компании как фаворита в сфере аналитики данных;

· совместимость с продукцией, других фирм.

Teradata. Решение данной фирмы в сфере хранения данных нацелено на предприятия, имеющие потребность в системах поддержки принятия решений (DSS, СППР) и в оперативном анализе данных (online analytical processing, OLAP). Компания предлагает архитектуру Enterprise Information Factory.

Преимуществом решений фирмы считается огромный опыт использования СУБД Teradata и связанных с ней подходов параллельной обработки данных.

Microsoft. Цель компании - формирование инструментальной и технологической сферы, дающей возможность сократить расходы на разработку ХД, делая данный процесс доступным для общественности.

Для создания хранилищ данных может быть использована реляционная СУБД MS SQL Server. Она использует язык манипулирования данными SQL, а также предлагает дополнительные компоненты SQL Server Data Tools для анализа данных (в том числе, для создания OLAP-кубов).

К преимуществам Microsoft можно отнести удобную интеграцию всех ее продуктов, а также выпуск регулярных обновлений предлагаемого ПО.

IBM. Система для разработки ХД компании IBM именуется Data Warehouse Plus. Миссией IBM в сфере построения систем хранения данных считается предоставление пользователю встроенного набора программных средств и сервисов в единой архитектуре. В данной системе используется объектно-реляционное СУБД DB2 Universal Database.

Достоинством решений IBM является совместное размещение OLTP-систем и ХД на одном программном обеспечении IBM, то есть создается замкнутое стандартное решение.

Средства создания панелей индикаторов предоставляются различными производителями, среди которых есть как представители, специализирующиеся именно в этой отрасли, так и крупные ИТ-компании, предлагающие лучшую совместимость панелей с другими своими продуктами (например, с OLAP-серверами). К первым можно отнести такие компании, как Qlik, Tableau, Zoomdata. Представителями второй являются Microsoft, SAP, Oracle и другие.

Согласно магическому квадранту Gartner, лидерами отрасли являются Tableau, Microsoft и Qlik (рисунок 10).

Рис. 10 - Магический квадрант BI и аналитических платформ

Миссия Tableau - создание «прорывных» продуктов, меняющих способы использования данных. Компания фокусируется на разработке BI-продуктов и предлагает несколько вариантов доступа к своим приложениям: настольный, серверный, онлайн, читательский и публичный. Tableau выделяется на фоне конкурентов возможностью отображения данных на географической карте за счет поддержки геокодирования.

Microsoft предлагает Power BI - облачные BI-сервисы с интерфейсом для настольного компьютера. Преимущество Power BI состоит в возможности интеграции с большим числом различных источников данных, среди которых есть и SQL Server Analysis Services.

Qlik выпускает на рынок две системы: QlikView и Qlik Sense. Первая предоставляет больший простор для дизайна панелей индикаторов, однако вторая обладает более понятным интерфейсом, что делает ее более привлекательной для простых пользователей. Обе системы имеют web-интерфейс и версию для настольных компьютеров. При этом доступ к QlikView также может быть организован через приложение для iOS и Android.

В данной главе была проанализирована отрасль маркетинговых агентств в России, выявлены основные проблемы и задачи управления этих компаний. Также описаны хранилища данных, технологии OLAP и панелей индикаторов. Кроме того, был совершен краткий обзор ПО, предназначенного для реализации системы управленческой отчетности.

2. Создание хранилища данных для мониторинга деятельности маркетингового агентства

2.1 Современные подходы к созданию хранилищ данных

В настоящее время существуют два основных подхода к построению хранилищ данных: «Corporate Information Factory» (корпоративная информационная фабрика) и «Data Warehouse Bus» (хранилище данных с архитектурой шины).

Первый подход был предложен Биллом Инмоном и заключается в последовательном выполнении нескольких этапов. Прежде всего, данные извлекаются из оперативных источников, подготавливаются и загружаются в реляционную базу, приведенную к третьей нормальной форме. Полученное в результате нормализованное хранилище предоставляет данные различным витринам данных, каждая из которых служит для анализа деятельности какого-либо отдела компании или выполнения функции бизнеса. При этом агрегированные данные хранятся в витринах, а детальные доступны из хранилища. На рисунке 11 представлена схема такого подхода.

Рис. 11 - Корпоративная информационная фабрика

Разработка хранилища при таком подходе занимает достаточно много времени (более года). При этом разработка ведется итеративно, что позволяет вносить изменения, не затрагивая основную часть хранилища. Нормализованность хранилища представляет возможность агрегировать данные до разных уровней детализации по большому числу параметров. Независимость витрин данных друг от друга позволяет удовлетворить потребности всех отделов компании и обеспечивает гибкость системы.

Автором подхода построения хранилища с архитектурой шины считается Ральф Кимболл. Как и в модели Инмона, данные поступают в хранилище из оперативных источников. При этом хранилище является не целостным объектом, а набором независимых витрин данных, соединенных между собой шиной. Витрины, в свою очередь, строятся не для отделов или функций, а для бизнес-процессов. Схема подхода Кимболла изображена на рисунке 12.

Рис. 12 - Хранилище данных с архитектурой шины

Описанный подход позволяет достаточно быстро получать витрины данных, поскольку нет необходимости целиком создавать нормализованное хранилище. Однако при такой структуре неизбежно дублирование данных, особенно после внесения изменений в хранилище.

Таким образом, основное различие между подходами заключается в структуре хранилища. Инмон рекомендует использовать большое централизованное хранилище и затем предоставлять данные с помощью витрин, в то время как Кимболл предлагает сначала создать набор витрин, а затем соединить их шиной. Тем не менее, несмотря на различия, полученные хранилища весьма схожи по функциональности и предоставляемым возможностям.

Создание хранилища может осуществляться в двух направлениях: «сверху вниз» или «снизу вверх».

Подход «сверху вниз» используется тогда, когда хорошо известны особенности информационной инфраструктуры компании и экономические проблемы, которые должно решить хранилище. Планирование и проектирование хранилища данных осуществляется до начала проекта. Таким образом, проект является комплексным и хорошо продуманным, однако он требует больше времени и средств. Кроме того, такой подход не отличается гибкостью.

Разработка хранилища «снизу вверх» является более быстрой. К тому же организации не приходится выделять сразу все средства, необходимые для разработки хранилища, поскольку части ХД разрабатываются поочередно для различных задач. Недостатком такого метода можно считать его недостаточную продуманность на начальных этапах, из-за чего впоследствии могут возникнуть проблемы дублирования данных и взаимосвязанности таблиц. В целом, подход «сверху вниз» больше подходит для реализации модели Билла Инмона, а «снизу вверх» - Ральфа Кимболла.

Разработка хранилища данных на предприятии проходит в несколько стадий:

1. Стратегический анализ - оценка целесообразности внедрения хранилища и определение лиц, вовлеченных в проект разработки;

2. Анализ бизнес-процессов - определение данных, которые должны войти в хранилище;

3. Построение архитектуры хранилища - организация сбора и хранения данных в соответствии с требованиями бизнеса;

4. Выбор технологии - выбор оптимальных инструментов создания хранилища, исходя из возможностей и текущего состояния бизнеса;

5. Планирование итераций проекта - определение очередности создания сущностей в хранилище;

6. Детальное проектирование - создание физической модели хранилища;

7. Тестирование хранилища - проверка функциональности и интеграций с корпоративной информационной системой (КИС);

8. Внедрение хранилища - непосредственное создание базы и реализация процедур выгрузки, трансформации и загрузки данных (Extraction - Transformation - Loading, ETL).

Важной стороной разработки и работы хранилища является загрузка данных из различных источников. Это реализуется с помощью процедуры ETL, состоящей из трех этапов:

1. Выгрузка (Extraction) - извлечение данных из источников с помощью вспомогательных программ или OLTP-систем;

2. Трансформация (Transformation) - преобразование данных в необходимый формат. Процесс трансформации включает:

a. агрегирование;

b. кодирование;

c. создание новых полей;

d. устранение ошибок и несоответствий в данных;

3. Загрузка (Loading) - загрузка преобразованных данных в хранилище. Иногда сопровождается архивацией старых данных.

При разработке хранилищ данных необходимо преодолевать следующие трудности:

1. объединение данных разных типов;

2. эффективное хранение и обработка огромных объемов данных;

3. организация на нескольких уровнях справочников метаданных;

4. обеспечение информационной безопасности хранилища

2.2 Концептуальная модель

Концептуальная модель - это описание предметной области, для которой создается хранилище, ее сущностей и связей между ними. Для наглядного представления моделей используются различные нотации, наиболее популярная из которых - ER-диаграмма, предложенная Питером Ченом в 1976 году. Для построения модели необходимо выявить сущности, атрибуты и связи предметной области.

Центральная сущность модели - «Деятельность» - отражает события, происходящие внутри компании. Сущность «Сотрудники» показывает, кем производятся работы. Остальные сущности уточняют те или иные виды деятельности. Например, проведение исследования рынка выполняется для конкретного клиента, а разработка стратегии продвижения - для конкретной компании.

Атрибуты каждой из описанных выше сущностей приведены в таблице 3.

Табл. 3 - Сущности предметной области и их атрибуты

Сущность	Атрибуты
Деятельность	Дата совершения, тип деятельности, доход, затраты
Сотрудник	ФИО, номер телефона
Отчеты об исследовании рынка	Регион и отрасль, для которых проводилось исследование
Стратегии продвижения	Регион, для которого разработана стратегия
Опросы	Тип опроса, количество респондентов, регион, в котором проводился опрос
Клиенты	ФИО, номер телефона
Компании	Название, номер телефона, регион и отрасль работы

Основываясь на приведенных выше данных, можно построить ER-диаграмму (рисунок 13).



Рис. 13 - ER-диаграмма

Предполагаемыми конечными пользователями системы являются руководители высшего звена маркетинговой компании (глава организации, топ-менеджеры, совет директоров). Система позволит осуществлять мониторинг работы агентства, контролировать вовлеченность сотрудников в деятельность компании, отслеживать доходы и расходы от тех или иных видов деятельности.

Конечные пользователи хранилища данных смогут получить ответы на следующие вопросы:

· Как много исследований было проведено для определенной отрасли?

· Сколько исследований было проведено (стратегий разработано) тем или иным сотрудником?

· Компании из каких регионов проявляют спрос на услуги агенства?

· Сколько отчетов было подготовлено для того или иного клиента?

· Какой доход был получен в каждом квартале?

· Какой вид деятельности принес наибольшую или наименьшую выручку за указанный период?

· Какие типы опросов наиболее востребованы?

Для удобства конечных пользователей предоставляемая системой отчетность должна соответствовать следующим требованиям:

1. наглядность - должна иметься возможность оценить все данные «одним взглядом»;

2. адаптивность - должна иметься возможность настраивать параметры и фильтры отчетов;

3. скорость - отчеты должны формироваться быстро;

4. возможность представления в разных форматах (Excel, jpeg, печать и т.д.).

2.3 Даталогическая и физическая модели хранилища данных

На основе концептуальной модели необходимо создать схемы базы данных на основе модели данных «снежинка», то есть даталогическую модель. Схема «снежинка» была выбрана в связи с необходимостью отражать иерархию измерений.

Для создания даталогической модели (и, далее, физической реализации хранилища) была выбрана СУБД Microsoft SQL Server и приложение SQL Server Management Studio. Данный инструмент содержит весь функционал, необходимый при создании и управлении хранилищами данных. Кроме того, система обладает дружественным пользователю интерфейсом, а также предоставляет возможности для масштабирования хранилища. К тому же, для MS SQL Server доступен пакет Data Tools, содержащий инструменты работы с OLAP. В частности, для разработки OLAP-кубов.

Хранилище будет разрабатываться в соответствии с подходом Ральфа Кимболла, что подразумевает последовательную реализацию различных витрин. Такой выбор обусловлен быстротой получения результата и отсутствием необходимости ориентироваться на имеющиеся в компании информационные системы. Кроме того, создаваемое хранилище охватывает не все стороны функционирования компании.

Ниже приведено детальное описание таблиц хранилища.

Fact_Activity - характеризует факт проведения компанией какой-либо деятельности (таблица 4).

Табл. 4 - Таблица Fact_Activity

Атрибут	Значение	Тип данных	Ограничения
ID_Activity (PK)	Уникальный код	INT	NOT NULL, >0
ID_Employee (FK)	Внешний ключ на измерение «Dim_Employee»	INT	NOT NULL, >0
ID_Date (FK)	Внешний ключ на измерение «Dim_Date»	INT	NOT NULL, >0
ID_Type (FK)	Внешний ключ на измерение «Dim_Type»	INT	NOT NULL, >0
ID_Client (FK)	Внешний ключ на измерение «Dim_Client»	INT	>0
ID_Research(FK)	Внешний ключ на измерение «Dim_Research»	INT	>0
ID_Strategy (FK)	Внешний ключ на измерение «Dim_Strategy»	INT	>0
ID_Poll (FK)	Внешний ключ на измерение «Dim_Poll»	INT	>0
Income	Доход от деятельности	DECIMAL (8,2)	>0
Spending	Затраты на деятельность	DECIMAL (8,2)	>0

Dim_Employee - справочник сотрудников организации, осуществляющих ту или иную деятельность (таблица 5).

Табл. 5 - Таблица Dim_Employee

Атрибут	Значение	Тип данных	Ограничения
ID_Employee (PK)	Уникальный код сотрудника	INT	NOT NULL, >0
Name	Имя сотрудника	VARCHAR (50)	NOT NULL
Surname	Фамилия сотрудника	VARCHAR (50)	NOT NULL
LastName	Отчество сотрудника	VARCHAR (50)
Phone	Номер телефона сотрудника	VARCHAR (12)

Dim_Date - таблица, отображающая дату совершения деятельности (таблица 6).

Табл. 6 - Таблица Dim_Date

Атрибут	Значение	Тип данных	Ограничения
ID_Date(PK)	Уникальный код времени	INT	NOT NULL, >0
MonthName	Название месяца	VARCHAR (8)	NOT NULL
MonthNumber	Номер месяца в году	INT	NOT NULL, >0, <13
Year	Год	INT	NOT NULL, >2000

Dim_Type - справочник типов деятельности компании (таблица 7).

Табл. 7 - Таблица Dim_Type

Атрибут	Значение	Тип данных	Ограничения
ID_Type(PK)	Уникальный код типа	INT	NOT NULL, >0
Name	Название деятельности	VARCHAR (100)	NOT NULL

Dim_Client - справочник клиентов организации (таблица 8).

Табл. 8 - Таблица Dim_Client

Атрибут	Значение	Тип данных	Ограничения
ID_Client (PK)	Уникальный код клиента	INT	NOT NULL, >0
Name	Имя клиента	VARCHAR (50)	NOT NULL
Surname	Фамилия клиента	VARCHAR (50)	NOT NULL
LastName	Отчество клиента	VARCHAR (50)
Phone	Номер телефона клиента	VARCHAR (12)

Dim_Research - справочник проведенных рыночных исследований. Поля ID_Region1 и ID_Region2 необходимы на тот случай, если исследование проводится для нескольких регионов сразу. Аналогично объясняется наличие полей ID_Subcategory1 и ID_Subcategory2 (таблица 9).

Табл. 9 - Таблица Dim_Research

Атрибут	Значение	Тип данных	Ограничения
ID_Research (PK)	Уникальный код исследования	INT	NOT NULL, >0
ID_Client (FK)	Внешний ключ на измерение «Dim_Client»	INT	>0
ID_Company (FK)	Внешний ключ на измерение «Dim_Company»	INT	>0
ID_Region (FK)	Внешний ключ на измерение "Dim_Region"	INT	NOT NULL, >0
ID_Region1 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Region2 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Subcategory (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	NOT NULL, >0
ID_Subcategory1 (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	>0
ID_Subcategory2 (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	>0

Dim_Strategy - справочник разработанных стратегий продвижения. Поля ID_Region1 и ID_Region2 необходимы на тот случай, если необходимо продвигать бренд, продукт или услугу в нескольких регионах сразу (таблица 10).

Табл. 10 - Таблица Dim_Strategy

Атрибут	Значение	Тип данных	Ограничения
ID_Strategy (PK)	Уникальный код стратегии	INT	NOT NULL, >0
ID_Client (FK)	Внешний ключ на измерение «Dim_Client»	INT	>0
ID_Company (FK)	Внешний ключ на измерение «Dim_Company»	INT	>0
ID_Region (FK)	Внешний ключ на измерение "Dim_Region"	INT	NOT NULL, >0
ID_Region1 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Region2 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0

Dim_Poll - справочник проведенных опросов общественного мнения. Поля ID_Region1 и ID_Region2 необходимы на тот случай, если опрос проводится в нескольких регионах сразу (таблица 11).

Табл. 11 - Таблица Dim_Strategy

Атрибут	Значение	Тип данных	Ограничения
ID_Poll (PK)	Уникальный код опроса	INT	NOT NULL, >0
ID_Client (FK)	Внешний ключ на измерение «Dim_Client»	INT	>0
ID_Company (FK)	Внешний ключ на измерение «Dim_Company»	INT	>0
ID_Region (FK)	Внешний ключ на измерение "Dim_Region"	INT	NOT NULL, >0
ID_Region1 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Region2 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0

Dim_Company - справочник компаний, предъявивших спрос на услуги агентства. Поля ID_Region1 и ID_Region2 необходимы на тот случай, если компания-заказчик оперирует в нескольких регионах сразу. Аналогично объясняется наличие полей ID_Subcategory1 и ID_Subcategory2 (таблица 12).

Табл. 12 - Таблица Dim_Company

Атрибут	Значение	Тип данных	Ограничения
ID_Company (PK)	Уникальный код компании	INT	NOT NULL, >0
ID_Region (FK)	Внешний ключ на измерение "Dim_Region"	INT	NOT NULL, >0
ID_Region1 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Region2 (FK)	Внешний ключ на измерение "Dim_Region"	INT	>0
ID_Subcategory (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	NOT NULL, >0
ID_Subcategory1 (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	>0
ID_Subcategory2 (FK)	Внешний ключ на измерение "Dim_Subcategory"	INT	>0
Name	Название компании	VARCHAR (100)	NOT NULL
Phone	Номер телефона компании	VARCHAR (12)

Dim_Region - справочник регионов, для которых проводятся исследования, опросы, разрабатываются стратегии, и в которых действуют компании (таблица 13).

Табл. 13 - Таблица Dim_Region

Атрибут	Значение	Тип данных	Ограничения
ID_Region (PK)	Уникальный код региона	INT	NOT NULL, >0
ID_Country (FK)	Внешний ключ на измерение "Dim_Country"	INT	NOT NULL, >0
Name	Название региона	VARCHAR (100)	NOT NULL

Dim_Country - справочник стран, к которым относятся регионы (таблица 14).

Табл. 14 - Таблица Dim_Country

Атрибут	Значение	Тип данных	Ограничения
ID_Country (PK)	Уникальный код страны	INT	NOT NULL, >0
Name	Название страны	VARCHAR (100)	NOT NULL

Dim_Subcategory - справочник видов экономической деятельности, основанный на ОКВЭД (таблица 15).

Табл. 15 - Таблица Dim_Subcategory

Атрибут	Значение	Тип данных	Ограничения
ID_Subcategory (PK)	Уникальный код вида деятельности	INT	NOT NULL, >0
ID_Category (FK)	Внешний ключ на измерение	INT	NOT NULL, >0
Code	Код ОКВЭД	INT	NOT NULL, >0
Name	Название вида деятельности	VARCHAR (150)	NOT NULL

Dim_Category - справочник видов экономической деятельности более высокого уровня (таблица 16).

Табл. 16 - Таблица Dim_Category

Атрибут	Значение	Тип данных	Ограничения
ID_Category (PK)	Уникальный код вида деятельности	INT	NOT NULL, >0
Code	Код ОКВЭД	VARCHAR (1)	NOT NULL
Name	Название вида деятельности	VARCHAR (150)	NOT NULL

После создания таблиц необходимо установить связи между ними, используя ключевые поля. Все связи ведут от таблиц измерений более высокого уровня иерархии к измерениям более низкого уровня и от измерений нижнего уровня к таблице фактов. При этом используется тип связи «один-ко-многим».

Сначала были проведены связи от справочников сотрудников, дат, типов деятельности, клиентов, исследований, стратегий и опросов к таблице деятельностей. После этого были проведены все остальные необходимые связи между измерениями.

В результате была получена модель хранилища, изображенная на рисунке 14.

Во второй главе приведен обзор подходов и методов проектирования и создания хранилища данных. Далее была разработана концептуальная модель хранилища, которая впоследствии была реализована в СУБД MS SQL Server. В дальнейшем это хранилище будет использовано для создания OLAP-куба и панели индикаторов.



Рис. 14 - Даталогическая модель хранилища данных

3. Создание набора отчетов для мониторинга деятельности маркетинговой компании

3.1 Построение OLAP-куба

Для анализа данных, содержащихся в хранилище, необходимо создать многомерный массив данных - OLAP-куб. Эта задача решена с помощью инструмента SQL Server Analysis Services (SSAS), входящего в пакет SQL Server Data Tools. SSAS обеспечивает оперативный анализ данных, поступающих из разных источников. Служба SSAS позволяет пользователям анализировать данные с помощью различных инструментов и поддерживает выгрузку в Excel. Кроме того, SSAS позволяет открытие моделей данных с помощью функций интеллектуального анализа данных, встроенных в продукт.

Формирование куба происходит в несколько шагов:

1. создание проекта многомерных данных и интеллектуального анализа;

2. выбор созданного хранилища в качестве источника данных;

3. создание представления данных источника;

4. создание измерений на основе представления данных;

5. создание куба с использованием созданных измерений.

В результате выполнения этих шагов была получена схема, изображенная на рисунке 15 (желтым цветом отмечена таблица фактов, а синим - таблицы измерений).



Рис. 15 - Схема OLAP-куба

Для удобства работы с данными целесообразно создать некоторые иерархии для измерений «Опрос», «Стратегия» и «Исследование» (рисунки 16-18).

Рис. 16 - Иерархии измерения «Опрос»

Рис. 17 - Иерархии измерения «Стратегия»



Рис. 18 - Иерархии измерения «Исследование»

Дальнейшие действия включают развертывание проекта и обработку куба, в результате чего он становится доступным для формирования отчетов. На рисунке 19 изображено структурное дерево куба. Мерам (Measures) соответствуют количественные атрибуты таблицы фактов - количество активностей, затраты на них и доход, от них полученный. Измерениям соответствуют таблицы измерений и созданные иерархии.

Рис. 19 - Структура куба

Созданный OLAP-куб далее будет использован для построения аналитических отчетов, которые позволят преобразовать данные хранилища в полезную для менеджеров информацию и представить её в удобном виде.

Для создания отчётов снова необходимо воспользоваться службой Analysis Service. Интерфейс конструктора предельно прост. Для создания отчётов достаточно перенести необходимые измерения и меры из дерева метаданных в область конструктора методом «Drag-and-Drop». При необходимости можно также добавить фильтры по измерениям.

Ниже приведены примеры отчётов, которые могут быть востребованы менеджментом. Для создания примеров в хранилище были заведены тестовые данные - сведения о деятельности небольшого маркетингового агентства за второе полугодие 2016 и первый квартал 2017 года.

На рисунке 20 представлен первый отчёт, содержащий информацию о том, сколько активностей каждого типа совершила компания за выбранный период с разбиением по месяцам. Сведения данного отчёта могут быть использованы для прогнозирования сезонного спроса на услуги агентства.

Рис. 20 - Распределение активностей по месяцам

Следующий отчёт (рисунок 21) показывает объёмы работ, выполненные каждым сотрудником компании. Это позволяет оценивать полезность сотрудников, более обоснованно распределять работу между ними и выявлять необходимость их поощрения и мотивации.



Рис. 21 - Распределение количества работ по сотрудникам

Для мониторинга финансовых показателей нужно использовать меры «Доходы» и «Расходы». Например, можно узнать, какой доход принесли исследования рынков в каждом месяце (рисунок 22).

Рис. 22 - Распределение доходов и расходов по месяцам

Интеграция MS Office и MS SQL Server Management Studio позволяет выгружать отчёты в Excel с помощью сводной таблицы. Пример: разбиение доходов агентства с разбиением по видам активности и месяцам (рисунок 23).



Рис. 23 - Распределение доходов по видам активности и месяцам

Таким образом, описанная система позволяет легко и быстро строить необходимые отчёты без написания программного кода. К недостаткам системы можно отнести отсутствие собственных средств визуализации. Для более наглядного представления данных может быть использована интеграция с MS Office. Однако более мощным инструментом для этих целей является аналитическая панель индикаторов.

3.2 Построение панели индикаторов

Для построения панели индикаторов была выбрана программа Microsoft Power BI. Это решение объясняется, прежде всего, удобством интеграции системы с OLAP-кубами, созданными с помощью SSAS. Кроме того, Power BI предоставляет широкие возможности кастомизации панели.

Прежде всего, необходимо подключиться к существующему кубу. В результате все имеющиеся поля отображаются в правой части экрана. Чуть левее находятся доступные средства визуализации и поля их настройки. Основную часть экрана занимает «холст», на котором размещаются графические элементы. Создание панели ведётся популярным и удобным методом «drag'n'drop». Основной рабочий экран приложения Power BI изображен на рисунке 24.

Далее необходимо воссоздать несколько отчётов на панели индикаторов. Результат простого перетаскивания нескольких параметров на «холст» и выбор средств отображения приведён на рисунке 25.

После этого можно воспользоваться средствами настройки внешнего вида, чтобы придать панели другой облик. Можно изменить названия графических элементов или, например, привести цветовую гамму в соответствии с корпоративными цветами компании либо личными вкусовыми предпочтениями её руководителя. Результат редактирования изображён на рисунке 26.

Рис. 24 - Основной рабочий экран

Рис. 25 - Предварительная панель индикаторов



Рис. 26 - Настроенная панель индикаторов

Следующий шаг - переход в режим просмотра панели и применение различных фильтров для оценки функциональности инструмента. Например, можно применить фильтр по типу активности. Для этого достаточно просто нажать на область, соответствующую нужному типу, на одной из диаграмм. Можно также выбрать несколько типов одновременно. На рисунке 27 изображён результат выборки типов «Проведение исследований», «Разработка стратегий» и «Проведение опросов».

Далее можно применить фильтр по сотруднику, чтобы посмотреть его вклад в тот или иной показатель. Результат приведён на рисунке 28.

Стоит отметить, что все манипуляции с данными происходят мгновенно. Система поддерживает применение нескольких фильтров одновременно, позволяет пользователю самостоятельно перемещать объекты по экрану, удовлетворяя таким образом большинство потребностей руководителя компании. Кроме того, имеется возможность размещения панели в сети Интернет для обеспечения удалённого доступа к ней с разных устройств.

Итак, SQL Server Analysis Services - мощный инструмент для создания OLAP-кубов. Он обладает интуитивно понятным интерфейсом и позволяет строить отчёты. При этом он довольно ограничен в средствах визуализации. Компенсировать этот недостаток можно с помощью Microsoft Power BI - другого мощного продукта компании. Он позволяет гибко настраивать визуальное представление данных. В рамках этой главы была проделана работа по созданию куба, подключение его к панели в качестве источника данных и настройка панели. В результате была построена удобная система, способная решить проблему мониторинга большого количества информации о деятельности компании.

Рис. 27 - Фильтрация по типу активности

Рис. 28 - Фильтрация по сотруднику

Заключение

Конкурентоспособность современной компании напрямую зависит от грамотного использования информационных технологий. Автоматизация формирования управленческой отчетности обеспечивает менеджмент организации необходимыми сведениями для принятия грамотных, обоснованных решений.

В ходе работы были выполнены все поставленные задачи и достигнута намеченная цель.

Анализ отрасли маркетинговых агентств показал востребованность их услуг. Маркетинговая деятельность является одной из основополагающей в компании, и специалисты в этой области высоко ценятся. Отрасль отличается стабильным ростом рентабельности затрат и повышением уровня прибыли за последние годы. Кроме того, она предлагает своим работникам довольно высокую и стабильно растущую заработную плату.

Главными управленческими задачами компании, оказывающей маркетинговые услуги, являются мониторинг отношений с клиентами и повышение качества предоставляемых услуг. Кроме того, необходимо следить за деятельностью работников компании, чтобы поощрять или мотивировать их при необходимости. Для решения этих задач требуется использование информационных технологий, отслеживающих внутренние процессы компании.