Размещено на http://www.allbest.ru/

Введение

В наше время можно наблюдать цифровую трансформацию целых индустрий. Даже такие консервативные сферы, как, например, сфера финансовых услуг, претерпевают значительные изменения: появление криптовалют, блокчейн транзакций, внедрение omni-channel банкинга, и многое другое. Все это привело к тому, что многие игроки, которые несколько лет назад чувствовали себя очень уверенно и наблюдали стабильный рост на своих рынках, чувствуют необходимость в постоянном изменении для выживания. Все компании на рынке, которые хотят выжить в конкурентных условиях, осознают, что наибольшую угрозу для них представляет не то, чего они не знают, а то, что их нынешние твердые убеждения окажутся неверными. Лучшими примерами цифровых трансформаций целых индустрий являются:

· Агрегация огромных массивов данных из публичных источников в здравоохранении

· Влияние интернета вещей на производственные индустрии

· Эффект совместного потребления на массовые рынки (Такси - Gett, Uber; Жилье - Airbnb; Путешествия - Booking.com, travelata, anywayanyday)

В этих условиях, крупные игроки на рынке постоянно находятся в поиске решений и возможностей для усиления своих рыночных позиций, все чаще прибегая к помощи новых технологий, таких как Big Data, бизнес-аналитика, облачная аналитика, системы автоматизации, интернет вещей и.т.п. Однако далеко не все понимают довольно простую вещь: для того, никакая система аналитики не сможет обеспечить принятие правильного решений на основании ненадежных, некачественных, неполных данных. Для обеспечения надежности, качества, полноты, доступности и защищенности данных возник концепт «управления корпоративными данными», а внедрение данного концепта на предприятие называется «программа управления корпоративными данными». Программа управления корпоративными данными - инициатива на уровне всего предприятия, имеющая как бизнес, так и ИТ составляющую.

Еще одной важной предпосылкой внедрения программы управления корпоративными данными является постоянный рост объемов корпоративных данных на предприятии. На данный момент, можно уверенно утверждать, что рост объемов данных на предприятиях будет только прогрессировать, а ввиду развития технологий и инструментов по извлечению выгоды из больших объемов данных, потребность в обеспечении надежности, доступности, качества, полноты и защищенности будет только расти. По оценкам Gartner [11], 90% глобальных компаний к 2019 году наймут CDO (Chief Data Officer) - менеджеры верхнего уровня, отвечающие за показатели по данным, перечисленные выше.

Оценивая текущее состояние потребности во внедрении программы управления корпоративными данными, можно сослаться на отчет, подготовленный 451 Research по итогам проведенного опроса среди ИТ-руководителей крупных предприятий [1]:

· Только 40% опрошенных уверенны в качестве данных и в системе управления данными на своем предприятии

· 45% используют специализированные инструменты для очистки данных

· 40% респондентов выполняют ручную очистку данных

· 8,5% опрошенных полностью избегают управления качеством данных на предприятии

Управление корпоративными данными является относительно новой концепцией. Она включает в себя лучшие практики сразу из нескольких научных областей, таких как: стратегический менеджмент, управление бизнес-процессами и риск-менеджмент. Хотя ранние исследования по управлению корпоративными данными относятся к началу 1980х годов (тут должна быть ссылка), на данный момент все существующие исследования фокусируются на определенных составляющих этого понятия, не рассматривая концепцию в целом.

Как видно из графика, приведенного выше, проблемы с данными входят в основные проблемные направления организаций. Данное исследование было проведено компанией Accenture в 2013 году [2]. Основной проблемной областью организации, по результатам опроса топ-менеджмента, является качество данных, которое, в свою очередь, состоит из своевременности предоставления данных, полноты данных и согласованности данных.

Рисунок 1. Ключевые проблемные направления функции управления корпоративными данными

Целью данного исследования является объединение лучших практик по внедрению программы управления корпоративными данными в масштабных организациях и описание внедрения программы по управлению корпоративными данными в крупный коммерческий банк. Также, для придания большей практической ценности данной работе, необходимо проанализировать реальные кейсы внедрения программы по управлению корпоративными данными на предприятия. В соответствии с целью, определенной выше, были поставлены следующие задачи к данной работе:

1. Исследовать существующую литературу по теме управление корпоративными данными

2. Проанализировать реальные кейсы внедрения программы по управлению корпоративными данными в крупных организациях

3. Структурировать лучшие практики из доступной литературы и из реальных кейсов внедрения по управлению корпоративными данными в единый

4. Описать внедрение программы по управлению корпоративными данными в крупный коммерческий банк.

Основными методами проводимого исследования являются:

1. Анализ литературы по теме управления корпоративными данными

2. Сбор информации из материалов проектов по внедрению функции управления корпоративными данными и агрегация результатов

3. Описание проекта

Данная работа ориентирована в первую очередь на бизнес-пользователей, а именно на руководителей высшего звена, как со стороны бизнеса, так и со стороны IT. С одной стороны, здесь дается общее описание концепта управления корпоративными данными и описываются предпосылки и выгоды от его внедрения. С другой стороны, в данной работе описываются лучшие практики внедрения управления корпоративными данными и дается подробное описание проекта внедрения программы управления корпоративными данными и функции Chief Data Officer в один из крупнейших розничных коммерческих банков Казахстана.



Глава 1. Теоретические основы управления корпоративными данными

1.1 Определение программы управления корпоративными данными (УКД)

Прежде всего необходимо определить базовые понятия. Согласно Расселу Акоффу [3] данные представляют собой символы, представляющие свойства объектов, событий, а информация извлекается из данных с помощью анализа и состоит из описаний и ответов на вопросы. В данном исследовании понятия данные и информация используются как синонимы.

Так как Управление Корпоративными Данными (англ. Data Governance) является относительно новым термином, научное сообщество еще не пришло к согласию в определении данного термина. В данный момент наиболее популярны следующие определения:

1) «Управление корпоративными данными - совокупность согласованных элементов организации: людей, процессов и технологий, позволяющих использовать данные как ценные активы компании.» (MDM Institute) [16].

2) «Процесс, с помощью которого организация формализует обязанности по управлению данными» (Forrester) [10].

3) «Управление корпоративными данными - система прав и обязанностей для процессов, связанных с данными, выполняющихся согласно согласованным моделям, которые описывают действия определенных должностных лиц, относительно определенной информации, в установленное время, в определенных условиях, используя определенные методы» (Институт управления корпоративными данными (The Data Governance Institute) Error! Reference source not found..

Объединяя все вышеперечисленное, управление корпоративными данными - набор технологий и бизнес-процессов, объединяющий совокупность прав и обязанностей для достижения нужных результатов по оценке, созданию, хранению, использованию, архивированию и удалению данных. Также управление корпоративными данными включает в себя описание процессов, ролей, стандартов и метрик, которые помогают оценить эффективность использования данных и позволяют организации достигать поставленных перед ней целей. Более того программа по управлению корпоративными данными не является единоразовым проектом - это развивающийся набор инициатив, который нацелен на постоянном поддержании и улучшении всех процессов, связанных с данными, ядром которого является обеспечение качества данных во всей организации.

Для улучшения понимания концепции, необходимо разобраться чем не является управления корпоративными данными. Управление корпоративными данными не является:

· Управлением изменениями

· Набором процедур по очистке, извлечению, трансформации и загрузке данных (ETL)

· Управлением мастер-данными (MDM)

· Хранением данных

· Проектированием баз данных

· Администрированием баз данных

Хотя концепция управления корпоративными данными может включать некоторые блоки работ, описанные выше, однако стоит рассматривать описываемую концепцию как методологию управления, нежели как набор отдельных мероприятий.

Как видно из рисунка выше, управление корпоративными данными является совокупностью различных процессов, которые помогают оптимизировать процессы работы с данными в организации и улучшить качество данных. программа управление аналитический фреймворк



Рисунок 2. Основные блоки управления корпоративными данными

1.2 Обеспечение качества данных

Основной задачей программы по управлению корпоративными данными считается задача обеспечения качества данных, поэтому для того, чтобы наиболее полно раскрыть тему программы по управлению корпоративными данными необходимо провести анализ литературы по теме обеспечения качества данных.

Вонг в своей работе сказал [6], что «Информация, получаемая из данных - это продукт, который включает в себя все свойства, которые в совокупности должны удовлетворить потребности получателя». Также он определяет основную цель методологии управления качеством данных - обеспечение соответствия информационного продукта ожиданиям получателя информации. Менеджеры, в чьи обязанности входит обеспечение качества данных должны измерять качество данных всех процессов, где так или иначе создаются или используются данные: начиная от проектирования информационных систем, заканчивая ежедневной работой оператора в информационной системе.

Рэдман [20], в свою очередь, приводит семь распространенных проблем с качеством данных:

1) Сотрудники не могут найти нужные данные (по его оценке, сотрудники тратят 30% рабочего времени на поиск нужной информации, причем эта информация успешно находится только каждый второй раз)

2) Порядка 10-25% информационных записей хранят в себе неточности или не соответствуют исходным данным

3) Данные часто неправильно интерпретируются, и, зачастую, обмен информацией между департаментами одной организации может быть затруднен ввиду того, что передаваемые данные неправильно интерпретируются.

4) Данные, как объект, могут быть украдены, потеряны, либо может быть нарушено законодательство в области передачи, хранения и обработки информации

5) Несоответствие данных из разных источников

6) Большое количество избыточных данных, которые никогда не используются, однако тратится большое количество ресурсов на хранение этих ненужных данных

7) Отсутствие структурированности и описания данных, так, что менеджеры не знают, в каких системах хранятся какие данные, какие данные значимы, как много данных хранится в различных системах

Батини [5] в своем исследовании проанализировал все существующие характеристики процесса по обеспечению качества данных и определил базовый набор общего фреймворка по обеспечению качества данных независимо от контекста использования инструмента по обеспечению качества данных следующим образом:

· Точность: данные позволяют точно идентифицировать объект из реального мира (например, реальный адрес клиента или настоящий баоанс банковского счета клиента)

· Полнота: в записи присутствуют все необходимые для заполнения поля (например, ID, имя, цена и описание товара)

· Консистентность: данные синхронизированы во всех информационных системах организации - данные в различных системах не противоречат друг другу (например, для клиента с одним и тем же ФИО, и номером телефона совпадают адреса электронной почты в CRM и в ERP системах)

· Своевременность: время предоставления данных соответствует ожиданиям конечных пользователей данных (например, для некоторых записей необходимо осуществлять обновление каждые десятые доли секунд (стоимость акций на биржевом рынке), а для некоторых раз в несколько лет (данные по переписи населения))

Мэдник и Вонг - 2 ученых из MIT (Массачусетского технического университета) в 1990х разработали фреймворк TDQM (Total Data Quality Management) [13], в котором описали процесс непрерывного улучшения качества данных с помощью последовательности циклов «Определения проблемы», «Измерения показателей», «Анализ полученных результатов» и «Внедрения изменений». По сути, подход Мэдника и Вонга был скопирован из стандартного подхода по управлению качеством на производственном предприятии в область управления корпоративными данными.

1.3 Предпосылки внедрения программы по управлению корпоративными данными

Многие международные эксперты считают развитие управления корпоративными данными необходимостью для сегодняшнего бизнеса. К примеру, Дэвенпорт [8] полагает, что крупным международным предприятиям необходимо иметь общую стратегию развития управления данными для достижения конкурентного преимущества. Более того, он указывает, что компании уже проинвестировали миллионы долларов в корпоративные информационные системы, созданные для сбора данных из всех возможных источников. Примерами таких систем являются всевозможные системы ресурсного планирования, CRM системы (системы управления взаимоотношениями с клиентами), системы управления цепочками поставок - все эти системы оставляют записи о каждом действии, произошедшем в компании. Проблема в том, что для того, чтобы извлечь максимальную выгоду из собранных данных, компаниям необходимо представить данные в удобном для анализа формате (стандартизировать и заструктурировать), синхронизировать данные из различных систем и источников, правильно хранить их, не допуская потери/повреждения/утечки, и сделать их легкодоступными для внутренних и внешних пользователей.

В другом исследовании Сид Адельман [4] пишет о том, что каждой организации необходима стратегия по улучшению пользования корпоративными данными. С помощью этой стратегии, компания сможет лучше превращать сырые данные в информацию, а информацию, в свою очередь, в знания, что произведет конкретные и измеримые улучшения в бизнес-процессах организации. Адельман приводит довольно интересный пример, проводя аналогию работы организации, в которой не внедрена программа по управлению корпоративными данными с компанией, в которой каждый департамент строит свой собственный график одних и тех же финансовых результатов. Данная аналогия строится на том, что каждый департамент выбирает свою собственную систему исчисления, в следствие чего, получается полный хаос - на то, чтобы все графики привести в соответствие и сопоставить между собой тратится довольно много времени, а также, во время этого процесса есть вероятность совершения ошибки, которая, в свою очередь, приведет к неверной интерпретации данных. Также Сид Адельман раскрывает индикаторы проблем с данными у организаций, не внедряющих программу по управлению корпоративными данными: «грязные» данные, избыточные данные, противоречащие друг другу данные, труднодоступные данные, не интегрированные между собой данные, итд - все это создает атмосферу хаоса на предприятии, а бизнес-подразделения, которые не могут пользоваться некачественными данными винят, в свою очередь, ИТ-подразделение, которое никакой ответственности за качество данных не несет. Качество данных же, на самом деле, не входят в область ответственности ИТ в классическом определении функций ИТ департамента. Карр [6] в своей статье в Harvard Business Review «Информационные технологии больше ничего не значат» еще в 2004 году говорил, что корректно построенная работа ИТ функции не является конкурентным преимуществом, а уже стало обыденностью. Также Карр подчеркивает, что ИТ не включает в себя получение информации из сырых данных и человеческий капитал, которые добывают/обрабатывают/используют данные из ИТ систем. Только комбинируя качественные данные с грамотным анализом можно получить конкурентное преимущество в бизнесе в наши дни.

Большинство крупных компаний являются территориально-распределенными со сложным ИТ-ландшафтом. У таких организаций всегда есть проблемы с данными, которые накапливаются годами и остаются нерешенными по сей день. В следствии большого количества накопленных ошибок с данными, бизнес просто не может им доверять, так как данные низкого качества, да и на поиск данных по разрозненным системам тратится очень много дорогого времени высококвалифицированных специалистов.

Ко всему, сказанному выше можно добавить то, что если примеров внедренных инструментов Business Intelligence не так много, то за счет чего может быть реализован потенциал еще более сложных решений следующего поколения, например, анализа больших данных, предиктивной аналитики, дата майнинга, и. т. д.



Таблица 1. Проблемные области, решаемые с помощью управления корпоративными данными, и их влияние на крупные корпорации

Проблемные области	Эффекты
Разрозненные мастер-данные · Недостаточная консолидированность данных · Необходимость постоянной чистки данных	Согласованность · Создание корпоративного мастера · Поддержка правил очистки данных
Отсутствие ответственных за данные · Неспособность своевременно создавать/получать данные · Неспособность эффективно реагировать на изменения данных	Задержки в бизнес-функциях · Вывод нового продукта на рынок · Реагирование на изменения в рыночной конъюнктуре
Наличие расхождений в определении данных · Различная трактовка терминов (например, выручка - с НДС или без НДС?)	Разработка КПЭ и осуществление контроля · Семантическая несогласованность · Поддержка правил очистки данных
Отсутствие необходимых инструментов · Недостаточное количество словарей/метаданных · Сложный анализ последствий · Сбои при репликации	Работа «вручную» · Полагание на «экспертную» культуру · Изучение каждого приложения · Устранение неполадок после того, как инцидент произошел

1.4 Цели управления корпоративными данными

Управление корпоративными данными - это не панацея для решения всех проблем бизнеса и ИТ организации. Основные цели управления корпоративными данными:

· Определение, согласование и коммуникация стратегий, политик, стандартов, архитектуры, процедур и метрик для управления данными

· Мониторинг и контроль соответствия процессов, связанных с данными соответствующим политикам, стандартам, архитектуре и процедурам

· Спонсирование, мониторинг и контроль выполнения проектов, связанных с управлением данными

· Управление и разрешение конфликтов, связанных с данными

· Осознание и формирование культуры понимания важности данных

1.5 Ожидаемые результаты внедрения программы по управлению корпоративными данными

В результате внедрения программы по управлению корпоративными данными, заказчик получает следующее:

· Политики управления корпоративными данными. Совокупность положений, описывающих правила контроля, обеспечения безопасности, качества и использования данных на всем протяжении их жизненного цикла

· Стандарты управления корпоративными данными. В отличие от политик по управлению корпоративными данными, стандарты на более детальном уровне описывают выполнение правил, установленных в стандартах. Обычно, стандарты включают в себя правила по именованию, моделированию и другие стандарты архитектуры данных

· Разрешенные конфликты с данными. Управление корпоративными данными контролирует процедуры по эскалации конфликтов с данными, включая в себя конфликты, связанные с качеством данных, безопасностью, доступностью, итд.

· Проекты и сервисы по управлению данными. Функция управления корпоративными данными координирует проекты по управлению данными и разработку сервисов по обеспечению данными по всей организации. В результате чего усиливается контроль выполнения проектов и сервисов, что ведет к увеличению количества успешно-реализованных проектов, связанных с данными, извлечению большей ценности из них и уменьшению времени и издержек выполнения.

· Качество данных. Главным результатом внедрения концепции по управлению корпоративными данными является улучшение качества, доступности и безопасности данных.

· Изменение отношения к данным - Осознание ценности данных. Один из основных принципов информационной архитектуры - формирование отношения к данным, как к активу компании. Одним из основных результатов внедрения управления корпоративными данными является понимание и оценка «активов данных» на предприятии: какие данные какие процессы обслуживают, насколько критичны данные для выполнения тех или иных процессов, какие риски компания несет в случае утраты данных.

1.6 Управление корпоративными данными и Big Data

Мануика с соавт. [14] отмечают, что многие ведущие международные компании уже сейчас используют анализ больших объемов данных и извлекают из них выгоду, другим же, если хотят успешно конкурировать с компаниями, успешно использующими анализ больших объемов данных, необходимо понять, в каких областях бизнеса, анализ больших данных сможет предоставить конкурентные преимущества. Многие компании производят огромное количество данных, триллионы мегабайтов информации о клиентах, поставщиках и даже своих внутренних операциях. Также миллионы сенсоров, подключенных к всемирной паутине, ставших обыденностью в реальном мире, таких как: мобильные телефоны, лэптопы, планшеты, умные часы, умные дома, автомобили, производственные станки, производят терабайты информации. Согласно исследованию Мануики и соавторов, анализ больших объемов данных может создать значительный вклад в развитие мировой экономики, увеличивая продуктивность и конкурентоспособность компаний и некоммерческих организаций, создавая также дополнительное предложение для потребителей. К примеру, они посчитали, что потенциальный вклад анализа больших данных в экономический сектор здравоохранения США может составить до 300 миллиардов долларов.

Согласно исследованию Соареса [22] управлять большими объемами данных (Big Data) стоит также как и другими типами данных, включая мастер-данные и метаданные. Причем он также упоминает, что «управление» является ключевым драйвером извлечения максимальной ценности для бизнеса из программы по анализу больших данных. Однако также необходимо понимать, что управлять большими объемами информации гораздо сложнее нежели другими привычными типами данных из-за того, что большая часть больших объемов данных, из которых организации хотят извлечь выгоду, поступает в корпоративное хранилище данных из внешних источников - эти данные являются неструктурированными и сложнее обрабатываются, нежели транзакционные данные, с которые традиционно управлялись на предприятии. Новые типы данных необходимо также интегрировать в существующую информационную инфраструктуру управления данными и в технологическую инфраструктуру предприятия.

Также Соарес структурирует различные типы больших объемов данных:

· Данные сгенерированные в социальных медиа, которые могут быть использованы, например, в изучении настроения различных клиентских сегментов

· Данные, сгенерированные и обмениваемые между различными машинами (machine-to-machine data), которые могут быть использованы, например, для обследования пациентов в клиниках

· Большие транзакционные данные, которые могут быть использованы, например, с целью управления клиентских обращений

· Биометрические данные, которые могут быть использованы, например, для генетического тестирования

· Данные, сгенерированные людьми, например, электронные медицинские карточки пациентов в клиниках

Макафи и Брайанолфсон [15] утверждают, что целью управления большими объемами данных является перевод аналитики в конкурентное преимущество. Более того, они описывают основные характеристики анализа больших объемов данных, который, по их мнению, отличается от традиционного анализа данных:

· Во-первых, объемы больших данных колоссальны - в 2012 году, 2,5 экзабайта данных создавались каждый день и объем создаваемых данных удваивается каждые три года.

· Во-вторых, для работы с большими данными необходима иная скорость обработки поступающей информации. Учитывая скорость генерации данных, организациям необходимо собирать, анализировать, обрабатывать и реагировать на информацию, полученную из больших объемов информации в режиме реального времени

· В-третьих, разнообразие различных источников, видов и форматов информации при работе с большими данными существенно различается, нежели при традиционной аналитике транзакционных данных предприятий.

В исследовании Дэвенпорта [8], упомянутого уже выше, активно обсуждается необходимость стратегии управления данными, которая простирается за приделы корпоративных данных, включая в себя анализ внешних данных, например, данных из социальных сетей. Программы по управлению данными должны не просто функционировать под единым названием, а активно действовать по всей организации, на единой технологической платформе, используя единые инструменты и под общим контролирующим органом. В традиционных компаниях зачастую различные подразделения бизнеса управляют бизнес-аналитикой по-своему, собственными силами, используя собственные разработки, собственный персонал и собственные инструменты, иногда используя даже собственные корпоративные хранилища данных. Однако это путь к хаосу, это сложный путь, который каждый департамент преодолевает по-своему. Организации должны выделить отдельную централизованную функцию для эффективного управления данными и для обеспечения интеграции данных между различными бизнес-подразделениями. Под интеграцией данных между различными бизнес-подразделениями компаний, подразумевается эффективное взаимодействие различных департаментов при создании, использовании и уничтожении данных - своевременный обмен данными, в корректном формате, с единой интерпретацией всех используемых определений, при использовании единых стандартов обращения с данными по всему предприятию.

1.6.1 Использование аналитических инструментов на базе технологий Big Data и Smart Data

Развитая функция CDO создает условия для успешного использования современных аналитических технологий в различных сферах деятельности. Во многих странах даже центральные финансовые регулирующие органы используют аналитические инструменты на базе технологий Big Data и Smart Data.

В 2013 году Комиссия по ценным бумагам и биржам США (англ. The United Securities and Exchange Comission) разработала и запустила систему анализа информации о финансовых рынках MIDAS (Market Information Data Analytics System). Система открыта для всех, а ее функционал позволяет определять рыночные тренды, выявлять в реальном времени подозрительные биржевые сделки (в том числе по высокочастотной торговле), а также помогает формировать политику регулятора на рынке. Исходными данными для анализа являются история биржевых операций за 5 лет с 13 бирж, что составляет более одной тысячи террабайт информации. К сентябрю 2014 года, по результатам кластерного анализа биржевых транзакций, в системе MIDAS было доказано 34 случая нарушений и передано в административное производство:

· К примеру, используя методы анализа сетевых графов, была выявлена цепочка телефонных звонков, предшествующая подозрительной сделке - в результате проведенного анализа, был доказан случай использования инсайдерской информации

· Другим примером является выявление случая привлечение внешнего финансирования корпорацией мошенническим образом. Проанализировав связи между биржевыми операциями, была выявлена компания, которая покупала и продавала себе свои же акции, имитируя высокий объем торгов на бирже.

· Также по результатам анализа отчетности, которую ежеквартально получает регулятор, был выявлен инвестиционный фонд, чьи показатели были существенно лучше, чем у других компаний этого же рыночного сегмента. Дальнейшее расследование выявило преднамеренное искажение отчетности, завышение стоимости активов, а также использование схемы Понци (финансовой пирамиды).

С осени 2013 года Центральный Банк Японии (Bank of Japan) использует технологии Smart Data для анализа около пятисот макроэкономических показателей для корректировки своей монетарной политики за счет выявления и предупреждения потенциальных негативных тенденций. Основная область применения Smart Data в данном кейсе является прогнозирование экономического роста. По результатам 2013 года оценка с помощью прогнозной модели совпала с реальными значениями в отличие от прогноза других участников рынка и различных экспертов. По словам руководителя Центрального Банка Японии Харухико Куроды (Haruhiko Kuroda), в ближайшее время Центральный Банк Японии начнет проводить превентивные меры регулирования в случае получения негативных прогнозов, полученных с помощью нового аналитического инструмента.

С 2014 года Европейский Центральный Банк (The European Central Bank, ECB) разрабатывает технологию экономического моделирования и прогнозирования в режиме реального времени - Nowcasting. Цель данной технологии - максимально быстро выявлять признаки снижения макроэкономических показателей, в том числе за счет анализа неочевидных зависимостей (к примеру, исследование Google показало, что уровень безработицы позитивно коррелирует с количеством поисковых запросов по тематике «бесплатные приложения»). Для анализа предполагается обрабатывать в реальном времени данные из сети Интернет, такие как информацию о ценах на товары и услуги, поисковые запросы населения, данные в социальных сетях, таких как twitter, facebook, а также накопленные данные из биржевых систем и систем обработки платежей.



Глава 2. Исследование лучших практик в области управления корпоративными данными

2.1 Литературный обзор лучших практик в области управления корпоративными данными

Концепция программы управления корпоративными данными является относительно новой, так что на данный момент существует только небольшое количество научных работ.

В ранние 1990е гг. Вонг в своей работе [6] призвал менеджеров крупных организаций относиться к процессу производства информации как к процессу создания физически осязаемого продукта для реального клиента. Согласно данной статье, процесс должен быть качественно и количественно определен и должен поддерживаться адекватными методами контроля, такими как обеспечение качества, проведение инспекций и измерение продуктивности и стоимости функционирования. Однако основной темой его работы является обеспечение качества данных.

В 2009 г. Фишер в своем исследовании [9] указал на распространенное среди менеджеров крупных предприятий мнение, что к проблемам с данными относятся как к технической проблеме. Он заметил, что зачастую проблемы с данными такие менеджеры решают с помощью многолетних дорогостоящих проектов, которые зачастую закрываются ввиду их нерентабельности и неэффективности. Однако, как замечает Фишер, среди управленцев уже появилось понимание того, что данные должны быть качественными чтобы им можно было верить, однако они еще не понимают, как добиться постоянной поддержки качества данных - дорогостоящие ИТ проекты не помогли основательно решить данную задачу и «съели» много ресурсов предприятия. Все сказанное выше Фишер объясняет, как проблему массового заблуждения менеджеров и отношения к проблемам с данными, как к технологическим проблемам. Однако, проблема с данными - это проблема каждого сотрудника компании, включая менеджеров старшего звена.

По словам Рэдмана [21], крупные предприятия должны вынести ответственность за доступность, качество и безопасность данных за приделы IT-департамента. Во-первых, функция управления корпоративными данными должна быть как можно ближе к бизнесу - основному пользователю данных. Два самых важных этапа в жизненном цикле корпоративных данных - момент создания и момент использования. Оба этих этапа происходят в бизнес-подразделениях предприятия, а не в IT.

Во-вторых, управленческие обязанности и ключевые показатели эффективности (КПЭ) должны быть поставлены перед заинтересованной стороной - стороной, которая несет наибольшие потенциальные потери, как прямые, так и косвенные, от качества, своевременности предоставления и защищенности данных. В данном контексте, опять же, основным действующим лицом выступают бизнес-подразделения компании, а не IT, так как бизнес-подразделения могут использовать данные для создания ценности, но также и могут больше всех пострадать в случае неудовлетворительных характеристик в области управления корпоративными данными. Например, представим себе, что компания решила вывести новый продукт на рынок. Для определения целевой аудитории, характеристик продукта и прочих необходимых для бизнес-планирования целевых показателей, компания использует свой накопленный опыт, который представлен в виде данных, хранящихся на предприятии. В случае, если качество данных будет неудовлетворительным, например, во время проведения промо-акций отсутствовал контроль за процессом сбора информации, в следствие чего львиная доля данных в следствие халатности сотрудников была проставлена «наугад», компания может вывести на рынок неправильный продукт для неправильной целевой аудитории и понести огромные потери. IT же департамент не получает прямой выгоды от использования данных, а также не несет огромных потерь в случае неудовлетворительного состояния данных. Только бизнес-подразделения, которые в наше время обязаны принимать бизнес-решения основываясь на данных, а не на интуиции, несут огромные потери в следствие принятия неправильных решений, основываясь на изначально неправильных данных.

В другом исследовании Ванга, Ли, Пипино и Стронга [6] было замечено, что достижение и поддержка качества данных является очень важным фактором успеха всей программы управления корпоративными данными. В исследовании подробно описывался кейс одной «финансовой организации», которой было необходимо предоставлять данные об изменениях счетов клиентов в режиме реального времени внутренним пользователям компании. Однако, исторически внутренние пользователи этих данных не доверяли их качеству, в следствие чего каждый департамент, которому были необходимы данные о счетах пользователей поддерживал свою собственную локальную базу данных, в следствие чего, в «финансовой организации» отсутствовала единая база данных информации о счетах клиентов, что, в свою очередь, привело к еще большим проблемам с качеством и доверием к этим данным.

2.2 Фреймворк управления корпоративными данными

В целях структурирования большого объема информации по теме внедрения программы по управлению корпоративными данными я использовал фреймворк. Фреймворк в переводе с английского означает «каркас» - это способ структурирования информации с помощью построения своего рода «каркасной структуры», которая состоит из уровней и блоков. Фреймворки часто используются в управленческом консалтинге для простой визуализации сложных многоуровневых методологий и способов решения поставленных задач.

В предыдущих работах, так или иначе связанных с областью управления корпоративными данными, были сформулированы фреймворки. Первыми учеными, попытавшимся сформировать единый фреймворк управления корпоративными данными является Вонг с соавторами, который, однако, они назвали подходом к информационному продукту (Information Product) [6], который состоит из четырех основных принципов:

· Формирование понимания потребности в информации

· Управление информацией как продуктом полностью определенного процесса

· Управление жизненным циклом информации

· Назначение менеджера информационного продукта для управления процессом и результирующим продуктом

Основным вкладом предложенного фреймворка, по словам авторов, является процессный менеджмент и координация усилий при работе с информацией как с физическим продуктом. Традиционно, ИТ функция предприятия использовала информационный процессный менеджмент в своей деятельности, но редко фокусировалась на потребителях информации и на их потребностях. Низкое качество организации информационных активов предприятия обычно обусловлено недостаточной координированностью и недостаточным информационным взаимодействием между потребителями, производителями и поставщиками.

Однако, даже в начале двухтысячных, не существовало никаких методологий по организации управления корпоративными данными в организациях. Позже, IBM была опубликована модель зрелости комитета управления информацией предприятия [12], которая описывала цели, необходимые элементы и компетенции управления корпоративными данными, однако, в данной работе представлено только верхоуровневое видение организации управления данными предприятия, без должного уровня конкретизации. Позже, Рэдклиф [19], определил, что фреймворк организации управления корпоративными данными должен включать в себя видение, стратегию, подход к управлению, организационную структуру, описание процессов, используемых технологий и метрик. DAMA [] также представили свой собственный «пай-чарт» управления данными, в центре которого находится управление корпоративными данными, окруженный архитектурой данных предприятия, управления метаданными, управление мастер-данными и организация корпоративного хранилища данных.

В 2011 Отто [18] создал более полный фреймворк и определил, что управление корпоративными данными состоит из целей и структуры. Цели, в свою очередь, могут быть поделены на формальные цели бизнеса и ИТ и функциональные цели. Структура, с другой стороны, может быть поделена на «локус контроля», «форму организации» и «роли и комитеты»

В этом же году, Орр [17] презентовал собственную версию «Базовых требований для управления корпоративными данными». Управление корпоративными данными должно быть формализованным, должно иметь контроль над данными по всем бизнес-подразделениям организации, контролировать все процессы жизненного цикла данных (включая определения ролей и обязанностей вовлеченных сотрудников), должным образом финансироваться, иметь власть внутри организации и вовлекать топ-менеджмент.

2.3 Описание сформированного фреймворка управления корпоративными данными

При создании фреймворка, я опирался на лучшие практики и существующие фреймворки управления корпоративными данными, исследованные в теоретической части данной работы, а также на собственный опыт внедрения программы управления корпоративными данными в крупную финансовую организацию с более чем пятью тысячами сотрудников по всему миру.

В моем фреймворке 4 уровня (снизу-вверх):

· 1 уровень - инфраструктура данных - необходимый набор технологий, технических устройств и программного обеспечения, используемого для хранения, обработки и утилизации программного обеспечения

· 2 уровень - верхоуровневое описание основных инициатив, реализуемых при внедрении программы по управлению корпоративными данными

· 3 уровень - описание целей внедрения программы по управлению корпоративными данными

· 4 уровень - результат внедрения - программа по управлению корпоративными данными, которая выполняет поставленные перед ней цели (уровень 3), была достигнута с помощью инициатив (уровень 2), на необходимой инфраструктуре данных (уровень 1)

Рисунок 3. Фреймворк функции управления корпоративными данными

2.4 Описание функции CDO - Chief Data Officer

Современной тенденцией в управлении корпоративными данными является создание выделенной функции CDO (Chief Data Officer) - Вице-президент, отвечающий за данные по всему предприятию. CDO - это единое ответственное лицо в банке, который обеспечит возможность удобного и качественного использования информации в качестве стратегического бизнес-актива. Функция CDO, как отдельная организационно-функциональная единица, со своим выделенным аппаратом, объединяет Бизнес и ИТ-подразделение вокруг всех информационных активов организации. Поскольку ИТ-подразделение, как правило, концентрируется на технологическом аспекте обработки данных, CDO фокусируется на бизнес-архитектуре информации и связи с бизнес-процессами.

Рисунок 4. Иллюстрация ограничений ответственности ИТ-подразделения и функции CDO

Как видно из иллюстрации, приведенной выше, в то время, как ИТ-подразделение выполняет технические задачи, связанные с организацией хранения, обработкой и предоставлением информации, функция CDO занимается разработкой и поддержкой информационной стратегии и нормативных документов, связанных с организацией работы с данными на предприятии, разработкой и поддержанием корпоративной модели данных и контролем методик управления качеством в организации.

Как уже было сказано ранее, основная задача выделенной функции CDO - обеспечить, чтобы необходимые данные с требуемым качеством в нужный момент времени попадали к правильным потребителям. Бизнес-подразделениям организаций данные обычно предоставляются в виде определенных информационных сервисов. С помощью информационного сервиса потребители получают возможность удовлетворения своих потребностей в актуальных сведениях и знаниях, обладающих специфическими характеристиками и направленных на снижение и в конечном итоге устранение неопределенности в той или иной ситуации (Дуванская Е.В., 2014) [25].

Рисунок 5. Иллюстрация характеристик информационного сервиса

Бизнес-подразделения организации, для удовлетворения информационных потребностей взаимодействуют только с интерфейсами информационных сервисов. Остальная инфраструктура работы с данными не представляет непосредственного интереса для бизнеса и находится в зоне ответственности функции CDO, которая, в свою очередь, делегирует технические аспекты обеспечения работы с данными ИТ-подразделению. Как видно из иллюстрации, приведенной выше, успешность CDO измеряется количеством и качеством предоставляемых инфосервисов.



2.4.1 Ключевые направления деятельности функции CDO

Ключевые направления деятельности функции CDO включают в себя пять основных направлений: управление и обеспечение эффективного обмена информацией, развитие информационной архитектуры организации, обеспечение качества данных, обеспечение бизнес-подразделений необходимыми данными на базе инфосервисов, внедрение инноваций в области управления данными на предприятии.

· Управление и обеспечение эффективного обмена информацией включает в себя:

o Разработку информационной стратегии, политик и центров компетенций в области управления корпоративными данными

o Участие в формировании политики информационной безопасности

o Разработку и поддержку корпоративной модели данных

o Оптимизацию отчетности и совершенствование информационного обмена между различными бизнес-подразделениями организации

· Развитие информационной архитектуры включает в себя

o Развитие систем ведения и распространения данных, включая корпоративное хранилище данных, ODS, Big Data, MDM, НСИ и различные файловые хранилища

o Контроль проектов и программ, существующим образом затрагивающих информационную архитектуру предприятия

o Развитие инструментов управления информационными активами предприятия, таких как общекорпоративный словарь данных

· Обеспечение качества данных (включая НСИ) включает в себя

o Измерение качества данных, оценка влияния качества данных на различные бизнес-процессы предприятия

o Определение причин некорректности данных, пути и затраты на их исправление

o Организацию процессов и процедур исправления данных (как в бизнесе, так и в ИТ-подразделении организации)

o Внедрение инструментов и механизмов, обеспечивающих качество данных, а также постоянный контроль метрик качества данных

· Обеспечение подразделений необходимыми данными на базе инфосервисов включает в себя

o Переход от реализации проектов по «загрузке данных» к подходу «данные как сервис»

o Создание и развитие каталога информационных сервисов, контроль соблюдения SLA

o Управление инцидентами, связанными с данными

o Популяризацию информационных сервисов, повышение культуры работы с информацией

· Внедрение инноваций в области управления информацией включает в себя

o Прогнозирование будущих информационных потребностей предприятия

o Идентификацию возможностей по получению дополнительных преимуществ от внедрения перспективных технологий, а также участие в пилотировании и внедрении новых технологий в области управление корпоративными данными

2.5 Структура управления функции управления корпоративными данными

Дизайн организационных моделей, которые обеспечивают продолжающийся процесс управления корпоративными данными в организации обычно попадают в диапазон моделей, от полностью централизованных, до полностью автономных в каждом бизнес-подразделении организации. Не существует как таковой идеальной модели ввиду различия в специфике бизнеса отдельных отраслей и компаний. Так или иначе, обычно разрабатывается модель, которая адаптирует под себя гибридную модель организации функции управления корпоративными данными.

2.5.1 Автономная организационная модель функции управления корпоративными данными

Автономная организационная модель функции управления данными обычно используются, когда различные региональные/дивизиональные подразделения организации имеют мало схожести в своей операционной деятельности и имеют различные бизнес-процессы.

В рамках данного типа организационных моделей функции управления корпоративными данными отдельные подразделения в пределах управления организации и управления данными независимы друг от друга так, чтобы наилучшим образом удовлетворять потребности индивидуальных бизнес-подразделений. Также при реализации данной организационной модели отсутствует формальный механизм для адресации последствий изменений на другие бизнес-подразделения, включая нижестоящие в иерархии организационной структуры предприятия. В данном случае, подразделение управления корпоративными данными может выступать в роли либо функции, либо в роли отдельного подразделения, а все предлагаемые к реализации инициативы в области управления корпоративными данными выступают в роли либо процессов, либо проектов внедрения.

Сильными сторонами данной организационной модели принято считать снижение накладных расходов в управлении корпоративными данными, а также полную независимости локальных/региональных подразделений, где наилучшим образом учитывается специфика бизнес-подразделений.

Минусом же данной организационной модели является слабый уровень поддержки синхронизации данных на общекорпоративном уровне. То есть, при успешном внедрении данной организационной модели в бизнес-подразделения организации, данные будут точные, логически-связные и защищенные только на уровне бизнес-подразделений, а не на общекорпоративном уровне.

2.5.2 Централизованная организационная модель функции управления корпоративными данными

Централизованная организационная модель функции управления корпоративными данными обычно используется, когда различные региональные/дивизиональные подразделения организации имеют много общего в операционной деятельности, используют одинаковые информационные системы и имеют схожую структуру бизнес-процессов. Основными пользователями данной организационной модели функции управления корпоративными данными являются организации с сильным корпоративным головным офисом, в котором поддерживаются не только основные, но и побочные функции (например, юридические, рекрутинговые, финансовые, итд).

В рамках организационных моделей функции управления корпоративными данными этого типа централизованная функциональная команда управляет всеми ключевыми информационными активами предприятия по всем подразделениям и ключевым проектам организации. В данном случае команда централизованной функции управления корпоративными данными должна физически находиться в одном месте, обычно в головном подразделении организации, осуществляющей функцию управления дочерними подразделениями. В рамках данной организационной модели, запросы на дополнения, изменения или удаления данных согласуются и/или направляются центральной команде функции по управлению корпоративными данными. Также центральная функция обеспечивает мониторинг и контроль функционирования программы по управлению корпоративными данными по всем бизнес-подразделениям организации. Централизованная команда оценивает и обеспечивает соблюдение стандартов и требований по работе с данными.

Сильными сторонами данного вида организационных моделей функции управления корпоративными данными являются:

· Наличие выделенных full-time управляющих данными, которые полностью понимают структуру бизнес-модели данных предприятия, а также полностью погружены в информационные потребности своих бизнес-подразделений, за данные в которых они отвечают для налаживания функционирования информационных сервисов

· Централизованное управление способствует согласованности, точности, полноты и обеспечению безопасности данных на общекорпоративном уровне

· Централизованная команда обеспечивает постоянную синхронизацию различных информационных активов между различными подразделениями организации

Однако при внедрении данной организационной модели функции управления корпоративными данными необходимо понимать, что централизованная модель требует сильную поддержку организационного руководства для продвижения проектов изменений по всем бизнес-подразделениям.

Минусами же данного вида организационных моделей функции управления корпоративными данными являются:

· Большое число постоянно-выделенных ресурсов, работающих в головном подразделении предприятия и обрабатывающих запросы от всех подразделений предприятия

· Наличие временного лага между поступлением запросов от подразделений организации, до обработки данного запроса и принятия решения. То есть, данный подход считается менее оперативным нежели при распределенной модели функции управления корпоративными данными.



Рисунок 6. Иллюстрация централизованной функции управления корпоративными данными

2.5.3 Распределенная организационная модель управления корпоративными данными с центральным фокусом (гибридная модель)

Распределенная организационная модель управления корпоративными данными с центральным фокусом обычно используется на предприятиях, которые предпочитают сильное центральное управление без потери локальной автономии и гибкости подразделений.

В рамках распределенной организационной модели с центральным фокусом управление данными осуществляется внутри подразделений предприятия. Запросы для дополнения, модификации или удаления данных также выполняются внутри подразделений организации самостоятельно. Внутри каждого подразделения присутствует собственный лидер программы управления корпоративными данными - «Хранитель данных». Он, в свою очередь, передает запросы, которые не может решить самостоятельно, продвигает программу по управлению корпоративными данными внутри собственного бизнес-подразделения, а также собирает от пользователей данных потенциальные пожелания, улучшения в области предоставления, обработки и сбора данных, которые передает центральному аппарату управления корпоративными данными. Централизованная же команда управляет всей ключевой информацией по всем подразделениям предприятия, назначает хранителей данных, внедряет инновации и контролирует исполнение крупных проектов. Также на основании информации, получаемой от хранителей данных, центральная команда по управлению данными рассматривает, оценивает и обеспечивает выполнение стандартов и политик по работе с данными через хранителей данных.