Дуглас Лэйни (Douglas Laney) из Gartner в своей «3D Data Management: Controlling Data Volume, Velocity, and Variety» впервые выявил три главных фактора больших данных: (volume - объем данных, velocity - скорость передачи данных и их обработка, variety - многообразие информации)Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data // Gartner URL: http://www.gartner.com/newsroom/id/1731916 (датаобращения: 10.03.2017).. В соответствии с данной теорией технологии больших данных дают возможность не просто собирать большой массив разрозненной информации, но и обрабатывать ее в режиме реального времени. Многообразие данных предопределяет получение данных из разных источников в разных форматах. Также, Дуглас Лэйни вместе с Марком Бейером (Mark Beyer) в своей работе «TheImportanceof Big Data: ADefinition» на основании выведенных факторов 3V, вывел термин, согласно которому большие данные- это «данные, обладающие большим объемом, быстрой скоростью передачи и получения информации, и вариативностью, которая требует новые формы обработки для модернизации процесса принятия решений и оптимизации процессовBeyer, M. The Importance of `Big Data': A Definition / Gartner, 2012. - 26 p.».

Объем данных, скорость обработки информации, вариативность формата отображения данных стали основополагающими для разработки технической составляющейLaney, D. 3D data management: Controlling data volume, velocity, and variety // Gartner URL: http://blogs.gartner.com/doug-laney/ files/2012/01/ad949-3D-Data-Management-Controlling-Data-Volume-Velocity-and-Variety.pdf1 (датаобращения: 10.03.2017).. В дальнейшем, компания IBM, помимо упомянутых факторов, стали учитывать «четвертую силу - value» - достоверность.The four V's of big data // IBM Big data and analytics hub URL: http://www.ibmbigdatahub.com/sites/default/files/infographic_file/4-Vs-of-big-data.jpg (датаобращения: 16.02.2017). Иная интерпретация четвертого фактора принадлежит компании IDC, которые отмечают, что «value» это ценность данных с экономической точки зрения.Big Data. Related Technologies, Challenges, and Future Prospects / Chen M., Mao S., Zhang Y., Leung V. // New York: Spinger, 2014. -- 100 p.

Профессор George Mason University Кирк Борн (Kirk Borne) увеличил теорию «3 V» до «10 V», в которой он выявил комплементарные характеристики больших данных, такие как: veracity, validity, value, variability, venue, vocabulary и vaguenessBorne K. Top 10 Big Data challenges - A serious look at 10 Big Data V's // MapR, 2014, №4. - 14 p.. Необходимость введения дополнительных V -характеристик была спорным моментов, однако, это было обусловлено проблемами, с которыми сталкивались первопроходцы в применении больших данных, для которых 10Vпредоставило ценные уроки и послужило для создания образцовых практик.Там же, 15 с. По словам профессора Борна, каждая из 10 Vпредставляет собой проблему, которая коррелируется с основными задачами больших данных: захват информации, очистка хранилищ, интеграция данных, хранение данных, обработка данных, индексирование, поиск информации, общий доступ, передача данных, интеллектуальный анализ данных и визуализация данныхТам же, 17 с.. Итак, исходя из концепции «10V» (включая первоначальные 3 Vхарактеристики).

Volume - большое количество данных (которые были названы «Тонна Байт» (Tonnabytes). Это предполагает, что реальная числовая шкала, в которой объем данных представляет сложность в конкретных настройках, специфична для определенной области. Но так или иначе, речь идет о тоннах байт.

Variety - разнообразие данных. Эта характеристика предполагает сложные структуры данных, тысячи характеристик на 1 информационный предмет и многообразие форматов данных.

Velocity- скорость передачи данных. Характеризует быстрый поток входящей информации в режиме реального времени.

Veracity - достоверность информации. Одна из самых проблемных (в силу развития IoT) и в тоже время мощных характеристик, так как на ее основе возможно построить аналитику всего населения.

Validity- валидность. Предполагает качество данных, управление данными и их менеджмент (MDM - masterdatamanagement).

Value - важнейший фактор, характеризующий экономическую (бизнес) ценность, ROI (экономический эффект, выгода) и потенциал анализируемых данных для возможности преобразования организации на всех уровнях.

Variability - изменчивость информации. Динамичная, прогрессивная, пространственно-временная информация, сезонная, и другие типы не статичных характеристик в источниках данных.

Venue- место действия. Предполагает распределение разнородной информации с разных платформ, от разных владельцев, с различным доступом к получению информации (частное или общественное облако данных).

Vocabulary - словарная база данных. Схемы, модели данных, семантика и другие метаданные на основе контента и контекста, которые описывают структуру, синтаксис, содержимое и происхождение информации. Этот фактор предполагает теоретическую базу, которая используется программистами.

Vagueness- неопределенность. Путаница в значении больших данных: это то, что уже было, либо это новая информация.

Последняя, десятая Vбыла представлена Венкатом Кришнамурти (Venkat Krishnamurthy) Директором продакт менеджмента в Yarc Dataна инновационном саммите по большим данным в Санта Кларе 9 июня 2014 года.Big data innovation summit, Santa Clara, 2011 // Innovation enterprise URL: https://theinnovationenterprise.com/summits/big-data-innovation-summit-santa-clara-2014#schedule (датаобращения: 15.03.2017).

Таким образом, можно сформировать рабочий термин. Большие данные - это большой массив неструктурированных данных (более 100гб в сутки), которые постоянно обновляются и поступают из разных источников в режиме реального времени, аналитика которых может принести конкурентное преимущество для организации с точки зрения экономической выгоды, при условии их достоверности и валидности.

Источники больших данных и обработка. Влияние Интернета на современный мир: образование, наука, развлечения, общение, бизнес, политика, общество и тд. - очень велико. Заявление о том, что Интернет меняет все, в том числе себя уже не требует доказательств. Сейчас Интернет один из самых мощных и важных изобретений в истории человечества. Стремительное увеличение объемов информации (исходных данных) связано с экспоненциальным возрастанием числа технического оборудования, генерирующего большие потоки информации. Генераторами больших данных (bigdata) являются различные датчики - техническое оборудование аудио и видео регистрации и измерительные устройства, радиочастотные идентификаторы, метеорологические данные, потоки данных от абонентов сетей сотовой связи.

В целом, классическими источниками больших данных принято считать Интернет вещей и социальные медиа. Big data: The next frontier for innovation, competition, and productivity / Manyika J., Chui M., Brown B., Bughin J., Dobbs R., Roxburgh C., Hung Byers A. // McKinsey Global Institute, 2011. - 5 p. Количество генераторов, которые хранят и переносят информацию без участия человека, стремительно растет. Компания Ciscoв своем исследовании сделала прогноз, что уже к 2020 году, с население Земли в 7,6 миллиардов человека, число таких датчиков достигнет цифры в 50 миллиардов (это 6,58 подключенных девайсов на 1 человека).Evans D. The Internet of things: how the next evolution of the Internet is changing everything // Cisco Publishing, 2011. - 6 p. И уже сейчас на одного жителя Земли приходится около 4 девайсов, что позволяет сделать вывод об участии различных датчиков в информационном взаимодействии. Этот феномен был обозначен в концепции Интернета вещей (theinternetofthings), развитие которой было положено в Массачусетском технологическом университете.Ashton K. That `Internet of things' thing // RFID Journal, 2009, №6. - 4 p. Интернет вещей относится к периоду времени, когда число устройств (подключенных / не подключенных к сети) превысило число пользователей всемирной паутины. По словам Джейкоба Моргана, можно выделить следующие типы взаимоотношений: человек - человек, человек - вещь, вещь - вещьMorgan J. Simple explanation of `The Internet of things' // Forbes, 2014, №7. - 19 p.. В своем идеальном представлении Интернет вещей, благодаря автоматизации процессов в различных сферах, повысит эффективность экономикиManyika J. By 2025, Internet of things applications could have $11 trillion impact // McKinsey Global Institute, 2015. - 5 p.. Сейчас же он представляет собой датчики, которые связаны между собой единой сетью, один из ярких примеров применения этой концепции - технология «Умный дом» (дом, где гаджеты управляют всеми техническими процессами вместо человека). Интернет вещей, термин, используемый для описания использования датчиков и других подключенных к Интернету устройств для отслеживания и контроля физических объектов, открывает совершенно новые способы ведения бизнеса. По оценке Mc Kinsey Global Institute приложения Интернета вещей к 2025 году могут иметь влияние в $11 триллионов.Manyika J. By 2025, Internet of things applications could have $11 trillion impact // McKinsey Global Institute, 2015. - 7 p.

Эндрю Меола выделяет следующие типы сетей, через которые осуществляется непрерывный поток данных благодаря различным устройствам: BAN, WAN, LAN, VWANWhat is the Internet of things (IoT)? // Business Insider URL: http://www.businessinsider.com/what-is-the-internet-of-things-definition-2016-8 (датаобращения: 26.02.2017)..

· BAN (bodyareanetwork) - программы и устройства, которые взаимодействуют с телом (например: умные футболки, фитнес-браслеты, applewatch).

· WAN (wideareanetwork) - сеть, охватывающая большие территории с низкой частотой передачи данных (пример датчиков: дроны, автомобили, GPSнавигаторы и тд)

· LAN (localareanetwork) - домашняя сеть (пример: маршрутизаторы и роутеры)

· VWAN (verywideareanetwork) - сеть с очень большим покрытием для массового пользования (пример: электронные городские ресурсы по типу EMIAS)

Стремительное увеличение числа датчиков (генераторов данных) в парадигме Интернета вещей (IoT) стало причиной возникновения больших объемов данных и, как следствие, проблем, связанных с хранением и обработкой колоссального массива информации.Старые методы обработки информации, разработанные человеком, не способны справляться с таким числом информации, которую стали генерировать машины. Однако, вопрос с хранилищем данных был вынесен на обозрение еще в 2001 году вне контекста о больших объемах информации, а для оптимизации бизнес-структур. Определяющим признаком является тот факт, что теперь для анализа и обработки данных важно учитывать не только физические характеристики (первые три Vфактора, упомянутые ранее), но и другие категории. Способность порождать гораздо больший массив данных, чем обрабатывать вызывает главный дисбаланс. Большие данные метафорично возможно сравнить с нефтью: без должной обработки сырье не имеет столь высокой ценности, но несет в себе большой потенциал для создания абсолютно различных продуктов (от формы до сферы применения). Однако, данные еще имеют функцию устаревания, и, необработанные в нужный момент массивы информации не будет нести в себе смысла и конечного применения. Именно поэтому важно разобрать самые популярные способы обработки больших данных и перспективы для их развития.

Компания IBMв своем отчете о глобальном исследовании больших данных разделяет источники данных для бизнеса на внутренние (internaldatasources) и внешние (externaldatasources)Analytics:The real-world use of big data: How innovative enterprises extract value from uncertain data

// IBMURL: https://www-935.ibm.com/services/us/gbs/thoughtleadership/ibv-big-data-at-work.html (дата обращения: 26.02.2017)..

Отчет компании "Analytics: Thereal-worlduseofBigData" ("Аналитика: практическое использование больших данных") базируется на результатах глобального опроса 1144 бизнес- и IT-экспертов из 95 стран и 26 сфер. Данный анализ дает ясное и полное понимание о том, как компании в разных странах мира относятся к большим данным, каким образом создаются нужные возможности для реализации данного потенциала, и в какой степени организации в действительности используют большие данные в интересах своего бизнеса в настоящие дни. Там же.

Рисунок 1. Типы источников больших данных

Как видно из рисунка (см. Рисунок 1), для внутренних источников 88% данных поступают из транзакций, проведенных в компании (в основном, это бизнес-сделки и заказы клиентов), 73% регистрационных данных (обычно, это ФИО, год рождения, пол, мобильный телефон, геоданные, и иные данные при входе в систему. Например, в случае оформления клиентом заказа на сайте). 53% информации поступает с e-mail(это может быть любая рабочая переписка, содержащаяся в почте). Информации из внутренних источников компании всегда более структурирована и релевантна. Кроме того, сбор этих данных велся еще с начала основания компании (и далеко не с целью аналитики больших массивов, но скорее для отчетности). Именно поэтому более половины респондентов из опроса сказали о том, что предпочитают использовать данные из внутренних источников компании. Это свидетельствует о 2 фактах: внутренние данные полезны компании, огромный потенциал внутренних данных «заперт» внутри информационной системы организации.

Внешние источники в большей степени сосредоточены в данных из социальных сетей (43%), аудио информации (38%), фото и видео информации (34%).

Большинство организаций, которые начинают работу с данными, берут за основу аналитику структурированных данных, применяя основные инструменты, такие как запросы и отчетность (91% респондентов) и глубинный анализ данных (77%). Больше половины (67%) сообщают об использовании прогностического моделирования.2012 Bigdatastudy // IBM.com URL: https://www.ibm.com/2012bigdatastudy (дата обращения: 02.03.2017). Однако, для построения качественной стратегии для ИК может потребоваться работа с неструктурированными данными (сообщения от пользователей в соц. Сетях, публикации с отметкой бренда, комментарии под контентом с изображением бренда, телефонные звонки клиентов и другое). Основная проблема в аналитике текстовой информации связана с тем, что машина не умеет отличать тональность русского языка в некоторых моментах: например, «да нет, наверное» или же «Почта Росси такая быстрая».

Кроме того, ниже приведены 5 рекомендаций из аналитического отчета, которые IBMпредлагает принять во внимание при внедрении аналитики больших данных для достижения высоких результатов и рационального использования

Количество данные из внешних источников настолько огромно, что очень важно понять, как, по какому принципу и в каком формате необходимо собирать нужную информацию. Ниже представлена инфографикаJames J. Data Never Sleeps 4.0 // DOMO URL: https://www.domo.com/blog/data-never-sleeps-4-0/ (датаобращения: 10.05.2017). (см. Рисунок 2), иллюстрирующаяся количество входящих данных каждую минуту из самых популярных источников (Facebook, YouTube, Google, Instagramи другие) в самых распространенных форматах: текстовые данные, фото, видео, банковские транзакции и геолокации.

Рисунок 2. Количество входящих в сети данных в течение минуты

Такие цифры даже сложно представить, каждую минуту пользователи Face Bookвыкладывают около 684, 478 публикаций контента различного формата. В инстаграам загружают 3,600 фотографий, а потребители тратят $272 000 на шоппинг в Интернете. Исходя только из этих 3 ресурсов можно составить детальный портрет своей целевой группы. Кроме того, самым мощным инструментом всех социальных сетей является возможность связать свои аккаунты между собой, что в разы упрощает аналитику для компании. Однако, именно из-за огромных объемов входящего трафика проблема хранения и обработки данных является самой актуальной для компаний в настоящий момент. 3 главных характеристики: Volume, Velocityи Varietyвступают в спор между собой.

Способы обработки данных. Майк Лукидис написал: «Будущее принадлежит компаниям и людям, способным превратить данные в продукты» Черняк Л. Большие Данные -- новая теория и практика // Открытые системы. СУБД, 2011, № 10. -- 19с.. Применимо к нашей тематике, можно утверждать, что тот, кто владеет данными и технологиями их анализа - владеет миром. Именно поэтому, вопрос обработки и анализа данных является самым обсуждаемым с начала широкого применения больших массивов информации (то есть с 2011 года).

Для следующих источников данных необходимы различные методы их обработкиBigData от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce // Хабрахабр URL: https://habrahabr.ru/company/dca/blog/267361/ (дата обращения: 02.03.2017)..

- поведение пользователей в интернете

- GPSсигналы

- данные с датчиков в большом Андроном коллайдере

-оцифрованные книги в библиотеках

-информация о банковских транзакциях

-информация о всех покупках в сети ритейл и e-commerce

- данные спутниковых систем

- корпоративные базы данных

В качестве базового принципа обработки данных отмечают горизонтальную масштабируемость. То есть если увеличилось кол-во информации, то достаточно просто добавить необходимое «железо» и система вновь способна анализировать уже больший объем.Big Data. Related Technologies, Challenges, and Future Prospects / Chen M., Mao S., Zhang Y., Leung V. // New York: Spinger, 2014. -- 99 p. Компания McKinseyотмечает технологии businessintelligence (методы перевода информации в удобную для восприятия форму, часто применяется в бизнес - анализе), и реляционные системы управления базами данных, которые существуют уже на протяжении 40 лет.Big data: The next frontier for innovation, competition, and productivity / Manyika J., Chui M., Brown B., Bughin J., Dobbs R., Roxburgh C., Hung Byers A. // McKinsey Global Institute, 2011. - 8 p. Кроме того, многими аналитиками и компаниями выделяются следующие методы:

· NoSQL (notonlySQL) - несколько подходов, ориентированных на осуществление манипуляций с хранилищами баз данных. Применимо к данным, где стоит проблема масштабируемости (очень большой поток информации необходимо решать за счет атоматорности).ФаулерМ. NoSQL: новаяметодологияразработкинереляционныхбазданных = NoSQL Distilled // М.: «Вильямс», 2013. -- 192 с.

· MapReduce - один из самых классических методов, структура для вычисления комплектов распределенных задач с применением множества компьютеров, которые образуют кластер. Состоит из 2 шагов: Mapи Reduce. Сперва входные данные обрабатываются, затем в виде задачи поступают на процесс reduce - когда происходит решение задачи, которая была сформулированаGoogle spotlights data center inner workings // Сnet URL: https://www.cnet.com/news/google-spotlights-data-center-inner-workings (датаобращения: 05.03.2017).. Такой подход широко применяется компаний Google

· Hadoop -программа, названная в честь игрушечного слона, появилась на рынке совсем недавно и уже взяла на себя работу с некоторыми крупнейшими в мире веб-сайтами (FaceBook, Yahoo)Vance A. Hadoop, Analytical software program, finds uses beyond search // New York Times URL: http://www.nytimes.com/2009/03/17/technology/business-computing/17cloud.html (датаобращения: 05.03.2017).. Позволяет контролировать крупнейшие поисковые системы и отображает результаты, именно это система решает, что видят пользователи на домашней странице Yahoo и находит старых друзей на FaceBook.

Так как количество источников данных постоянно растет (Интернет вещей увеличивается с каждым годом, что было упомянуто ранее) - востребованность к технологиям их обработки очень высока. Важным принципом в обработке данных является «локальность». В больших системах данные распределяются на очень большое количество машин, при этом данные могут находиться на одном сервере, а обрабатываться на другом - тогда расходы на передачу данных с одного сервера на другой могут превысить расходы на саму обработку. Поэтому принцип локальности диктует правило обработки данных на той же машине, где они и хранятся.

Типология больших данных. Сейчас наблюдается нечто похожее на промышленную революцию, когда люди разделились на тех, кто владеет производством и тех, кто на них работает. Однако теперь на первый план выходят информационные активы, хищение которых гораздо вероятнее и проще, чем хищение материальных активов. Кроме того, сделать это можно легально, именно поэтому уделяется большое внимание Аналитике Больших данных и технологиям их защиты, которые зависят от типологии данных. Основанием для классификации больших данных служат их технические характеристики, источники и направления для реализации.

Майкл Канеллос (MichaelKanellos) исследователь и автор статей для Forbesвыделяет следующие форматы: fastdata, darkdata, lostdataи newdata.Kanellos M. The five different types of big data // Forbeshttps://www.forbes.com/sites/michaelkanellos/2016/03/11/the-five-different-types-of-big-data/#d4c844f6f879 URL: Kanellos M. The five different types of big data (датаобращения: 05.03.2017).

Fastadata - это возможность быстрой аналитики данных (настолько быстрой, что возможно мгновенно определить предпочтения потребителя во время того, как он активировал свой купон на скидку в торговом центре). Ценность входящих fastdataсводится не к идеальной аналитике, но возможности выдать прогноз в режиме реального времени. IBMи CISCOстроят свои кампании на основе fastdataIBM on Forbes Lists // Forbes URL: https://www.forbes.com/companies/ibm/ (датаобращения: 11.04.2017)..Такой тип приложения больших данных в скором времени будут использовать большинство компаний.

DarkData-видеотрансляции, фотографии, комментарии в сети, входной и выходной траффик служб безопасности и охранных предприятий. DarkData - это информация, доступ к которой получить не так просто. Компания Gartnerи IDCоценивают, что примерно 80% данных являются неструктурированными и только находятся на подходеBig data analysis // idc.com URL: http://www.idc.com/research/bigdataanalysis (датаобращения: 09.03.2017)..К 2020 году количество входящих данных (измеряемых в Эксабайтах) по сравнению с 2017 годом вырастит примерно в 2,5 раза и достигнет 40 000Big data analysis // idc.com URL: http://www.idc.com/research/bigdataanalysis (датаобращения: 09.03.2017).. Как и к другим категориям данных, доступ к ним все также будет ограничен. Для того чтобы найти конечный результат аналитики такого типа данных необходимо провести огромное количество вычислений, при этом не всегда ясно, с каких устройств их собирать. В следствие технических ограничений и недостаточно развитой инфраструктуры (например, в мире насчитывают 245 миллионов камер скрытого наблюдения, работающих камер видеонаблюдения в городе всего 20% , из них способны снимать в режиме реального времени в HD только 2%).245 million video surveillance cameras installed globally in 2014 // IHS Markit URL: https://technology.ihs.com/532501/245-million-video-surveillance-cameras-installed-globally-in-2014 (датаобращения: 15.04.2017).Поэтому на сегодняшний момент большая часть darkdataнаходится в тени, в силу технических ограничений к их своевременной обработке.

LostData (или операционные данные) - это информация от производственного и промышленного оборудования, и других источников, которые находятся внутри коммерческих и промышленных предприятий. В техническом понимании эти данные не потеряны (lost- англ. Потерянный). Проблема заключается в том, чточаще всего они закрыты внутри операционной системы. В своем исследовании Mc Kinsey Global Instituteоценивает, что у нефтяной вышки может быть 30 000 датчиков, но для принятий решений будет использоваться только 1% информации.Manyika J. By 2025, Internet of things applications could have $11 trillion impact // McKinsey Global Institute, 2015. - 4 p.

New Data-это информация, которую мы можем и хотим получить, но которую, скорее всего, не можем собрать в настоящий момент. Параметры newdata можно сравнить с историей об обнаружении огромных запасов пресной воды на территории Израиля. Примерно 8,6 триллионов галлонов воды теряется из за утечек в трубах, такого объема достаточно, чтобы наполнить Гувер ДамIsrael's Water Ninja How: Israel found too much water // Bloomberg URL: http://www.bloomberg.com/bw/articles/2015-01-08/takadu-helps-israel-be-a-most-efficient-water-manager (датаобращения: 14.03.2017). . Компания TaKaDoиз Израиля предприняли первые попытки по решению этой проблемы путем разработки алгоритма, который будет указывать на источники утечек. Таким образом возникает необходимость максимизировать эффективность сбора информации, и начать нужно с того, чтобы понять, на каком этапе происходит утечка данных. Еще один пример, медицинская компания GingerI.Oв своем приложении использует геолокацию и поведенческие паттерны со смартфонов для того, чтобы удаленно наблюдать за пациентами с биополярным расстройством и посылать сигнал их опекунам (или сразу в клинику) о приближении кризиса или возможных нарастающих симптомах. На сегодняшний день Ginger.io собрал более 6 миллионов данных от пациентов, что поможет компании усовершенствовать свою технологию по мере роста клиентской базы.The world's top 10 most innovative companies in health care // FastCompany URL: https://www.fastcompany.com/3026367/most-innovative-companies-2014/the-worlds-top-10-most-innovative-companies-in-healthcare (датаобращения: 13.03.2017). То есть основная проблема формата newdataзаключается в том, что важно не собрать как можно больше новой информации, а как можно эффективнее и эргономичнее ее распорядиться.

Для дальнейшего исследования сегмента ритейл и e-commerceнаибольший интерес представляют собой fastdata (для своевременного анализа потребителей и генерирования мгновенных ответных действий)и newdata (для построения стратегии интегрированных коммуникаций в том числе). Однако, каждый тип данных может быть задействован в том или ином виде исходя из целей компании.

Для релевантного представления больших данных необходимо отметить существующие концепции, связанные с доступностью этих данных. Так как именно проблема безопасности передачи данных и доступа к ним для аналитики является сейчас самой обсуждаемой.

Концепция открытых данных (opendata), описанная Джоном Бертотом (John Bertot) из Universityof Maryland, основывается на идее о том, что часть данных должна быть в свободном доступе, без ограничения авторских прав, патентов и других механизмов регуляции. В соответствии с этой концепцией данные могут быть вторично использованы, обработаны и размещены в сети.Big data, open government and e-government: Issues, policies and recommendations. / Bertot J. C.; Gorham U., Jaeger P.T. Sarin L.C., Choi H. // Information Polity: The International Journal of Government & Democracy in the Information Age, 2014, №19. - 14 p. По словам ученого открытые данные предоставляют возможность частным лицам, некоммерческим организациям и малому бизнесу обнаруживать свежие инсайты и производить новые услуги, продукты, корректировать стратегию развития на основе этих данных.Bertot J.C., Jaeger P.T., Grimes J.M. Promoting transparency and accountability through ICTs, social media, and collaborative e?government // Transforming Government: People, Process and Policy, 2012, №6. - 79 p.

Феномен связанных данных был описан Тимоти Джоном Бернерс-Ли (Timothy John Berners-Lee), британским ученым и создателем технологии Всемирной паутины. Данная теория подразумевает формирование отдельной надстройки над Всемирной паутиной, целью которой является создание опубликованных данных более доступными для машинного чтения, синтеза выводов и модификации как самой информации, так и произведенной на их основе аналитике. Для размещения в открытом доступе и возможности использовать такую информацию был введен термин linkeddata, в широком понимании описывает связанные наборы информации в сети. Схема развертывания открытых данных от наименее связанных к наиболее связанным, разработанная Тимом Бернерсом - Ли, получила название 5- звездочной системы.Linked Data // The World Wide Web Consortium (W3C) URL: https://www.w3.org/DesignIssues/LinkedData.html (датаобращения: 21.02.2017).

1 звезда - данные, загруженные в Интернет в любом формате с открытой лицензией (opendata). Такие данные легко читать потребителю и загружать в сеть автору. Однако, чтобы извлечь данные из документа (например, формата PDF) необходимы специальные самописные программы.

2 звезды - данные, которые доступны в том числе и для чтения машины (например, в формате Excel). Однако, такие данные по-прежнему ограничены документом, так как для их чтения необходимо воспользоваться специальным программным обеспечением.

3 звезды -данные, представленные в том числе в незапатентованном формате (например, CSVвместо Excel). Такие данные служат в большей степени для визуального восприятия, и не являются по-настоящему встроенными в Web.

4 звезды - все тоже самое, что и перечисленное выше, только с открытыми стандартами данных W3C (RDF или SPARQL), для того, чтобы люди могли ссылаться на информацию в сети. Данные уровня 4 звезд уже являются частью Web.

5 звезд - связанные данные уровня 4 звезд. Потребитель и автор получают дополнительные бонусы от сетевого эффекта (чем больше абонентов в сети, тем эта сеть более ценная).

Таким образом, большие данные существуют в различных форматах, каждый из которых выбирается компанией индивидуально для достижения поставленной цели. Не исключено, что через несколько лет благодаря развитию технологий будут описаны новые форматы данных, которые зависят от многих технических характеристик, характера открытости и уровнем связанности между собой и другими пользователями сети.

Выводы: Для дальнейшего исследования сегмента ритейл и e-commerceнаибольший интерес представляют собой fastdata (для своевременного анализа потребителей и генерирования мгновенных ответных действий)и newdata (для построения стратегии интегрированных коммуникаций в том числе). Однако, каждый тип данных может быть задействован в том или ином виде исходя из целей компании.

Обзор технических характеристик технологии больших данных показал большое число различных определений, технологий обработки, источников и форматов данных. Что еще раз подтверждает актуальность данного исследования. Вся информация была проанализирована и адаптирована для специалистов социальных коммуникаций, с целью создания общего грамотно понимания данного феномена.

2.2 Большие данные в интегрированных коммуникациях

Кампания с использованием интегрированных коммуникаций, построение которой основано на грамотной аналитике больших данных может открыть большие перспективы для организации (это применимо для различных стратегических направлений внутри компании).

Обработка, аналитика и структурирование данных напрямую зависит от задач, поставленных тем или иным отделом компании: PR, маркетинг, отдел по работе с клиентами, HR или же отдел логистики и тд. Большие данные в сфере коммуникаций могут использоваться не только для принятия решений, «… стало возможным проведение масштабного тестирования эффективности убеждения в реальном времени»Tufekci Z. Big Questions for Social Media Big Data: Representativeness, Validity and Other Methodological Pitfalls / Proceedings of the Eight International AAAI Conference on Weblogs and Social Media // The AAAI Press, 2014. 510 p. - отмечает Зейнеп Туфеки (Zeynep Tufekci) - профессор университета Корнелл. Иными словами, благодаря аналитике больших данных специалисты коммуникаций смогут сразу же оценить, как было воспринято сообщение, адресованное потребителю (или выбранной целевой аудитории). Например, при взаимодействии пользователя с публикацией бренда можно оценить не только предпочтения аудитории относительно контента, но и уровень вовлеченности в определённое время суток и в конкретной локации. Даже такой простой (привычный) пример аналитики больших данных на сегодняшний день был еще недоступен в 2014 году.

Из глобального отчета компании IBMAnalytics:The real-world use of big data: How innovative enterprises extract value from uncertain data

// IBM URL: https://www-935.ibm.com/services/us/gbs/thoughtleadership/ibv-big-data-at-work.html (дата обращения: 26.02.2017).следует, что 49% компанийиспользуют аналитику больших данных для повышения качества обслуживания потребителей (это приоритетное направление), 18% используют для оптимизации внутренних операций, в том числе внутрикорпоративных коммуникаций, 14% отдают предпочтение реализации новых бизнес-моделей (маркетинговые, PRи рекламные компании), и 4% для поддержки эффективного взаимодействия персонала (тоже относится к внутрикорпоративным коммуникациям). На основе аналитики отчета IBMможно заявлять о том, что большие данные могут эффективно использоваться как для внешних, так и для внутренних коммуникаций компании. Важным трендом, отмеченном IBM является реализация пилотных проектов компаний, основанных именно на аналитике внутренних данных.

Применение больших данных в ИК может сделать такие коммуникации динамичными и персонифицированными, обращая свое сообщение к целевой группе. Аналитика больших данных имеет очень большой потенциал для разработки разного рода стратегий и построения портрета своего адресата: портрет потребителя, портер инвестора, портрет сотрудника и тд - будет охвачена каждая из важных аудиторий. Важным аспектом является возможность адаптации стратегии позиционирования бренда, компании и даже сообщения для каждого отдельного человека, а не только лишь настройка грамотного таргетинга на потребителя (что применяется сейчас чаще всего, как один из инструментов в рекламе). Большие данные позволят охватить все из описанных коммуникаций внутри компании: как внутренние, так и внешние, а с учетом высокой степени персонализации сообщения, оно будет не только услышано, но и воспринято - что является ключевым аспектом при формировании лояльной аудитории.

Например, реклама в традиционных СМИ основывается на ограниченном составе демографических данных аудитории, которые представлены в выборке. Чаще всего это были разграничения по полу и возрасту. Благодаря большим данным стало возможно использовать поведенческие данные для медиа таргетинга пишет Энтони Янг в книге Brand Media Strategy: Integrated Communications Planninginthe Digital Era.Young, A. Integrated communications planning in the digital era, second edition // New York: Palgrave Macmillan, 2014 - 281 p. Например, поиск людей, которые живут в Москве и ищут отдых в Греции стало повседневной деятельностью для гостиничных сетей, авиакомпаний и дополнительного туристического сервиса. Это позволяет настроить персонализированные сообщения. В 2016 году для коммуникаций с пользователем стал активно использоваться Инстаграм, только лишь благодаря инструментам геолокации, фирмы в туристическом бизнесе, например, стали создавать личные аккаунты и отправлять сообщения тем пользователям, что могут быть заинтересованы в прокате скутеров или экскурсии по городу прямо сейчас. Для специалистов по маркетинговым коммуникациям «…возможно не только передавать определенные сообщения для уже известных клиентов или потенциальных, но также и закрывать цикл эффективности и возврата инвестиций (ROI) этих рекламных усилий.»Young, A. Integrated communications planning in the digital era, second edition // New York: Palgrave Macmillan, 2014 - 282 p.

Спрос на большие данные обусловил появление специальных сервисов, которые открывают новые возможности для специалистов по коммуникациям. Один из самых популярных медиа проектов такого плана - Programmatic (система закупки рекламы в интернете в реальном времени на основе аукционаЧтотакоепрограмматикикаконработает // digital bee URL: http://digitalbee.com/blog/digital-marketing/ chto-takoe-programmatik-i-kak-on-rabotaet/ (датаобращения: 08.05.2017).). Например, различные события жизненного цикла могут побуждать отдельных лиц совершать крупные покупки или даже менять компании в сфере финансовых услуг. Раскрытие данных о человеке по содержимому, которое он просматривает, или даже просто личные обновления в его профиле на Facebook, позволить компаниям ориентировать людей по мере того, как они заканчивают университет, строят семьи, заводят первого ребенка или собираются уйти на пенсию. Это дает возможность сегментировать и настраивать на них очень специфичные сообщения и продукты бренда. «Данные подталкивают СМИ к обеспечению высокого уровня персонализации, который раньше был доступен только личных коммуникациях. Возможность использовать уместные, эффективные и убедительные сообщения в большом масштабе благодаря микротаргетингу, геолокации и адаптивному планированию, станет фактором, меняющим правила игры в коммуникациях бренда»Young, A. Integrated communications planning in the digital era, second edition // New York: Palgrave Macmillan, 2014 - 278 p..

Энтони Янг (Antony Young) доказал возможность применения аналитики данных для всех создания более динамичных решений по всем 4 P (product, place, price, promotion) в маркетингена примере кейсовТам же, с. 281.
Product - компанияCoca-Colaустановила свои торговые аппараты, которые позволяли потребителям создать собственные миксы продуктов Coca-Cola. Далее собранные данные были использованы для разработки и маркетинга продуктов.

Place - Tesco, один из крупнейших ритейлеров, адаптировал свое приложение для покупки товаров под наружную рекламу, в том числе и в метро. Теперь, потребитель может навести смартфон на понравившийся продукт в рекламе и сразу его заказать.

Price - этим приемом часто пользуются спортивные команды для корректировки стоимости билетов. Например, St. LouisCardinals использовали онлайн данные о количестве просмотров билетов, прогноз погоды и статусы игроков - что позволяло корректировать цену билета в реальном времени для получения максимального дохода.

Promotion - Nike применяет эту систему еще с 2012 года, тогда, на Олимпиаде было показано около 21 000 рекламных баннеров, которые были разработаны и таргетированы на конкретные группы пользователей в Facebook.

Для того, чтобы рассмотреть применение инструмента больших данных в интегрированных коммуникациях в сегменте ритейл и e-commerce, необходимо изучить возможности применения больших данных для различных направлений данного феномена.

2.3 Большие данные в ритейл и e-commerce

В России технологии Больших Данных были внедрены компаниями как онлайн, так и офлайн торговли. На сегодняшний день, по данным CNewsAnalytics, BigData используют 20% ритейлеров. 75% специалистов розничной торговли считают Большие Данные необходимыми для развития конкурентоспособной стратегии продвижения компании. По статистике Hadoop после внедрения технологии Больших Данных прибыль в торговых организациях вырастает на 7-10%.

Специалисты М.Видео говорят об улучшении логистического планирования после внедрения SAP HANA, также, в результате ее внедрения, подготовка годовой отчетности сократилась с 10 дней до 3, скорость ежедневной загрузки данных сократилась с 3 часов до 30 минут.

Wikimart используют данные технологии для формирования рекомендаций посетителям сайта.

Одним из первых офлайн-магазинов внедривших анализ Больших Данных в России, была «Лента». С помощью Big Data ритейл стал изучать информацию о покупателях из кассовых чеков. Ритейлер собирает информацию для составления поведенческих моделей, что дает возможность более обоснованно принимать решения на уровне операционной и коммерческой деятельности. Кроме того, сегмент ритейл и e-commerce представляет особый интерес для применения больших данных в интегрированных коммуникациях в силу возникающей проблемы: клиенты покупают офлайн то, что увидели он-лайн, а значит, каналы пересекаются, и теперь привычное разделение коммуникаций на онлайн и офлайн сегмент теряет свою актуальность.

По данным исследования российского рынка больших данных, подготовленного CNewsAnalytics, в котором приняли участие более 100 CIOкрупных российских компаний ИТ - емких отраслей: банки, телеком, ритейл, транспорт, промышленность, нефтегаз и энергетика, наибольшее применение технологии обработки больших данных нашли в сфере банкинга (56%), телеком (67%) иритейл (34%).Исследование Oracle и CNewsAnalytics: Большие данные пришли в Россию // Oracle URL: https://www.oracle.com/ru/corporate/pressrelease/study-of-oracle-and-cnews-analytics-20150226.html (дата обращения: 08.05.2017).Факт того, что большие данные воспринимаются не как технология, а как целая концепция говорит о том, что на российском рынке уже складывается единое понятийное поле для этого сегмента.

По словам Максима Казака, руководителя CNewsAnalytics, «дальнейший успех Больших Данных в России будет зависеть от уже известного ряда факторов: наличия подготовленного персонала, объема накопленных данных, готовности к адаптации технологий и процессов у заказчиков, а также адекватного запросам заказчиков предложения и накопленного опыта успешных проектов. Рост спроса на решения BigData в России неизбежен».Там же.

Из этого же отчета следует, что в России технологии больших данных были реализованы как в онлайн так и в офлайн торговле. В 2015 году, по данным CNews Analytics, большие данные применялись у 20% ритейлеров. 75% экспертов розничной торговли утверждают, что Большие Данные незаменимы в развитии конкурентоспособной стратегии продвижения компании. Так, например, один из крупных ритейлеров М. Видео утверждает о повышении качества логистического планирования после внедрения SAP HANA, кроме того, в ходе установки, написание годовой стала возможна всего за 3 дня (ранее было за 10), а скорость ежедневной загрузки данных сократилась с 3 часов до 30 минут - такие нововведения позволяют оптимизировать внутренние процессы компании, влияя на настроение сотрудников, что является частью внутренних коммуникаций компании (в комфортной офисной среде специалисты компании более лояльны к своей организации). Еще один крупный игрок на российском рынке в сфер e-commerceWikimart применяет технологии больших данных для составления рекомендованных товаров посетителям сайта. Компания «Лента» одна из из первых офлайн-магазинов, которые внедрили аналитику больших данных в России. С помощью технологии больших данных ритейл начал обрабатывать важную информацию о потребителях на основе кассовых чеков. Кроме того, «сбор информации для составления поведенческих моделей дает возможность более обоснованно принимать решения на уровне операционной и коммерческой деятельности для сегмента ритейл».Аналитический обзор рынка BigData // Хабрахабр URL: https://habrahabr.ru/company/moex/blog/256747/ (дата обращения: 04.04.2017).

Однако, прежде чем начать работу с большими данными, важным элементом является согласованность проектов на основе больших данных с конкретными коммуникациями и бизнес-целями. Понимание подхода, методологий, принципов работы с данными и передовыми методами является ключом к будущему PR и интегрированных коммуникаций в целом в мире больших данных.

В сегменте ритейл оптимизация коммуникаций внутри компании настолько же важна, как и формирование репутации среди глобальной общественности. Так как в сегменте ритейл и e-commerceна конечные продажи и получение прибыли в дополнении к базовым характеристикам (маркетинг, PR) оказывает влияние мерчендайзинг, управление ассортиментом, логистика, прямой контакт с аудиторией в момент покупки. Приведенные ниже кейсы доказывают успешное применение технологии больших данных для тех направлений, что важны именно в сегменте ритейл и e-commerce, а потому, фокус дальнейшего исследования будет на коммуникациях. Так как уже было выявлено ранее, для современных компаний важна не только сиюминутная прибыль, но и транслирование ценностей для формирования/поддержания/управления репутацией. Однако, возможность применения аналитики данных для усовершенствования тех показателей, что влияют на быструю прибыль являются дополнительным бонусом для организации.

1. Управление ассортиментом

Возможность менеджерам магазина предвидеть локальные изменения цен конкурентов и предпринять активные действия по закупке тех или иных позиций.

Кейс FootLocker - компания увеличила продажи и маржинальность за счет управления ассортиментом. Совместное решение с техническим партнером Quantisense было развернуто за 2недели при помощи Netezza. Footlockerзагрузили историю продаж за 3 года, историю остатков по складам и заказам, каталог товаров и информацию о расположении магазинов, курсы валютного обмена. Аналитика полученной информации позволила создать новыи? подход к планированию ассортимента, вместе с Quantisense компания запустила так называемый «Playbook». Более 50 менеджеров FootLocker получили интерактивный инструмент анализа «что можно сделать». Footlockerувеличили прибыль на $13.5 миллионов, увеличение продаж составило 15-20% за счет переориентировки ассортимента, была устранена проблему «дефицита» а так - же излишние скидкиОфицальная страница компанииFootlocker // FootlockerURL: http://www.footlocker.com (дата обращения: 18.04.2017).. Все это было реализовано как в точках продаж, так и на сайте электронной коммерции. Новая информация позволила оптимизировать не только размерный ряд и цветовые решения представленных товаров, но и время хранения товаров для оптимизации остатков.

2. Мерчендайзинг

Аналитика данных дает возможность предсказать, какой будет самая продаваемая игрушка для предстоящего рождественского сезона (например), основанная на исторических данных, сообщениям в социальных сетях и тенденциях в закупках для продавцов. Так, компания Disneyвыпустила специальную лимитированную версию рождественских костюмов для детей в прошлом сезоне, что увеличило продажи на 17% по сравнению с прошлым сезономОфицальная страница компанииDisney // Disney URL: http://disney.com (дата обращения: 18.04.2017).. Аналитика данных позволила выявить, что родители чаще склонны тратить средства на детскую одежду, считая это более рациональной покупкой, нежели игрушки.

3. Логистика

Аналитика данных может эффективно перенастроить маршруты, чтобы избежать дорогостоящих задержек, основанных на данных трафика и погоды в реальном времени. Сеть супермаркетов Kroger вместе с английской компанией Dunnhumby, которая специализируется на аналитике, повысила прибыль за счет внедрения результатов анализа больших данных в ежедневную деятельность. Так, компания улучшила цепь логистических поставок на основе данных о трафике и погоде, смогла сэкономить на задержках и сверхурочной оплате сотрудникам, а также завоевала лояльность покупателей за счет своевременных и быстрых поставок самых популярных продуктов.Офицальная страница компании Kroger // Kroger URL: https://www.kroger.com (дата обращения: 18.04.2017).

4. Прямой контакт с аудиторией в момент покупки.

Компания OBIпоставила перед собой следующую задачу: необходимо представить информацию о товарах и предложениях в руки консультантов, работающих с клиентами для помощи клиентам в подборе необходимых им товаров. Благодаря объединению как внутренних, так и внешних источников данных, удалось собрать данные, которые позволили создать контекстно-ролевую навигацию. Компания заполучила лояльность клиентов за счет возможности предоставления им персонализированных предложений, собирая данные о каждой покупке.Офицальная страница компании Obi // Obi URL: https://www.obi.ru (дата обращения: 18.04.2017).



Глава 3.Исследование применения больших данных в интегрированных коммуникациях в сегменте ритейл и e-commerce

Для проведения исследования была разработана матрица соотношения больших данных с интегрированными коммуникациями в сегменте ритейл и e-commerce. Были отобраны следующие самые репрезентативные и часто используемые источники данных, аналитика была проведена на основе исследований компании IBM и Массачусетского Технологического Университета в период от 2010 до 2016 года.// IBM URL: https://www-935.ibm.com/services/us/gbs/thoughtleadership/ibv-big-data-at-work.html (дата обращения: 26.02.2017);

1. Банковские транзакции (внутренний источник компании)

2. Logdata (внутренний источник компании)

3. E-mails(внутренний источник компании)

4. Социальные сети

5. Геоданные

6. Внутренние базы данных компании (CRM, SAPи тд)

Выявленные ключевые характеристики интегрированных коммуникаций в ходе исследования теоретической части позволяют нам выделить основные направления в организации, где применима аналитика больших данных в структуре интегрированных коммуникаций.

1. Связи с общественностью (PR, связи со СМИ)

2. Управление и стратегия (стратегические коммуникации)

3. Маркетинг (таргетинг, выборка точек контакта, рекламная компания)

4. Социальные медиа (таргетинг, прямой контакт с аудиторией, сбор данных)

5. Финансы и логистика

Определение целевой аудитории важно не только для разработки стратегии позиционирования бренда и выборки каналов распространения сообщения, но и для настройки сбора данных в конкретной компании под конкретный проект. Кроме того, от сегментации целевых групп зависит и само сообщение, что, как было рассмотрено ранее, является ключевой характеристикой интегрированных коммуникаций.

На основе изученной литературы аудитория компании была разделена на внешних и внутренних стейкхолдеров. Для интегрированных коммуникаций характерно адресация сообщения для всех стейкхоледеров компании (это группы лиц или отдельные организации, которые имеют то или иное влияние на компанию). Классически деление идет на 2 группы: внутренние и внешние стейкхолдеры. Внутренние стейкхолдеры - это учредители, инвесторы, сотрудники компании (в том числе потенциальные). Внешние стейкхолдеры отличаются более многочисленной аудиторией: клиенты, поставщики, СМИ, общественные организации.

3.1 Анализ кейсов

Данное исследование состоит из анализа 3 кейсов компаний, которые соответствуют следующим характеристикам: компания является крупным внутри российским ритейлером, осуществляет продажи как в точках продажи, так и на сайте электронной коммерции, на начало 2016 года компания применяла аналитику данных (для возможности отследить динамику изменения показателей), финансовые показатели компании показывают увеличение прибыли (внедрение новых технологий не повлияли негативно на состояние компании). Кроме того, каждая из компаний должна осуществлять продажу товаров из разных категорий: электроника, продукты, смешанный тип для исключения вероятности зависимости применения аналитики данных от ассортимента ритейлера. Основу для аналитики кейсов составляет разработанная матрица соотношения больших данных с интегрированными коммуникациями компании, которая базируется на изученном теоретическом материале, где ключевой характеристикой является различная направленность сообщений (внутренние / внешние коммуникации). Материалами для аналитики послужили официальные сайты компаний, где были изучены официальные документы и презентации, проанализирован тип коммуникаций внутри организации, проведен анализ соответствия реализуемых проектов и трансляции сообщений относительно миссии и ценностей компании, а также были рассмотрены документы отчетности и финансовые показатели. Кроме того, был проведен анализ медиа источников, где упоминались компании в контексте инноваций, коммуникаций и больших данных в период с 2015 года по май 2017 года. Для каждого кейса были прописаны рекомендации применения аналитики больших данных для тех или иных направлений коммуникаций.