1.1 Раскрытие понятия “Big Data”

В последние годы тема «больших данных», или “Big Data”, и методов работы с ними стала одной из ключевых тем при обсуждении вектора развития технологий, применимых во множестве сфер жизни человека. Это связано, в первую очередь, с многократным увеличением объемов данных, генерируемых человечеством. По данным Aureus Analytics, 90% данных в мире по состоянию на 2015 год были сгенерированы за предшествовавшие два года Big Data And Analytics Trends For 2015 [Электронный ресурс] // Aureus Insights. URL: http://blog.aureusanalytics.com/infographic-big-data-analytics-trends-2015/ (дата обращения: 18.02.2017) . Также, по их прогнозам, каждый год этот объем будет увеличиваться на 40%, что приведет к накоплению от 40 до 44 зеттабайт данных (для сравнения, в 2011 году объем всех данных в мире по примерным оценкам составлял 2,56 зеттабайта) Там же. Такой рост обусловлен проникновением в повседневную жизнь человека ряда технологий и измерительных датчиков, с которыми современный человек преднамеренно или невольно взаимодействует в течение каждого дня. Так, по типологии компании Kapow источниками больших данных на сегодняшний день могут быть оцифрованные архивы, документы, медиа-материалы различного формата, социальные медиа, электроника, личные и бизнес-приложения, хранилища данных, а также сеть Интернет в целом Understanding The Various Sources Of Big Data [Электронный ресурс] // Datafloq. URL: https://datafloq.com/read/understanding-sources-big-data-infographic/338 (дата обращения: 18.02.2017). Находясь в медиапространстве и взаимодействуя с электроникой, человек, зачастую не осознавая этого, генерирует огромное количество информации каждый день.

Однако далеко не вся эта информация является применимой, в связи с чем в течение последнего десятилетия особый интерес вызывают технологии обработки больших данных и специалисты в этой области. Основная задача этого направления - «расшифровка», то есть структурирование этих данных, вычленение необходимой информации и открытие нового знания путем поиска корреляций. Поэтому, под самим понятием “Big Data” часто понимается не только огромный массив данных, но и ряд технологий по работе с ними. Термин “Big Data” впервые был использован редактором журнала Nature Клиффордом Линчем 3 сентября 2008 года в его статье, посвященной росту объемов данных в мире и перспективам их использования в технологиях и бизнесе Lynch C. Big Data: How do your data grow? [Электронный ресурс] // Nature. URL: http://www.nature.com/nature/journal/v455/n7209/full/455028a.html (дата обращения: 18.02.2017). В дальнейшем этот термин получил широкое распространение, а само направление заняло свое место на известной кривой Gartner, будучи оцененным как второй по значимости тренд в информационных технологиях в 2011 году Gartner's Hype Cycle 2011: Social Analytics And Activity Streams Reach “The Peak” [Электронный ресурс] // Business Insider. URL: http://www.businessinsider.com/gartners-hype-cycle-2011-social-analytics-and-activity-streams-reach-the-peak-2011-8 (дата обращения: 18.02.2017) . Дуглас Лэйни, аналитик из Gartner, еще в 2001 году в своей статье под названием “3D Data Management: Controlling Data Volume, Velocity and Variety” выделил в самом заголовке статьи три, по его мнению, главных отличительных черты данных в целом (ведь на тот момент понятия Big Data еще не существовало): огромные объемы массивов данных; скорость как обработки данных, так и поступления новых; неоднородность, как ключевая особенность и проблема, которую решают технологии больших данных Laney D. 3D Data Management: Controlling Data Volume, Velocity And Variety // META Group Research Note. - 2001. - P. 6.. Сегодня при описании больших данных по-прежнему опираются на эту концепцию, но улучшение технологий и накопленный опыт со временем позволили исследователям выделять дополнительные особенности Big Data. Например, достоверность данных, которая впервые была упомянута специалистом из компании IBM Жаном Франсуа Пюже, что означает обязательность сортировки данных с целью извлечения только достоверной информации из «информационного шума» Optimization Is Ready For Big Data: Part 4, Veracity [Электронный ресурс] // IBM developerWorks. URL: https://www.ibm.com/developerworks/community/blogs/jfp/entry/optimization_is_ready_for_big_data_part_4_veracity?lang=en (дата обращения: 18.02.2017). Также существует понятие «обоснованности больших данных», т.е. репрезентативности и релевантности поставленным задачам исследования. В совокупности множество других выделенных исследователями черт можно подвести под понятие “vagueness” (т.е., «неопределенность»), которое было отражено в статье профессора Кирка Борна как одна из 10 ключевых особенностей Big Data Top 10's List - The V's of Big Data [Электронный ресурс] // Data Science Central. URL: http://www.datasciencecentral.com/profiles/blogs/top-10-list-the-v-s-of-big-data (дата обращения: 18.02.2017). Она отражает сущность технологий работы с большими данными - до сих пор многие исследователи не могут до конца выделить все плюсы и минусы тех или иных инструментов или определить наиболее подходящие стратегии работы с большими данными, так как при работе с ними не существует точного алгоритма.

Тем не менее, с каждым годом количество примеров успешных проектов на основе Big Data растет, подтверждая реальную выгоду от развития и использования этих технологий. Так, согласно данным консалтинговой компании IDC, количество успешно запущенных проектов с использованием технологий Big Data по всему миру в 2016 году по отношению к 2015 выросло на 125% Сколько стоит проект Big Data? [Электронный ресурс] // DataReview. URL: http://datareview.info/article/skolko-stoit-proekt-big-data/ (дата обращения: 18.02.2017). По их прогнозу к 2019 году бюджет таких проектов вырастет до $188 млрд (при $122 млрд. в 2015 году), причем основным их заказчиком станут компании, штат которых составляет более 500 человек. Это объясняется большим уровнем затрат на создание такого рода проектов, который на данный момент не доступен малому бизнесу. Однако по тому же прогнозу IDC к 2019 году доля малого и среднего бизнеса на этом рынке также возрастет, составив внушительные 25%. По мнению Евгения Степанова, руководителя направления HPE Big Data Platform, уже сейчас техническая стоимость вхождения на рынок больших данных достаточно низка, когда извлечь выгоду из таких проектов может каждый участник рынка, так как определенным набором данных обладает каждая компания Big Data 2016: Большие данные про машины и людей [Электронный ресурс] // Открытые системы. URL: https://www.osp.ru/news/articles/2016/15/13049058/ (дата обращения: 18.02.2017) . Говоря о типологии данных, Евгений выделяет три основных типа: бизнес-данные, машинные данные и социальные данные. Бизнес-данные являются самым простым типом с точки зрения агрегации - так или иначе, каждая современная компания хранит данные о своих клиентах, проводимых транзакциях, производственных показателях и т.д. Основной вопрос, связанный с этим типом данных - это сокращение затрат на их хранение и систематизацию, а также введение для этого более совершенных технологий. К разряду машинных данных исследователи причисляют множество типов данных, полученных с помощью «Интернета вещей». Согласно определению, данному в Оксфордском словаре, «Интернет вещей» - это объединение электронных устройств, являющихся частью повседневной жизни, с помощью Интернета, позволяющее им накапливать и обмениваться данными без участия человека. Количество таких устройств растет с каждым днем, что постоянно увеличивает количество источников новых данных. В таких устройствах используются различные сенсоры, способные регистрировать тысячи различных видов взаимодействия с ними и методов их использования. Такой тип данных сегодня приобретает все большее значение для проектов на основе Big Data, т.к. они представлены в наиболее удобном для компьютерной обработки формате (то есть, являются структурированными) и, в то же время, аккумулируются в масштабах, существенно превышающих возможности обычного, «человеческого» анализа. Данные, собираемые нашими смартфонами, автомобилями, фитнес-трекерами, системами «умного дома» и многими другими техническими устройствами составляют базу для исследований нашего поведения, которые можно использовать для построения маркетинговых стратегий, улучшения продуктовых предложений и оптимизации процессов работы с потребителями. Получить к ним доступ проще всего, так как количество таких устройств уже на данный момент превышает количество жителей Земли, а к 2020 году, по расчетам компании Gartner, их количество достигнет 20.8 миллиардов устройств (по прогнозам другой компании, ABI Research, к этому моменту их будет уже 30 миллиардов More Than 30 Billion Devices Will Wirelessly Connect to the Internet of Everything in 2020 [Электронный ресурс] // ABIresearch. URL: https://www.abiresearch.com/press/more-than-30-billion-devices-will-wirelessly-conne/ (дата обращения: 21.02.2017)) Gartner Says 6.4 Billion Connected "Things" Will Be in Use in 2016, Up 30 Percent From 2015 [Электронный ресурс] // Gartner. URL: http://www.gartner.com/newsroom/id/3165317 (дата обращения: 21.02.2017) . Множество типов данных собираются в автоматическом режиме и зачастую без ведома человека, но такой тип данных обезличен, что позволяет составлять необходимую для анализа картину без вторжения в личную жизнь потребителя.

Последний, но наиболее распространенный тип анализируемых данных - это социальные данные. Под эту категорию попадают все данные, создаваемые человеком напрямую и отражающие его жизнедеятельность с точки зрения существования в социуме. К таким данным относятся фотографии, видео, записи в блогах, сообщения, письма и многие другие форматы контента, хранящегося на цифровых носителях и создаваемого и распространяемого с помощью Интернета Classification of Types of Big Data [Электронный ресурс] // UNECE Statistics Wikis. URL: http://www1.unece.org/stat/platform/display/bigdata/Classification+of+Types+of+Big+Data (дата обращения: 21.02.2017) . Такие данные наиболее разрозненны с точки зрения форматов, источников и возможностей их анализа (то есть, относятся к неструктурированным или, в некоторых случаях, полуструктурированными), но, в то же время, они содержат в себе огромный пласт не менее полезной информации, чем та, что предоставляют машинные данные. Согласно данным, приведенным в работе исследователей Гандоми А. и Хайдер М., в категорию неструктурированных данных попадают 95% всех данных в мире Gandomi A.., Murtaza H. Beyond the hype: Bid data concepts, methods, and analytics // International Journal of Information Management. - 2015. - № 35 (2). - P. 139., поэтому задачи по работе с ними так или иначе стоят на первом месте. Анализируя социальные данные, компания может выявить потребительские инсайты и ключевые особенности той или иной целевой аудитории, подобрать подходящий тон коммуникации или определить степень нужды и заинтересованности в том или ином продукте или предложении. Если рассматривать не только потребности бизнеса, социальные данные и технологии их обработки представляют огромную ценность как для работы некоммерческих структур, так и для развития общества в целом. Существуют разные подходы к пониманию социальных данных в контексте темы Big Data. Так, профессор Хироши Ишикава из университета Васэда в своих работах говорит о концепте под названием “Social Big Data”, под которым понимается совокупный анализ данных «окружающего мира», обладающих неявным смыслом, и социальных данных, обладающих явным смысловым содержанием и получаемых из социальных медиа Olshannikova E., Ollson Т. Conceptualizing Big Social Data // Journal Of Big Data. 2017. - №4 (3). - P. 5.. В его понимании, при таком анализе строится прямая связь между реальным и виртуальным миром, которая выводит исследователя на путь к решению той или иной проблемы. Данные из социальных медиа способны обогащать данные мира физического и наоборот. Простейшим примером такого взаимодействия является прогнозирование транспортного коллапса в связи с предстоящим городским мероприятием на основе уровня обсуждения этого мероприятия в социальных сетях Там же. Несколько с другой стороны социальные данные как часть больших данных рассматривает доктор информационных наук из алжирского Университета Науки и Технологий Бухалфа К. Он рассматривает “Social Big Data” как часть теории “social computing” (интеграции социальных и машинных наук, взаимодействия социума с технологиями и его анализа), относительно нового подхода к изучению поведения людей в группах, обусловленного технологическим прогрессом и возможностью постоянного взаимодействия людей с помощью Интернета и средств связи Там же. В данном подходе социальные данные можно представить, как проявление «коллективного интеллекта», т.е. возможности накопления нового знания и внесения изменений в окружающий мир путем постоянной интеракции индивидов друг с другом в онлайн-среде. В таком контексте социальные данные рассматриваются как следы функционирования социума в формате автономной системы, способной без внешнего вмешательства достигать необходимых целей. Наиболее явным примером такого взаимодействия можно назвать такое явление, как «даркнет», где интеракции между пользователями с определенной целью происходят напрямую без посредников в лице коммерческих структур, а сообщество регулируется только самими участниками. Соответственно, в данном случае изучение социальных данных представляется необходимым для более глубокого понимания новых социальных механизмов коммерческими и государственными структурами с целью подстраивания своей деятельности под новое социальное общество.

Иные подходы к пониманию социальных данных варьируются с точки зрения целей их анализа, но стоит отметить, что во всех подходах социальные данные сегодня рассматриваются как ключевой аспект Big Data. Но так как социальные данные являются неструктурированными (или, полуструктурированными), основная проблема в работе с ними состоит в необходимости разработки программного обеспечения, способного преобразовывать контент, созданный человеком, в информацию, воспринимаемую компьютером. В следствие этого, проекты на основе Big Data по-прежнему обладают довольно высокой стоимостью и одновременно не могут гарантировать получение применимого для развития бизнеса результата. Поэтому помимо самих технологий большое значение имеет наличие специалистов, способных создавать алгоритмы для анализа имеющихся данных, а также успешно находить взаимосвязи и делать определенные выводы, которые являются ключевой целью работы с Big Data. Согласно исследованию компании Accenture в 2014 году, нехватка квалифицированных кадров стала третьей по популярности проблемой для входа на рынок Big Data (эту проблему упомянули 41% опрошенных), наряду с проблемой защиты данных и нехваткой бюджета (51% и 47% соответственно) Big Success With Big Data [Электронный ресурс] // Accenture. URL: https://www.accenture.com/us-en/_acnmedia/Accenture/Conversion-Assets/DotCom/Documents/Global/PDF/Industries_14/Accenture-Big-Data-POV.pdf (дата обращения: 22.02.2017) . Исследование Массачусетского Технологического Института, проведенное годом позже, показало, что проблема сохранилась на том же самом уровне, а отчет аналитического агентства Deloitte в 2016 году обозначил тот факт, что даже при фактическом увеличении количества программ, готовящих специалистов в сфере Big Data, их количества «на выходе» недостаточно для запросов рынка.

Делая вывод, можно сказать, что исследование и использование технологий Big Data на сегодняшний день уже находится на довольно высоком уровне. Компании обладают большим спектром источников информации, а рынок способен предложить комплексные решения по интеграции технологий для их обработки. Тем не менее, даже на глобальном уровне рынок имеет большие перспективы роста при условии инвестиций в изучение технологий анализа данных и подготовку квалифицированных кадров. Учитывая возможность получения и использования машинных и социальных данных (в том числе, персональных) из открытых и платных источников в совокупности с накопленными внутренними бизнес-данными, коммерческий и государственный сектор заинтересованы в развитии Big Data. Используя эти данные, они могут создать более таргетированное и релевантное целевой аудитории сообщение или предложение. В ряде случаев, как показывает множество кейсов по Big Data, это помогает более успешно решать различные маркетинговые и бизнес задачи, будь то повышение продаж, увеличение знания о бренде или построение лояльного сообщества. Основными же проблемами Big Data по-прежнему остаются неопределенность получаемого в перспективе результата и необходимость существенных затрат на собственные эксперименты, выражаемых во внутренних и внешних ресурсах компании и времени.

1.2 Краткий обзор российского рынка Big Data

Согласно отчету компании IDC за 2014 год, российский рынок Big Data оценивался в $340 млн., что составляло чуть более одного процента от общемирового рынка. Тем не менее, IDC определили, что российский рынок Big Data является одним из самых быстро развивающихся в мире - по различным данным к 2018 году он будет прибавлять от 25% до 40% в год Как устроен рынок big data в России [Электронный ресурс] // Rusbase. URL: http://rb.ru/howto/big-data-in-russia/ (дата обращения: 22.02.2017). Более того, опрос ресурса CNews показал, что уже 1/3 опрошенных российских компаний использует технологии Big Data в своей работе Там же. Представители российского бизнеса считают данное направление перспективным и планируют внедрять технологии Big Data, чтобы оставаться конкурентоспособными. Согласно прогнозам, даже в условиях экономической стагнации это направление развития IT-технологий остается востребованным, так как использование Big Data способно оптимизировать расходы компаний, повышать эффективность как внутренней работы (менеджмент ресурсов), так и внешней (клиентский сервис). Тем не менее, низкий уровень развития Big Data в России создает определенные риски, для избегания которых компаниям необходимо учитывать множество факторов. Одним их ключевых рискообразующих факторов можно считать наличие третьих лиц в процессе работы с данными. Множество компаний прибегают к услугам внешних консультантов и агентств, так как оплачивать работу собственных специалистов может быть не целесообразно при невысоких объемах задач. Соответственно, некие внешние ресурсы получают доступ к ценным данным о самой компании и ее клиентах, что является безусловным риском даже при юридическом закреплении конфиденциальности данных 11 рисков при работе с big data [Электронный ресурс] // Rusbase. URL: http://rb.ru/opinion/data-risks/ (дата обращения: 22.02.2017) . Если говорить об анализе данных о маркетинговой активности, количество участников процесса увеличивается. Так, заключая договор об оказании услуг, компания может поставить агентству задачу собирать данные о клиентах для того, чтобы в дальнейшем передать эти данные другому агентству уже для их анализа. В таком случае, конфиденциальные данные о клиентах компании оказываются в руках сразу двух самостоятельных структур, преследующих собственные цели, которые могут выходить за рамки договора. Отдельным вопросом является легальность деятельности каждого из элементов процесса по сбору и обработке данных (ведь для того, чтобы хранить и обрабатывать данные, необходимо иметь соответствующее разрешение), который будет рассмотрен во второй главе данной работы. Помимо вопросов конфиденциальности, эксперты отмечают как проблемные вопросы объемов хранилищ данных, грамотной постановки задач, вероятные ошибки в результате работы и возможность неудачи в достижении результата в целом.

Как и на глобальном уровне, в России ключевыми сферами применения Big Data являются банковский сектор, телеком и ритейл Состояние российского рынка Big Data [Электронный ресурс] // Tadviser. URL: http://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_(Big_Data)_%D0%B2_%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D0%B8#.2A.D0.A1.D0.BE.D1.81.D1.82.D0.BE.D1.8F.D0.BD.D0.B8.D0.B5_.D1.80.D0.BE.D1.81.D1.81.D0.B8.D0.B9.D1.81.D0.BA.D0.BE.D0.B3.D0.BE_.D1.80.D1.8B.D0.BD.D0.BA.D0.B0_Big_Data (дата обращения: 22.02.17). Это обусловлено тем, что именно в этих сферах компании работают со значительно крупными базами клиентов каждый день и, соответственно, могут оперировать большими массивами данных о них. Также, эти компании обладают достаточным капиталом и ресурсами, чтобы хранить эти данные и инвестировать в применение технологий их обработки на практике. Дополнительно к этому списку можно отнести промышленность и государственные компании, но в рамках данной работы они представляют меньший интерес. В случае с промышленностью технологии Big Data в первую очередь применяются для оптимизации внутренних процессов, а за основу берутся машинные данные. Говоря о государственных компаниях, работающих напрямую с населением и аккумулирующих достаточно большие объемы данных, эксперты отмечают, что их работа с большими данными на данном этапе ограничена и находится на низком уровне развития. По мнению заместителя министра экономического развития РФ Саввы Шипова в России на сегодняшний день лишь «у небольшого количества органов государственной власти есть возможность получать такие качественные первичные данные, а у кого-то вообще такой возможности нет» Big data дает много потенциальных возможностей для органов государственной власти [Электронный ресурс] // Совершенствование государственного управления. URL: http://ar.gov.ru/ru/news/30002/0/0/1/10/index.html (дата обращения: 24.02.2017). Также он отметил, что государственный сектор, как и другие сферы, сталкивается с проблемой недостатка специалистов. Вышеупомянутые ключевые сегменты рынка, в которых применяется Big Data, так или иначе действуют в едином поле, обмениваясь собранными данными. Андрей Ермаков, руководитель отдела архитектур департамента аналитических решений в IBS, отмечает, что на данном этапе можно говорить о своеобразной синергии этих сегментов, так как банки и телеком-операторы предоставляют обезличенные данные о клиентах ритейлу, чтобы тот мог расширить свое представление о собственных клиентах и прогнозировать перспективы продаж Сети ритейла: Как Big Data помогает «поймать» нужного покупателя [Электронный ресурс] // Slon.ru. URL: https://republic.ru/specials/data-economics/articles/retail/ (дата обращения: 24.02.2017) . Если глубже анализировать этот процесс, транзакции в ритейле, производящиеся с помощью банков, могут давать самим банкам ценную информацию о предпочтениях клиентов, об их финансовых возможностях и привычных местах времяпрепровождения - всю эту информацию можно использовать для предложения более релевантных потребителям услуг. Реальным примером такого взаимодействия является недавняя покупка холдингом «Мегафон» контрольной доли в Mail.Ru Group - одного из ключевых игроков рынка российских данных. Mail.Ru Group контролирует почти всю российскую аудиторию социальных сетей (в состав компании входят крупнейшие российские социальные сети «Вконтакте» и «Одноклассники»), а соответственно располагает большими объемами данных о пользователях, которые в совокупности с данными, имеющимися у оператора, можно использовать для наиболее точного таргетирования рекламных кампаний и разработки релевантных коммерческих предложений. Эта сделка - это показательный пример взаимовыгодной коллаборации, которая может стать основным фактором развития Big Data в этих сферах и в России в целом «Мегафон» закрыл сделку по покупке доли в Mail.ru [Электронный ресурс] // Интерфакс. URL: http://www.interfax.ru/business/549268 (дата обращения: 24.02.2017).

Согласно опросам и информации из открытых источников, технологиями Big Data пользуются такие крупные российские ритейлеры, как X5 Retail Group, Лента, Азбука Вкуса, Юлмарт, М.Видео и OzonКак устроен рынок Big Data в России [Электронный ресурс] // Interface. URL: http://www.interface.ru/home.asp?artId=37859 (дата обращения: 24.02.2017). С помощью больших данных уже сейчас ведется работа по большому спектру различных задач, например, логистика товаров, прогнозы продаж и потока клиентов, создание кастомизированных предложений и даже принятие решений о месторасположении новых точек продаж. Поток данных о покупателях формируется из информации, которой обладает сам ритейлер (опросы, анкетирования, анализ динамики продаж и чеков, отклики по online-рекламе), информации из открытых источников (социальные сети, форумы, отзывы, открытые гео-данные) и информации, предоставленной партнерами. Взаимно дополняя друг друга и постоянно обновляясь, информация из этих источников позволяет строить качественные модели поведения покупателей, что в случае с ритейлерами жизненно необходимо для сохранения конкурентоспособности, учитывая большой поток и высокую частоту покупки. Одним из конкретных примеров применения технологий обработки больших данных является применение сетью «Лента» анализа данных держателей карт лояльности В «Ленте» число активных держателей карты лояльности достигло 10 миллионов [Электронный ресурс] // Retail & Loyalty. URL: http://www.retail-loyalty.org/news/v-lente-chislo-aktivnykh-derzhateley-karty-loyalnosti-dostiglo-10-millionov/ (дата обращения: 24.02.2017) . Компания занимается этой практикой еще с 2010 года и, хотя данный инструмент не является новым, с помощью него по-прежнему можно составлять портрет покупателя и корректировать ассортимент магазина исходя из таких параметров, как частота и давность покупки, средний чек и предпочтения в категориях. Аналитика ритейла в офлайне с помощью онлайн инструментов действительно приводит к положительному результату - так, еще в 2014 году платформа Hadoop (на ее основе базируется большинство отечественных решений в Big Data) вывела статистику, что использование больших данных в ритейле повышает прибыль на 7-10% Инфографика: Как розница использует большие данные [Электронный ресурс] // Web-me. URL: https://web-me.ru/blog/big-data/infografika-kak-roznitsa-ispolzuet-bolshie-dannye/ (дата обращения: 24.02.2017). Говоря о ритейлерах, важно учитывать, что многие из них оперируют и в Интернете, что позволяет собирать больше данных об имеющихся клиентах и эффективнее привлекать новых. Известным примером применения Big Data онлайн-ритейлером является кейс компании Ozon, которая в 2014 году проанализировала 15-летнюю историю активности своих покупателей и пришла к выводу, что продажи книг серьезно возрастают с наступлением зимы, что позволило ритейлеру подготовиться к следующему сезону с новыми предложениями и более крупными объемами. Ключевым онлайн инструментом, используемым компаниями в различных сферах и основанным на Big Data, являются programmatic сервисы для показа интернет-рекламы. Под термином «programmatic» понимается совокупность методов закупки рекламы на различных онлайн-площадках, основанных на демографических и социальных данных аудитории показа и отсутствии участия человека в этом процессе. Иными словами, используя сервисы данного типа, компании закупают конкретную целевую аудиторию для показа своей рекламы, а не аудиторию конкретной площадки. В теории, такой подход позволяет доносить ключевое сообщение и ожидать отклика только от потенциальных клиентов. Но накопленный опыт работы с данной технологией показал, что эти технологии с успехом могут применяться и для интернет-мошенничества. Так, в декабре 2016 года была раскрыта одна из самых крупных мошеннических схем на основе programmatic, которая позволяла её создателям зарабатывать до $5 млн. в день `The professionalization of fraud': Agencies are alarmed by `Methbot' scheme [Электронный ресурс] // Digiday UK. URL: https://digiday.com/media/professionalization-fraud-agencies-alarmed-methbot-scheme/ (дата обращения: 27.02.2017). Российский ботнет (компьютерная сеть, состоящая из автоматизированных «хостов», ботов) Methbot, который был запущен в сентябре 2016 года, стал одной из крупнейших сетей по созданию виртуального трафика - в него входило несколько миллионов ботов и около 250 тысяч ненастоящих сайтов, на которых могли «крутиться» объявления. В сети боты «ведут себя» как люди (некоторые из них даже симулировали переход на площадки из социальных сетей), что не позволяло рекламодателю усомниться в честности схемы. Это один из крупнейших примеров, иллюстрирующих проблемы programmatic сервисов и погони за трафиком и целевыми аудиториями. Поэтому в перспективе данная технология должна обрести инструменты более детальной проверки покупаемой аудитории и анализировать больше данных, чтобы подтверждать реальность конкретных пользователей.

В сфере банкинга, согласно опросам, технологии Big Data применяются большинством представителей этого сегмента - в списке этих компаний есть и такие гиганты, как Сбербанк, ВТБ24 и Альфа-Банк, и менее крупные организации, например, Уральский банк реконструкции и развития Как устроен рынок Big Data в России [Электронный ресурс] // Interface. URL: http://www.interface.ru/home.asp?artId=37859 (дата обращения: 27.02.2017). Для банков возможность анализировать и предсказывать потребности клиентов является необходимой, так как их услуги востребованы во множестве жизненных сценариев. Следя за потенциальным клиентом, его интересами и событиями из его жизни, банк может своевременно предложить свои услуги на подходящих конкретному пользователю условиях. Поэтому именно банки на сегодняшний день активно занимаются развитием технологий Big Data. Например, Сбербанк еще в 2014 году открыл департамент развития цифрового бизнеса Подразделение по развитию цифрового бизнеса Сбербанка [Электронный ресурс] // TADviser. URL: http://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D0%A1%D0%B1%D0%B5%D1%80%D0%B1%D0%B0%D0%BD%D0%BA_(%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%BE%D0%B9_%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81) (дата обращения: 27.02.2017), а в 2015 приобрел контрольный пакет акций компании RuTarget, разработавшей платформу баннерной рекламы на основе больших данных под названием Segmento Как устроен рынок Big Data в России [Электронный ресурс] // Interface. URL: http://www.interface.ru/home.asp?artId=37859 (дата обращения: 27.02.2017). Данная система анализирует информацию о поведении пользователей в сети, например, их поисковые запросы или интересы в социальных сетях. В совокупности с имеющимися у Сбербанка массивами данных о клиентах, сам банк получает уникальные возможности таргетинга и точного предсказывания потребностей пользователей. Сбербанк использует Big Data и во множестве других процессов, например, для кредитования малого бизнеса. С помощью аналитических систем банк получает возможность в короткие сроки формировать индивидуальные кредитные предложения для представителей малого бизнеса на основе их отчетности. Схожие возможности предлагают и другие крупные российские банки, которые не отстают от Сбербанка по части освоения новых технологий. Так, по мнению директора департамента CRM ВТБ24 Дмитрия Кузякина, современный розничный банк не может не внедрять технологии обработки и анализа больших данных. Сбербанк предложит кредит по Big Data [Электронный ресурс] // Comnews. URL: http://www.comnews.ru/content/104398/2016-10-26/sberbank-predlozhit-kredit-po-big-data (дата обращения: 27.02.2017) В самом ВТБ24, как отмечает Дмитрий, эти технологии уже с успехом внедрены и применяются для решения ряда задач, например, определения паттернов поведения клиентов, их «пользовательских путей», разработки новых продуктов и управления клиентским поведением - и всё это на основе кластерного анализа транзакций и действий клиентов банка. В Альфа-Банке, по словам руководителя блока «Массовый бизнес» АО «Альфа-Банка» Денис Осина, big data применяется для оптимизации работы с клиентами с целью повышения удовлетворенности услугами банка Там же. К общему тренду подключаются и менее крупные организации - так, еще в 2014 году Уральский банк реконструкции и развития внедрил программу создания персонализированного кредитования на основе Big Data, с помощью чего за год повысив на 55% свой розничный кредитный портфель. На этих примерах можно увидеть, что в банковской сфере уже ведется активная работа с решениями на основе Big Data.

Как и банки и представители розничной торговли, телеком-компании обладают большими объемами данных, которые они способны обрабатывать. Однако эксперты отмечают, что у телеком-операторов уровень развития IT несколько ниже, чем в интернет-компаниях, а в их штате просто может не быть специалистов по Big Data, что существенно тормозит развитие технологий Как большим операторам зарабатывать большие деньги на больших данных? [Электронный ресурс] // Habrahabr. URL: https://habrahabr.ru/company/huawei/blog/280980/ (дата обращения: 02.03.2017). Согласно опросу, проведенному компанией CNews, на сегодняшний день в России технологии Big Data применяют такие крупные компании, как МТС, Вымпелком, Мегафон, МТТ, Акадо, Мотив и Гарс Телеком; среди остальных компаний 28% планируют внедрение, а 33% не применяют и не планируют внедрять эти технологии Big Data трансформирует российский телеком [Электронный ресурс] // Slon.ru. URL: https://republic.ru/specials/data-economics/research/telecom/ (дата обращения: 02.03.2017). Тем не менее, из тех компаний, которые подтвердили использование Big Data, многие могут с уверенностью сказать, что эти технологии работают успешно. Так, оператор Вымпелком с помощью Big Data определил паттерны перехода пользователей на улучшенные модели смартфона и составил группы пользователей, которые потенциально захотят приобрести новый смартфон и подключить дополнительные услуги. Определяя местоположение конкретных абонентов из этой группы, компания отправляла им СМС-сообщения с индивидуальными предложениями, когда они находились неподалеку от официального ритейлера. В МТС анализ информации об абонентах используется в целом для планирования расширения розничной сети и ее «обустройства» - на основе пешеходного трафика абонентов в привязке к детальной информацией о них принимаются решения об открытии новых магазинов, их местоположении, размере и ассортименте Рожденные с Big Data [Электронный ресурс] // РБК+. URL: http://www.rbcplus.ru/news/582195fd7a8aa97d7d3a7434 (дата обращения: 02.03.2017). Помимо таких нестандартных приемов использования Big Data, телеком-операторы пользуются и широко распространенными инструментами, например, programmatic сервисами, которые были рассмотрены ранее. Также телеком-операторы занимаются продажей собранных данных - так, по мнению представителей МТС, уровень собираемых компанией данных позволяет сделать ставку на финансовые сервисы для сотрудничества с банками, ведь на основе их данных можно построить максимально полную картину потребителя, начиная от его образа жизни и уровня дохода до настроений и стремлений Там же . Представители Мегафона заявляют, что данные об абонентах их сети по всей России позволяют максимально точно строить модели экономического и городского планирования, что делает ценность этих данных в разы выше, чем если бы они использовались исключительно для решения маркетинговых и бизнес-задач самого оператора. Так или иначе, телеком-операторы успешно используют Big Data для решения типовых задач работы с клиентами: создание максимально эффективных коммерческих предложений, таргетированная реклама, рекомендационные сервисы, работа по удержанию и привлечению новых клиентов.

В итоге, анализируя информацию об использовании Big Data крупными представителями российского бизнеса, можно отметить, что в выделенных ключевых сферах ведется масштабная работа по повсеместному внедрению этих технологий. Big Data используется не только для оптимизации внутренних процессов, но и в маркетинговых целях. Более того, важно отметить, что взаимодействие компаний в плане обмена данными и предоставлению взаимовыгодных услуг на их основе является одним из важнейших факторов развития Big Data в России.

1.3 Потенциал для развития Big Data на основе зарубежного опыта

Принимая во внимание всю ранее рассмотренную информацию о применении технологий Big Data на российском рынке, важно отметить, что их применение не охватывает все возможные сферы коммерческой и некоммерческой деятельности. Дать полноценную оценку уровню развития Big Data в России во всех сферах не представляется возможным по причине недостатка информации в открытых источниках, но, исходя из мнений экспертов в разных областях и общей стоимостной оценки рынка Big Data в России, можно сказать, что, в отличие от зарубежных коллег, российские компании и организации реализуют не все свои возможности. Например, такие сферы как образование, здравоохранение или государственное управление в России, по сравнению с Западом, находятся на низком уровне развития с точки зрения применения технологий Big Data Аналитический обзор рынка Big Data [Электронный ресурс] // Habrahabr. URL: https://habrahabr.ru/company/moex/blog/256747/ (дата обращения: 03.02.2017). Стоит отметить, что работа по развитию технологий Big Data во многих крупных мировых экономиках ведется в первую очередь с подачи государства, а не бизнеса. Так, США еще в 2012 году приступили к реализации масштабной инициативы в области Big Data, включающей в себя концентрацию усилий для разработки технологий и упрощения процессов сбора, хранения и технологий обработки метаданных для ускорения создания и внедрения инноваций в множестве научных и инженерных сфер, а также для подготовки квалифицированных кадров Авдеева И.Л. Анализ зарубежного опыта использования глобальных технологий «BigData» // Интернет-

журнал «НАУКОВЕДЕНИЕ». - 2016. - №6. - 8. - С. 4.. Помимо США подобные инициативы были созданы в Великобритании, Корее и Сингапуре. В Корее, например, в 2011 году стратегия внедрения Big Data была представлена как часть государственного управления в целом - в фокусе оказалась идея создания прозрачного «электронного правительства», что позволило бы сократить расходы на традиционное государственное управление.

Зарубежный опыт позволил экспертам вывести и показательные статистические факты позитивного влияния технологий Big Data на множество сфер деятельности. Так, в сфере НИОКР и разработке продуктов применение Big Data позволяет сократить расходы на 20-50%, а прибыль увеличить на 30%; в производстве - сократить операционные расходы на 10-25%, а доходы увеличить на 7%; в государственном управлении - сократить бюджетные расходы администрирования на 15-20%, увеличить собираемость налогов 10%, а эффективность государственных закупок - на 30% Там же . Данные показатели сигнализируют о том, что централизованные инвестиции в технологии Big Data на государственном уровне могут позволить существенно оптимизировать деятельность множества ключевых сфер деятельности. Это означает, что для решения проблем в этих сферах государство может обратить внимание на технологии Big Data и осуществлять поддержку инициатив, исходящих от представителей рынка. Конечно, существует и множество барьеров, которые необходимо преодолевать и государству, и рынку совместно. Так, одним из ключевых барьеров в российской практике является проблема фиксации самих данных в электронном формате. Например, в здравоохранении только сейчас происходит переход на электронные носители, но происходит он не повсеместно и со значительным отставанием от систем здравоохранения в ряде развитых стран, таких как США или Великобритания. Именно эта проблема обуславливает существенный разрыв в развитии, ведь данные обесцениваются, если их невозможно постоянно обрабатывать и анализировать в автоматическом режиме. Еще одной глобальной проблемой, с которой сталкивается и российский рынок, является нехватка кадров. Целенаправленно в этом направлении подготовка кадров происходит только в трех университетах мира, каждый из которых базируется в США - университеты Миссури, Де Поля и Беркли. Представители бизнеса позиционируют эту проблему как основную, но и государству приходится бороться за кадры, конкурируя с бизнесом по уровню зарплат и условиям работы. Среди малого числа отечественных профессионалов нормальной практикой является отъезд заграницу - проблема, с которой тоже необходимо бороться. Соответственно, в перспективе российскому рынку необходимо развивать собственные системы подготовки кадров и создавать сопоставимые глобальному рынку условия работы, что в условиях экономической стагнации на сегодняшний день является трудной задачей.