Разработка метода оценки будущего спроса на артиста

Размещено на http://www.allbest.ru/

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Глава 1. Современная музыкальная индустрия

1.1 Музыкальная индустрия в эру цифровых технологий

1.2 Методы повышения прибыли компаний в сфере музыкальной индустрии

1.3 Next Big Sound -инновационная аналитическая компания в сфере музыкальной индустрии

Глава 2. Использование Больших данных в принятии эффективных решений. Описание модели кластерного анализа Franco M. Battagello (2010)

2.1 Большие данные

2.2 Методы оценки Больших данных

2.3 Модель кластерного анализа Franco M. Battagello (2010)

Глава 3. Использование модели кластерного анализа с целью прогнозирования инвестиций в сфере музыкальной индустрии

3.1 Адаптация модели кластерного анализа

3.2 Работа с данными для проведения кластерного анализа, используя адаптированную модель

3.3 Тестирование модели на примере музыкальной индустрии

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ



ВВЕДЕНИЕ

Музыкальная индустрия является одной из самых грандиозных и потребляемых индустрий в мире. Продукты данной индустрии окружают нас повсюду. Самым простым и показательным примером близких отношений музыки и человечества является использование мелодии на сигнал будильника. Большинство людей начинает свой день с этого продукта, который был разработан специальным отделом для осуществления музыкального сопровождения различных функций современной техники. Плоды работы музыкальной индустрии сопровождают людей повсюду: фоновая музыка в торговых центрах и ресторанах, музыкальное сопровождение компьютерных игр. С развитием интернета человечество открыло для себя новые возможности. Используя в качестве каналов просторы интернета, звукозаписывающие компании получили лёгкий способ распространения музыки, а продюсерские компании - дешёвую и эффективную рекламу. Для слушателей век цифровой музыки стал возможностью хранить огромный массив музыкальных композиций на карманных носителях. Однако, вместе и с положительными аспектами использования цифрового формата музыки, появился и ряд отрицательных сторон. С освоением интернета всё больше развивались и навыки его использования. Человечество научилось получать максимальное количество выгод от продуктов электронного мира бесплатно. Доступность и непрекращающийся поток актуальной информации породил "файл-шеринг" или файловый обмен, который позволил потребителям музыки скачивать треки абсолютно бесплатно. Данный факт стал причиной потери прибыли огромного количества звукозаписывающих компаний.

Кроме того, с развитием интернета, появилось большое число исполнителей, которые не прибегают к услугам популярных звукозаписывающих лейбло, но обзаводятся качественной техникой и используют социальные сети для рекламы и продвижения треков. Цифровой век - стал губительным для музыкальной индустрии. Порядка десяти лет ведется борьба с естественным ходом событий. Индустрия не готова смириться с результатами цифровой революции и использует устаревшую модель построения бизнеса. Компании прибегают к традиционной оценке спроса потребителя, стратегии развития и продвижения. Вот почему они сталкиваются с потерей прибыли и вынуждены покинуть рынок.

В данной работе, особое внимание будет уделено оценке спроса на артиста. Данный выбор имеет четкое обоснование. Во-первых, как было описано выше, по причине нелегального файл-шеринга, звукозаписывающие компании теряют существенное количество прибыли и практически теряют смысл своего существования. Во-вторых, появилось большое число талантливых и креативных исполнителей в интернете, которые могут стать «золотой жилой» для продюсеров. В-третьих, традиционно, подбором артистов в сфере музыкальной индустрии занимается «отдел поиска талантов», выбор которых основан на собственном мнении и чутье. На данный момент нет ни одной математической модели, которая могла бы точно предсказать уровень успеха исполнителя, тем самым позволить продюсерам инвестировать средства эффективно.

Возможность прогнозировать будущее артиста всегда считалось утопией, так как критерии оценки успеха сводились к удаче. Вот почему, данная тема, а именно разработка инновационного метода оценки будущего спроса в сфере музыкальной индустрии, является актуальной и бесспорно, в условиях упадка музыкальной индустрии в целом, данная модель станет интересна продюсерским и инвестиционным компаниям.

Цель данной работы - предложить конкретный метод оценки будущего спроса на артиста. Задачами исследования являются:

1. Изучение имеющейся научной литературы о современном состоянии музыкальной индустрии и о методах борьбы с её упадком;

2. Изучение математических моделей и выбор подходящей для оценки будущего спроса;

3. Описание и адаптация выбранной модели;

4. Сбор данных и проверка работы модели.

В процессе написания дипломной работы были использованы математические и статистические методы исследования, которые применялись во время обработки данных для установления зависимости между ними и для установления количественных зависимостей между изучаемыми явлениями. Из методов экспериментально-теоретического уровня использовались такие методы как анализ и моделирование. Они помогли не только собирать данные и факты, но также проверять, систематизировать и выявлять зависимости. Также, во время тестирования рассматриваемой модели проводились математические расчёты и анализ данных. Теоретическую базу составляют научные статьи по выбранной теме. В основе исследовательской работы лежит итальянская модель оценки Больших данных. Данная модель описана профессорами Franco M.Bottagelo, Michele Grimaldi и Levio Chritelli. Название статьи на русском языке звучит следующим образом: «Рациональный подход к определению и кластеризации нематериальных активов».

Данная дипломная работа состоит из трёх частей:

1. теоретическую часть, которая описывает ситуация на рынке музыкальной индустрии и существующие методы борьбы с проблемой падения прибыли звукозаписывающих лейблов и продюсерских компаний;

2. аналитическая часть включает в себя описание метода анализа большого массива данных Big Data и описание итальянской модели оценки больших данных, созданная профессорами Franco M.Bottagelo, Michele Grimaldi и Levio Chritelli;

3. практическая часть, которая состоит из описания процесса адаптации модели к сфере музыкальной индустрии, используемых для анализа модели данных и описание результатов вычислений данной модели.



Глава 1. Проблемы современной музыкальной индустрии

1.1 Музыкальная индустрия в эру цифровых технологий

Прежде чем начать вести разговор о Музыкальной индустрии, следует дать ей определение. Интересно то, что данная отрасль не имеет чёткого перечня её составляющих. В разных странах к её категории относят различные виды организаций, связанные с музыкой: от производителей музыкальных инструментов до музыкальной журналистики. В данной работе речь пойдёт о двух основных видах бизнеса, которые определяют её состояние:

1. продюсерские музыкальные компании;

2. лейблы звукозаписи.

Вот почему для обозначения смысла «музыкальной индустрии» было выбрано определение, сформированное в 2008 году компанией Sony Corporation. Согласно данному определению, музыкальная индустрия - это компании и индивидуальные предприниматели, которые получают прибыль от создания и продажи музыкальных записей, видео и песен.

С развитием интернета и освоением свободного файл-шеринга, копирование и непрерывный обмен музыкальными треками стало обычным делом. Такой вид нелегального распространения копированной музыки называют «пиратством».

Оно является нарушением авторских прав и влечет за собой ответственность:

1. гражданско-правовую (статья 49 Закона Российской Федерации "Об авторском праве и смежных правах");

2. административную (статья 7.12 Кодекса Российской Федерации об Административных правонарушениях "Нарушение авторских и смежных прав, изобретательских и патентных прав");

3. уголовную (статья 146 Уголовного кодекса Российской Федерации "Нарушение авторских и смежных прав") ответственность.

Несмотря на это, согласно данным IFPI - международная федерация производителей фонограмм и видеограмм - в 2010 году количество незаконно скаченных треков достигло 95%. Безусловно, такой процент пиратства в интернете оказал негативное влияние на всю музыкальную индустрию.

Огромное количество малых, так называемых независимых лейблов звукозаписи, обанкротилось и ушло с рынка. Крупные игроки музыкальной индустрии, а именно "Большая четверка лейблов звукозаписи", в которую входят Universal music group, Sony music Entertainment, EMI Group и Warner Music Group, по сей день терпят убытки.

На данный момент в процессе десятилетней борьбы с пиратской деятельность в интернете, больше десяти лет, индустрия пробует разработать методы борьбы с незаконным файл-шерингом. Компании пытаются призвать органы власти к сотрудничеству и помочь в борьбе за права звёзд и звукозаписывающих компаний. Председатель IFPI - международная федерация производителей фонограмм и видеограмм - Placido Domingo в годовом отчете компании 2014 года утверждает, что авторские права составляют основу цифровой музыкальной индустрии. Он считает, что она способна в скором времени угаснуть, если правительство во всем мире не приложит усилия, чтобы сократить уровень нелегального файл-шеринга.

Однако, в противовес данному мнению, существует другая точка зрения. Согласно статье автора Sudara Williams, изданной в 2012 году, «пиратство - не проблема, а отговорка». Автор считает, что музыкальная индустрия вот уже десять лет пытается бороться с результатами развития цифрового мира и не желает идти в ногу со временем. Sudara Williams утверждает, что компаниям следует трансформировать привычную бизнес модель и сформировать новую, современную стратегию развития, основываясь на конкретных данных о спросе и потребителях цифровой музыки. Данная работа содержит информацию, развивающую мысль Sudara Williams . Исследование базируется на мнении, что важной ступенью для музыкальной индустрии к развитию бизнеса является его адаптация к эре цифрового формата музыки. Необходимо приложить усилия не к борьбе с потребителями, а к новым методам их завоевания.

В процессе изучения литературы, было замечено, что в базах научных исследований и академических работ, число всех, посвященных решению проблеме музыкальной индустрии, вызванной развитием цифровых технологий, сводится к паре сотен. И почти все работы делятся на 2 типа:

1. Изучение потребителя;

2. Изменение бизнес-модели компаний.

1.2 Методы повышения прибыли компаний в сфере музыкальной индустрии

В данном параграфе будут описаны примеры существующих методов борьбы с проблемой упадка прибыли компаний, работающих с сфере музыкальной индустрии, а именно звукозаписывающих лейблов и продюсерских компаний.

В первую очередь хотелось бы остановиться на научных работах, посвященных методам исследования потребителей цифровой музыки.

Бразильские учёные Joгo Paulo Capelli Martin и Luiz Antonio Slongo для решения сложившейся в музыкальной индустрии ситуации предлагают в первую очередь изучить поведение пользователей цифровой музыки. В своей статье учёные доказывают путём эмпирических исследований, количественной и качественной оценки интервью, что всех пользователей можно разделить на несколько типов.

Классификация базируется на субъективной оценке потребителя стоимости трека. Согласно классификации было выявлено 2 типа потребителей:

1) Пользователи интернета, которые считают, что песня стоит необоснованно дорого, и предпочитают скачивать треки в интернете бесплатно;

2) Слушатели, которые полагают, что стоимость песни оправданна, так как для её создания были потрачены силы артиста, мастеров звукозаписи и производственные мощности звукозаписывающей студии, и поэтому готовы купить песню на официальных порталах.

Учёные Joгo Paulo Capelli Martin и Luiz Antonio Slongo приводят результаты опросов в своей статье. Приведенные данные показывают, что подавляющее большинство предпочитают не платить за музыку, а пользоваться услугами «пиратской деятельности».

Кроме того, авторы статьи заметили интересную закономерность: в отличие от молодежи, люди в более сознательном возрасте гораздо чаще готовы купить песню, чем искать способы скачать её бесплатно. Данный факт объясняется следующим образом:

1. взрослые состоятельные люди ценят время и качество, а получить композицию высокого уровня за считанные минуты можно лишь на официальных порталах и в приложениях;

2. молодежь же не имеет достаточное количество финансовых средств, чтобы покупать музыку, поэтому они готовы потратить время на поиск трека неплохого качества.

Авторы другой статьи, поддерживают данную точку зрения. В своей работе авторы Bert Weijters, Frank Goedertier и Sofie Verstreken рекомендуют сформировать свою целевую аудиторию, следуя трём основным шагам:

1) выявить пользователей, которые используют электронные возможности интернета;

2) выяснить причины, по которым слушатели используют именно электронный формат;

3) следует разграничить случаи, когда пользователь готов и не готов заплатить за песню;

4) попытаться установить связь между выбором слушать электронный формат музыки и готовностью за неё платить.

Примером связи является следующая ситуация: потребители, предпочитающие электронный формат, удобный для хранения большого массива аудиофайлов, зачастую не готовы платить за каждый скаченный трек, потому что это для них слишком дорого. С другой стороны, слушатели, предпочитающие качественную и эксклюзивную музыку готовы заплатить огромные деньги за одну виниловую пластинку.

В процессе формирования маркетинговой стратегии, важно не только сформировать свою целевую аудиторию, но и понять мотив их поведения. Это поможет выявить реальные потребности и разработать методы их удовлетворения.

В 2014 году учёные Athina Dilmperi, Tamira King и Charles Dennis провели исследования, результатом которых должен был стать список характеристик, определяющих поведение потребителя музыки. Помимо возрастных различий, авторы оценили влияние пола и уровня заработка на выбор купить или скачать бесплатно музыкальную композицию. Однако авторы пришли к выводу, что перечисленные демографические факторы имеют слабое влияние. Однако, было установлено, что большую роль могут сыграть нормы морали. Авторы получили поразительные результаты:

1. одни пользователи, не имеющие финансовой возможности купить трек, не скачивают его бесплатно, так как считают данный поступок аморальным;

2. другие потребители имеют возможность платить, но не считают преступным воспользоваться бесплатными ресурсами время от времени.

Среди всех классификаций аудитории интересным исследованием показалась работа учёных Gary Sinclair и Todd Green. Авторы координально иным способом подошли к разделению разделили потребителей:

1) «активные пираты»;

2) «бывшие пираты»;

3) «смешенные пользователи»;

4) «старая школа».

«Активные пираты» это пользователи, которых использующие исключительно бесплатные ресурсы для скачивания треков. К «бывшим пиратам» относятся потребители, осознавшие плюсы официально купленных музыкальных композиций и составляют основную массу легальных потребителей музыкальных продуктов, так называемая целевая аудитория. «Смешанные пользователи» являются потенциальными потребителями, так как необходимо предпринять усилия, выявить и удовлетворить их нужды, с целью завоевания. «Старая школа» предпочитает особый формат музыки, так например, виниловые пластинки. Они составляют специфическую, но стабильную целевую аудиторию.

Изучение потребителя, его оценка и выявление потребностей - это первый и самый важный этап на пути «спасения» продюсерских компаний и лейблов звукозаписи. Следующим этапом является трансформация бизнес модели компании, адаптируя её работу под мир цифровых технологий, в условиях высокой пиратской деятельности.

Польские учёные Patryc Galuszka и Katarzyna M.Wyrzykowska в 2013 году написали статью, изюминка которой является фокусировка не на потребителе, а на самой компании. Авторы предлагают методы изменения работы бизнеса в сфере музыкальной индустрии. Эта работа стала первой в своем роде, описывающая конкретные решения для разного рода продюсерских компаний и лейблом звукозаписи, которые помогут избежать банкротства.

В своей статье авторы Patryc Galuszka и Katarzyna M.Wyrzykowska пишут, что до второй половины 20 века деятельность звукозаписывающих компаний укладывалась в пять функций.

Они соответствовали мировому ритму и решали основные задачи музыкальной индустрии. В традиционные времена, данные функции позволяли обеспечивать вознаграждения исполнителю и получать прибыть от создания треков. Ниже перечислены пять основных функций традиционной организации бизнеса:

1) организация и финансирование процесса записи и выпуска альбома;

2) осуществление распространения записи;

3) организация продвижения записи в радиоэфирах, выпуск музыкальных видео;

4) контроль авторских прав, лицензирование записи на использование в кино и рекламных роликах;

5) забота о развитии таланта, то есть работа с артистом, наем мастеров, которые помогают усовершенствовать навыки артиста.

С развитием цифрового формата аудио и возможностей интернета, данная традиционная форма ведения бизнеса в музыкальной индустрии стала не актуальной. По словам авторов статьи Patryc Galuszka и Katarzyna M.Wyrzykowska, потребители больше не готовы платить за треки. Вот почему музыкальной индустрии требуется новый формат работы. Необходимы разработки совершенно новых способов повышения прибыли и снижения издержек. Авторы статьи предлагают четыре подхода в борьбе с кризисной ситуацией, которая возникла вследствие развития цифрового формата музыки.

1) «360° deals and the move towards `a music company'»

Смысл данного подхода заключается в том, что звукозаписывающие лейблы должны сосредоточиться не на качестве, но на количестве исполнителей. 360 градусов означает максимальное количество сделок с окружающими артистами. Такой способ повысит вероятность заполучить успешного исполнителя, кроме того, компания будет иметь процент с продаж и выступлений каждого артиста. Доля компании от заработка исполнителя, а именно сборов с концертов, может достигать и до 90% . Авторы утверждают, что чем больше артистов находится «под лейблом» компании, тем больше эта компания зарабатывает.

2) «`Artists' brand name as the main asset» (aka «sell what can't be downloaded»)

Иными словами этот подход можно описать, как продажа чего угодно, помимо трека. Подход опирается на использовании популярности артиста, чтобы организовать новый бизнес. Популярность и образ артиста эксплуатируется, используется в качестве рекламы, чтобы продвинуть новый товар или марку. Так, например, звезда поп-музыки Рианна рекламирует спортивную марку Пума, а также выпускает свою линейку парфюма Ри-Ри. Согласно статье Patryc Galuszka и Katarzyna M.Wyrzykowska, такой подход гарантирует увеличение дохода уже имеющимся фирмам и легкий стартап новым бизнесам. По мнению авторов модель является отличной альтернативой заработка для музыкальных лейблов.

3) «Artificial scarcity, international markets and independence»

Идея данного подхода - это интернационализация или дифференциация продаж. Подход предусматривает продажу альбомов на международном рынке, при условии, что артист имеет на нём популярность. С другой стороны, подход позволяет дифференцировать свои продажи, фокусируясь на отдельном сегменте покупателей. Так, например, выпускать виниловые пластинки для специфической аудитории, потребителей так продукта Old school.

4) «Survival»

Последний подход не такой оптимистичный, как три предыдущие. Его смысл заключается не в увеличении продаж, а во избежание банкротства. Учёные считают, что если компания не в силах осуществлять финансовую поддержку своему исполнителю, следует отдать артиста другим участникам рынка, чтобы позволить ему выжить. Есть и вовсе печальный вариант развития событий - продажа лейбла.



1.3 Next Bid Sound - инновационная компания в сфере музыкальной индустрии

Анализируя академическую литературу и научные исследования на тему о разрешении сложившейся ситуации в сфере музыкальной индустрии, был сделан вывод, что учёные не предлагают в открытом доступе чёткой аналитической модели, которая позволила бы проанализировать, каковы будущие результат вложений в проект. В век цифровых технологий, когда индустрия не получает достаточной прибыли от продажи треков для поддержания своего существования, возможность информационно обеспечить принятие решения - это возможность сделать их эффективными и получить ожидаемый результат. К размышлениям об использовании модели оценки большого массива информации подтолкнула идея компании под названием «Next Big Sound». Next Big Sound - это инновационная компания, которая занимание анализом данных цифровой музыки в интернете: популярность в социальных сетях, услуги потоковой передачи треков и трансляция на радиостанциях. Компания изучает предпочтения пользователей интернета и предоставляет информацию своим клиентам.

Полученную в результате анализа информацию компания публикует в виде чартов. За такие данные продюсеры готовы заплатить немалые деньги, так как представленные топ листы популярности исполнителей позволяют не только отслеживать позицию своих артистов, но и принимать решения об инвестициях в последующее развитие данного проекта. Компания Next Big Sound была создана в 2009 году студентами северо-западного университета: Samir Rayani (технический директор), Alex White (генеральный директор), Jason Sosnovsky (покинул компанию) и David Hoffman (CPO). По мнению журнала Billboard Magazine в 2010 году, компания является одним из лучших стартапов в сфере музыкальной индустрии за всю историю её существования. Компания Next Big Sound получила премию «Грэмми» за прорыв в сфере музыкальной индустрии. В 2015 году Next Big Sound выкупила компания Pandore Radio. Коспания Pandora Radio - это сервис беспрерывного воспроизведения музыки в Интернете, предложения которой строятся на рекомендательной системе «Music Genome Project». Смысл системы заключается в предложениях музыкальных композиций на основе предпочтений слушателя. Учитываются такие характеристики как ритм, жанр, исполнитель и прочее. Такая система способна подстроится под нужды потребителя, следовательно, предложить всегда актуальный продукт.

Кроме того, компания Next Big Sound является партнером Billboard - американский журнал, который выпускает каждую неделю свежие новости о мире индустрии. Базируясь на результаты анализа Next Big Sound, журнал предлагает ТОП 100 популярных песен, который называется Hot 100, и ТОП 200 популярных альбомов, под названием Billboard 200, за промежуток времени равный семи дням. На данный момент штаб квартира располагается в городе Нью-Йорк, США. В интервью, взятом для журнала Forbes в 2013 году, генеральный директор Alex White признался, что используя метод оценки Больших данных, компания может предсказать успех артиста или трека. Для анализа используются данные со всего интернета, о количестве скачивания, прослушивания, покупки музыкальных композиций, данные о популярности с просторов социальных сетей и видеохостинга YouTube. Однако, информация о том, какой метод, алгоритм анализа Больших данных используются в процессе оценки, компания умалчивает.

Вот почему важной частью дипломной работы стало изучение аналитических методов оценки Больших данных, которые могут быть адаптированы, использованы в данной отрасли.

Анализируя большой массив данных и использование результатов для принятия эффективных решений, позволит музыкальной индустрии предсказывать будущее музыкальных исполнителей, что поможет избежать гибели и развить новые возможности, инвестируя в успешные проекты.



Глава 2. Использование больших данных в принятии эффективных решений. Интеллектуальный капитал и Большие данные в оценке стоимости компании

2.1 Большие данные

Современное управление бизнесом непосредственно связано с эффективной выработкой и принятием управленческого решения. В наше время существует огромное количество различных методов принятия управленческого решения, основанных на использовании информации о внутреннем состоянии компании и внешних условиях. Информация - является ключом в осуществлении анализа, планирования и прогнозирования.

С развитием информационных технологий меняется как вид анализа данных, так и их число, а роль использования результатов оценки данных растёт с каждым днем. Прежде чем приступить к описанию методов оценки данных, необходимо дать определение термину.

Согласно Современному экономическому словарю, авторы Райзберг Б. А., Лозовский Л. Ш. и Стародубцева Е. Б., данные -- это факты и характеризующие их числовые, количественные показатели: имена, даты событий, сведения о процессах в сфере экономики, местах действия. Это сведения, обработанные специальным образом для принятия решений, информация.

Данные являются составляющей информации и определяют способ её получения.

В свою очередь, согласно Большому экономическому словарю, автор Борисов А.Б., информация - это сведения, данные, значения экономических показателей, являющиеся объектами хранения, обработки и передачи и используемые в процессе анализа и выработки экономических решений в управлении. Также информацию можно определить как один из видов ресурсов, используемых в экономических процессах, получение которого требует затрат времени и других видов ресурсов, в связи с чем эти затраты следует включать в издержки производства и обращения.

Информацию характеризуется по следующим показателям:

1.По объекту - по показателям качества товара, по ресурсоемкости параметрам инфраструктуры рынка, по уровню производства.

2.По форме передачи - вербальная или невербальная

3.По изменчивости во времени - условно постоянная или условно - переменная.

4.По способу передачи - электронная, телефонная, письменная.

5.По назначению - информация бывает экономической, технической, социальной и организационной.

6.По отношению объекта управления к субъекту - между внешней средой и компанией, между разными отделами внутри организации по горизонтали и вертикали.

Суммируя вышесказанное, можно сделать вывод, что в процессе принятия решения, компания собирает массив актуальных данных, результатом анализа которых является информация. Данную информацию компания использует при выборе управленческого решения для получения эффективного результата.

С развитием и скоростью роста объёма числа данных и информации, учёные отошли от простых терминов «данные» и «информация», заменив их термином «Большие данные».

Согласно авторам книги «Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим» Майер-Шенбергер, В., Кеннет, К. термин «Большие данные» является определением процесса анализа огромных массивов данных. Он является инновационным способом увеличения производительности и развития конкурентной способности. Большие данные (Big data) - это вся информация, которую практически невозможно обрабатывать и анализировать обычными традиционными способами. Соответственно, для работы с такими масштабами информации необходимы новые методы и инструменты работы. Очень часто компании имеют доступ к огромному объему данных, необходимых для успешного функционирования компании, но не имеют методов, инструментов и готовых моделей для осознания и установления полной взаимосвязи между всеми данными. Также важно принимать во внимание тот факт, что информация обновляется каждую секунду и увеличивается в объеме, вот почему и традиционные методы анализа данных не могут быть применимы к ним. В случае если компания обладает необходимыми инструменты для анализа такого массива данных, она имеет особое преимущество не только грамотно сделать выводы о текущем состоянии, но спрогнозировать будущие результаты своих решений.

Основная концепция Big data была создана в 17 веке Блез Паскалем. Это был важнейший основатель математического анализа и теории вероятности. В своей работе, Блез Паскаль описывал броски игральных костей. Основной вопрос для учёного состоял в следующем: как принимать эффективные решения, используя анализ бесконечных событий и фактов.

После Блез Паскаля мысль о способах принятия эффективных решений развил известный английский ученый статистик генетик Рональд Эйлмер Фишер. Он создал идеи корреляции данных на основе точечных и интервальных статистических оценок. Учёным была введена методика планирования экспериментов. Его работа имела неоценимый вклад в создание современной теории статистической проверку гипотез.

Впервые термин «Большие данные» появился в 2008 году в контексте влияния на будущее новой науки технологии, которая открывает новые возможности в работе с большим потоком информации. Значимость данных в науках еще в 18 веке тревожила сознание ученых. Так, известный английский астроном Томас Симпсон писал в своих трудах о преимуществах использования чисел в астрономических наблюдениях. Однако новая волна интереса к большим данным захлестнула умы учёных лишь в конце прошлого столетия. С развитием вычислительных систем и компьютерных технологий учёные решили разработать новые методы оценки большого массива данных, которые могут оказаться полезными во всех областях науки.

Компания Gartner описала три основных свойства больших данных:

1. Volume (объем). Огромное скопление данных из абсолютно различных ресурсов в компаниях происходит ввиду понижения издержек при сохранении данных;

2. Variety (многообразие). Вся информация из ресурсов представлена в абсолютно разных формах. Она может быть в виде таблиц, текстов, видео- и аудио контента.

3. Velocity (скорость развития роста). Многие организации связанные непосредственно с электронной коммерцией каждое мгновение получают неиссякаемый поток новой информации.

Прорывом в области развития Больших данных стало внедрение технологии обработки в оперативной памяти огромного массива информации, составляющего несколько сотен гигабайтов. С созданием и внедрением на рынок платформы Hadoop - проекта фонда Apache Software Foundation, который подразумевает свободное распространение и включает в себя фрейм ворки, библиотеки и различные утилиты. Платформа Hadoop активно используется для осуществления поисковых и контекстных механизмов на просторах популярных сайтов, с высокой информационной загруженностью. Проект был создан под эгидой MapReduce - известной модели распределенных вычислений, реализованные компанией Google. Модель MapReduce активно применяется в процессе параллельных вычислений информации, размер которой превышает несколько петабайт.

На фоне быстрого роста вычислительной мощности и развития технологий хранения, анализ Big data все чаще представляется возможным в практике среднего и малого бизнеса. В большей части это является следствием развития облачной модели вычисления. На сегодняшний день наблюдается новый этап развития аналитики Больших данных параллельно с развитием двухуровневой модели обработки. Первый уровень заключает в себе традиционную аналитику Больших данных (вся информация анализируется не в онлайн). Второй уровень предполагает предоставление возможности анализа касаемо огромных массивов данных онлайн, благодаря технологиям аналитики в памяти. Также, важно отметить, что последний уровень будет представлять собой синтез новых и старых способов использования озер данных для самой быстрой аналитики для того, чтобы оказывать воздействия на события в момент их происхождения. Все эти новые технологии открывают безграничные, ранее невиданные возможности для компаний в абсолютно новых масштабах.

Внимание к большим данным обосновывается следующими фактами: в современном мире появилось огромное количество источников, их формирующих. К ним можно отнести все данные, получаемые в сетях Интернета, поисковые системы и интернет торговлю, сенсоры и индикаторы, измеряющиеся в реальном времени. Вся информация, полученная из приведенных источников, в условиях грамотного анализа может способствовать выявлению определённых закономерностей, которые невозможно выявить обычным анализом.

Big data глубоко проникли во все области экономики: это как финансовые услуги, маркетинг, секторы технологий и производства, так и здравоохранение. Согласно многим исследованиям, проведенным в 2014 году, около 89% компаний твердо верят, что отсутствие применения новейших методик в бизнес аналитике и построении стратегий значительно снижают конкурентную способность бизнеса, в конечном итоге, компании рискуют потерять свою долю на рынке.

Анализируя потребителей технологий big data, в первую очередь необходимо упомянуть бизнес компании. Именно они формируют и получают огромный объем информации и на основе анализа могут принимать решения, которые влияют на эффективность работы бизнеса. Благодаря получению уникальной информации, компании формируют выводы, которые помогают принять эффективное решение. Однако важно заметить, что необходимость в инструментах анализа данных весьма часто исходит от интереса IT отдела, а не от собственной нужды компании.

Основной задачей, которую решают в бизнесе, управляя большими данными, является изучение предпочтений потребителей и усилия понять их будущее поведение. На сегодняшний день существует ряд отраслей, которые нуждаются в анализе большого массива данных. В первую очередь, это крупные компании на рынках В2С, потому как данные компании имеют высокую конкуренцию.

«Большие данные» открывают новые возможности развития инновационных методов и способов анализа информации в компании. Важно принимать во внимание все свойства больших данных. В наши дни Большие данные все больше находят свое применение в перечне самых разных сфер деятельности: финансы, онлайн торговля, медицина и другие.

В следующей главе будут рассмотрены методы и способы обработки Больших данных, которые являются основным руководством в принятии эффективных решений.

2.2 Методы оценки Больших данных

В век информационных технологий применяются различные способы анализа массивов данных, в основе которых лежат инструменты, применяемые в математике, статистике и информатике. Часть методик успешно находить применение в работе не только с огромными массивами данных, но и с небольшим объемом информации. Известно, что чем больше объем информации, тем точнее данные получатся в результате их анализа.

Основные методики оценки Big data:

1. А/В testing. (A/B тестирование) один из самых эффективных инструментов, применяемый в маркетинге, который увеличивает эффективность работы интернет ресурса и оценивает успешность веб-страницы. Согласно работе Д. Шепелявому о «Больших данных», благодаря A/B тестированию компании открывают для себя новые возможности в процессе выбора наилучших вариантов заголовков объявлений в интернет сетях и конверсии целевых страниц. Этот метод также позволяет измерять предпочтения аудитории и оказывать воздействие на основные индикаторы эффективности сайта, сравнивать и оценивать количественные показатели нескольких страниц.

Главная практическая суть применения данного метода состоит в эффективном поиске и внедрении составных частей страниц, которые способны увеличить ее оперативность.

2. Data Mining - это процесс определения скрытых закономерностей, обнаружения в сырых данных ранее неизвестных, которые просты в интерпретации и имеют полезное практическое применение в принятии решений практически во всех сферах жизнедеятельности людей. Этот метод помогает определить закономерность в огромном массиве данных информации. Данные закономерности было бы невозможно определить, используя традиционные способы. Статистика, теория баз данных, теория информации, визуализация являются основополагающими дисциплинами для создания процесса Дата Майнинг.

Выделяют 6 основных задач Дата Майнинга:

1) Классификация - выделение конкретных параметров у объектов, которые позволяют определить их в некий сегмент;

2) Кластеризация - процесс, группирующий объекты без начального существования классов, и который имеет дело с интеллектуальным анализом и является продолжением описанной ранее задачи;

3) Ассоциация - нахождение определенных связей и закономерностей между событиями;

4) Последовательность - определение закономерностей между событиями, которые взаимодействуют во временных рамках;

5) Прогнозирование - нахождение взаимосвязи окончательных данных от переменных входных данных;

6) Визуализация - графическое конструирование обрабатываемых данных.

3.Краудсорсинг (crowdsourcing) - активация ресурсов большого количества людей используют современные информационные технологи для решения ряда задач, которые стоят перед компаниями, страной и обществом. На данный момент в мире существует множество способов применения, которые дифференцируются по тематике и виду конченых данных. Краудсорсинг разделяют на 2 категории:

1) Учитывая сферу жизни (производство, политика, общественная составляющие);

2) Учитывая типологию поставленных задач (изобретение нового продукта, нахождение решений, определенных людей, тестирование, голосование и краудфандинг).

4. Смешение и интеграция данных - комплекс методов, которые направлены на интеграцию разного рода данных из разнообразных источников с целью проведения глубинного анализа.

5. Машинное обучение (Machine Learning) - большая часть искусственного интеллекта, которая исследует способы создания алгоритмов, которые потенциально готовы обучаться.

Существует 2 типа Машинного обучения:

1) Обучение по прецедентам (базируется на определении закономерностей в данных;

2) Обучение на основе дедукции (выявление знаний экспертов и их перемещение в форме базы данных в компьютер).

6. Пространственный анализ - очень важный способ представления и обработки информации, который используется в основном в геоинформатике. Этот анализ заключается в обеспечении анализа размещения, взаимосвязей и других пространственных отношений. Также, в него входит анализ сетей и цифровых моделей рельефа.

7. Визуализация аналитических данных. Интерпретация информации в виде, способствующем более ясной интерпретации и четкому анализу. Использование визуализации данных находит свое место во многих научных и статистических исследованиях, в процессе бизнес анализа, обучения, а также в условиях повседневной жизни, к примеру, в масс медиа. Определение визуализации неразрывно связано с информационной и статистической графикой.

Согласно работе Н. Копылова «Базы данных - революционная эволюция», визуализация очень эффективна в случае, при необходимости раскрыть сущность алгоритма или структуру объект, открыть взаимосвязь предметов или данных, отразить тенденции разного рода и грамотно раскрыть сущность данных в большом объеме.

Важно понимать, что разные методы используются в разных отраслях деятельности. При грамотном применении рассмотренных выше методик, пользователи открывают для себя новые возможности.

2.3 Алгоритмы модели кластерного анализа данных

В данном разделе исследования будут описаны в более подробной форме этапы метода кластеризации данных.

В первую очередь нужно разобраться, что такое кластеризация. Кластеризация или кластерный анализ относится к категории Data Mining - метод анализа Больших данных. Data mining является совокупным названием всех методов идентификации новой и практически полезной информации. Использование полученного результата в ходе проведения анализа Data Mining позволяющей принять эффективные решения. Базу анализа Data Mining составляет классификация, моделирование и прогнозирование, которые строятся на различных методах, одним из которых является кластерный анализ. Кластеризация или кластерный анализ -- это разделение множества данных на группы, которые можно обозначить кластерами. В состав каждого кластера входят объекты, которые являются близкими друг к другу согласно определённым характеристикам. Между собой кластеры должны иметь максимальное количество различий. Для сравнения с методом классификации необходимо обозначить основное отличительное качество: группы в методе кластеризации не задаются изначально, а формируются в процессе работы с алгоритмом.

Традиционно, кластерный анализ состоит из пяти шагов:

1)Сбор данных для анализа;

2)Определение характеристик, по которым будут оцениваться объекты;

3)Вычисление значений меры;

4)Применение метода кластерного анализа для создания групп из близких по характеристикам объектов;

5)Представление результатов анализа.

Однако рассмотрим усовершенствованный метод кластеризации, предложенный в 2001 году испанским учёным Franco M. Battagello.

0. Подготовительная фаза: стратегии оценки. (Preliminary phase: strategy assessment). Принимая во внимание то, что смысл идеи устройства оценки разделяет концепцию «оценки» на более простые компоненты, то подготовительная стратегия внешнего аудита является подходящей. Данный шаг важен и смысл его состоит в том, чтобы оценить отношения между стоимостью создания и регулирования стратегии компании, которая относится к модели бизнеса. Целью этой фазы является идентификация области создания дополнительной стоимости вместе с организацией и оценкой их структуры. Завершив подготовительный этап, становится возможным последовательное распределение кластеров нематериальных объектов.

1. Фаза 1. Дерево взаимосвязей. (Phase-1: Value Tree branching)

Основной идеей первой фазы является зарисовка образа, снимка схемы базовых блоков оценочной структуры вместе с бизнес моделью. Для того чтобы четко определить их вид и количество, необходимо кластеризировать подкатегории, в которых отображается принцип «от общего к частному». От наиболее общих понятий и данных связи стремятся к подкатегориям, которые заключают в себе, свою очередь, другие подкатегории. Данная фаза раскрывает ценностную структуру организации независимо от уровня её сложности её структуры.

Схема 1: схема дерева распределений. [30, c.817]

Таким образом, чтобы осуществить первую фазу, необходимо выполнить следующие шаги:

1) Сортировать всю бизнес модель на ценностные области (Value domains), разделяющиеся на данные доминирующие и их подпункты. Такое их использование позволит понять создание стоимости для стейкхолдеров, что приводит к конкурентоспособности.

2) Следующий под-шаг состоит из рассмотрения value domains для того, чтобы идентифицировать ценностные компоненты (Value components). Value domains являются характеризующими элементами компании. Количество уровней компонентов оценки не предопределено. Количество определенных уровней зависит от того на сколько детально необходимо описать структуру оценки. Как результат, для каждого «n»- уровня оценочного компонента может быть «1+n» уровень подкомпонента.

3) Завершение фазы характеризует окончанием построения всех базовых блоков оценочной системы. Value objects раскрыты и не подразумевают дополнительной спецификации.

Схема 2: дерево оценки, которое определяет базовые ресурсы будущей оценки стоимости. [30, 824].

2. Фаза 2: Оценка существующих взаимодействий. (Phase-2: appraisal of existing interactions - raw clustering). На этом этапе проходит качественный анализ существующих взаимодействий между базовыми объектами, которые были выделены на предыдущем этапе модели. Фаза подразумевает проведение аналитика взаимодействий между VOs. Этап проходит через несколько дополнительных ступеней: построение матрицы взаимодействия среди VOs; подсчет соответствующей матрицы близости (Proximity Matrix) для оценки их отношений и влияний; идентификация потенциальных нематериальных активов (Candidate Intangible Assets) через оценки пороговой ценности.

2.1 Матрица взаимодействий. (Interaction Matrix) Получив VOs, настоящий под шаг фокусируется на оценке связей всех отношений, которые соединяют каждый VO с качественной стороны. Результирующая картинка этих связей отображает реальную динамику среди её точек взаимодействия. Эта цель может быть достигнута благодаря построению матрицы взаимодействий (Схема 3). Значения, которые будут заполнять данную матрицу и будут оценены посредством полученных взаимодействий среди изучаемых объектов, где - значение каждой aij позиции вместе с матрицей (“m Ч n”, где “m=n”) - следующее: на сколько VO соответствует к «ith» позиции подвержено влиянию VO, которые соответствуют «jth» позиции.

Схема 3: Матрица взаимодействий [30, c. 818].

Наполнение ячеик матрицы выполняется, используя собранные данные, посредством интервьюированию людей, которые связны с исследуемыми объектами, например, менеджерами компании.

Схема 4. Матрица взаимодействий (Interaction Matrix)

Матрица близости (Proximity matrix). Второй под шаг состоит из подсчета соответствующих матриц близости, являющейся продолжением матрицы взаимодействий, целью которых является подсчет веса отношений среди VOs. Этот шаг приводит измерение силы связей среди всей сети, рассчитывая сопоставленных попарно влияний среди всех элементов матрицы взаимодействия, где



bij = aij + aji

Схема 5. Матрица близости [30, c. 819]

где ценность каждой “bij” позиции вместе с результирующей матрицей рассчитаны как сумма взаимно соответствующих ценностей из матрицы взаимодействия.

Схема 6. Матрица близости (Proximity Matrix) [30, c.824]

2.3 Установка порога. (Threshold setting) - это завершающий под шаг в описываемой фазе. Он нацелен на определение собрания первичных активов. Периметр принадлежности таких систем устанавливается через оценку пороговой стоимости. (Threshold Value). Логика этого критерия такова: среди всех оценок связей существует среднее значение независимости среди точек связей, которые могут быть измерены. Данные значения являются отображением пороговой стоимости. Если среди ряда параметров этих точек взаимосвязи есть определенная ценность - превышающая порог - то тогда интенсивность их взаимосвязей обнаруживается. Вследствие чего выявляется более сильная связь, на которую необходимо базироваться. Таким образом, аналитик имеет возможность определить границы: каждый дополнительный VO, который не достигает порогового значения, удаляется из системы. Пороговая стоимость определяется следующим образом:

Threshold Value = Arithmetic Mean + k

Где «k» определено как регулирующий параметр.

Каждый CIAm состоит только из элементов, которые удовлетворяют неравенство: bij > Threshold Value

Схема 7. CIA composition Roster [30, c.825]

С помощью формулы, подсчитываются все базовые единицы, которое существуют в нашей матрице.

Схема 8. Подтверждение оценки матрицы близости через пороговую оценку. [30, c. 825]



2.4 Аналитическая фаза, критический анализ. Иногда, аналитика может быть применена к вычислениям результирующих значений, из описанных ранее матриц. Подсчет всех взаимосвязей для каждых VOs заполняет ранжированный список данных объектов.

Каждое значение составляет комбинацию двух приходящих и уходящих потоков. Чем более чувствителен VO, тем больше должен быть принят во внимание критический элемент оценки связей. Для каждой VOx критически расположенные данные подсчитываются через критическую оценку по следующему уравнению:

(1)

Следующий этап заключается в отдельном определении входящих и исходящих отношений среди VOs. Это ведет к определению двух различных серий оценки для каждого VO. Результат представлен на декартовском критическом графе для наглядного представления сложившейся ситуации. Индекс критического баланса (Criticality Balance Index, CBI) может быть построен и применён к каждому VOx . Учитывая критерии стоимости, он показывает меру на сколько каждый VO сопоставляется с полученным и отданным влиянием.

(2)



Схема 9: критический анализ в графическом виде. [30, c. 825].

Фаза 3. Усовершенствование кластеров. (cluster refining)

Для грамотной кластеризации совокупности VOs , необходимо прежде всего проверить потенциал обособленного существования каждой единицы данных нематериальных ресурсов, которые мы изначально определили.

1.1 Проведения теста показателя срочной ликвидности для определения критерия и групповая проверка. (Acid-test run for criteria-matching and parent-grouping check). Для того, чтобы проверить потенциал обособленного существования каждого CIA, необходимо провести следующий тест, который направлен на выделение наборов VOs с определенными критериями, которые гарантирует, что группировка может быть рассмотрена как верный нематериальный актив.

Каждый выделенный объект должен быть:

1. R1 - объект инвестиционных потоков, который приносит пользу в определённой перспективе

2. R2 - независимо переносимый

3. R3 - измеримый в рамках стоимости

Этот тест поможет избежать распространения эффекта «русской матрешки», понижая количество CIAs.

3.2 Проверка переполнения и наплыва. (Redundancy and overlapping check.) В условиях с настоящей концепцией, все VOs сгруппированы на основе определённой критерии. Но некоторые границы единиц нематериального актива остаются трудными для понимания, так как они зависят от стороны и подхода предстоящего анализа. В этой ситуации подходит определение deus ex machina. Однако использование их в данной ситуации сопутствует возникновению рисков отсутствия внутренней связи. Не предопределено, где проходит линия между каждым нематериальным активом, что становится необходимо во время составления элементов. Важно учитывать, и то, что составные элементы VOs не должны быть пересчитаны несколько раз, иначе аналитик подвергает опасности получить результаты общей оценки.

3.3 membership redundancy grid строится для того, чтобы проверить переполнение и наплыв среди выявленных в процессе анализа кластеров CIAs.

Схема 10. Membership redundancy grid [30, c.826].

3.4 Направление не сгруппированных и несвязанных объектов (Routing of ungrouped and unlinked entities). Данный объект предполагает выявление объектов оценки, связи которых не достигли порога, и поэтому не могут быть включены в какие либо другие CIA или пройти Acid-test, автоматически не включаются в белый список нематериальных активов.

Фаза 4. Финальная группировка совокупности нематериальных активов. (final grouping of aggregated IAs). Завершающая фаза рассматриваемого метода посвящена финальному представлению подтверждения CIAs в соответствии с наиболее походящей структурой. После сортирования силы связей соединений среди всех VOs, различные оценки фиксируются с каждым подтвержденным кластером. Данная фаза нацелена на поддержку системы для верной детализации. Сгруппированные результаты представляются в завершенную систему нематериальных активов, выделенных в графе близости, которая состоит из итогов фазы 1 и фазы 2. Такой результат получен посредством группировки, основанной на близости, во избежание наплыва различных кластеров. Матрица близости используется непосредственно с этой целью. Так, благодаря накопленной оценке, между VOs можно сделать заключение: чем выше оценка между двумя VOs, тем ближе они будут располагаться на графе и наоборот.