Развитие банковских сервисов и продуктов с учетом требований регулятора

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

Современный мир динамичен, и степень его динамичности со временем все возрастает. Для любого направления бизнеса чрезвычайно важно следить за возникающими изменениями во внешней среде. В сегодняшней реальности основные драйверы этих изменений - это проникновение технологий во все сферы жизни. Также важную роль играет увеличение общего количества людей на Земле и информации, которую они генерируют. Мы ищем способы анализировать большие объемы информации, которые не только не можем уже анализировать сами, но и даже силами 1 компьютера.

Систематический сбор, отражение, анализ данных чрезвычайно важен для фирм, смысл существования которых - удовлетворение потребностей потребителя. Увеличение количества обрабатываемых данных ведет к лучшему пониманию потребителя, его привычек и, как следствие, к разработке лучших продуктов, услуг и предложений. Последние тенденции в создании банковских продуктов направлены на увеличение интероперабельности систем и созданию сервисов, которые бы соответствовали потребностям потребителей.

Одним из бурно развивающихся направлении? совершенствования прикладных информационных технологии? является развертывание рекомендательных систем - инструментов автоматической генерации предложении? по товарам и услугам на основе изучения персональных потребностей клиентов. Выработка рекомендаций - хорошо изученная научная область, которая имеет успешные приложения в индустрии. Рекомендательные системы уже стали неотъемлемой частью многих современных интернет-приложений, доказав свою эффективность в улучшении пользовательского опыта и повышении продаж фирм. Основные научные исследования в области рекомендательных систем направлены на повышение качества рекомендаций и анализ больших объемов данных.

Учитывая готовящийся законопроект о приведении чеков в электронный вид, потребности банков и их клиентов, актуально создание проектного решения, обеспечивающего реализацию совместного персонализированного сервиса для клиентов с привлечением данных оффлайн ритейлеров и банков. Практическая значимость такого сервиса состоит в возможности улучшения пользовательского опыта, расширения знаний о клиенте банка и торговцев, создания открытого сервиса для наилучшей утилизации данных сторонними разработками и экономии на эмиссии банковских карт и карт лояльности.

В работе рассмотрены алгоритмы подбора наилучшего типа предложения и товара, наиболее релевантных предложений, основываясь на методах коллаборативной фильтрации. Данные алгоритмы реализованы для масштабируемой программной платформы Apache Spark на языке Scala и R. Эксперименты, направленные на оценивание качества и масштабируемости реализованных алгоритмов, проведены на облачном сервисе Microsoft Azure.

Объектом исследования является рынок банковских продуктов, возникающий после вступления в силу законодательного акта.

Предметом исследования являются варианты использования доступных данных о транзакциях пользователей, включая способы их хранения и анализа.

Цель работы: анализ рынка банковских услуг, потребностей банка и их клиентов. Последующее исследование существующих рекомендательных алгоритмов и разработка эффективного их сочетания для применения в системе рекомендаций программы лояльности, позволяющая выбирать рекомендации нужных продуктов с приемлемым уровнем релевантности, уровнем отклика и экономической целесообразностью в условиях большого числа пользователей при неполной или отсутствующей информации об их предпочтениях.

Задачи:

1. Проанализировать потребности банков, клиентов банков и ритейлеров.

2. Изучить готовящийся законопроект и требования регулятора.

3. Выработать решение с наибольшим потенциалом для реализации.

4. Определить основные параметры будущей системы и данные, которые необходимо использовать для создания сервиса.

5. Разработать программный продукт для хранения, трансформации и анализа большого количества данных о транзакциях, генерируемых будущим сервисом.

6. Осуществить обработку данных посредством использования методов машинного обучения для формирования рекомендаций по продуктам и выбора наилучшего способа предложения, используя коллаборативную фильтрацию, основанную на сходстве пользователей, коллаборативную фильтрацию, основанную на сходстве предметов и алгоритмы классификации для подбора оптимального канала предложения.

Методологическая база исследования:

Статьи и книги по методикам проведения маркетинговых исследований; статьи и книги по архитектуре высоконагруженных систем и систем, работающих с большим объемом данных, прежде всего систем для массово-параллельной обработки данных; статьи и книги по методам создания рекомендательных сервисов и программ лояльности.



1. Анализ предметной области

Развитие банковской сферы в России во многом определяется государственной политикой. В феврале 2016 года утвердили проект изменений, вносимых в 54-ФЗ «О применении контрольно-кассовой техники при осуществлении наличных денежных расчетов и (или) расчётов с использованием платёжных карт». Основные положения предлагаемой системы - это:

· Передача информации о расчетах в электронном виде в адрес налоговых органов через оператора фискальных данных.

· Электронная регистрация контрольно-кассовой техники (ККТ) без посещения налогового органа и без физического предоставления ККТ.

· Построение системы гарантированного выявления нарушений на основе автоматизированного анализа информации о расчетах, выявления зон риска совершения правонарушений и проведения точечных результативных проверок.

· Вовлечение покупателей в гражданский контроль.

Следует отметить, что инициатива по внесению данной поправки была принята с учетом результатов внедрения Единой государственной автоматизированной информационной системы (ЕГАИС) -- автоматизированной системы, предназначенной для государственного контроля над объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. По оценке специалистов, до начала внедрения ЕГАИС доля нелегальной продукции в общем объеме реализации алкогольных напитков на потребительском рынке России достигала 40 - 50%. Полагается, что данная система сделала оборот алкогольной продукции более прозрачным и за счет этого сократило потребление подакцизных товаров. В то же время, цены на акцизы не поднимались c 2014 года, а покупательская способность денег ухудшилась. Система имеет ряд недостатков, среди которых отсутствие балансировки нагрузки, медленный отклик и несовместимость системы с некоторым ПО, ведь данные отправляются в ФНС напрямую.

В рамках поправки ФЗ-54 о контрольно-кассовой технике, новая схема работы включает посредника в лице оператора фискальных данных, который будет накапливать, хранить и передавать эти данные в ФНС. Согласно новому постановлению, новый институт будет обязан:

1. передавать в контрольно-кассовую технику, осуществившую передачу ему в виде электронного документа кассового чека, отчета о фискализации, открытии и закрытии смены, закрытии фискального накопителя, подтверждение о получении указанного документа, подписанное фискальным признаком;

2. осуществлять ежедневную передачу в адрес налогового органа фискальных данных,

3. предоставлять налоговому органу доступ к фискальным данным в режиме реального времени, а также предоставлять эти данные налоговому органу;

4. обеспечивать возможность проверки факта применения контрольно-кассовой техники организацией через интернет, а также возможность проверки достоверности оформленного кассового чека в виде электронного документа;

5. осуществлять в случае, если это предусмотрено договором между оператором фискальных данных и пользователем, передачу копий кассовых чеков в виде электронных документов с указанием в качестве адреса электронной почты отправителя - адреса ОФД;

6. предоставлять по интернету на безвозмездной основе любому лицу, предоставившему номер кассового чека, реквизиты и ФИО, а также адрес места жительства, кассовый чек или бланк строгой отчетности в виде электронного документа, подписанного квалифицированной электронной подписью оператора фискальных данных;



Рис. 1. Схема обмена данными между контрагентами

Передача данных в ОФД будет производиться с использованием фискального признака (уникальной подписи каждого чека). При необходимости, передачу оператору фискальных данных электронных документов с фискальными данными можно осуществлять в зашифрованном виде. В обязанности ОФД также входит хранение данных на протяжении 5 лет.

По требованию покупателя организации и индивидуальные предприниматели дополнительно к кассовому чеку, отпечатанному контрольно-кассовой техникой на бумажном носителе, обязаны передать покупателю его копию в виде электронного документа в незашифрованном виде на предоставленный покупателем адрес электронной почты.

Организации и индивидуальные предприниматели вправе поручить передачу покупателям копий кассовых чеков в виде электронных документов оператору фискальных данных. В этом случае в качестве адреса электронной почты отправителя должен быть указан адрес электронной почты оператора фискальных данных.

Гражданину новая технология дает дополнительную защиту своих прав как потребителя за счет возможности:

· получить электронный чек у оператора фискальных данных и (или) в своей электронной почте;

· самостоятельно быстро и удобно проверить легальность кассового чека через бесплатное мобильное приложение и в случае возникновения вопросов тут же направить жалобу в ФНС России;

· Кассовый чек (бланк строгой отчетности) формируется контрольно-кассовой техникой в электронном виде (по требованию покупателя - на бумажном носителе) при осуществлении расчетов;

Плавный и поэтапный переход к новому порядку применения должен произойти до 1 февраля 2017 года. Законопроект никак не регламентирует что либо, кроме произведения налоговых расчетов по каждой позиции и хранения данных. Характер взаимодействия торгово-сервисного предприятия и оператора фискальных данных очень похож на процессинг платежных транзакций. Учитывая, что в банках сосредоточена и накоплена огромная экспертиза в области процессинга и обеспечения безопасности платежей, а также то, что многие финансовые организации предоставляют услуги по расчетно-кассовому обслуживанию, и юридические лица обязаны открывать счета в банке при регистрации, кажется вполне закономерным, что роль оператора фискальных данных будет занята банками.

Чек - простейший документ купли-продажи, обеспечивающий защиту прав потребителя. Вместе с этим, данные, зарегистрированные в памяти ККТ, обеспечивают расчет налога по сумме проданных товаров за покупку. Однако, несмотря на всю ценность, люди хранят чеки только после покупки электротоваров, крупной и малой бытовой техники.

В результате опроса было также выявлено, что в 36% случаев, чек при покупке люди не получали. Это значит, что торговцы осуществили продажу товаров без уплаты налогов. Такая ситуация складывается из-за невнимательности населения, непонимание назначения чека, отсутствия удобства хранения и учета, а также надежды на «авось». Помимо всего прочего порядка 43%, забравших чек, сразу его выбрасывают.

31% респондентов готовы сохранить кассовый чек только при определенной сумме покупки. Приобретая тот или иной товар на сумму от 1000 руб. до 5000 руб. чек готовы сохранить - 23%, от 100 руб. до 500 руб. - 27%, от 500 до 1000 руб. - 37%, тогда как 46% участников опросов сохраняют кассовые чеки на любую покупку. В результате тестирования по поводу категорий товаров респонденты показали следующие данные: на продукты питания сохраняют чеки 45% граждан, на товары высокой стоимости (драгоценности, автомобиль и пр.) - 53%, на обувь и одежду - 66%, на бытовую технику и электротовары чаще всего граждане нашей страны сохраняют кассовые чеки - 70%.

Стоит отметить, что люди хранят чеки разное количество времени. Это связано с тем, что возврат и обмен товара можно осуществить в течение 14 дней со дня покупки, гарантия на электронные товары обычно составляет около года. Кроме того, большинство чеков печатаются на термобумаге (термопринтер дешевле и быстрее), поэтому текст со временем выцветает. Чеки можно восстановить в точке продажи товара, но мало кто знает о такой возможности, к тому же это весьма длительный процесс.

Люди, которые хранят чеки длительное время, в основном страхуются от некачественных товаров, домашнюю бухгалтерию, участвуют в акциях при покупке определенного товара, возвращают налог с некоторых операций или отчитываются о покупках.

Действие нового закона обеспечивает хранение электронного чека, но он подразумевает, что человек отсканирует его в мобильном приложении, чтобы получить доступ к электронной копии. QR-код - это уникальный номер чека, но считывать его можно только через официальное приложение. Возникновение программ по хранению чеков пользователя неизбежно. Однако, что-либо сделать с данными пользователи iOS не смогут, потому как у этой операционной системы доступ приложений к файловой системе ограничен. Напрашивается необходимость в открытии этих данных для работы сторонних организаций, поскольку их анализ и использование более интересен, он также обеспечивает большую утилизацию хранящихся данных.

Проверка на легальность - нужная функция при проверке алкоголя в системе ЕГАИС, потому как люди не хотят отравиться фальшивым товаром, интересуются подлинностью в случае покупки дорогой алкогольной продукции. Напротив, человеку нет нужны утруждать себя проверкой чеков на товары повседневного пользования в привычных местах, потому как он склонен считать, что вероятность форс-мажора крайне мала, а люди достаточно инертны в своем образе жизни. Кажется, что мотивация контроля за торговцами со стороны населения недостаточна потому как аудитория тех, кто хранит чеки крайне мала.

В то же время, монетизация банков до широкого проникновения IT состояла только в грамотном управлении финансами. Вместе с информационными технологиями появились карточки - уникальный банковский продукт. Банки стали получать дополнительный доход за счет комиссионных отчислений с размера транзакций в зависимости от денежного перевода или снятия наличных. Многочисленные исследования показывают, что современный потребитель зачастую ставит удобство использования на первое место, все меньше акцентируя внимание на цене. Такая ситуация происходит из-за смены мышления: все больше людей начинают понимать цену своего времени, что оттеняет желание экономить на всем подряд. К тому же общеизвестным является факт о том, что люди, использующие безналичный расчет склонны больше тратить, поэтому карточный эквайринг - востребованный банковский продукт, увеличивающий выручку и улучшающий сервис.

По данным Центрального банка, эмиссия карточек, выпущенных кредитными организациями, на 1 января 2016 года составляет 243 929 млн.ед, демонстрируя стабильные темпы выпуска. Безусловно, такой рост складывается не только из новых обращений, но и из перевыпуска карт, у которых истек срок годности. Наряду с данной статистикой, нужно отметить тенденции в карточной эмиссии, связанные с выпуском виртуальных карточек (host card emulation, HCE), которые никак не учитываются статистикой ЦБ. Все меньше становится людей, которые используют карточки для снятия наличности в день выдачи зарплаты, благодаря внедрению программ банковской лояльности с крупными мерчантам, проведению акций международными платежными системами для стимулирования пользования карточками и воспитания культуры использования этого продукта.

Рис. 2. Статистика центрального банка по эмиссии банковских карт

Нельзя отрицать массовое распространение смартфонов, как самых персональных устройств и альтернативного способа оплаты. Таким образом, банки уже владеют системами по карточному процессингу и могут предоставлять различные способы оплаты товаров: карточкой, через электронный кошелек NFC или barcode. Государство активно продвигает систему безналичных платежей, потому что такой способ взаиморасчетов позволяет сделать систему прозрачной и лучше контролировать денежную массу и денежные потоки, что особенно актуально в связи принятием закона «О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма». Государство всецело заинтересовано в переходе в цифру из-за прозрачности информационных и финансовых потоков, сокращения расхода бумаги на бланки. Эта ситуация предоставляет благоприятную почву для сопоставления данных о платежах с личностью клиента. Потоки безналичных платежей и обмен фискальной информацией будут происходить параллельно. Банки раньше всех начали заниматься анализом данных, но сейчас они знают, сколько тратят их клиенты и где, но не знают на что и зачем. Задачи, которые банки решают сейчас, используя продвинутую аналитику были выявлены после анализа открытых источников и наблюдений за тенденциями в отрасли.

Сейчас ценовые войны за уменьшение комиссии затухают, банки оптимизируют внутренние процессы и стремятся к интероперабельности с внешними отраслями: об этом сигнализирует появление многочисленных кобрендинговых карт и программ лояльности с cashback.

Происходит смещение роли банка с хранилища денег на хранилище информации с персональными советами по тратам и сбережениям. В соответствии со сложившейся ситуацией о принимаемом законе, банкам выгодно утилизировать имеющиеся данные при согласии сторон и предоставлять на их основе сервисы для мерчантов и конечных клиентов, которые надолго привяжут потребителя к банку. К таким сервисам прежде всего можно отнести персональных финансовых ассистентов (PFM), аналитические панели (BI, Data mart) и программы лояльности.

Создание персонализированного сервиса подразумевает пользу одновременно банкам, мерчантам и клиентам. Всем было бы полезно знать больше о клиенте, включая клиента. Особенно остро эта потребность проявляется в период кризиса. Нужно проводить up-sale, cross-sale не только банковских продуктов, но и продуктов клиентов банка.

Таблица 1. Решаемые задачи в области анализа данных в финансовом секторе

Банк	Задачи	Планы	Технологии
Промсвязьбанк	Формирование наиболее актуальной задачи для клиентского менеджера.	Единое окно системы как фронт с логикой, но без процесса.
Уральский банк реконструкции и развития	Продажа данных другим организациям (hash). Используют соцсети как канал продаж.	Полученную и проанализированную информацию из соцсетей о клиентах можно использовать для дальнейшего взаимодействия.	In-house решение.
Тинькофф Банк	Скоринг, продажа карт и привлечение ипотеки.		EMC Greenplum, SAS Visual Analytics и Hadoop.
Сбербанк	Риски, сегментация и скоринг, управление персоналом, прогнозирование очередей в отделениях, расчет бонусов сотрудников. Предсказание клиенто-потока в отделениях, предсказание банкротства фирмы.	Банк намерен подключить к анализу больше типов своих внутренних данных и задействовать внешние источники (например, данные из соцсетей). В марте Сбербанк купил рекламную платформу Segmento, чтобы использовать ее данные для персонализации предложений своих клиентам и привлечения новых. Банк привлек «Яндекс» в качестве консультанта по анализу больших данных.	Teradata, Cloudera Hadoop, Impala, Zettaset, стек продуктов Apache (Hadoop, HBase, Hive, Mahout, Oozie, Zookeeper, Flume, Solr, Spark и пр.), специализированные базы данных (Neo4j, MongoDB и т.д.) и собственные решения в области data mining, predictive/prescriptive-аналитики, обработки естественного языка.
Альфа-банк	Предсказание банкротства. Анализ соцсетей и поведения пользователей сайта, скоринг, отток, персонализация контента и вторичные продажи.	Возможности дополнительной монетизации своих массивов данных в рекомендательных системах, анализе линейки продуктов и предиктивном анализе поведения клиентов.	Oracle Exadata, Oracle Big Data Appliance и Hadoop.
Газпромбанк	Скоринг, антифрод, оперативная отчетность, персонализация предложений, доскоринговая проверка репутации потенциальных заемщиков, предоставление информации регуляторам.
ВТБ24	Отток, формирование финансовой отчетности, анализ отзывов (соцсети, «Народный рейтинг» и «Банки.ру»). Выявление необоснованного cash back, ложные кредиты.		Teradata, SAS Visual Analytics и SAS Marketing Optimizer, CleverData.
Открытие	Анализ поведения клиентов и расчеты в реальном времени.		HP Vertica, Oracle GoldenGate.
Райффайзенбанк	Повышение скорости обработки данных.	Развитие аналитического CRM, процессов по распознаванию проблемных заемщиков, процессов предотвращения мошенничеств различного характера.	SAS, Oracle.
Ситибанк	Управление рисками, противодействие отмыванию доходов, полученных преступным путем, моделирование при разработке новых продуктов.		Hadoop, Teradata.
Уралсиб	Поиск математически оптимального распределения предложений и коммуникаций по портфелю банка, обеспечивающего максимизацию прибыли или другого целевого показателя по выбору пользователя системы.		IBM Contact Optimization.
ОТП Банк	Web-маркетинг и аналитика. Сегментация клиентов и подготовка данных для маркетинговых кампаний, целевые маркетинговые коммуникации, составление и управление многоканальными многоволновыми маркетинговыми кампаниями, расширенная аналитика о реакции клиентов на различные предложения. Автоматизация исходящих звонков в колл-центре.		IBM Campaign.
Всероссийский банк развития регионов	Антифрод.
Бинбанк	Отток, целевой маркетинг и cross-sale.		CleverDATA.
Deutsche Bank	Анализ неструктурированных данных. Переход от старой системы к новой, горизонтально масштабируемой. Сокращение времени на аудит и создание отчетов по риску.	Привести в порядок свои данные.	Hadoop
Лето Банк (Поглощен банком ВТБ24)	Целевой маркетинг, слияние риск менеджмента и CRM, управление кредитными рисками. Модификация алгоритмов оценки клиентов и точный расчет целевых сегментов. Сокращение сроков запуска предодобренных кампаний, значительное сокращение времени обработки больших списков клиентов для коммуникации.	Концепция Next Best Action.	SAS Campaign Management, SAS RTDM

Мерчанты хотят лучше прогнозировать спрос и знать больше о клиенте (включая анализ соцсетей). Сейчас это решается картами лояльности и онлайн-каналами у развитых фирм. Но мерчант не знает, сколько денег у клиента и может ли он купить у него что-то еще; возможно, у мерчанта нет любимого товара постоянных клиентов, вопрос первичного привлечения также актуален. Интересной представляется область ритейлеров FMCG, маленькие мерчанты без уникальных товаров, потому что все товары примерно однородны и оцифрованы (штрих-коды, QR и RFID). В случае операторов фискальных данных, данные чистые (из-за того, что по ним платятся налоги), записываются 1 раз, а читаются много раз (что идеально соответствует идеологии BigData).

50% клиентов хотят, чтобы у банков был сервис для контроля бюджета или сервис, помогающий им экономить. Неплохо это работает в Америке. Американцы серьезно относятся к домашней бухгалтерии: начиналось все с записи чеков в тетрадь, потом был переход на электронные программы, затем на сервисы. Интересные продукты, такие как Mint и Quicken агрегируют данные пользователя из всех банков и всех транзакций, делают персональные рекомендации и позволяют выставлять цели (данные по категориям покупок берут из MCC - merchant category code). Это работает хорошо, потому что в Америке почти все пользуются карточками и почти все банки поддерживают OFX формат. За пределами Америки все иначе - нет такого просто решения. Большинство людей финансово не грамотны и вести самому домашнюю бухгалтерию сложно: нужно время выделить, монотонно, не все аналитики, есть человеческий фактор. В этом свете представляется идеальным решение, которое бы незаметно для пользователя сопоставляло детальную информацию по тратам и раскладывала информацию по категориям (потому как разные люди воспринимают траты по-разному), советовала и знакомила с новыми товарами.

Существует огромная пропасть между покупателем и продавцом в сделке по купле-продаже, и сейчас потребитель действует методом проб и ошибок. Товаров и услуг стало слишком много, их сложно все попробовать и выбрать для себя оптимальный. Люди могут помочь друг другу обменом опыта в выборе подходящих товаров через посредника. Сейчас мало только произвести товар, нужно еще наладить связь с потребителем. Торговцы стремятся удержать клиентов, так как привлечение новых обходится гораздо дороже. Поэтому существуют различные маркетинговые кампании и программы лояльности:

· распродажа товара

· акции, направленные на привлечение новых покупателей

· запуск собственной дисконтной программы

К долгосрочным программам относятся:

1. Дисконтная программа, по которой покупатель получает скидки -- на весь ассортимент или на отдельные группы товаров.

2. Накопительная дисконтная программа, где покупатель стимулируется на более дорогостоящие покупки, чтобы получать высокие скидки на все последующие покупки.

3. Организация объединенных магазинов с созданием единой карты лояльности нескольких магазинов, которые не конкурируют друг с другом напрямую. Магазины привлекают новых покупателей и повышают свою узнаваемость

4. Кобрендинговая программа с банком.

Краткосрочные акции:

1. Упаковка дополнительного товара к уже купленным.

2. Купон со скидкой на отдельный товар или весь чек.

3. Бонусы - внутренняя валюта, которая используется для оплаты товаров наряду с обычными деньгами.

4. Скидки, которые привлекают внимание покупателя и создают у него ощущение, что он не только покупает, но при этом еще и экономит.

5. Подарки при покупке определенного товара.

Учитывая все открывшиеся возможности и потребности сторон, необходимо создание сервиса, который бы максимально соответствовал ожиданиям.

· Предлагал выгодные и экономически обоснованные предложения для всех сторон;

· Уменьшал шаги аутентификации (NFC, barcode) и оплаты пользователя при покупке;

· Позволял однозначно идентифицировать пользователя в CRM;

· Позволял получить верифицированные социально-демографические данные о пользователе без заполнения лишних анкет;

· Расширял пользовательский опыт конечных клиентов;

· Формировал индивидуальные предложения;

· Учитывал контекст и индивидуальную воспринимаемость предложений пользователями;

· Давал мерчантам возможность взаимодействовать с пользователями, экономить на SMS-информировании;

· Позволял экономить мерчантам на эмиссии карт;

· Обеспечивал возможность участия в программе малого и среднего бизнеса;

· Предоставлял просто способ идентификации пользователя на подходе в магазине с персональным информированием с помощью iBeacon;

· Проверял данные дополнительным анкетированием при установке приложения;

· Давал возможность оплачивать покупки через HCE;

· Был хорошо интегрирован с уже имеющейся программой лояльности;

· Предоставлял различные виды аналитических панелей и системы поддержки принятия решений для мерчантов;

· Привлекал новых клиентов;

· Обеспечивал возможность работы с данными сторонним разработчикам;

Мобильный девайс - наиболее персональное устройство, которое всегда под рукой, что делает рекомендации действительно персональными. Нужно стимулировать клиента идентифицироваться сразу на кассе: сделать это можно посредством безналичного расчета (тогда данные о клиенте сразу сопоставляются с его покупкой) или же посредством печати на чеке уникального идентификатора, который клиент должен будет считать через приложение после. В любом случае мотивацией клиента будет выступать желание получить скидку, бонусы при покупке, cashback или дополнительные услуги. По сути, теперь клиенту нет необходимости иметь при себе карточки программы лояльности или какие-то физические купоны.

На сегодняшний день среднестатистический потребитель имеет около 30 различных карт в своем кошельке и их количество постоянно растет. Неудобство хранения приводит к выводу карт лояльности из оборота. В тоже время, еще не охвачены регионы, где нет активной конкуренции за клиента и технической возможности поддерживать такие программы. Доля таких клиентов составляет около 30%, но активно снижается из-за развития регионов.

Передача данных от банка к продавцу и насыщение данных не могут происходить без согласия клиента, нужно также учитывать требования закона «О персональных данных», спрашивая разрешение или настраивая безакцептный обмен данными по факту пользования инструментом.

2. Анализ доступных данных и способов их использования

Сведения о расчетах, которые должны содержаться в фискальных документах, хранящихся у операторов фискальных данных, указываются в следующем виде (форме):

1. адрес банковского агента (субагента)

2. адрес оператора по переводу денежных средств

3. адрес платежного агента (субагента)

4. адрес электронной почты покупателя (клиента) в случае передачи ему кассового чека (бланка строгой отчетности) в электронной форме (за исключением контрольно-кассовой техники, применяемой в автономном режиме)

5. место (адрес) осуществления расчета

6. дата, время осуществления расчета

7. идентификационный номер налогоплательщика оператора по переводу денежных средств

8. идентификационный номер налогоплательщика ОФД (за исключением случаев применения контрольно-кассовой техники в автономном режиме)

9. идентификационный номер налогоплательщика пользователя

10. сумма расчета

11. фамилия, имя, отчество (при наличии)

12. идентификационный номер налогоплательщика

13. наименование и место нахождения оператора по переводу денежных средств

14. наименование операции банковского агента (субагента)

15. наименование фискального документа

16. налоги

17. сокращенное наименование налога;

18. ставка налога

19. итоговая сумма налога для всех товаров (работ, услуг, платежей, выплат), указанных в кассовом чеке (бланке строгой отчетности)

20. номер автоматического устройства для расчетов

21. регистрационные номер контрольно-кассовой техники

22. номер смены

23. номер фискального документа

24. номер фискального накопителя

25. порядковый номер кассового чека (бланка строгой отчетности)

26. номер и дата документа-основания корректировки

27. наименование организации

28. признак расчета

29. размер вознаграждения, уплачиваемого плательщиком платежному агенту

30. размер вознаграждения, уплачиваемого физическим лицом в виде общей суммы, включающей в том числе вознаграждение банковского платежного агента (субагента) в случае его взимания

31. реквизиты товара

32. наименование товара (работ, услуг, платежа, выплаты)

33. количество товара (работ, услуг, платежа, выплаты)

34. цена за единицу товара (работы, услуги, платежа, выплаты)

35. общая стоимость товара (работы, услуги, платежа, выплаты) с учетом скидок (наценок)

36. сокращенное наименование налога

37. ставка налога

38. размер налога

39. применяемая система налогообложения при расчете

40. сообщение оператора

41. сумма корректировки

42. сумма корректировки налога

43. сумма расчетов, зафиксированных фискальным накопителем

44. сумма налогов, зафиксированных фискальным накопителем

45. сокращенное наименование налога

46. ставка налога

47. итоговая сумма налогов для всех товаров (работ, услуг, платежей, выплат), указанных в кассовых чеках (бланках строгой отчетности) с момента формирования отчета о фискализации фискального накопителя

48. сумма расчетов за смену

49. сумма налогов за смену

50. сокращенное наименование налога

51. ставка налога

52. итоговая сумма налогов для всех товаров (работ, услуг, платежей, выплат), указанных в кассовых чеках (бланках строгой отчетности) в течение смены

53. номера контактных телефонов платежного агента, поставщика и оператора по приему платежей, а также платежного субагента в случае приема платежа платежным субагентом

54. номера телефонов оператора по переводу денежных средств, банковского платежного агента и банковского платежного субагента (в случае его привлечения банковским платежным агентом)

55. номера телефонов оператора по переводу денежных средств, банковского платежного агента и банковского платежного субагента (в случае его привлечения банковским платежным агентом)

56. тип корректировки

57. фискальный признак документа

58. фискальный признак сообщения

59. фискальный признак подтверждения

60. фискальный признак оператора

Новый законопроект ориентирован на русских потребителей, поэтому крайне важно учитывать особенности менталитета и предпочтения наших граждан. Понимание мотивов потенциального покупателя имеет огромное значение при составлении рекомендации и предложении товаров, которые бы в наибольшей степени соответствовали потребительским ожиданиям касательно баланса стоимости и качества продукции.

С связи с данной интеграцией, следует также учитывать то, что непосредственным потребителем не всегда является тот, на кого оформлена карточка или аккаунт в приложении. К примеру, к одному банковскому счету может быть выпущено несколько карточек. Данные можно частично обновлять за счет того, что в России готовится единая база данных номеров мобильных телефонов, по которой банки смогут установить принадлежность номера мобильного телефона гражданину с соответствующими именем и фамилией.

Мотивов, которыми руководствуются люди при покупке, много, причем, у человека всегда присутствует целая гамма побудительных мотивов, из которых лишь определенные могут иметь существенную значимость и влиять на механизм и результат принятия окончательного решения. Выявив мотивы, можно вырабатывать эффективные приемы, способствующие привлечению пользователя и придания ему статуса постоянного, что, в конечном итоге, прямым или косвенным образом может повлиять на увеличение продаж.

Общий интерес в ряде случаев отличается от потребностей и желаний каждого индивидуума (члена группы). Мотивация покупателей отличается в зависимости от времени, когда принимается решение о покупке и места нахождения человека, поэтому учитывать контекст для формирования предложения крайне важно.

Ритейлеры традиционно занимаются различными видами анализа:

· Анализ динамики товарооборота, прибыли, средней суммы покупки и количества покупок по дням недели

· Анализ сумм и структуры чеков

· Анализ структуры товарооборота и прибыли (АВС - анализ)

· Анализ эластичности товарооборота

· XYZ-анализ

· RFM-анализ

· Анализ эффективности использования торговых площадей

· Анализ эластичности площади

Наибольший интерес представляет использование алгоритмов продвинутой аналитики на большом массиве данных. Если оценивать характер возникновения данных и объемы операций, регулярно совершаемых в стране, становится понятно, что необходимо использовать инструменты, специально предназначенные для хранения и анализа большого количества данных. Классические реляционные базы данных в данным случае не подходят из-за ограничения по масштабированию, которое требует дорогого вертикального наращивания вычислительных мощностей. Для реализации анализа мною была использована платформа для массово-параллельной обработки данных с открытым исходным кодом Apache Spark. Преимущества использования этого фреймворка заключаются в том, что он:

· Оптимизирован для очень большого объема данных (TB, PB)

· Создан для задач, когда данные пишутся один раз, читаются много раз

· Отказоустойчив, не нужно создавать резервные копии

· Репликация данных происходит по мере их накопления

· Может исполняться на дешевом аппаратном обеспечении

· Поддерживает интерактивную, пакетную и потоковую обработку данных

· В несколько раз быстрее парадигмы Map Reduce за счет хранения данных в памяти

· Совместим с остальными элементами экосистемы Hadoop

· Поддерживает несколько языков с одинаковым функционалом

· Способен загружать данные из различных источников

· Есть встроенные библиотеки для различного рода анализа

Для анализа отклика на целевое предложение были использованы методы деревьев решений (на основе алгоритма ID3 и использования уровня энтропии) и случайные леса. Такой подход выбран из-за того, что этот метод достаточно прост и хорошо интерпретируется, что полезно в выработке маркетинговой стратегии. Алгоритмы случайного леса обычно дают лучший результат и хорошо поддерживают параллельные вычисления в силу своей специфики. Рекомендации формируются на основе методов коллаборативной фильтрации.

3. Обзор имеющихся подходов выработки рекомендаций

Математические методы, которые применяются при разработке рекомендательных систем, можно разбить на две группы: методы коллаборативнои? фильтрации (collaborative filtering) и контентные методы (content-based, information filtering). Естественно, возможно одновременное использование методов двух групп (hybrid prediction).

Обычно польза от товара или услуги представлена определенным количеством очков, отражающих, насколько конкретному пользователю понравился конкретный объект. В самом общем виде проблема сводится к присвоению той или иной оценки товару, еще не известного покупателю. Очевидно, такая оценка дается исходя из анализа предшествующих предпочтений данного покупателя или любой другой информации о нем. После этого система предсказывает оценки для еще не известных потребителю товаров: те из них, которые получают наивысшие оценки рекомендуются потенциальному потребителю.

Прогнозирование обычно производится 1) оптимизацией функции полезности, и эмпирическим обоснованием её поведения, или 2) нахождением функции полезности, оптимизирующей заданные параметры поведения, такие как среднеквадратическое отклонение. Потребитель должен получить в качестве рекомендаций товары с самыми высокими оценками из анализированных.

Контентные рекомендательные системы пытаются по истории транзакций предсказать наиболее релевантные результаты (товары, на которые пользователь купит с большей вероятностью). И только товары, обладающие высокой степенью общности с предпочтениями потребителя, будут рекомендованы. Такой подход к получению информации требует создания профилей потребителей со вкусами, предпочтениями, нуждами.

Информация для профилей может быть получена путем анализа совершенных потребителем действий и его метаданных. Последние методики позволяют учесть интересы и предпочтения пользователей и тем самым расширить пользовательский профиль. Необходимо понимать, какое минимальное количество данных требуется получить от пользователя, чтобы этого было достаточно для выработки точных рекомендаций. В начале построение хорошей модели по такому подходу затруднительно, но крайне желательно в будущем, так как оно решает проблему холодного старта, когда нельзя ничего рекомендовать новому пользователю из-за отсутствия истории.

Контентные методы в большинстве случаев основаны на Байесовом классификаторе и методах машинного обучения, включающих деревья решений, искусственные нейронные сети. Однако, контентные рекомендательные системы мыслят слишком узко. Пользователь получает рекомендации только тех товаров, которые были куплены ранее. Для решения этой проблемы, часто используется рандом.

Альтернативой контентному подходу может служить коллаборативная фильтрация. Это метод рекомендации, при котором анализируется только реакция пользователей на объекты. Конечной целью метода является как можно более точное предсказание реакция на новые рекомендуемые товары. Чем больше оценок собирается, тем точнее получаются рекомендации. Иными словами, пользователи помогают друг другу в фильтрации объектов. Поэтому такой метод называется также совместной фильтрацией. В случае анализа транзакционных данных применима бинарная оценка: человек купил (или не купил) определенный товар.

Методы коллаборативной фильтрации сталкиваются с проблемой “холодного старта”. Пользователю необходимо показать интерес к довольно большому количеству разных отелей, прежде чем система сумеет правильно понять его предпочтения и дать подходящие рекомендации. Поэтому система не сможет давать точные рекомендации новому потребителю, произведшему очень мало действий.

Также в любой рекомендательной системе, количество оценок, которые необходимо предсказать, обычно намного превышает количество имеющихся оценок. Важно, чтобы система умела эффективно предвидеть оценки, исходя из небольшого количества примеров. Преодолеть проблему разреженности оценок рекомендательной системы также можно, если при поиске похожих пользователей использовать информацию о пользователе, содержащуюся в его профиле.

Более того, необходимо наличие критического количества пользователей. Например, товар может не пользоваться популярностью, и тогда он будет рекомендоваться очень редко. Малое же количество рекомендаций может быть сделано обладателям необычных вкусов по сравнению со вкусами большинства, для которых в системе не найдется похожих пользователей. Таким образом, переменная “количество покупок” (которая связана с размером магазина и оборотом товара, которые он предоставляет) не имеет значение, нужно по ней формировать гибридные переменные.

Большая часть рекомендательных методик способом коллаборативной фильтрации основывается на ограниченном понимании пользователей и товаров. За пределом анализа остается профиль пользователя, данные о товарах и другая доступная информация. Например, традиционные коллаборативные алгоритмы ограничиваются только информацией о сделанных покупках. Сами профили все еще остаются слишком примитивными.

Нынешние коллаборативные рекомендательные системы оперируют в двумерном пространстве Пользователь-Товар. Это значит, что они выдают рекомендации, основываясь исключительно на информации о пользователе или о товаре и обходят стороной контекст, который первостепенно важен в нашей предметной области. Например, во многих случаях, полезность товара может зависеть от того, когда происходит потребление.

В таких случаях, простая рекомендация клиенту недостаточна; при выработке рекомендации система должна обратиться к дополнительной контекстуальной информации о времени и обстоятельствах предполагаемого потребления.

В литературе предлагались и другие основанные на различных моделях подходы коллаборативной фильтрации, включающие Байесов анализ, вероятностную релятивистскую модель, модель линейной регрессии, модель максимальной энтропии. Недавно большое количество работ было посвящено поискам более сложных вероятностных моделей коллаборативной фильтрации.

Общей проблемой всех рекомендательных систем является то, что они недостаточно быстро реагируют на постоянно изменяющийся поток входных данных. Количество данных увеличивается, матрица становится все более разреженной, а контентная модель не актуальной. Необходимо постоянно перестраивать рекомендации, а для некоторых предметных областей актуальна работа в режиме, близкому к режиму реального времени. Работа над решением данной проблемы должна вестись путем анализа трафика конкретной системы.

Рекомендательная система работает на увеличение верхней части воронки продаж за счет предоставления скидки на товары, которые потенциально могут заинтересовать человека. Поэтому крайне важно хранить, уметь анализировать, использовать при выработке рекомендаций пользователям и сегментации потребителей данные о контексте потребления. Именно благодаря ему можно понять мотивацию и потребности клиента. Такой подход устраняет основную слабость рекомендательных систем - проблему холодного старта. Но сейчас эти данные хранятся лишь частично. К примеру, состав корзины в контексте с днем недели может определить семейные поездки за продуктами в выходные от покупки на бегу.

Однако, как уже было сказано выше в обзоре подходов, рекомендации по косвенным данным истории транзакций не точны. Для построения действительно хорошей рекомендательной сети нужно привлекать данные по контексту потребления. Сегментирование по нескольким критериям позволяет более точно учесть различные запросы и мотивы потребителей к покупке. Поэтому важно хранить как можно больше данных. Основной недостаток любой аналитической мотивационной теории является продолжением ее же достоинств: чем подробнее перечень потребностей, тем сложнее провести между ними границы. Таким образом, подобные классификации потребностей нуждаются в некотором обобщении. Генерализацию обычно производят по степени значимости тех или иных потребностей для индивидуума. В этом и есть персонализация, когда адресность услуги является залогом ее продажи.

4. Архитектура разрабатываемой системы

Наиболее жизнеспособный подход строится на сборе данных транзакций и их последующей пакетной обработке большими частями. Имея срез данных о действиях покупателя за определённый период, возможно строить сложные модели поведения и применять их для выдачи рекомендации?.

Суть алгоритма заключается в том, что все пользователи уникально определяются по идентификаторам. Эти идентификаторы связываются с товаром из покупки. Таким образом поведение пользователя характеризуется данными о покупках. Подсчитав схожесть каждого подмножества со всеми другими, можно объединить пользователей в группы с похожими предпочтениями.

В условиях нынешней архитектуры основной системы и имеющихся данных, рекомендательную систему следует строить вокруг коллаборативной фильтрации, сочетающей в себе item-based и user-based подходы в оптимальной пропорции. В ритейле, товаров гораздо меньше, чем пользователей, новые поступления происходят не часто. Поэтому больший вес следует давать user-based рекомендациям.

Предположим, что показывается 4 рекомендации на экране мобильного телефона. Тогда, когда пользователь заходит в приложение, он сразу же определяется системой. Если такой пользователь уже зарегистрирован, то в системе есть готовые рекомендации для него, сформированные двумя подходами. На стороне клиента есть данные фильтрации, они должны отправиться на сервер системе, чтобы она могла отфильтровать предполагаемые к показу товары (подготовлено ли для данного пользователя предложение, учитывает ли оно дату показа и местоположение). Таким образом, сформированы два новых списка от двух методов коллаборативной фильтрации. К примеру, первые 3 ячейки заполняются товарами, подобранными user-based системой, оставшиеся - item-based (подбор пропорций будет показан далее). Случай, когда не подобрались рекомендации будет рассмотрен отдельно.

При этом, нужно составлять выборку по логам рекомендаций. То есть нас интересует, какие акции были показаны, когда, что на них было показано, какими характеристиками обладал пользователь и как он реагировал (купил или нет за время действия акции). Из профиля пользователя нужен идентификатор, регион, устройство, браузер и операционная система, дата, результат, а также данные объявления (которые он видит), частота контакта с акцией (гибридная искусственная переменная). Обычно пользователи, которые видят объявление 100-й раз за день, реагируют на него не так же, как те, кто видит в 1-й. Поэтому нужно считать частоту каждого показа для каждого идентификатора пользователя. По этим данным нужно строить модель бинарного выбора, которая бы предсказывала вероятность отклика на акцию при данных характеристиках. Такой подход задействует переменные, доступные сейчас.

При входе в приложение, если клиент не идентифицируется, нужно предложить ему заполнить анкету, чтобы сформировать первичный профиль, который можно задействовать в контентном подходе. При построении контентной модели следует начать с популярных алгоритмов классификации: логистической регрессии, решающих деревьев. После необходимо сравнить эффективность предсказания различных подходов между собой и подобрать оптимальное количество параметров.

Такой подход страхует нас от случаев, когда пользователь первый раз зашел в систему и у нас еще нет рекомендаций от коллаборативной фильтрации или же по результатам коллаборативной фильтрации нам просто нечего рекомендовать (контентный подход не основной). Процесс выглядит следующим образом. Пользователь заходит в приложение, затем предложения ищутся по базе. Каждый найденный товар и его характеристики (которые показываются в объявлении и которые есть в модели), вместе с характеристиками пользователя должны быть обработаны системой. В результате у нас будет вероятность отклика на каждое объявление, товары можно ранжировать по ней, по цене и включать в показ пользователю.

В случае нового пользователя, у которого еще нет покупок, система должна предсказывать товары, которые скорее будут интересны пользователю. В случае наличия сопоставления, у нас больше данных, по которым можно строить контентный прогноз: идентификатор пользователя, идентификатор магазина, дата создания, сумма заказа, способ оплаты. Все эти данные помогают в определении мотива пользователя. Нужно не забывать актуализировать потребности и насыщать новыми данными профиль пользователя.

Следует отметить, что есть необходимость в создание отдельного key-value хранилища, которое будет содержать данные сопоставления клиента и чека потому, что человек может оплатить покупку наличными, а считать чек позже и получить cash back. Установление времени на получение остается на усмотрение банка или торговца.

5. Разработка рекомендательных алгоритмов

Для демонстрации подхода использованы тестовые данные, предварительно матрица была составлена из имеющихся логов неизвестного сайта.

В item-based подходе задача формулируется следующим образом: Как понять, понравится ли объект данному пользователю? Нужно найти другие объекты, похожие на данный объект, и посмотреть, как пользователь на них реагировал.

Рис. 3. Пример матрицы Пользователь - Товар

Далее требуется определить коэффициент сходства объекта исследования (страницы) с остальными объектами для количественного определения их похожести. Каждая строка представляет вектор бинарных значений. Существует множество способов подсчета близости векторов. Один из самых простых - посчитать косинус между этими векторами. Результирующая величина покажет, насколько одна транзакция похожа на другую.

Затем нужно выбрать множество товаров, наиболее похожих на другие товары. Есть несколько способов выбора. Чаще всего фиксируется целая константа, например, значение, равное 10. Затем все товары сортируются по убыванию меры близости.

Итоговая матрица выглядит следующим образом:

Рис. 4. Пример составленных рекомендаций

В user-based подходе процесс похож. Задача формулируется следующим образом: Как понять, понравится ли новому пользователю определенный объект? Нужно просто найти других пользователей, похожих на данного, и посмотреть, как они восприняли этот объект.

Мы берем объект и смотрим, какие пользователи его выбрали, затем находим соседей-пользователей с такими же интересами. Затем мы создаем рейтинг объекта для пользователя.



6. Анализ эффективности различных рекомендательных алгоритмов

Для демонстрации подхода использованы тестовые данные. Предварительно матрица была составлена из имеющихся логов сайта. Для выявления рекомендаций на бинарной матрице, был применен ряд подходов: