Андрей Попов, Райффайзенбанк: "Мы нашли клиентов там, где обычный CRM даже не стал бы искать"

Руководитель дирекции информационных технологий и член правления Райффайзенбанка Андрей Попов рассказал об итогах экспериментов в области применения машинного обучения в бизнесе.

Около года назад вы рассказывали, что начали работать с машинным обучением. Каковы были гипотезы и оправдались ли они?

У нас были гипотезы, которые строились вокруг того, насколько мы можем формировать для клиентов релевантные таргетированные предложения – сегментировать их, проводить разного рода up-sell и прочее. Второй ряд гипотез вращался вокруг жизненного цикла клиента, лайфстайл-истории, чтобы вовремя дать ему подсказку или какое-то предложение, которое будет уместно. Были гипотезы в инвестиционном бизнесе, где мы смотрели, как, используя методы машинного обучения и больших данных, мы можем делать выводы о поведении участников рынка, и, исходя из этого, применять определенную стратегию. Была гипотеза вокруг анализа текста внутреннего чат-бота для сотрудников, где мы предполагали, что сможем применять похожие средства и для анализа нашей работы с внешними клиентами. И была задача оценки эффективности фондирования банкоматов – сколько загружать средств в АТМ, как часто проводить инкассацию и т.д.

В итоге почти всё, что мы делали, дало какой-то позитивный эффект, хоть иногда и далеко от той области, относительно которой была гипотеза. Я вижу три больших направления, где был хороший результат.

Во-первых, эффект с точки зрения бизнеса – мы действительно увидели, например, увеличение up-sell за счет того, что иначе сегментировали клиентов, делали им предложение, структурировали информацию.

Вторая область – техническая. Если год-полтора назад мы не умели с работать с машинным обучением, то теперь у нас есть знания, инфраструктура, готовые стенды, на которых мы можем достаточно быстро, в считанные дни или недели развернуть эксперимент и опробовать новые сценарии, гипотезы с использованием разного набора данных.

И третий большой блок – организационный. Раньше очень многие из коллег говорили: «Ну, у меня же есть обычный статистический анализ, я 15 лет всегда в Excel прогнозы делал, и ничего лучшего придумать невозможно». Скепсиса было довольно много, и мы смогли его победить, показав, что можно делать иначе. Это сказывается и на людях – они приходят с новыми идеями, хотят еще что-то пробовать.

А в создании продуктов не пробовали машинное обучение применять – чтобы понять, чего хочет клиент и сделать под него продукт?

У нас сейчас идет похожий эксперимент, но он, скорее, направлен не на выяснение того, что хочет клиент, а на формулирование лингвистической стороны предложения на основе его психотипа. Ведь понятно, что одно и то же предложение для разных клиентов нужно формулировать по-разному, даже если это те же 100 000 рублей под 10% или карта «Всё сразу». Если вы, например, заядлый автомобилист, может быть, нужно, чтобы в письме была нарисована машина. Вы вдруг осознаете, что банк о вас подумал, под вас подстроился, в чем-то вас понимает. Ну а дальше, если предложения конкурентов плюс-минус похожи, вы, наверное, выберете то, которое вам ближе.

Формирование продуктов под клиента – это гипотеза на ближайшие месяцев 12-18, потому что для этого нам нужно понять, что делать с системой, чтобы она позволяла легко играть разными тарифами, комиссиями, показателями.

А какая из гипотез точно не сработала?

Пока не оправдали надежд чат-боты в общении с клиентами. Не потому что мы не можем построить алгоритмы, а потому что у нас пока не хватает структурированного объема текста, то есть нет слов, которые стали бы базой для машинного обучения. В то же время внутри банка чат-боты работают очень хорошо, потому что у нас все заявки в службу поддержки сотрудниками оформляются в электронном структурированном виде.

Поэтому сейчас, запустив чат с клиентами, мы копим логи. Помимо этого, есть голосовое общение в контакт-центре, и мы думаем взять определенный объем звонков и попробовать на них обучать машину. Но пока мы не ставим себе цель давать ответ клиенту автоматически. Для начала мы хотим поставить бота как помощника специалиста контакт-центра, чтобы он давал подсказки.

Насколько масштабные вложения потребовались в эти пилотные проекты и окупились ли они?

Вложения в пилоты окупились, поскольку были довольно небольшими. У нас уже года два как развернута платформа виртуализации на х86, которая позволяет выделять ресурсы очень легко, так что весь вопрос был только в том, чтобы сконфигурировать Hadoop-кластер.

То есть вы использовали уже существующие мощности?

Мы ничего особо не докупали. У нас есть инвестиционная программа на эксперименты. На следующий год в ней заложено на всё около 10-15 миллионов рублей. Вот в этих рамках и проводим пилоты.

И платформенное ПО – полностью открытый стэк?

Абсолютно. Причем до этого мы не работали с Hadoop, только год-полтора назад начали его изучать, а раньше, как правило, для аналитических задач использовали SAS и хранилище на Oracle. В реальном времени вообще ничего не было. Так что для нас это тоже очень большой прорыв – люди вдруг обнаружили, что они могут совсем по-другому это делать, с использованием очень нетрадиционных, до недавнего времени, для банка инструментов, таких как Python, R и так далее.

Сколько у вас людей над этим работает и какого профиля?

Сейчас над этими задачами работает человек 12-15. Они довольно кросс-функциональны. Часть из них занимались хранилищем данных, часть – из capital markets, из рисков. Есть люди из IT, из бизнеса, из финансовой дирекции.

За счет чего окупились вложения?

Прежде всего, за счет того,  как мы реструктуризировали предложения, мы получили прирост в cross-sell и up-sell от 5 до 40%, в среднем 25-30%. Сильно выстреливали, как правило, очень нишевые истории, предложения с микросегментированием – условно говоря, любителям рыбалки по средам. Этот результат, может, тоже нельзя прямо экстраполировать на полтора миллиона активных клиентов вообще, но с этим можно работать.

Если говорить о большой базе клиентов, то у нас был очень интересный кейс. Мы предположили, что среди «спящих» клиентов, которые не активно работают с банком, есть часть, которую можно реактивировать, напомнив им о себе за счет таргетированных предложений. Можно пытаться рассылать предложения всем, но это затраты на SMS и т.д. А можно сделать рассылку, исходя из того, как себя клиент до этого вел, попробовать совместить эту информацию с данными соцсетей, построить граф и т.д. И мы сделали такой контрольный прогон, разделив тестовый сегмент на две части: первая – реактивация с использованием существующих аналитических CRM инструментов, и вторая – с использованием неструктурированных данных, немного расширенных данными социальных сетей и т.д. Чисто формально, если рассматривать количественные результаты, следовало бы сказать, что этот эксперимент не был очень удачным. Разница в числе потенциальных клиентов, которых мы смогли реактивировать с помощью машинного обучения и с помощью обычного CRM не была очень статистически значимой – всего около 7%. Но было очень интересно посмотреть, используя социальные графы и большие данные против обычного CRM, в каких сегментах мы реактивировали клиентов и как они были сегментированы в свое время. Мы нашли клиентов там, где обычный CRM даже не стал бы искать. Часть людей, которые раньше система отнесла к массовому или даже нижнемассовому сегменту, вдруг согласились на предложения премиальных продуктов банка. И вот это успех, я считаю.

Но стоит ли овчинка выделки?

Мы пока делали рассылку по небольшому сегменту – взяли две случайные выборки по 40 000 клиентов. Но если по всей базе из 2 млн неактивных клиентов даже хотя бы 0,5-1% от выборки так же согласятся на премиальные продукты, то зная, сколько мы зарабатываем на таких продуктах в среднем и какой у нас lifetime value от премиального клиента, получится очень значимый эффект для банка. Да, это не изменит P&L розничного бизнеса кардинально, но это и не будет ошибка округления в нем – будет значимая цифра еще до десятичной точки.

Будете ли вы масштабировать эту практику на весь банк?

Сейчас не могу сказать о планах точно, но некоторые из тех CRM-кампаний, которые мы делали, я думаю, в ближайшие месяцы мы сможем перевести на промышленное использование. С точки зрения инфраструктуры мы пока смотрим, нужно ли нам в ней что-то менять или достаточно просто добавить процессоров, памяти и дисков.

Конечно, «черный ящик», выдающий результат, который ты, возможно, не понимаешь, пугает. Но если есть какой-то положительный результат – надо его использовать, и всё

А есть ли что-то, что мешает вам использовать машинное обучение?

Да, в кредитном скоринге, например, мы можем использовать около сотни различных параметров, но с точки зрения существующего регулирования, Базеля, нельзя использовать модель, если не можешь ее обосновать. Но это не мешает делать какой-то пре-скоринг, на основании которого можно делать предложения.

Конечно, «черный ящик», выдающий результат, который ты, возможно, не понимаешь, пугает. Но если есть какой-то положительный результат – надо его использовать, и всё.

Как вы можете быть уверены, что со временем машина не будет выдавать ерунду? Есть ли какая-то методология, которая позволяет валидировать модели?

Я не слышал про универсальные модели валидации моделей машинного обучения. Наверное, чтобы их валидировать, тоже нужен искусственный интеллект. Думаю, не следует стопроцентно полагаться только на модели, просчитанные машиной. Периодически надо их проверять. Один из способов – просчитать альтернативным способом. Нужно иметь возможность делать обратное А/Б-тестирование. Возможно, классический инструмент выдаст такой же или даже лучший результат. Учитывая, что вложения в линейку классических инструментов уже есть, их можно продолжать поддерживать и всегда иметь альтернативный взгляд.

Насколько большую роль в работе сыграли те стартапы, которые вы отбирали в ходе ваших смотров?

Они очень помогли, стали катализаторами. Например, историю с банкоматами нам изначально принес «Яндекс». Но в итоге модель, которую мы построили сами, получилась даже лучше, так что просто выиграл сильнейший.

Предложения для клиентов мы тоже изначально развивали со стартапами, а потом подхватили в какой-то другой реинкарнации. Главное, что они «растрясли» это поле и сказали, что есть способы делать по-другому то, что мы делали раньше, и получать результаты не хуже, а может и лучше. И когда появляется это осознание – не только внутри IT, но и в бизнесе – тут как раз неожиданно вспыхивают идеи, что мы можем попробовать то или иное. И всплывают даже вещи, которые в принципе не имеют ничего общего ни с машинным обучением, ни с большими данными. Иногда понимаешь, что надо не считать по-другому, а процесс переделать, и тогда выгода будет больше. Появляются эффекты второй-третьей очереди. Это движение, это совсем другой взгляд, другая перспектива.

Пониманимание бизнесом роли данных и тех людей, которые помогут с этими данными лучше работать, для будущего успешной финансовой организации просто обязательно

А насколько глубоко в эти проекты погружен бизнес? Все-так машинное обучение – область очень специфическая: есть ученые-математики, а есть бизнес, и между ними огромный разрыв.

Вот чтобы не было этого разрыва, мы весной этого года и сделали двухдневный курс по Data Science для членов правления и их непосредственных подчиненных – около 50-60 человек. Мы с коллегами из нашего обучающего центра нашли людей, которые смогли нам про все это рассказать – это известные на рынке большими интересными проектами в технологических компаниях эксперты. По следам этой истории мы сформировали и запускаем наш внутренний Data University – хотим в течение чуть более длинного обучающего цикла дать людям из бизнеса следующий уровень знаний. Даже если они не станут аналитиками машинного обучения, мы считаем, что пониманимание бизнесом роли данных и тех людей, которые помогут с этими данными лучше работать, для будущего успешной финансовой организации просто обязательно.

Но вы не собираетесь пока увольнять людей и заменять их ИИ?

Нет, потому что наш принцип, все-таки, «разница в отношении», а взаимоотношения всегда требуют человека и с одной, и с другой стороны. Я думаю, что еще какое-то время люди в банках работать точно будут. Другое дело, что у них могут появиться умные помощники.

Заменят ли они людей? В какой-то долгосрочной перспективе – возможно. Точно также, как рабство ушло в прошлое и люди смогли получить много свободного времени. В Древнем Риме люди уже имели базовый доход – они могли пользоваться всеми благами бесплатно. Но только все это было за счет рабов. Возможно, когда-то мы сможем так же, только вместо нас будут работать не рабы, а машины.

Опубликовано на сайте: 06.11.2017

Источник: http://futurebanking.ru/



Подпишитесь на рассылку сайта, это бесплатно!
Всего подписчиков - 13681





Простобанк ТВ