Олег Баранов, Neoflex: Яркий тренд – применение банками моделей машинного обучения в режиме реального времени

ОЛЕГ БАРАНОВ: Действительно, для ИТ-индустрии 2020 год оказался, скорее, успешным, чем сложным. Организации еще дальше продвинулись в осознании того, что надо быстрее идти в онлайн, и были вынуждены интенсифицировать свои подходы к цифровизации. Поэтому не только у Neoflex, но и у большинства ИТ-компаний, с которыми я общаюсь, проектов стало больше. Причем, темпы этого роста в прошлом году оказались достаточно высокими. Что касается нашей компании, то мы выросли по всем показателям более, чем на 50%, в том числе, по количеству сотрудников и выручке. Этот рост обусловлен тем, что у нас не только увеличилось количество проектов, но также их масштаб и сложность.

ОЛЕГ БАРАНОВ: Скорее, наступил новый этап в развитии самой компании Neoflex. Мы в течение 16 лет постоянно двигались по пути выполнения все более и более сложных проектов для наших заказчиков. Это наш внутренний стимул для развития – нам это интересно. Настоящих айтишников ведь вдохновляют масштабные проекты: скажем, создание высоконагруженных систем или ИТ-решений со сложной логикой обработки данных. В то же время готовность клиента пригласить исполнителя для выполнения сложного проекта зависит от его предыдущего опыта, от того, насколько сложные проекты были реализованы ранее. Фактически приходится идти по некоторой «лесенке» усложнения решаемых задач.

Наши клиенты сегодня доверяют нам весьма сложные проекты. Речь идет о создании ИТ-платформ для довольно больших компаний. Современный банк обычно имеет целый спектр бизнес-направлений: розничное и корпоративное кредитование, работа на рынках капитала, факторинг и т.п. Фундаментом для всех бизнес-линий является единая Core Banking система, где ведутся счета, строится отчетность и т.д., специализированные же системы для автоматизации операций каждого из бизнес-блоков, как правило, выполняются отдельно. Так, для средних банков мы, как правило, выполняем проекты, где создаем системы для одного из бизнес-блоков, такие как, например, Кредитные Конвейеры или Системы Управления Рисками. В крупнейших банках, кроме того, участвуем в составе консорциума исполнителей в создании крупных бизнес-систем масштаба всего банка. Пример – микросервисная омниканальная платформа в банке ВТБ. В организациях меньшего размера, например, кредитных бюро, создаем ключевые системы масштаба предприятия. В таких проектах клиент работает с нами как с генеральным подрядчиком, которому доверяют создание сложной информационной системы под ключ. И нас – меня лично, всю нашу команду – это очень мотивирует, потому что быть причастным к созданию систем такого класса и сложности – это, пожалуй, то, что порой дороже денег.

ОЛЕГ БАРАНОВ: Сейчас это очень актуальная тема. Банки конкурируют за клиентов, и эта конкуренция обостряется. При этом работа строится преимущественно через дистанционные каналы, физическое посещение офиса банка становится редким явлением. Вспомните, в каком проценте случаев для выполнения банковской операции вы посещали офис банка, например, за последний месяц?

С учетом этого, выигрывает тот, кто лучше и быстрее сможет обработать информацию, чтобы вовремя сделать клиенту актуальное предложение, лучше обслужить его, лучше проанализировать потенциальные риски и т.д. Количество информации в современном мире растет экспоненциально, банкам приходится обрабатывать не только данные собственных информационных систем, но и колоссальные объемы, поступающие из внешних источников. Одним из наиболее эффективных ответов на эти вызовы является применение методов машинного обучения и продвинутой аналитики.

Догнать и перегнать: Российские ВКС прирастают новыми функциями 8.5 т

Хочу отметить, что банки все чаше применяют эти методы именно в режиме реального времени. Скажем, человек заходит в мобильное приложение, и алгоритм, быстро понимая, что это за человек, какой у него профиль, выдает ему нужную информацию или формирует предложение, адаптированное конкретно для него. Чтобы это сделать эффективно, нужны real-time сервисы на базе искусственного интеллекта. Другой пример: сотрудник бэк-офиса или колл-центра банка заходит в свою информационную систему, с которой работает каждый день, и там ему на помощь приходят различные ассистенты, подсказки и т.д.

Следуя этому тренду, банки все активнее стремятся встраивать в свои бизнес-процессы различные алгоритмы машинного обучение, чтобы где-то совсем заменить человека, а где-то помогать ему быстрее принимать решения. Могу сказать, что в одном из крупнейших банков нашей страны принято решение встроить модели машинного обучения в течение ближайших трех лет в 100% бизнес-процессов.

Можно сказать, что происходит конвергенция аналитических и транзакционных систем. Раньше они существовали независимо друг от друга: вот здесь мы анализируем данные в офлайне, в частности, с использованием сложных моделей, и принимаем управленческие решения, а вот здесь обрабатываем транзакции в онлайне, но обычно без применения таковых. Сегодня же эта граница стирается. Одинаково сложные алгоритмы на базе моделей машинного обучения надо уметь применять и в аналитических, и в транзакционных системах банка.

ОЛЕГ БАРАНОВ: Использование моделей машинного обучения вообще дело не простое. Сначала модель надо разработать, и для этого нужны дата-сайентисты, а также данные, на которых модель будет «обучаться». Собрать необходимые данные, в случае, если банк большой и информационных систем много – это не такая простая, кстати, задача. Плюс нужны данные из внешних источников, к которым нужно подключиться. Но это еще не все. Дальше вновь созданную модель надо «встроить» в ту информационную систему, например, Кредитный Конвейер, ДБО или систему Цифрового маркетинга, в которой она будет использоваться в режиме реального времени.

Но тут возникают некоторые сложности. Так как модели разрабатываются на языках программирования R или Python, а бизнес-системы в основном написаны обычно на Java или .NET, то возникает потребность универсального способа взаимодействия между бизнес-приложением и моделью. Стандартный способ решения – оформить модель в виде Rest-сервиса.

Если мы хотим обеспечить масштабируемость и отказоустойчивость работы модели, нам придется создать отдельную программно-аппаратную среду для ее эксплуатации. Способ решения – контейнеризация сервиса, содержащего модель и запуск его на платформе Kubernetes.

В простом случае бизнес-приложение может передать модели все необходимые параметры и получить от нее ответ. Однако, есть и более сложный случай, когда модели, для того чтобы отработать, нужно получить дополнительные данные, которых нет в вызывающей системе. Причем эти данные надо получить быстро, если мы хотим, чтобы модель отработала в режиме реального времени. Здесь решение – построение real-time витрин данных. Они строятся с использованием специальных СУБД, ориентированных на очень быструю обработку данных. Чаще всего мы используем нереляционную отказоустойчивую и распределенную Open Source СУБД Apache Cassandra, которая рассчитана на создание высокомасштабируемых и надежных хранилищ огромных массивов данных, представленных в виде кэша.

Но и это еще не все. При обучении моделей дата-сайентисты могут использовать много различных источников как внешних, так и внутренних данных, например, такие сервисы как Право.ru, данные сотовых операторов, БКИ и т.д. При этом дата-сайентисты постоянно дорабатывают модели и, в том числе, меняют состав наборов данных, на которых они обучаются. Из-за этого возникает потребность в наличии процессов и инструментов автоматической синхронизации данных между витринами, которые используются для обучения моделей и при их применении. Для этого используются решения класса Feature Store. Итак, мы в общих чертах описали функциональность необходимую для того, чтобы обеспечить применение моделей и, в том числе, в режиме реального времени во всех эксплуатируемых банком бизнес-приложениях.

У Neoflex есть типовое решение, которое кроме этой функциональности содержит также блоки для разработки моделей и управления их жизненным циклом. Мы называем его Система Управления Моделями. Оно построено на базе Open Source технологий, и мы сейчас активно предлагаем его на рынке.

ОЛЕГ БАРАНОВ: Как я уже говорил выше, предлагаемая нами Система Управления Моделями работает на базе Kubernetes, который обеспечивает горизонтальное масштабирование. Например, если большое количество клиентов банка одновременно заходят в систему ДБО, и для каждого из них должны быстро отработать определенные ML-модели, то нагрузка на подсистему, исполняющую модели, возрастает. В этом случае Kubernetes автоматически добавляет ресурсы необходимые для того, чтобы время отклика оставалось в заданном диапазоне.

Еще один значимый тренд – облачные сервисы. Банки пока не очень охотно идут в публичные облака типа Amazon Web Services или Yandex Cloud. Но тенденция прослеживается. То есть инфраструктура для быстрого процессинга моделей может быть развернута, как на собственной on-premise площадке внутри организации, так и во внешнем облаке.

Решение, которое предлагает Neoflex, изначально создавалось в архитектуре cloud-native, то есть одинаково легко может быть развернуто как на инфраструктуре банка, так и в облаке: AWS, Yandex Cloud, Mail.ru Cloud Solutions или подобном. В последнем случае, появится возможность более гибко управлять расходами на инфраструктуру за счет использования модели pay-per-use. То есть простыми словами – оплачивать придется только фактическое время использования вычислительных мощностей.

ОЛЕГ БАРАНОВ: Приведу совсем свежий пример. Недавно мы реализовали проект в банке «Открытие», в рамках которого автоматизировали не только применение моделей. Мы также внедрили функциональность необходимую для разработки моделей машинного обучения – «песочница» (sandbox), где банковские дата-сайентисты могут создавать свои модели. Вместе с этим мы реализовали бесшовный процесс публикации моделей в среду применения. Последняя задача решается с использованием методологии и практик MLOps.

Как я уже говорил, теперь в рамках любого бизнес-процесса, который исполняется в любой информационной системе банка (например, мобильном приложении, front-системе, back-системе, системе автоматизации работы с персоналом и т.д.), могут быть применены аналитические модели, за счет того, что блок применения моделей реализован не внутри каждой из них, а представляет собой отдельную информационную систему.

ОЛЕГ БАРАНОВ: Дата-сайентисты работают в банках давно. Например, в подразделениях, отвечающих за риски банка, они разрабатывают модели, которые применяются при кредитном скоринге или при расчете банковских резервов для оценки вероятности дефолта контрагентов (Probability of Default). Другой пример: в подразделениях, занимающихся маркетингом, дата-сайентисты делают модели, которые используются при проведении маркетинговых компаний и, например, рекомендуют, какой продукт или услугу следует предложить данному клиенту (next best offer). Еще одно подразделение, где работают дата-сайентисы – это служба информационной безопасности. Здесь модели нужны для оперативного выявления угроз, атак и т.д.

Таким образом, зачастую дата-сайентисты работают в нескольких подразделениях одного и того же банка, и при этом используют одни и те же или разные инструменты моделирования, а ИТ-инфраструктура, которая нужна для их работы, дублируется.

Если использование разных средств моделирования скорее всего не является проблемой, то дублирование дорогостоящей ИТ-инфраструктуры – это возможное место для оптимизации. Ведь, как правило, разработка модели идет на довольно большом объеме данных, а эти данные надо загружать и хранить, а значит требуются дорогое «железо» и затраты на сбор и перегрузку, администрирование сред и т. д.

ОЛЕГ БАРАНОВ: Я не уверен, что количество дата-сайентистов можно и нужно оптимизировать, это вопрос неочевидный. Здесь может быть важна специализация. Не факт, что нужно переключать человека, хорошо разбирающегося в рисковых моделях, на создание маркетинговых и наоборот. А вот объединение инфраструктуры для разработки и управления моделями, ведение единого репозитория моделей, создание в банках единой системы управления их жизненным циклом – это скорее всего стоит делать.

Как я уже говорил выше, здесь выигрыш может быть в унификации программно-аппаратных ресурсов, необходимых для разработки и эксплуатации моделей, а также в экономии трудозатрат на процессе подготовки данных, необходимых для работы дата-сайентистов.

Кроме того, целесообразно внедрить единый процесс по управлению жизненным циклом моделей. Все модели надо периодически валидировать, чтобы понимать – достаточно ли качественно эта модель будет работать сегодня. Дело в том, что модель «обучалась» на конкретных данных. Допустим, что модель для предсказания вероятности невозврата кредита заемщиком была создана до пандемии. Она обладала хорошей предсказательной силой на момент обучения, но ситуация изменилась.

Определенные категории заемщиков из-за пандемии потеряли часть доходов и их платежеспособность ухудшилась. Сначала нам надо понять – насколько изменилась предсказательная сила модели и можно ли ее дальше эксплуатировать? Если нет, модель надо переобучать – адаптировать к новой ситуации.

Если в банке используется много моделей, то для того, чтобы «не забыть» вовремя проверить эффективность какой-то из них, нужно «завести» единый реестр моделей и внедрить специальный процесс по их регулярной «проверке».

ОЛЕГ БАРАНОВ: Сегодня в мире все развивается очень динамично. Особенно это касается ИТ-сферы. У заказчиков постоянно появляются новые потребности и они хотят очень быстро получать решения для их закрытия. Одновременно, практически каждый день появляется огромное количество новых программных продуктов.

С учетом этого возникает колосальное количество возможностей. Что делаем мы – так это стараемся слушать клиентов, узнавать о новых потребностях и быстро создавать решения для их удовлетворения.

Решения мы «собираем» из Open Source программных продуктов, как из кубиков. Именно так появилась наша Система Управления Моделями. Создавая очередное решение, мы стараемся использовать лучшие из доступных компонентов и интегрировать их. Еще один принцип – минимизация «кодирования». Как правило, всегда можно найти подходящие Open Source компоненты. Наша же работа – правильно их выбрать и интегрировать между собой. Конечно, в современном мире, где широко используется DevOps, код все равно писать приходится, но описанный подход сильно сокращает time-to-market.

ОЛЕГ БАРАНОВ: Мне кажется, что все крупные банки сейчас осуществляют радикальную модернизацию. Сегодня никому не приходит в голову покупать авиабилеты офлайн, хотя еще лет десять назад была дискуссия, останутся ли физические офисы продаж авиабилетов. Банки поняли, что все уходит в «цифру» и вкладывают в ИТ-развитие колоссальные средства. Сегодня между ними идет соревнование – кто более инновационный.

Характерный пример – ВТБ, который затеял глобальную ИТ-трансформацию. Фактически принято решение внедрить по большинству направлений деятельности банка принципиально новые ИТ-платформы, построенные на базе современных технологий в микросервисной архитектуры. Мы, кстати, участвуем во многих из этих проектов и видим их масштаб. Это гораздо больше, чем программа проектов. Это настоящая цифровая трансформация всего банка. Масштабность замысла и его реализация вызывает большое уважение.

ОЛЕГ БАРАНОВ: Практически все крупные банки сегодня так и действуют. Бизнес делится на вертикальные блоки: ни могут называться трайбы или стримы, и в рамках каждого из них формируются команды, состоящие из представителей бизнеса, внутреннего ИТ и ИТ-поставщиков. Например, блоки могут называться – Кредитные Карты, Автокредитование, Ипотека и т.д. Эти совместные команды работают по методологии Agile и каждая из них развивает свой блок функциональности независимо от другого.

Роль интеграторов в такой конструкции – предоставить специалистов, обладающих требуемой экспертизой, в первую очередь технологической, но не только. Важно хорошо знать предметную область соответствующего бизнес-домена. Кроме того, при такой модели работы часто именно сотрудники подрядчика выполняют функцию delivery-менеджера.

В настоящее время мы очень активно работаем с заказчиками как раз в этой модели и видим, что в крупных банках она становится практически стандартом де-факто.

ОЛЕГ БАРАНОВ: Главный вызов для банков – двигаться быстрее, потому что есть конкурентная среда. Кто раньше других запустит в работу решения нового поколения, тот и получит большую долю рынка и выиграет в конкурентной борьбе. Для этого нужна команда большего размера. Но не просто «много людей», а люди с определенной экспертизой, которые смогут быстрее и эффективнее решать конкретные задачи. За счет того, что уже есть солидный опыт «проб и ошибок», а также опыт, позволяющий их предвидеть и избегать. Не зря же бытует поговорка «За одного битого двух небитых дают». Компаниям нужны такие «битые» подрядчики, которые приносят с собой опыт, экспертизу и позволяют быстрее, с меньшим количеством итераций, получить нужное, эффективно работающее решение. А скорость внедрения правильных решений – это залог победы на конкурентном рынке.