Инструменты для эффективного управления данными в банках

Дмитрий Лемеш Менеджер продукта в Nexign

Импортозамещение ПО в банковской сфере сегодня

Как и в других отраслях, импортозамещение в банковской отрасли затрагивает весь технологический стек — прикладные решения, системное ПО, ИТ-инфраструктуру, банковское оборудование. С одной стороны, оно идет достаточно успешно: например, прикладное ПО, которое включает программы для основных банковских систем, было замещено еще более пяти лет назад. Кроме того, у банков нет сложностей с закупкой оборудования — они приобретают железо через параллельный импорт, а также покупают сервера у российских вендоров. Однако, с другой стороны, мощностей отечественных поставщиков зачастую недостаточно для того, чтобы обеспечить железом всю банковскую ИТ-инфраструктуру, и цены на российское оборудование остаются высокими. Также в сфере есть трудности с замещением системного ПО: систем управления базами данных (СУБД), средств виртуализации, ETL-платформ.

Одна из основных сложностей импортозамещения в банковской отрасли — недостаток комплексных готовых отечественных решений, способных полностью заменить иностранные аналоги. В апреле Ассоциация банков России (АБР) просила продлить сроки перехода на российский софт и разрешить точечное использование зарубежного ПО при отсутствии российской альтернативы. Это было связано с тем, что отечественным вендорам нужно значительное количество времени на тестирование, доработку, внедрение и сертификацию ПО, и они могут не успеть закончить работы к 1 января 2025 года. Кроме того, АБР просила упростить процесс включения отечественного ПО в реестр МинЦифры: сегодня одним из требований регулятора является свободная продажа софта в России, но банки в основном разрабатывают его для внутреннего пользования. Минцифры и ЦБ отказали АБР, ссылаясь на законодательство. В результате у финансового сектора есть риск не уложиться в сроки: по оценкам экспертов, крупные банки заместят только 80% ПО, в то время как для средних и небольших банков этот показатель составит 50-60%.

Российская СУБД на замену Oracle

Одни из самых сложных информационных систем, относящихся к КИИ, — это автоматизированные банковские системы (АБС), основу которых составляют СУБД. Следовательно, замена СУБД — одна из основных задач импортозамещения в банках. Многие российские банки много лет пользовались СУБД Oracle, и после ухода вендора с российского рынка главной альтернативой стала открытая СУБД PostgreSQL. На нее переходят крупные компании как в банковской, так и в других сферах: Сбер, Яндекс, Авито. На данный момент PostgreSQL полностью закрывает потребности малого и среднего бизнеса, но она не может обеспечить требуемый уровень производительности, отказоустойчивости и безопасности для крупных предприятий. Кроме того, миграция на новую СУБД может быть сопряжена с рядом сложностей, например, потребовать существенного пересмотра архитектуры прикладных систем, спроектированных под Oracle, для переноса больших массивов данных и интеграции новой системы с существующими бизнес-приложениями. Этот процесс очень трудоемкий, в связи с чем банки долгое время откладывали его и продолжали пользоваться лишившимися вендорской поддержки иностранными решениями.

Тем не менее, сегодня, в связи с требованием регулятора, многие финансовые организации уже начали миграцию на отечественные СУБД. В целом рынок российских систем такого класса постоянно растет: в 2024 году доля российских компаний на рынке СУБД и инструментов обработки данных составляет 70%, а к 2030 году ожидается рост до 93%. Банки начали применять СУБД на основе PostgreSQL еще весной 2022 года, но тогда это были в основном продукты собственной разработки или решения региональных разработчиков. Российский рынок облачных ИБ-сервисов только формируется 2.4 т

Важно отметить, что процесс полной миграции с иностранных систем на отечественные занимает около двух-трех лет. Российские вендоры СУБД понимают потребности заказчиков из финансового сектора и стремятся предоставить банкам необходимый функционал для плавной миграции и работы с большими объемами данных. Например, наша СУБД Nexign Nord на базе PostgreSQL обеспечивает поддержку пакетов для упрощения миграции с Oracle, а также быстро развертывается и легко масштабируется для поддержки проектов с большими объемами структурированных данных. В рамках проекта на инфраструктуре крупного бизнеса (более 5 тысяч ядер ЦП) миграция на нашу систему позволила оптимизировать совокупную стоимость владения (TCO) программными решениями на 20-30% и сократить время вывода продуктов на рынок в два-пять раз. Многие вендоры также выходят за рамки одной СУБД, создавая набор продуктов, взаимодействующих между собой для поддержки и развития бизнеса банков. Формируется целая экосистема, нацеленная не только на единоразовую замену СУБД, но и на дальнейшую эксплуатацию с заданным уровнем отказоустойчивости и защиты данных. Таким образом, на рынке появляются новые решения для организации геораспределенного отказоустойчивого кластера, продукты бекапирования и сжатия данных, а также средства защиты доступа к данным и управления пользователями.

ETL-платформа для высокого качества данных

При миграции на отечественные СУБД банкам требуется не только перенести данные, но и переписать приложения, которые их обрабатывают. Операции переноса данных могут быть автоматизированы только частично, и нужно перепрограммировать функции вручную — все это делает процесс миграции достаточно трудоемким. Упростить его помогают ETL-инструменты (Extract, Transform, Load — извлечение, преобразование, загрузка). Системы ETL отвечают за выполнение интеграционных задач: наполнение хранилищ данных, миграцию данных, межсистемную интеграцию. Они позволяют собирать данные из внешних источников, конвертировать и отправлять их в другую систему. До ухода зарубежных вендоров с российского рынка в финансовом секторе в основном использовались такие системы как Oracle Data Integrator, CloverDX Data Integration Platform. Сегодня ETL-инструменты служат ключевыми решениями для выполнения таких бизнес задач, как построение отчетности и формирование бизнес-аналитики.

Для расширения возможностей интеграции данных также используется CDC (Change Data Capture), инструмент для фиксирования внесенных в данные изменений. Без применения CDC системы ETL извлекали бы весь набор данных о клиентах, включая историю изменений, но при его использовании в целевую систему передается только последняя актуальная информация. ETL и CDC позволяют банкам эффективно работать с большими массивами данных: например, наша low-code платформа Nexign Data Integrator может обрабатывать до 15 млрд. транзакций в сутки, а также позволяет использовать подход CDC, заменяя такой инструмент как Oracle Golden Gate.

Системы ETL также необходимы для повышения качества данных. Качественные данные помогают банкам лучше понимать рынок и своих клиентов, формируют основу для принятия управленческих решений, повышают рентабельность бизнес-операций и открывают новые возможности для развития. Стратегия управления данными основывается на бизнес-стратегии организации, требованиях регулятора, стандартах безопасности и жизненном цикле данных, который включает в том числе и их использование для увеличения прибыли банка.

Стоит принять во внимание, что в октябре 2021 года в действие вступило положение Банка России «О требованиях к системе управления операционным риском в кредитной организации и банковской группе» (№ 716-П). Оно устанавливает требования к обеспечению качества данных: их точность, достоверность, соответствие реальным и статистически вероятным значениям. Качественные данные не должны содержать синтаксических и семантических ошибок, должны быть полными и доступными для обработки. Данные, представленные в разных информационных системах, также не должны быть противоречивыми, а пользователям должна быть предоставлена возможность увидеть источник их происхождения, историю изменения, преобразования, удаления, хранения, передачи. ETL-инструменты гарантируют консолидированное представление информации путем объединения баз данных и приведения различных форм данных к единому виду. Это облегчает визуализацию и анализ, а также помогает банкам и НКО соответствовать требованиям положения.

Перспективы импортозамещения в банках

Сегодня банки испытывают сложности с импортозамещением системного ПО, включая СУБД и ETL-инструменты для работы с данными. Тем не менее, уже есть разные подходы к решению этой проблемы — например, вендоры предлагают ряд взаимосвязанных друг с другом продуктов для решения различных задач в финансовом секторе. В частности, на рынке представлены различные отечественные СУБД, которые уже сейчас могут частично закрыть потребности банков, а в перспективе трех-пяти лет стать полноценными аналогами западных решений.

Однако при замене СУБД важно учитывать ряд факторов. Актуальным остается вопрос снижения TCO — по нашим оценкам, здесь разница между различными отечественными системами может составить до 10 раз. Кроме того, банки относятся к КИИ и могут использовать только решения, включенные в реестр МинЦифры. Вендорам важно на государственном уровне подтверждать надежность и безопасность своего софта для работы с критически важными сведениями. Например, мы в Nexign уже включили свои СУБД и ETL-платформу в реестр отечественного ПО. В рамках доработки ядра мы также реализовали поддержку средств защиты по правилам ФСТЭК и расширили функциональность СУБД по управлению профилями пользователей. В ближайшее время мы ожидаем от ФСТЭК сертификат подтверждения безопасности.