Евразийский банк (Казахстан) (АйТи Про: BI.Qube)

2018: Создание операционного хранилища данных (ODS)

Осознавая ценность оперативно принимаемых решений, а также, необходимость консолидации данных из имеющихся источников в режиме, приближенном к реальному времени для использования каналами дистанционного обслуживания, «Евразийский банк» принял решение добавить в архитектуру информационных систем операционное хранилище данных (ODS).

По результатам анализа производителей и поставщиков платформ ODS, были выбраны платформы In-memory MS SQL Server в качестве СУБД, обладающей практически линейной масштабируемостью и способной выдерживать высокие транзакционные нагрузки, и Attunity Replicate, в качестве сервиса репликации данных, позволяющего, не создавая дополнительной нагрузки, осуществлять отражение всех изменений, происходящих на системах-источниках в целевое хранилище данных. Экспертами IT Pro был проведён полный цикл работ, начиная от развёртывания платформ, настройки систем источников и реализации задач репликации, которые с необходимыми трансформациями и минимальной задержкой доставляют данные в ODS, заканчивая тонкой оптимизацией целевой архитектуры для обеспечения максимального быстродействия выполнения типовых видов запросов в многопоточном режиме.

В результате были достигнуты все целевые критерии успеха данного проекта:

• использование прямого чтения журналов ORACLE для снижения нагрузки на СУБД источников;
• прямая репликация PostgreSQL без использования промежуточных БД;
• проведение трансформации данных в процессе репликации с минимальной задержкой;
• репликация данных в размещаемые в оперативной памяти таблицы SQL Server 2016;
• использование In-Memory Range & Hash - Индексов для ускорения конкретных запросов систем-потребителей;
• хранение истории изменений посредством Temporal Tables.

Полученное решение показывает высокую скорость обновления данных и производительность выполнения клиентских запросов. Решаемые задачи, чувствительные ко времени обработки:

• за несколько секунд консолидировать информацию из АБС и фронт-офиса;
• формировать финансовый профиль клиента по запросу оператора колл-центра;
• в режиме, близком к on-line, отслеживать изменения статусов объектов (заявки, лимиты, просрочка и т.п.);
• предоставить источник оперативной информации службе безопасности и системе антифрода.