Заказчики: Евразийский банк (Казахстан) Алматы; Финансовые услуги, инвестиции и аудит Подрядчики: АйТи Про (IT Pro) Продукт: АйТи Про: BI.QubeВторой продукт: Microsoft SQL Server 2016 Третий продукт: Attunity Replicate Дата проекта: 2018/04 — 2018/10
|
Технология: Data Quality - Качество данных
Технология: MDM - Master Data Management - Управление основными мастер-данными
Технология: PaaS - Platform As A Service - Бизнес-платформа как сервис
Технология: Серверные платформы
Технология: ИБ - Резервное копирование и хранение данных
|
2018: Создание операционного хранилища данных (ODS)
Осознавая ценность оперативно принимаемых решений, а также, необходимость консолидации данных из имеющихся источников в режиме, приближенном к реальному времени для использования каналами дистанционного обслуживания, «Евразийский банк» принял решение добавить в архитектуру информационных систем операционное хранилище данных (ODS).
По результатам анализа производителей и поставщиков платформ ODS, были выбраны платформы In-memory MS SQL Server в качестве СУБД, обладающей практически линейной масштабируемостью и способной выдерживать высокие транзакционные нагрузки, и Attunity Replicate, в качестве сервиса репликации данных, позволяющего, не создавая дополнительной нагрузки, осуществлять отражение всех изменений, происходящих на системах-источниках в целевое хранилище данных. Экспертами IT Pro был проведён полный цикл работ, начиная от развёртывания платформ, настройки систем источников и реализации задач репликации, которые с необходимыми трансформациями и минимальной задержкой доставляют данные в ODS, заканчивая тонкой оптимизацией целевой архитектуры для обеспечения максимального быстродействия выполнения типовых видов запросов в многопоточном режиме.
В результате были достигнуты все целевые критерии успеха данного проекта:
- использование прямого чтения журналов ORACLE для снижения нагрузки на СУБД источников;
- прямая репликация PostgreSQL без использования промежуточных БД;
- проведение трансформации данных в процессе репликации с минимальной задержкой;
- репликация данных в размещаемые в оперативной памяти таблицы SQL Server 2016;
- использование In-Memory Range & Hash - Индексов для ускорения конкретных запросов систем-потребителей;
- хранение истории изменений посредством Temporal Tables.
Полученное решение показывает высокую скорость обновления данных и производительность выполнения клиентских запросов. Решаемые задачи, чувствительные ко времени обработки:
- за несколько секунд консолидировать информацию из АБС и фронт-офиса;
- формировать финансовый профиль клиента по запросу оператора колл-центра;
- в режиме, близком к on-line, отслеживать изменения статусов объектов (заявки, лимиты, просрочка и т.п.);
- предоставить источник оперативной информации службе безопасности и системе антифрода.