Modus ETL
Управление корпоративным хранилищем данных

Основные статьи:

• Управление данными (Data management)
• Определение Business Intelligence

Modus ETL - российское решение, предназначенное для управления процессами ETL и Data Quality Management. Позволяет собирать данные из множества источников, обеспечивает процессы верификации, стандартизации, категоризации и трансформации данных.Цифровизация ТЭК: тренды, перспективы, крупнейшие ИТ-поставщики. Обзор TAdviser 15 т

Modus ETL позволяет сформировать и обеспечить управление корпоративным хранилищем данных на СУБД MSSQL, PostgreSQL или Vertica.

Обеспечивает быстрое подключение источников данных за счет готовых интеграций с 1C, SAP, Oracle, различными СУБД, файлами Excel и другими веб-сервисами.

Решение реализовано на платформе 1С:Предприятие 8.3. Открытый для изменения код с возможностью самостоятельной доработки продукта 1С-разработчиками.

Работает на серверах под управлением ОС Windows и Linux.

Modus ETL включен в единый реестр российского ПО и имеет сертификацию «1С:Совместимо!».

2021

Добавление интерфейса Workflow

В обновленном релизе Modus ETL 1.5 появился интерфейс Workflow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Об этом 21 июля 2021 года сообщила компания Modus BI.

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:

• размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
• настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
• при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.

Кроме того, шаги сценария обработки данных могут выполняться параллельно, что обеспечивает гибкость настройки и большую производительность.

Пример параллельного выполнения шагов сценария в Workflow:

Также в Modus ETL 1.5 реализован обновленный дизайн приложения: изменены стили цветового оформления и существенно переработан интерфейс для большего удобства работы.

Основные возможности по управлению качеством данных

• управление нормативно-справочной информацией
• формирование отчетности в эталонных терминах
• трансформация первичных данных в целевую модель
• расчет ключевых показателей эффективности

Управление хранилищем данных Modus ETL

Архитектура Modus ETL

2017

Сертификат «1С:Совместимо!»

В 2017 году продукт «Модус:Управления корпоративным хранилищем данных (ETL)» получил сертификат «Совместимо! Система программ 1С:Предприятие».

Особенности и возможности программы

Продукт "Модус:Управление корпоративным хранилищем данных (ETL)" предназначен для построения и управления корпоративным хранилищем данных (КХД), автоматизированного сбора данных из различных источников данных, включая инструменты управления качеством данных.

(Данные актуальны на апрель 2017 года)

Управление сбором данных:

• Использование в качестве источника "1C:Предприятие" (в т. ч. 1С:Fresh), данных баз данных (MS SQL, Oracle), веб-сервисов, файлов MS Excel;
• Возможные приемники данных: внешние источники "1C:Предприятие", базы данных MS SQL;
• Возможность настройки и сохранения правил сбора данных, включая настройки для указанного источника данных;
• Возможность загрузки данных в несколько потоков (многопоточность);
• Возможность загрузки данных по расписанию, включая визуализацию расписания загрузки данных;
• Возможность визуального конструирования запроса на языке SQL/1C;
• Возможность визуализации структуры метаданных базы "1C:Предприятие";
• Управление обработкой данных:
• Возможность настройки правил трансформации данных – сценариев на языке SQL/1С;
• Возможность хранения актуальных данных и истории изменения данных (версии данных) в одной таблице;
• Настройка правил версионирования данных: определение ключевых полей и расчет хэш-сумм;
• Настройка правил валидации и очистки данных (использование преднастроенных шаблонов);
• Настройка правил консолидации данных;

Другие возможности:

• Возможность объединения правил выгрузки данных и сценариев трансформации данных в пакеты и настройку расписания под запуска пакетов;
• Подсистема логирования процессов загрузки и трансформации данных;
• Возможность уведомления на электронную почту о событиях системы;
• Возможность написания произвольного алгоритма (AddOn) при загрузке и обработке данных;
• Возможность подключения плагинов для процессов обработки данных;
• Реализацияв системе рабочего места аналитика по сбору данных (АРМ аналитика).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" не является самостоятельной, для ее работы необходимо наличие установленной платформы "1С:Предприятие 8.3" (не ниже версии 8.3.8).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" разработана с использованием функционала "1С:Библиотеки стандартных подсистем".