Luxms BI

Основные статьи:

• Определение Business Intelligence
• Большие данные (Big Data)

Визуальный управленческий контроль Luxms BI — платформа быстрой аналитики на больших данных. Специализируется на управленческой визуализации на озёрах данных/DWH. Luxms BI помогает лицам, принимающим решения, наглядно и оперативно контролировать результаты работы и бизнес-процессы, анализировать ключевые показатели деятельности, визуализировать и выводить их на ситуационных экранах. Платформа cобирает данные из источников, обрабатывает и представляет на интерактивных панелях и картах в виде графиков, схем, диаграмм.

2024

Совместимость с "Ред ОС" 8

Система бизнес-аналитики Luxms BI официально получила сертификат совместимости с российской операционной системой Ред ОС 8, сертифицированной ФСТЭК России. В результате совместного тестирования команды Luxms и специалистов компании Ред Софт была подтверждена корректность работы продуктов. Об этом Ред Софт сообщил 24 октября 2024 года.

Современные компании все чаще сталкиваются с необходимостью принимать взвешенные решения на основе данных, сохраняя при этом высокий уровень информационной безопасности. Совместимость Luxms BI и РЕД ОС 8 открывает новые возможности для тех компаний, которые стремятся усилить контроль над данными и минимизировать риски.TAdviser выпустил новую Карту «Цифровизация ритейла»: 280 разработчиков и поставщиков услуг 14.8 т

Luxms BI и РЕД ОС предлагают предприятиям стабильный и проверенный технологический стек для решения аналитических задач. Особое внимание уделяется соблюдению всех стандартов информационной безопасности, что особенно важно для организаций, работающих с конфиденциальными данными.

Объединение возможностей Luxms BI и РЕД ОС позволяет создавать мощные аналитические решения с соблюдением всех требований информационной безопасности. Компании, использующие РЕД ОС, могут спокойно переходить на новую версию и продолжать пользоваться Luxms BI на отечественной операционной системе. Оба решения входят в Реестр российского программного обеспечения Минцифры России.

РЕД ОС 8 получила значительные улучшения по сравнению с предыдущими версиями, став еще более функциональной и удобной. Обновленная операционная система от РЕД СОФТ - это оптимальным решением для долгосрочных проектов, особенно в условиях растущего спроса на импортозамещение и усиление мер информационной безопасности, — отметил Андрей Сургутанов, Руководитель команды DevOps-инженеров ГК Luxms.

Расширение пакета поддерживаемых РЕД ОС решений системой бизнес-аналитики больших данных Luxms BI предоставляет нашим клиентам больше возможностей для перехода на отечественный стек технологий. Благодаря совместимости продуктов, потенциальные заказчики смогут быстрее интегрировать эти системы в свою ИТ-инфраструктуру» — объяснил Рустам Рустамов, Заместитель генерального директора компании «РЕД СОФТ».

Запуск в облаке MWS

МТС Web Services (MWS) 3 октября 2024 года сообщил о запуске облачных систем для анализа и визуализации данных любой сложности (BI-платформы), которые собирают, хранят и визуально представляют данные для выявления тенденций и важных метрик бизнеса. Запущена в том числе и платформа Luxms BI. Подробнее здесь.

Luxms BI v10

16 мая 2024 года компания Luxms представила релиз Luxms BI v10 с повышенной информационной безопасностью и расширенным функционалом Self Service.

По информации компании, в обновленной версии 10 добавлена поддержка метода аутентификации пользователей в PostgreSQL – scram-sha-256. На май 2024 года этот метод считается наиболее безопасным, так как предотвращает перехват паролей в ненадежных соединениях и обеспечивает их хранение на сервере в криптографически защищенной форме.

Еще одним серьезным обновлением в версии 10 стал переход на Java 17. Эта версия обеспечивает прирост производительности сборщика мусора – примерно на 8% по сравнению с предыдущей версией 11, что оптимизирует работу backend’а Luxms BI, а также оптимизирует общий уровень безопасности.

Важным подтверждением уровня безопасности стало получение Лицензии ФСТЭК на компанию-производителя ПО. Выданная лицензия подтверждает полное соответствие требованиям к вендору Luxms BI, предъявляемым ведомством в области ИТ-безопасности.

Мы работаем с крупнейшими компаниями страны, которые уделяют большое внимание безопасности используемых ИТ-продуктов. Следующий шаг – получение в 2024 году сертификата ФСТЭК на платформу бизнес-аналитики Luxms BI. отметил Александр Тютюнник, заместитель Генерального директора ГК Luxms

Начиная с 10-й версии прекращена поддержка CentOS 7, а также перестаем поддерживать PostgreSQL 11 (остаются версии 13 и 15).

Существенные изменения в версии 10 коснулись функционала Self Service, направленные на изменение пользовательского опыта и оптимизацию работы с платформой.

Одно из ключевых обновлений «десятки» – функционал Self Service с возможностью автоматического создания дэшбордов – от источника данных до визуализации за пару минут. Пользователь загружает Excel- файл, либо выбирает ранее созданный куб, и после короткой настройки система сама предлагает полностью готовые к работе варианты визуализаций, пользователю остается только выбрать понравившиеся, принять изменения и получить полностью готовый дэшборд. Это оптимизирует процесс создания аналитических панелей и повышает скорость разработки.

Одной из задач, которую решали на пути к 10-й версии – минимизации ситуаций, когда пользователь испытывает затруднения при первом знакомстве с платформой.

Это задача решена, во-первых, благодаря HTML-документации с интегрированным поиском – теперь пользователь быстро может находить информацию, а также примеры для реализации своей задачи.

В обновленной версии документация усилена подробным описанием для каждой визуализации «из коробки» – примеры использования, возможности настройки в JSON, используемые функции и значения – всё для того, чтобы работать с платформой было эффективнее.

Кроме того, в систему добавлен кот-помощник и подсказки, так называемые информационные «направляторы», которые обеспечивают интуитивно-понятное использование платформы, и дают информацию по основным этапам работы в системе – создание атласа, дэшборда и т.д. Этот функционал будет расширяться, в планах – добавление подсветки ошибок, подсказок для синтаксиса и многое другое.

Серьезным шагом в сторону самостоятельной работы пользователей без привлечения программистов стал Редактор тем, который позволяет стилизовать внешний вид дэшбордов без необходимости написания кода. Интуитивно-понятный редактор позволяет настраивать все аспекты визуального представления – от фона и цвета кнопок до цвета данных и теней. Это оптимизирует процесс настройки аналитических панелей и позволяет пользователям самостоятельно создавать уникальные дизайны, в том числе в корпоративном стиле. В будущем планируется расширение функционала редактора – загрузка своих шрифтов, гибкая настройка карты, настройка графиков на Echarts при помощи онлайн-редактора и многое другое.

Еще одним Self Service инструментом стала библиотека Monaco, с помощью которой пользователи могут загружать справочники и получать подсказки при наборе кода. На май 2024 года инструмент помогает при редактировании куба – при написании запроса в текстовом редакторе SQL система выводит подсказки, а ключевые слова для удобства выделяются цветом.

На май 2024 года собственный язык функций платформы LPE (аналог DAX) пронизывает практически всю систему, расширяя ее функциональность и возможности анализа данных.

В Luxms BI уже реализовано более 70 функций LPE различных категорий – математические, агрегационные, строковые, логические, тригонометрические, календарные, оконные, геометрические. С помощью LPE пользователи могут производить тонкую настройку виджетов, осуществлять расчеты «на лету» и использовать элементы, заданные в интерфейсе Luxms BI, в SQL-выражениях.

Одним из последних обновлений стала возможность гибкой настройки заголовков дэшбордов, которые изменяются в зависимости от настраиваемых параметров и выбранных пользователем фильтров. Это позволяет создавать более интерактивные и информативные дэшборды, адаптированные под конкретные сценарии анализа. Планируется расширение функционала LPE с добавлением подсказок в интерфейсе для оптимизации его использования.

В 10-й версии для некоторых визуализаций появилась возможность строить различные типы предсказаний, вводя необходимые параметры прямо в дэш. Система сама дорисовывает график, давая прогноз на будущее на основе имеющихся данных.

Прогноз

Также «в коробке» теперь существует отдельный раздел Статистических типов визуализаций, в который добавлены диаграммы: Histogram и Box Plot, а также перенесена обновленная визуализация Пузырьки. Таким образом пользователи получают более широкий набор инструментов для проведения анализа данных и выявления важных закономерностей и трендов.

В 10-й версии появилась еще одна визуализация – Торнадо, которую можно использовать для наглядного сравнения двух наборов данных – в Редакторе доступны расширенные настройки дэша для индивидуальной представления на аналитической панели.

На май 2024 года в коробке более 45 визуализаций, а в планах – включение еще нескольких: диаграмма Мекко, граф, облако слов, диаграмма Ганта и диаграмма рассеивания. Это даст больше возможностей для визуализации и позволит пользователям проводить более глубокий и комплексный анализ данных.

Кроме визуализаций из коробки у пользователей есть возможность встраивать собственные виджеты в Luxms BI. Для этого достаточно загрузить в систему нужную визуализацию в формате zip-архива. Кастомные визуализации отображаются на панели выбора виджетов среди стандартных вариантов и могут быть использованы для дальнейшей работы всеми пользователями сервера Luxms BI.

Luxms v10 аккумулировала в себя три крупных промежуточных релиза – v9.2, v9.3 и v9.4 с рядом серьезных обновлений и изменений.

Среди самых значимых изменений по сравнению с v9:

• HTML-документация с интегрированным поиском
• Поддержка QVD-файлов – возможность загружать QVD-файлы (файлы Qlik) и создавать визуализации в Luxms BI на основе полученных данных
• API-токены JWT – ключи для безопасного и управляемого доступа к различным функциям Luxms BI через программный интерфейс API
• Продвинутый календарь с возможностью гибко настраивать разнообразные временные интервалы, подходящие под конкретные задачи
• Бета-режим с доступом к дорелизному функционалу
• Моно-презентации – возможность создавать презентации, состоящие исключительно из слайдов одного атласа, и рассылать их только тем пользователям, у кого есть доступ к этому атласу
• Клонирование кубов, дэшлетов и дэшбордов с учетом сложных сценариев ролевой модели и соблюдением всех аспектов безопасности
• Обновления ETL/ELT инструмента Data Boring – возможность многопользовательской работы, эффективное разделение данных и оптимальный уровень безопасности.
• Календарные и оконные функции LPE
• Изменения в рассылках и отчетах

2023

Обзор Luxms BI

Luxms BI — платформа бизнес-аналитики данных. Помогает компаниям контролировать процессы, анализировать показатели эффективности и принимать обоснованные информированные решения. В платформу входит ETL/ELT инструмент Data Boring, который помогает решать задачи подготовки данных для визуализации (создание витрин). Подробнее здесь.

Совместимость с Astra Linux Special Edition 1.7

Эксперты ГК «Астра» официально подтвердили совместимость ОС Astra Linux Special Edition 1.7 и актуальной версии платформы для бизнес-аналитики данных Luxms BI. Заказчики могут быть полностью уверены в корректной работе программного стека. Миграция на него позволит избавиться от зависимости от зарубежных вендоров, сохранить стабильность бизнес-процессов и повысить уровень защищенности ИТ-инфраструктуры. Об этом ГК «Астра» сообщила 6 октября 2023 года.

Проведенная сертификация стала продолжением долгосрочного сотрудничества вендоров: несколько лет назад Luxms BI стала первой BI-платформой, совместимой с Astra Linux, и с тех пор разработчики систематически подтверждают ее стабильность, отказоустойчивость, безопасность и работу в связке с отечественным системным ПО.

В число наиболее приоритетных задач организаций, которые стремятся повысить свою эффективность, на октябрь 2023 года входит обеспечение возможности принимать взвешенные решения на основе проанализированных данных и сохранять их конфиденциальность в процессе работы. Технологическое партнерство Astra Linux и Luxms BI позволяет предложить рынку надежный программный стек для достижения этих стратегических целей.

В 2023 году заказчики начали активную работу по импортозамещению, переводя не только ключевые системы, но и весь стек прикладных и системных решений на отечественные платформы, такие как Luxms BI и Astra Linux. Сертификация актуальной версии нашего продукта подчеркивает готовность вендоров поддерживать клиентов в реализации этой стратегии. Они могут полагаться на стабильность и безопасность нашего программного обеспечения при переходе на российские технологии и быть уверены в том, что Luxms BI надежно работает с Astra Linux, – сказал заместитель генерального директора ГК Luxms Александр Тютюнник.

За прошедшие годы многие организации привыкли пользоваться зарубежными аналитическими платформами, и теперь, чтобы сохранить непрерывность процессов, им нужно оперативно найти качественные российские аналоги. Мы хорошо понимаем, насколько важен вопрос совместимости, и поэтому вкладываем значительные ресурсы в тестирование и обеспечение работоспособности технологических стеков, в которые входит наша продукция. Сертификация Luxms BI – это всегда значимая и очень хорошая новость: последняя версия платформы гарантированно корректно работает под ОС Astra Linux, поэтому и миграция на совместное решение позволит заказчикам не только сохранить эффективность бизнеса, но и повысить уровень инфобезопасности благодаря применению встроенных в ОС сертифицированных СЗИ, – рассказал Дмитрий Тараканов, руководитель департамента развития технологического сотрудничества ГК «Астра».

Luxms BI v9

18 мая 2023 года компания Luxms представила релиз платформы Luxms BI v9. Главными обновлениями девятой версии стали ролевая модель и оптимизированные возможности Self Service.

По информации компании, расширился функционал настройки ролевой модели для всех сценариев пользовательской работы, а также добавлена возможность тонкой настройки прав доступа ко всем объектам внутри приложений Luxms BI: дэшбордам, дэшлетам, кубам и т.д. Из коробки предоставляются роли пользователей Viewer, Developer, Designer, Self-Service, Data-Engineer, Infosec, Publisher, Admin, Super.

Оптимизирована работа с Active Directory – в интерфейсе администратора появилась возможность настройки стыковки с AD.

Функционал информационной безопасности – парольные политики, централизованный интерфейс для работы с журналами событий безопасности, интеграция с Keycloak и т.д. Luxms BI прошел апробацию на стендах крупных российских компаний.

Выделена роль Self Service с расширенными возможностями самостоятельной работы с системой – без привлечения ИТ-специалистов – реализован полный цикл независимой работы аналитика от источника до публикации, не покидая интерфейса.

Теперь внутри атласа (начиная с версии Luxms BI v9 постепенно отказываемся от термина «датасет» в пользу термина «атлас». Атлас (Датасет, Набор данных) – логическая единица демонстрации агрегированных данных (метаданных), готовых дэшбордов и их настроек, полностью подготовленных для показа на Front-end) есть всё необходимое для работы – локальные источники данных, кубы, ресурсы, переменные и т.д. Пользователи могут получать данные, проводить исследования, настраивать и публиковать дэшборды, не пересекаясь с другими пользователями.

В v9 расширены возможности работы с отчетами – теперь все отчеты и презентации можно посмотреть в специальном разделе интерфейса и, при необходимости, настроить расписание рассылки.

Обновлена работа с Excel: можно использовать Excel-файл как источник данных, просто перетащив его на страницу дэшборда. Также есть возможность простым способом обновить или дозагрузить Excel-файл в уже созданный источник данных.

Появился конструктор цветовых схем для настройки корпоративных тем атласов (аналогично светлой и темной темам). Тема включает в себя настройку всех цветов интерфейса (цвет фона, подписей, данных и т.д. по выбранной пользователем палитре).

Реализован функционал каскадных фильтров. Обновлен встроенный в Luxms BI ETL-функционал. Теперь пользователи могут работать с источниками без привлечения ИТ-специалистов и независимо друг от друга. Оптимизирована надежность и масштабируемость работы с источниками данных. В планах – оптимизация интерфейсов для управления и мониторинга кластерных конфигураций Luxms BI.

В ближайших планах компании:

• Презентовать аналог DAX (в Luxms BI он называется LPE), позволяющий работать с данными, не прибегая к помощи дата-инженеров;
• Развернуть решение в крупных облачных системах России. На май 2023 года решение Luxms BI проходит тестирование совместно с крупными провайдерами облачных сервисов.
• Продолжить совершенствование пользовательского интерфейса Luxms BI.

Совместимость Luxms BI версии 8 с Astra Linux Special Edition 1.7

Подтверждена совместимость ОС Astra Linux Special Edition 1.7 и платформы для бизнес-аналитики данных Luxms BI версии 8. Программный стек способен заместить аналогичные зарубежные технологии и подходит для инфраструктур, обрабатывающих различную конфиденциальную информацию. Об этом 21 апреля 2023 года сообщила ГК «Астра».

В ходе проведенных исследований специалисты убедились, что продукт корректно работает под управлением защищенной ОС, и пользователям в полном объеме доступен функционал компонентов технологического стека. Это официально подтверждается сертификатом, выданным в рамках программы технологической кооперации ИТ-производителей Ready for Astra Linux.

Совместимость Astra Linux Special Edition» и Luxms BI даст специалистам, пользователям, работающим в сфере бизнес-аналитики, возможность безопасно оперировать важной и конфиденциальной информацией, и таким образом они смогут повысить эффективность своей деятельности, — подчеркнул Алексей Медников, директор по инновациям ГК Luxms.

Сертификация Luxms BI – это важное событие и хорошая новость для российских пользователей аналитических платформ. По результатам экспертных проверок мы можем на 100% гарантировать, что решение корректно работает в среде сертифицированной ОС. В связке с Astra Linux Luxms BI не только может успешно заместить импортные аналоги, от которых на апрель 2023 года многим приходится отказываться, но и подходит для инфраструктур, обрабатывающих информацию ограниченного доступа, – отметил Дмитрий Тараканов, руководитель департамента развития технологического сотрудничества ГК «Астра».

Совместимость с СУБД Jatoba

Компании ООО «Газинформсервис» и ООО «ЯСП» (входит в ГК Luxms) завершили серию испытаний на совместимость функционирования продуктов собственной разработки. Об этом «Газинформсервис» сообщил 29 марта 2023 года. Завершена серия испытаний на корректность совместного функционирования СУБД Jatoba и ПО «ВУК Luxms BI». Подробнее здесь.

2022

Совместимость с «Ред ОС»

В рамках технологического партнерства ГК «Luxms» и РЕД СОФТ провели тестирование на совместимость продуктов и подтвердили корректность работы программного обеспечения «Визуальный управленческий контроль Luxms BI» с операционной системой РЕД ОС. Об этом компания Ред Софт сообщила 22 декабря 2022 года.

Совместимость с РЕД ОС расширяет возможности по инсталляции Luxms BI на предприятиях, и позволяет российским компаниям повышать эффективность своего бизнеса с использованием импортонезависимых инструментов управления, — подчеркнул Директор по инновациям ГК Luxms Алексей Медников.

Экосистема РЕД ОС является важной составляющей продукта. Благодаря сотрудничеству с нашими технологическими партнерами она способна предоставить пользователям все необходимые прикладные инструменты для работы, в том числе для решения бизнес-задач. Благодарим коллег из ГК «Luxms» за плодотворное взаимодействие, — рассказал заместитель генерального директора РЕД СОФТ Рустам Рустамов.

Luxms BI v8

Команда ГК Luxms в 2022 году представила рынку очередной релиз аналитической платформы Luxms BI v8, который отличается дизайном интерфейса и функционалом Self-Service.

Telegram-комьюнити по технологиям Luxms

При поддержке BI-команды «Корус Консалтинг» запущен комьюнити-чат в Telegram по продуктовой линейке Luxms BI и Luxms Data Boring. Здесь будут делиться свежими новостями о платформе, отвечать на вопросы участников и анонсировать интересные мероприятия.

Нативная интеграция Luxms BI с СУБД Teradata

В результате работы команды ГК Luxms в 2022 году обеспечена нативная стыковка с СУБД Teradata. Теперь Teradata может использоваться как источник данных для онлайн-запросов при построении дашбордов в Luxms BI.

В составе единой цифровой платформы на базе Luxms BI и Zyfra IoT Platform

В 2022 году "Цифровая индустриальная платформа" и Luxms объявили о партнерстве. Компании предложили совместное решение на базе Luxms BI и Zyfra IoT Platform – единую цифровую платформу, включающую весь необходимый набор компонентов для создания и внедрения инноваций, ориентированную на задачи управления производством и аналитике Big Data. Внедрение решения позволит предприятиям произвести переход от точечного решения задач к комплексному мониторингу деятельности предприятия.

Интеграция с PolyAnalyst

ГК Luxms и Мегапьютер в 2022 году объявили о успешном пилоте по глубинной многопараметрической аналитике текстов (NLP).

Совместное решение на базе Luxms BI и PolyAnalyst может быть ориентировано, в первую очередь, на внушительный пласт полезной информации, содержащейся в текстовых данных из интернета, и позволит выявлять и отслеживать проблемы, возникающие как у отдельных людей, так и у целых клиентских сегментов.

Совместимость с ОС Astra Linux Common Edition

По итогам 2021 года система бизнес-анализа Luxms BI стала успешно прошла тестирование на обеспечение технологической совместимости с операционной системой общего назначения Astra Linux Common Edition, разработанной ГК Astra Linux (ООО «РусБИТех-Астра»).

2021

Нагрузочное тестирование

ГК Luxms 16 сентября 2021 года сообщила о том, что совместно со SMART Technologies провели совместное испытание программного комплекса системы бизнес-анализа Luxms BI, разработанного ГК Luxms. Проведенные нагрузочные тесты показали стабильную работу тестируемого ПО при возрастающей нагрузке.

Инженеры компании SMART technologies подготовили испытательный стенд, включающий 7 виртуальных машин с операционными системами CentOS и VPN доступ. Программное обеспечение системы Luxms BI было развернуто в одноузловой конфигурации, хост bigdata-bi, из стандартных RPM-пакетов.

Нагрузочное тестирование состояло в проверке стабильности работы системы в условиях увеличения конкурентных пользовательских сессий до момента превышения 4-х секундного времени отклика системы Luxms BI. Испытание представляло два теста:

Тест № 1

• Постепенное (каждые 15 секунд) увеличение одновременных пользовательских сессий до 300
• После открытия формы, происходит переключение фильтров: «Возраст», «Пол», «Образование», «Дата рождения», «Должность», «Опыт работы»
• После применения фильтров, происходит переход к детализации показателей по drill down до нулевого уровня

^{Рис. 2 Тестирование № 1. График среднего времени отклика при 300 одновременных пользовательских сессий}

Тест № 2

• Постепенное (каждые 15 секунд) увеличение одновременных пользовательских сессий до 400
• После открытия формы, происходит переключение фильтров: «Возраст», «Пол», «Образование», «Дата рождения», «Должность», «Опыт работы»
• После применения фильтров, происходит переход к детализации показателей по drill down до нулевого уровня

^{Рис. 3 Тестирование № 2. График среднего времени отклика при 400 одновременных пользовательских сессий}

Тестирование ПО Luxms BI в условиях нагрузки показало, что использование одноузловой конфигурации может гарантированно поддерживать до 400 пользовательских сессий. Детальный отчет доступен по запросу.

При более высоких нагрузках ГК Luxms рекомендует использовать архитектуру с горизонтальным масштабированием системы для обеспечения отказоустойчивости и высокой доступности решения.

В последнее десятилетие сохраняется тенденция устойчивого роста объемов информации. Контроль бизнес-процессов, анализ показателей эффективности и подготовка интерактивных отчётов напрямую зависят от работоспособности аналитических приложений. Результаты проведенного тестирования подтверждают надежность и функциональность программного комплекса системы бизнес-анализа, разработанного ГК Luxms, - прокомментировал результаты испытаний Иван Банцов, директор департамента комплексных проектов SMART technologies.

Высочайшие скоростные характеристики в нагрузочном тестировании: 8000 конкурентных сессий на узел

Luxms BI - российская платформа быстрой аналитики на больших данных. Результаты успешной работы подкреплены опытом внедрений у крупнейших заказчиков – ОАО «РЖД», ПАО «Газпром нефть», ПАО «Ростелеком», ПАО «Мегафон», НМИЦ им. В. А. Алмазова, МИАЦ СПб.

Для любой информационной системы основным параметром функционирования с точки зрения пользователя является время отклика (response time). По мере увеличения числа одновременно работающих пользователей время отклика любой системы имеет тенденцию к едва заметному увеличению, и в какой-то пороговый момент по нагрузке, который иногда называют «коленом», время отклика резко увеличивается, система «подвисает». Порог, или параметры функционирования системы, когда резко возрастает время отклика, определяется тремя факторами: во-первых, линейной производительностью системы, во-вторых, характеристиками распараллеливания системы (в т.ч. балансировщиками нагрузки) и, в-третьих, собственно величиной нагрузки, в данном случае сложностью запросов и количеством одновременно работающих пользователей.

В начале июля 2021 года ГК Luxms принимала участие в испытании своего программного продукта по аналитике и визуализации на больших данных - Luxms BI в нагрузочном тестировании по условиям и методике крупной российской компании. В ходе нагрузочного тестирования предстояло проверить работу Luxms BI в одноузловой (не кластерной) конфигурации на работоспособность при увеличении числа пользователей от 2 тысяч и при выполнении пользователями стандартных действий по визуализации бизнес-данных – просмотру аналитических панелей. Методика испытаний предполагала увеличение числа пользователей с 2 до 4, 6, 8, 9, 10 тысяч конкурентных сессий. Использовалась функциональная конфигурация: CPU – 36 cores, RAM – 16 GB, HDD – 180 GB, CentOS 7.0, PostgreSQL 11.0.

Результаты нагрузочного тестирования ПО Luxms BI по скорости отклика в зависимости от количества пользователей показали отличные результаты и представлены на графике ниже:

Среднее время отклика при одновременной работе от 2-х до 8-ми тысяч пользователей не превышало 15 мс, а пороговое значение в предложенной конфигурации оказалось на уровне более 8 тысяч одновременно работающих пользователей, но даже при 9 тысячах сессий среднее время отклика составило менее 1 секунды.

В результате апробации аналитическое ПО Luxms BI в очередной раз доказало высокую производительность в стандартной одноузловой конфигурации. При высоких нагрузках производитель ПО рекомендует использовать кластерную архитектуру с горизонтальным масштабированием системы, что обеспечивает требуемую скорость работы системы практически при любой нагрузке. За счёт датацентричной массивно-параллельной архитектуры нового поколения Luxms BI эффективно справляется с постоянно нарастающим потоком данных и стремительно увеличивающимся количеством пользователей.

Познакомиться с группой компаний Luxms, узнать об опыте крупнейших внедрений, а также задать интересующие вопросы вы сможете на вебинаре «Luxms BI: рекордные скорости аналитики на больших данных» 18.08.2021 в 16:00. Приглашаем вас зарегистрироваться и стать участником! Регистрация доступна по ссылке.

Архитектура. Классы решаемых задач

По информации на май 2021 года Luxms BI обладает дата-центричной, двухзвенной архитектурой на основе открытого исходного кода, за счёт чего горизонтально масштабируется. Поддерживает онлайн-стыковку с Big Data, передачу на выполнение (query pushdown) аналитических запросов для массивно-параллельного исполнения, использование встроенного в БД AI/ML функционала. Интегрируется с MPP-базами данных (MPP - англ. massively parallel processing, массово-параллельная архитектура) - Greenplum, ArenaData DB, ClickHouse. Обеспечивает формирование «горячего» слоя данных (наиболее часто востребованных данных) для оперативной визуализации. По словам разработчиков, платформа обеспечивает скорость, масштабируемость и удобство работы с данными любого объёма и интенсивности.

Классы решаемых задач:

• Много систем – много данных – много измерений.
• Простые данные – высокая детализация, в том числе географическая.
• Красивая визуализация – привлечение внимания к данным.
• Интерактивная работа с данными на всех уровнях организации.
• Прямой доступ к данным для ЛПР, исключение посредников.

Интеграция с ClickHouse

По данным на май 2021 года, Luxms BI теперь нативно поддерживает СУБД ClickHouse - массивно-параллельную колумнарную СУБД с высоким быстродействием.

Благодаря такой интеграции Luxms BI может обеспечивать высокую скорость на проектах с данными больших объёмов и интенсивности. Также с применением ClickHouse могут создаваться кластерные многоузловые конфигурации Luxms BI.

Взаимодействие с ClickHouse происходит по http, что позволяет более эффективно выполнять выборки. Также возможна стыковка по JDBC и FDW.

ClickHouse может использоваться как источник данных. Тогда Luxms BI подключается к интерфейсным таблицам заказчика. На ClickHouse может быть реализована внутренняя база Luxms BI, где хранится список пользователей, права доступа, настройки визуализации и собственно данные для визуализации. На основе ClickHouse может быть подключён модуль кэширования «медленных» (редко меняющихся) данных, когда это оправдано, например, даёт выигрыш в скорости отображения. Также возможно развёртывание на ClickHouse слоя горячих данных (наиболее часто востребованных) для высокоскоростной визуализации в Luxms BI.

Инструмент для подготовки данных для скоростной визуализации в Luxms BI

9 марта 2021 года ГК Luxms объявила о выходе на рынок высокоскоростного post-ETL инструмента Luxms Data Boring, который позволяет формировать горячий и тёплый слои данных (данные, необходимые в оперативной работе), выполнять пост-обработку и структурирование данных, автоматизировать и упрощать выполнение регулярных ETL-задач через графический интерфейс для платформы Luxms BI.

Luxms BI 6.0

18 февраля 2021 года стало известно о том, что на рынок вышла версия 6.0 Luxms BI.

Нововведения в версии 6.0:

• Настроена работа Luxms BI с Luxms Data Boring – высокоскоростным компонентом для post-ETL процессинга
• Обеспечена интеграция в Arenadata Cluster Manager
• Реализовано логирование на клиенте
• Добавлена возможность собственной разработки на платформе в соответствии с правилами и стандартами Local Development и в рамках специализированной лицензии
• Развитие подсистемы для ручного ввода показателей Luxms KPI Collection: комментирование, динамическое создание и редактирование показателей по гибко-настраиваемой форме.
• Управление справочниками для OLAP-кубов
• Добавились элементы визуализации: treemap, timeline, диаграмма ганта, индикаторы выполнения (progress bars)
• Развитие типа визуализации «Таблица» в части группировки, адаптивности.
• Расширен функционал онлайн-доступа к информации из внешнего источника (table lookup):
• добавлены новые визуальные формы.
• Развитие кастомизированной визуализации: кольцевая диаграмма с автоматическим выделением указанного числа наибольших по значению показателей и агрегацией остальных значений в категорию «Прочее», инфографика для отображения задач системы, их статуса готовности в процентах и общей шкалы готовности системы на указанный период, график «водопад» с гибкими настройками цветов, диапазонов и данных, которые поступают на вход, график-матрица по оценке уровне риска с позиционированием точки показателя, диаграмма для сравнения плановых и фактических значений показателя, элемент визуализации «батарейка» для отражения загруженности и вовлеченности сотрудников
• Разработка визуализации для факторного анализа отклонений
• Улучшен функционал генерации презентаций в форматах PDF/PPTX: добавлена поддержка шаблонов PowerPoint
• Добавлены динамические переключатели для графиков для изменения аналитического контекста в конкретном графике, без затрагивания остального экрана
• Адаптация пользовательского интерфейса под очень большие экраны проекторов
• Создано вертикальное решение для мониторинга услуги банковского сопровождения контрактов
• Добавлена поддержка языка Groovy для скриптования процесса загрузки данных
• Появилась возможность создания Excel и Word отчетов на базе шаблонов документов
• Интеграция с инструментом Jaeger, работающим на базе стандарта OpenTracing API, для анализа работы компонентов Luxms BI
• Расширены настройки представления дэшбордов для пользователей с разными уровнями доступа
• Расширен функционал автоматической фильтрации и агрегации данных на дэшбордах
• Расширена интеграция Luxms BI и Bitrix
• Поддержка Ansible для управления конфигурациями кластеров платформы Luxms BI
• Функционал новостей на дэшборде для размещения корпоративных новостей компании
• Обеспечена совместимость базовых компонентов Luxms BI с процессорами архитектуры «Эльбрус»

2020: Импортонезависимый ПАК для бизнес аналитики

В ноябре 2020 года совместно с ЗАО «Норси-Транс (НТ)» на рынок выпущен первый в России импортонезависимый программно-аппаратный комплекс для бизнес аналитики, ПАК «Люкс-Контроль». В его составе:

• серверы линейки «Яхонт-УВМ» на базе 8-ядерных процессоров «Эльбрус»
• операционная система Alt Linux 9.0
• аналитическая система Luxms BI

Все компоненты ПАК включены в реестры отечественной продукции.

В составе российского программно-аппаратного комплекса для аналитики данных

14 января 2021 года стало известно о том, что российские компании Luxms, «НОРСИ-ТРАНС» и «Базальт СПО» завершили первый этап проекта по созданию импортонезависимого программно-аппаратного комплекса для бизнес-аналитики, полностью построенного на российских технологиях. В качестве программного обеспечения для аналитики используется система Luxms BI. Подробнее здесь.

2019: Высокопроизводительная аналитика. Архитектура. Интерфейс

По информации на февраль 2019 года визуальный управленческий контроль Luxms BI — платформа для визуализации и анализа данных. Luxms BI помогает лицам, принимающим решения, наглядно и оперативно контролировать результаты работы и бизнес-процессы. Платформа cобирает данные из источников, обрабатывает и представляет на интерактивных панелях и картах в виде графиков, схем, диаграмм. Luxms BI поддерживает онлайн-стыковку с Big Data, потоковую аналитику и передачу на выполнение (push down) аналитических запросов для массивно-параллельного исполнения. Платформа гарантирует скорость, масштабируемость и удобство работы с данными любого объёма и интенсивности.

Высокопроизводительная аналитика

За счет поддержки массивно-параллельной обработки платформа Luxms BI нацелена на решение проблем, связанных с ограничениями Закона Мура. В частности, для работы с большими данными Luxms BI интегрируется с массивно-параллельными архитектурами (MPP) хранилищами данных с поддержкой технологии push down: аналитические запросы обрабатываются на стороне MPP хранилища, и полученный результат визуализируется в Luxms BI.

Применяя push down, Luxms BI не копирует данные в собственное хранилище, таким образом аналитические запросы строятся на исходных данных, размещенных в корпоративном хранилище. Это снимает вопросы достоверности данных в аналитических отчетах Luxms BI и позволяет избежать проблем с валидированием данных на стороне BI-системы.

В связке с MPP хранилищем данных платформа готова выполнять массивно-параллельную обработку информации как SQL запросами, так и методами машинного обучения, в том числе MPP обработку неструктурированных данных (NLP, полнотекстовый поиск) на практически неограниченных объемах данных и информационных потоках высочайшей интенсивности.

Архитектура

Luxms BI имеет датацентричную архитектуру, в которой бизнес-логика располагается рядом с данными, в СУБД. Такой подход увеличивает производительность платформы, повышает стабильность работы и позволяет использовать расширенные возможности современных баз данных для сложной аналитической обработки.

Платформа использует собственные и open-source компоненты: веб-сервер nginx, база данных PostgreSQL. Веб-клиент — это HTML5/JavaScript-приложение, без сторонних браузерных плагинов. Веб-клиент взаимодействует с сервером по протоколу HTTP/HTTPS по API в JSON формате.

Интеграция с источниками

Luxms BI подключается к разнообразным внешним источникам данных: реляционным СУБД и прочим JDBC совместимым источникам, Big Data, системам очередей, журналам сообщений, текстовым выгрузкам, excel- и csv-файлам, веб-сервисам, неструктурированным данным.

С помощью специальных механизмов интеграции платформа в онлайн режиме визуализирует исходные данные из источников, вплоть до первичных документов.

Модель данных

Luxms BI трансформирует массивы данных в трёхмерные визуальные срезы «что-где-когда». Что контролируется — это показатели (объём продаж, количество абонентов, время простоев), где контролируется — это объекты (филиал, менеджер, станок) и когда контролируется — это периоды (минуты, часы, дни, годы). Визуальные срезы рассчитываются заранее, когда данные появляются в источнике, что даёт скорость аналитики в момент контроля. Платформа также умеет рассчитывать показатели на лету, в момент отображения графиков.

Интерфейс

Клиентское приложение Luxms BI доступно в браузерах и оптимизировано как под настольные компьютеры и ноутбуки, так и под мобильные устройства с тач-интерфейсом. Элементы управления приложения помогают взаимодействовать с данными: менять фильтры анализа, переключать типы диаграмм, открывать детализация или карточку объекта, переходить в специализированную систему.

Пользователи работают с визуальными информационными панелями (дэшбордами), инфографикой, географическими картами, мнемосхемами. С помощью визуальных рейтингов и условного цветового форматирования (по заданным параметрам) отслеживают выполнение нормативов и планов по всей вертикали управления. Вводят значения параметров расчета для анализа «что-если».

Для совместной работы в Luxms BI разработан функционал «живых» презентаций и механизм выдачи и контроля поручений.

Российская платформа

Luxms BI отвечает требованиям импортозамещения — платформа создана и поддерживается в России и не зависит от «закрытых» зарубежных систем. Для заказчиков отсутствуют санкционные риски. Минкомсвязи внёс Luxms BI в Единый реестр российских программ для электронных вычислительных машин и баз данных Приказом от 28.04.2017 №212. Регистрационный номер ПО: 3366.

Внедрение и эксплуатация

Luxms BI гибко адаптируется под задачи заказчика: приложение оформляется в фирменном стиле или создаётся уникальная версия интерфейса, добавляются новые элементы визуализации, базовая визуализация встраивается во внешние системы.

Добавление новых источников и изменение набора контролируемых показателей происходит быстро, в рамках технической поддержки.

2018: Интеграция с СУБД Greenplum

В 2018 году платформа Luxms BI была интегрирована с массивно-параллельной СУБД Greenplum с открытым исходным кодом. Стыковку с СУБД Greenplum обеспечивает высокоскоростной двунаправленный FDW-коннектор. При передаче данных между Luxms BI и СУБД Greenplum используется нативная для Greenplum библиотека libpq и нативный wire протокол. Поддерживаются все стандартные типы данных Greenplum и индексы, реализована передача запроса на исполнение в Greenplum в части фильтрации, агрегации и объединения данных (predicate, aggregate and join push down). Luxms BI полностью реализует весь потенциал MPP-архитектуры Greenplum, внося минимально возможные накладные расходы на подготовку и передачу запросов на исполнение непосредственно в кластер Greenplum (query push down).

Интегрированное решение показывает высокую скорость работы даже на петабайтных объёмах данных, утверждают разработчики. При росте объёмов, пользователей или сложности аналитических запросов решение легко масштабируется добавлением дополнительных узлов. Сбалансированные программно-аппаратные кластерные конфигурации и полное резервирование Greenplum обеспечит надёжную работу и непрерывную доступность аналитических сервисов.

2017

Единый реестр российских программ

Luxms объявила в мае 2017 года о том, что ее платформа визуального управленческого контроля Luxms BI включена в «Единый реестр российских программ для электронных вычислительных машин и баз данных» Минкомсвязи России согласно экспертному заключению от 27 апреля 2017 года.

Платформа отнесена к классу «Системы сбора, хранения, обработки, анализа, моделирования и визуализации массивов данных».

По состоянию на май 2017 года Luxms BI является полностью российской разработкой и не зависит от зарубежных систем. Программное обеспечение полностью совместимо с СУБД с открытым исходным кодом PostgreSQL. Кроме того, проведены успешные тестирования Luxms BI на отечественной СУБД ЛИНТЕР Бастион, а также на отечественном аппаратно-программном комплексе ЕС2015-ТЕРЕМ.

Luxms BI — программная платформа для решения задач визуального управленческого контроля. Платформа обеспечивает лицам, принимающим решения, интерактивную визуализацию бизнес-показателей, собранных из любых источников данных, и удобный доступ к ним через веб-браузер или на мобильных устройствах. Информационно-аналитические решения на базе Luxms BI обеспечивают быструю, интерактивную визуализацию в госуправлении, здравоохранении, телекоммуникациях, финансах, энергетике, промышленности.

Интеграция с Форс: Skyfors

В марте Luxms и «Форс Дистрибуция» объявили о завершении работ по интеграции системы визуального управленческого контроля Luxms BI с платформой облачных сервисов для сред баз данных и приложений «SkyFORS».

Облачное решение Luxms BI решает задачу принципиально лёгкой управленческой аналитики для лиц, принимающих решения. Обеспечивается быстрый доступ к информационным панелям, сквозной контроль нормативов, мощные средства визуализации на картах, «сверление» данных. Данные собираются автоматически из различных учётных систем, благодаря эффективной облачной архитектуре SkyFORS визуальные отчёты могут быть качественно обогащены данными, собранными, в том числе, из открытых источников.

Пользователи могут за несколько минут создавать интерактивные, наглядные презентации с отображением ключевых показателей и оперативно делиться ими с коллегами с помощью облачных технологий.

Luxms BI на базе SkyFORS поможет постепенно перевести статистическую отчётность, которая размещена в виде html страниц и PDF файлов на веб-порталах заказчика, в интерактивный визуальный формат.

Преимуществом такого интегрированного решения является и то, что используемое аналитическое программное обеспечение полностью разработано в РФ. Это позволяет оперативно реагировать на потребности заказчика по визуализации управленческих показателей на прикладном уровне, сочетая это с высочайшей надежностью и возможностью увеличения отдачи от уже используемых баз данных и приложений.

Облачное решение визуального контроля Luxms BI позволит получить быстрые и гарантированные результаты и заложить основу для дальнейшего развития инструментов визуального контроля, как для внутренних, так и для внешних потребителей.

Информационные панели

Информационные панели

Возможности: Оценка состояния ключевых показателей в целом по городу, по районам, по задачам

На контроле:

• Отклонения от нормативов;
• План-факт;
• Контроль за ходом реализации дорожной карты.

2016

Свойства. Визуальный контроль

По информации на ноябрь 2016 года использование Luxms BI повысит эффективность планирования и контроль плана продаж. На платформе Luxms BI можно внедрить систему раннего диагностирования проблем, улучшить взаимодействие отдела продаж и контакт-центра, повысить контроль за производительностью сотрудников и успешностью продаж.

Руководители получат инструмент контроля показателей, поможет видеть реальное состояние, принять эффективные решения.

Свойства

Веб-приложение Luxms BI дополняет функции доступа к данным на iPad, в результате чего работа с бизнес-информацией становится еще быстрее и проще. При этом пользователю доступны наборы данных и инструменты анализа, что и в iPad-приложении.

Веб-клиент совместим с действующими браузерами, обеспечивает высокую скорость работы и не требует дополнительного программного обеспечения. Для полноценной работы требуется ПК и доступ в интернет.

Визуальный управленческий контроль:

• Доступ к ключевым показателям;
• Возможность работы не только онлайн, но и офлайн;
• Простой, интуитивно понятный интерфейс;
• Наглядное представление данных;
• Гибкая настройка под конкретные требования заказчика;
• Подключение к любым корпоративным источникам информации;
• Полностью автоматический сбор и обработка данных

Визуальный контроль на базе Luxms BI с интеграцией в SAP HANA

Тест на Oracle SPARC

17 ноября 2016 года компания Luxms сообщила о тестировании платформы Luxms BI на ПАК Oracle SPARC T5-2/T7. Процедура тестирования проводилась при участии компании "Форс Дистрибуция".

Специалисты Luxms оценили производительность информационно-аналитической платформы при одновременной работе 10 тыс. пользователей. В составе оборудования, предоставленного «ФОРС Дистрибуция»:

• две виртуальные машины под гипервизором XEN с Linux Centos 6.7 24CPU 32Gb RAM,
• один сервер SPARC T5-2 256 CPU,
• один сервер SPARC T7-1 с установленной БД Oracle 12c Enterprise Edition Release 12.1.0.2.0.

Специалисты «ФОРС Дистрибуция» обеспечили настройку БД Oracle под запросы, генерируемые Luxms BI.

Представив процессор SPARC M7, Oracle провела два типа обновлений в архитектуре SPARC. Во-первых, существенно улучшены традиционные характеристики процессра: количество ядер, частота, размеры кэш-памяти, скорость работы шины обмена с оперативной памятью и ряд других параметров. Во-вторых, процессор SPARC M7 на сервере SPARC T7 обеспечивает технологию Software in Silicon, дающую новые возможности для разработчиков и администраторов прикладных систем. Мы предоставляем своим партнерам, как системы на базе процессоров Oracle новейшего поколения, так и поддержку экспертов в области SPARC, технологий Oracle Solaris, баз данных Oracle, Java. Совместное с партнером Luxms тестирование подтвердило, что перенос прикладного программного обеспечения Luxms BI с серверов SPARC предыдущих поколений на новейшую SPARC платформу дает многократный выигрыш в производительности, не требуя при этом внесения изменений в исходный код приложения. Полученные по итогам тестирования результаты предоставляют пользователям приложения Luxms BI точно выбрать тип сервера, который позволит справиться с существующей или планируемой нагрузкой, оптимизировав при этом расходы на ИТ. Андрей Тамбовский, директор по технологиям «ФОРС Дистрибуция»

При 10 тысячах одновременно работающих процессах-генераторах нагрузки, удалось добиться среднего времени отклика менее 1 секунды при 5-и серверах приложений. При этом остался приличный запас по памяти и процессорному времени на хосте с БД Oracle. Дмитрий Дорофеев, генеральный директор Центра внедрения ГК Luxms

Тестированием выявлены узкие места в сервере приложений Luxms BI, код его оптимизирован для использования Prepared Statements в типовых запросах, это дало повышение скорости работы и уменьшило нагрузку на БД Oracle. После оптимизации, сервер показал практически линейное увеличение производительности при добавлении копий серверов приложений.

В рамках тестирования проверили бесперебойную работу платформы.

За сутки система обработала более 1 миллиарда запросов без ошибок, что говорит о высокой надёжности сервера приложений Luxms BI. Более того на всех этапах тестирования не было зафиксировано утечек памяти. Дмитрий Дорофеев

Проведённое нагрузочное тестирование подтвердило способность платформы Luxms BI обеспечить надёжную и стабильную работу большого числа пользователей.

Интеграция с Линтер

7 апреля 2016 года стало известно об интеграции информационно-аналитической платформы Luxms BI и системой управления базами данных «Линтер Бастион»^[1].

Партнеры по интеграции заявили о готовности к использованию совместного решения. Ожидается, что оно поможет предприятиям повысить эффективность бизнес-процессов посредством интерактивной визуализации и управленческого «сверления» с выявлением отклонений от нормативов/планов.

Разработанная нашей компанией система управления базами данных "Линтер" полностью соответствует требованиям российского законодательства. Недавно СУБД была включена в реестр российского ПО. В то же время, мы предлагаем клиентам не только отечественную СУБД для решения задачи импортозамещения, но и качественный программный продукт, отвечающий современным требованиям обработки и защиты данных как на корпоративном уровне, так и на уровне "совершенно секретно". Надеемся, что совместное решение с Luxms BI многим позволит сделать бизнес более результативным. Роман Баркалов, менеджер по развитию бизнеса группы компаний «Релэкс»

Интеграция с СУБД "Линтер" нашей платформы визуального управленческого контроля расширяет количество полностью российских программных продуктов. Мы довольны плодами сотрудничества и не планируем останавливаться на достигнутом. Российским руководителям критически важен удобный инструмент контроля ключевых показателей, и это доказывает количество реализованных на данный момент проектов. Максим Розанов, директор BI-проектов ГК Luxms

Тестирование на ПАК корпоративной виртуализации "ЕС2015-Терем"

Основная статья: ЕС2015-Терем

2015: Представление Luxms BI

Представление Luxms BI (2015)

Примечания