ADB
Arenadata DB

Arenadata DB (ADB) — распределённая СУБД, использующая концепцию MPP (massively parallel processing, массивно-параллельные вычисления) и основанная на СУБД с открытым исходным кодом — Greenplum.

Аналитические массивно-параллельные СУБД предназначены для хранения и обработки больших объёмов данных — от единиц до сотен терабайт данных. Такие СУБД чаще всего используются для предиктивной аналитики, регулярной отчётности, анализа оттока клиентов, построения корпоративных хранилищ данных.

2024

Поддержка «Ред ОС» 7.3

Arenadata выпустила обновленный релиз аналитической распределённой MPP-СУБД Arenadata DB (ADB) 6.27.1.58, включивший поддержку российской операционной системы Ред ОС 7.3. Теперь продукт компании позволяет удовлетворить требования практически всех российских компаний в части поддержки продуктов отечественных ОС. Об этом Arenadata сообщила 29 ноября 2024 года.

Релиз Arenadata DB (ADB), поддерживающий РЕД ОС 7.3, даст пользователям Arenadata больше гибкости в плане выбора системного ПО для развёртывания продукта компании.

Важными изменениями Arenadata DB для пользователей стали:

• Доработка ADB ClickHouse коннектора. Теперь поддерживаются сообщения длиной более 4096 символов и корректная обработка кириллицы. Добавлена поддержка более чем 512 полей.
• Обновление и доработка PXF. Обеспечена совместимость с версией Arenadata Hadoop (ADH) 3.3.6 для улучшения интеграции продуктов Arenadata. В логи PXF добавлена информация о вложенных исключениях. Оптимизирована имперсонализация пользователей. Реализовано управление логированием для плагина gpbackup S3 и опция logger_verbosity для возможности настройки уровня логирования сообщений.
• Режим Proxy для интерконнекта. Реализована поддержка работы сети интерконнекта (IC) в режиме Proxy для повышения скорости выполнения запросов.

  Arenadata DB включила версию Arenadata DB Backup Manager (ADBM) 2.2.3, в которую вошли:

• Возможность восстановления отдельных таблиц. Для повышения гибкости восстановления данных реализована возможность восстановления выбранных таблиц из бинарного бэкапа для любого из restore point.
• Поддержка выделенной подсети. По запросу облачных провайдеров добавлена возможность настройки выделенной подсети (dedicated network) для компонента ADBM.

  Другой важный компонент Arenadata DB — Arenadata DB Control (ADBC) — обновлён до версии ADBC 4.10.3. Её основные изменения:

• поддержка аутентификации пользователей Arenadata DB Control с использованием безопасного протокола LDAPS;
• возможность настройки выделенной подсети (dedicated network) для компонента ADBC.

Arenadata планомерно расширяет поддержку своими продуктами основных отечественных операционных систем. Это позволяет нашим клиентам в полной мере выполнять требования регуляторов в рамках задачи по достижению технологического суверенитета, — отметил Антон Коваленко, директор департамента продуктового маркетинга Arenadata.

Мы рады тому, что для данной версии продукта Arenadata DB добавлена поддержка нашей операционной системы РЕД ОС. Это позволит пользователям развёртывать решения Arenadata на более широком спектре аппаратных платформ, совместимых с РЕД ОС, и соответствовать требованиям российского рынка, — прокомментировал заместитель генерального директора РЕД СОФТ Рустам Рустамов.

Запуск на выделенных серверах Selectel

Selectel и Arenadata объявили о технологическом партнерстве. Об этом компании сообщили 10 октября 2024 года.

Благодаря сотрудничеству компании смогут предложить рынку решение в сфере управления большими данными – аналитическую СУБД Arenadata DB (ADB) уровня Enterprise на выделенных серверах Selectel. Arenadata DB предназначена для работы с большими аналитическими запросами и способна содержать в корпоративном хранилище десятки и сотни ТБ данных. Готовые конфигурации выделенных серверов Selectel позволяют быстро развернуть решение, интегрировать его с действующими ИТ-системами компании и запустить проект в минимальные сроки без необходимости закупать собственное серверное оборудование. Решение может быть особенно актуально для банков и финтеха, ритейла, телекоммуникационных компаний, производственных и добывающих предприятий, государственного сектора. TAdviser выпустил новую Карту «Цифровизация ритейла»: 280 разработчиков и поставщиков услуг 14.8 т

Согласно сложившейся практике, Arenadata DB разворачивается on-premise (на локальном оборудовании клиентов), что требует дополнительных инвестиций в серверное оборудование, или в облаке, что может накладывать ограничения на максимальный размер базы данных. Решение использует опыт Selectel и предлагает протестированные конфигурации выделенных серверов, доступные к быстрому заказу и масштабированию при росте нагрузки – такой подход позволит сочетать производительность выделенной и гибкость облачной инфраструктуры. Использование bare metal (выделенных серверов) позволит клиентам получить более высокую и предсказуемую производительность и обеспечить изоляцию на уровне инфраструктуры. Также это даст возможность размещения в аттестованном сегменте ЦОД Selectel, что вместе с сертификатами самой Arenadata DB позволяет построить производительное, защищённое и аттестованное решение, соответствующее особым требованиям банков и других крупных корпораций и при этом оптимизировать расходы на ИТ-инфраструктуру.

В последние годы мы активно работаем с Enterprise-сегментом и развиваем нашу линейку сервисов, в том числе, в соответствии с запросами со стороны крупных компаний. Мы видим, что при запуске решений для работы с большими объемами данных бизнес предъявляет всё более высокие требования к ИТ-инфраструктуре. Благодаря нашему партнерству с Arenadata и экспертизе Selectel в bare metal, заказчики смогут получить готовое решение с максимальной производительностью и развернуть базу для хранения и обработки больших данных с соблюдением всех требований информационной безопасности и без капитальных вложений в собственную инфраструктуру, — отметил Александр Тугов, директор по развитию услуг Selectel.

Развитие ИТ-рынка напрямую связано с технологическими партнерствами. И наша коллаборация с Selectel — яркий тому пример. Взаимодействие двух компаний из разных направлений создаст синергию, которая позволит клиентам получить необходимое решение в области хранения и работы с данными. Оно даст возможность оперативно обрабатывать сложные аналитические запросы, обеспечивая при этом максимальную производительность, гибкость и безопасность, — подчеркнул Антон Мартынов, директор по работе с партнерами Arenadata.

Совместимость с Polymatica Dashboards

Компании SL Soft и Arenadata заявили о совместимости своих продуктов – конструктора информационных панелей Polymatica Dashboards и систем управления базами данных Arenadata QuickMarts (ADQM) и Arenadata DB (ADB). Об этом Softline сообщил 8 августа 2024 года. Подробнее здесь.

Arenadata DB как замена SAP BW, Oracle и Teradata

Современный бизнес все больше зависит от эффективного управления данными. На этом фоне компании стремятся внедрять продукты, которые позволяют оптимизировать затраты и улучшить производительность. В России этот вопрос встал особенно остро в последние несколько лет в связи с необходимостью перехода с иностранных решений на отечественные. Arenadata DB (ADB) стала популярной заменой системам управления данными, таким как Oracle и Teradata, а также одной из важнейших компонент при замене SAP BW. Подробнее здесь.

Доступность в облаке MWS

МТС, цифровая экосистема, 26 июля 2024 года сообщила о заключении стратегического партнерства между MTS Web Services (MWS), входит в группу МТС, и Arenadata. В рамках договора MWS запустил пять сервисов на программных продуктах от Arenadata, в том числе и Arenadata DB (ADB). Подробнее здесь.

Подтверждение соответствия требованиям к УД 4 ФСТЭК России

ФСТЭК России подтвердил соответствие аналитической СУБД Arenadata DB (ADB) и кластерной колоночной СУБД Arenadata QuickMarts (ADQM) требованиям к 4 уровню доверия средств обеспечения безопасности информационных технологий (УД 4). Ранее оба продукта были сертифицированы по 6 уровню доверия и технических условий. Об этом разработчик сообщил 8 июля 2024 года.

Мы, как разработчик СУБД, постоянно работаем над улучшением безопасности наших продуктов. Этот факт подтверждает то, что и Arenadata DB, и Arenadata QuickMarts успешно прошли испытания регулятора для сертификации по более высокому уровню доверия ФСТЭК. Это особенно важно для тех наших клиентов, которые относятся к объектам критической информационной инфраструктуры, — сказал Александр Ермаков, технический директор Arenadata.

План итеграции с «Гарда Маскированием»

Группа компаний «Гарда», производитель семейства продуктов для защиты данных и сетевой безопасности, и разработчик платформы сбора и хранения данных Arenadata углубляют технологическое партнёрство в целях предоставления заказчикам не только максимально богатых функциями, но и качественно защищённых решений по хранению, обработке и анализу данных. Об этом Группа компаний «Гарда» сообщила 26 марта 2024 года.

В ближайшее время партнёры сфокусируются на интеграции продуктов для логирования инцидентов и аудита операций с базами данных и бизнес-приложениями, аналитике потоковой передачи данных в реальном времени. Следующий проект на очереди — обеспечение совместной работы системы управления базами данных Arenadata DB с решением для обезличивания данных «Гарда Маскирование».

Компания Arenadata — производитель программных продуктов и решений с большим набором функций для работы с большими массивами информации, их хранения, анализа и статистической обработки. Часто подобные массивы содержат охраняемую законом информацию, и требования по защищённости к системам обработки повышаются. Объединяя экспертизу специалистов и создавая совместные решения, наши компании смогут закрывать потребности клиентов в комплексе, — сказал Павел Кузнецов, директор по стратегическим альянсам и взаимодействию с органами государственной власти группы компаний «Гарда».

Подобные технологические альянсы, которые мы можем наблюдать на примере Arenadata и «Гарда», всё чаще получают распространение на российском ИТ-рынке, так как позволяют качественно расширять функционал используемых программных комплексов. В нашем случае заказчики получают комплексное решение для работы с данными, безопасность которого существенно повышена, — сказал Антон Мартынов, директор по работе с партнёрами Arenadata.

Опыт удачного сотрудничества в рамках Arenadata DB, способствовал расширению нашего технологического партнёрства. И мы сосредоточены на разработке сценариев синхронизации процессов потоковой обработки данных в Arenadata Streaming и мониторинга операций записи и чтения средствами системы защиты данных «Гарда DBF», — прокомментировал Антон Коваленко, директор департамента продуктового маркетинга Arenadata.

Мы со своей стороны также работаем над расширением функциональности по защите систем класса Big Data, в частности, на основе информации, полученной из логов Apache Ranger. Это способствует не только общему развитию продукта, но и расширяет возможности для технологического партнёрства, — добавил Дмитрий Ларин, руководитель продуктового направления защиты баз данных группы компаний «Гарда».

Технологическое сотрудничество компаний фактически началось в конце 2023 года, когда состоялись совместные тестовые испытания, подтвердившие совместимость аналитической MPP СУБД Arenadata DB (ADB) и комплекса обеспечения безопасности СУБД «Гарда DBF». Такое комплексное применение программного стека дает заказчикам возможность обеспечить высокий уровень защиты хранилища данных от несанкционированного доступа, а также пресечь случаи корпоративного мошенничества и нежелательных действий со стороны пользователей внутри организации.

Доступность для пользователей в VK Cloud в Казахстане

Пользователям VK Cloud в Казахстане стала доступна облачная СУБД Arenadata DB (ADB). С ее помощью компании могут создать единое корпоративное хранилище данных для решения аналитических задач без затрат на внедрение и поддержку инфраструктуры. Использование Arenadata DB ускоряет аналитику по продажам, планирование закупок, сбор данных для обучения ML-моделей и решения других бизнес-задач. Об этом компания VK (ранее Mail.ru Group) сообщила 5 марта 2024 года. Подробнее здесь.

Совместимость с Astra Linux Special Edition 1.7

Arenadata выпустила обновленный релиз аналитической распределённой MPP-СУБД Arenadata DB (ADB), включивший поддержку операционной системы Astra Linux. Об этом разработчик сообщил 20 февраля 2024 года.

Arenadata DB совместима с ОС Astra Linux Special Edition 1.7 в базовом режиме работы СЗИ («Орёл»). Это даёт пользователям ADB больше гибкости в плане выбора системного ПО для развёртывания продуктов компании, при этом используются надёжные решения, внесённые в реестр отечественного ПО.

Также среди добавленных возможностей ADB:

• установка кастомного пути JAVA_HOME для кластера. С этого релиза в ADB можно использовать как OpenJDK 8 в поставке от вендора ОС, так и Java 8-й и 11-й версий из других источников. Для Astra Linux обязательна предварительная установка Java (рекомендована Axiom Java 8);
• поддержка Docker CE. Доступна установка на серверы с предустановленным Docker Community Edition;
• формирование логов PXF в формате JSON. Пользователи смогут организовать сбор логов PXF в стандартном для систем сбора и анализа логов (например, ELK) формате JSON, что позволяет упростить и ускорить этот процесс.

Данный релиз Arenadata DB расширил перед пользователями, для которых важен высокий уровень информационной безопасности, спектр возможностей в части выбора используемой операционной системы. Ещё одно важное изменение: наши заказчики на Astra Linux теперь смогут использовать отечественную сборку Java 8 из реестра отечественного ПО, — отметил Александр Ермаков, технический директор Arenadata.

Изменения коснулись и смежных с ADB продуктов. В Arenadata DB Backup Manager (ADBM) — построенной на основе pgBackRest отказоустойчивой системе для управления бинарными бэкапами ADB — теперь можно восстанавливать зеркала из бинарных бэкапов параллельно с первичными сегментами. Эта доработка поможет существенно упростить и ускорить процесс восстановления PROD- или DR-кластера при использовании физических бэкапов. Также добавлена автоматическая установка флага Skip validation (без возможности сброса) в модальное окно Restore для восстановления в остановленных кластерах ADB.

В систему мониторинга запросов Arenadata DB в режиме реального времени Arenadata DB Control (ADBC) добавлена вкладка Sessions на странице Monitoring с возможностью прерывания сессий. Поэтому у пользователей появилась возможность собирать данные по сессиям, что позволяет администраторам контролировать и экономить ресурсы connection pool (подключений к СУБД). Также оптимизирован процесс фильтрации на агентах для сбора системных метрик, что позволяет оптимизировать или уменьшить потребление аппаратных ресурсов.

Доступность из облака «Крок»

Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Hadoop (ADH). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.

2023

Совместимость с комплексом обеспечения безопасности СУБД «Гарда DBF»

Российский вендор Arenadata и разработчик систем информационной безопасности, группа компаний «Гарда» в результате тестовых испытаний подтвердили совместимость аналитической MPP СУБД Arenadata DB (ADB) и комплекса обеспечения безопасности СУБД «Гарда DBF». Об этом Arenadata сообщила 8 ноября 2023 года.

Комплексное применение программного стека даст заказчикам возможность обеспечить высокий уровень защиты своего хранилища данных от несанкционированного доступа, а также пресечь случаи корпоративного мошенничества и нежелательных действий со стороны пользователей внутри организации.

В рамках тестирований компании провели проверки: · обнаружения системы Arenadata DB и её настроек в автоматическом и/или ручном режиме в продукте «Гарда DBF»; · определения системой «Гарда DBF» пользователей, подключённых к базе данных ADB; · ведения событий аудита, формируемых Arenadata DB; · влияния функционирования продукта «Гарда DBF» на параметры надёжности и производительности Arenadata DB; · взаимодействия агента подключений «Гарда DBF» с виртуальной средой размещения базы данных Arenadata DB.

Помимо этого, команды Arenadata и «Гарда» испытали Arenadata DB на предмет возможностей конфигурирования, применения политик безопасности, политик хранения сетевого трафика и пороговых значения при использовании СУБД, а также режима поиска статистических аномалий для продукта.

Проведённые испытания дали ожидаемые и положительные результаты, поэтому считаются успешными. Их уникальность заключалось в том, что ранее агент «Гарда DBF» не проверялся на совместимость с аналитической массивно-параллельной СУБД. Подобные испытания проводились только с SMP-системами Postgres и MS SQL.

База данных — довольно уязвимый компонент инфраструктуры, поскольку для работы приложений требуются обширные права, которые лимитировать не всегда удобно и возможно средствами защиты самой базы. Особенно если речь идёт о привилегированных пользователях, например администраторах, которые в БД могут делать практически всё. При этом ценность информации на чтение или запись бывает слишком велика, чтобы доверять её даже администраторам. «Гарда DBF» позволяет осуществлять контроль, в том числе и проактивный, на более глубоком уровне, чем делает это сама СУБД. Поэтому для нас это интересный продукт, который дополняет и расширяет функциональность Arenadata DB, — прокомментировал проведённые тестирования Сергей Золотарёв, директор по стратегическому развитию Arenadata.

Данные в наше время, в период так называемого VI технологического уклада, уже фактически превратились в новую "валюту" и представляют самостоятельную ценность. Таким образом, нарушение состояния их защищённости — нелегитимные изменения, утечка данных или их уничтожение — несёт риски уже ощутимые, перетекающие в реальный, физический мир. В такой ситуации разработчикам систем хранения, обработки, передачи и анализа данных и разработчикам средств защиты само время диктует необходимость создания технологических альянсов для обеспечения защищённости данных, начиная с уровня самой архитектуры комплексных решений. Осознавая ответственность перед пользователями, мы детально прорабатываем совместимость средств защиты "Гарда" с производителями СУБД. Профильная экспертиза команды разработки Arenadata DB позволяет нам совместно предложить потребителям комплексное решение, обеспечивающее как решение задач бизнеса, так и высокий уровень защиты циркулирующей в системе информации, — отметил Павел Кузнецов, директор по продуктам группы компаний «Гарда».

Доступность в облаке Cloud.ru

Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.

Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB (Arenadata DB), ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.

Доступность в beeline cloud

Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.

Совместимость с платформой Rubbles MLOps Suite

ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.

Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata DB. Подробнее здесь.

Получение сертификата ФСТЭК

Arenadata DB (ADB) получила сертификат соответствия ФСТЭК РФ №4675 от 2 июня 2023 года.

Документ удостоверяет, что Arenadata DB сертифицирована по требованиям 6-го уровня доверия и технических условий. Согласно сертификату, ADB соответствует требованиям по безопасности информации, установленным в документе «Требования по безопасности информации, устанавливающие уровни доверия к средствам технической защиты информации и средствам обеспечения безопасности информационных технологий».

На основе технических заключений Arenadata DB внесена в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации от 2 июня 2023 года. Полученный сертификат ФСТЭК действителен до 2 июня 2028 года.

Сертификат ФСТЭК наглядно демонстрирует уровень зрелости Arenadata DB и отражает предъявляемые к отечественным решениям пожелания пользователей. Среди наших заказчиков есть представители государственных компаний и ведомств, объектов критической информационной инфраструктуры (КИИ). К ним предъявляются особые требования по информационной безопасности, включая использование сертифицированных средств защиты. С помощью сертифицированной Arenadata DB наши заказчики могут выполнить такие предписания, — прокомментировал Александр Ермаков, технический директор Arenadata.

2022: Тестирование на совместимость с серверами и дисковыми массивами Gagar>n

Производитель серверного оборудования GAGAR>N совместно с российским разработчиком платформы для работы с данными Arenadata и ИТ-компанией "Т1 Консалтинг" провели тестирование оборудования для работы с Big Data и подтвердили эффективность его использования для создания отечественных комплексов хранения и обработки больших данных. Об этом 26 июля 2022 года сообщили представители "Т1 Консалтинг".

В связи с возросшей потребностью заказчиков в построении ИТ-инфраструктуры на базе российских программно-аппаратных комплексов "T1 Консалтинг" выступил организатором разработки ПАК с использованием ПО Arenadata DB и Arenadata Hadoop на серверной платформе х86 и дисковых массивах GAGAR>N. Перед формированием готового предложения специалисты провели тестирование с целью проверки совместимости вычислительного оборудования с программными решениями. Подробнее здесь.

2021: Доступность в облаке Mail.ru

9 июля 2021 года компания Mail.ru Cloud Solutions (MCS) сообщила о расширении сотрудничества с компанией Arenadata. На облачной платформе MCS стала доступной облачная аналитическая база данных Arenadata DB на базе Greenplum в версии Enterprise. Пользователи платформы смогут бесплатно протестировать данное решение в течение трех месяцев.

Arenadata DB Cloud версии Enterprise может быть интегрирована с другими сервисами Mail.ru Cloud Solutions — например, хранилищами сырых данных, витринами, системами оркестрации и так далее. Такой подход позволяет сформировать аналитическую платформу для решения задач любой сложности, которая станет инфраструктурной основой для работы с большими данными и расширит локальные системы клиента продвинутыми возможностями облака. Благодаря встроенным коннекторам ClickHouse и Kafka, интеграция Enterprise-версии пройдет заметно проще в сравнении с открытой версией Greenplum.

Пользователям облачной Enterprise-версии станут доступны расширенная поддержка и обучение от разработчика решения. Специалисты Mail.ru Group и Arenadata проконсультируют заказчиков по построению платформ для работы с большими данными и помогут с интеграцией с другими решениями, в том числе развернутыми в локальной инфраструктуре. Пользователи платформы Mail.ru Cloud Solutions могут получить бесплатный доступ к Arenadata DB в версии Enterprise на три месяца, оставив заявку на странице решения.

Мы предлагаем клиентам технологии в виде готовых решений. Arenadata DB Cloud версии Enterprise в связке с другими сервисами MCS помогает быстро создать полноценную платформу для работы с большими данными. Эта аналитическая база позволяет работать с Big Data в облаке с помощью простых SQL-запросов. Таким образом, инструменты работы с большими данными становятся доступнее, чем когда бы то ни было, – отмечает Дмитрий Лазаренко, директор по продукту в Mail.ru Cloud Solutions.

Arenadata DB версии Enterprise стала доступна на платформе MCS в виде PaaS-сервиса. Таким образом, администрирование СУБД полностью переходит под ответственность провайдера, который отвечает за его доступность.

На платформе MCS также доступны сервисы, которые позволяют повысить скорость работы Arenadata DB Cloud, такие как сверхбыстрые диски Low Latency NVMe. Их применение вместе с подобными СУБД эффективно для высоконагруженных систем в некоторых отраслях (например, банках и ритейле) и позволяет получить скорость отклика не более 0,5 мс.

В числе первых заказчиков, приступивших к использованию услуги «Arenadata DB как сервис» была компания «Ашан». Arenadata DB Cloud позволит организовать лабораторию данных для различных департаментов компании: логистики, коммерческой дирекции, маркетинга. У них будет возможность проводить исследования, использовать ad-hoc аналитику, ad-hoc репортинг.

Запуск Enterprise-версии Arenadata DB в облаке Mail.ru Cloud Solutions позволяет бизнесу получить комплексную платформу для работы с Big Data без лишних усилий. За счет специальных коннекторов СУБД для наиболее известных решений по работе с данными она быстро интегрируется с другими сервисами MCS и on-premise системами хранения данных заказчика. Российский бизнес получает полностью управляемую аналитическую СУБД корпоративного уровня, которая не требует долгой конфигурации: эксперты Arenadata и Mail.ru Cloud Solutions уже выбрали оптимальные тонкие настройки для работы решения, – подчеркивает Александр Ермаков, технический директор компании Arenadata.

2020

Использование Low-latency SSD для увеличения пропускной способности

Облачная платформа Mail.ru Cloud Solutions (MCS) 16 декабря 2020 года представила на российском рынке очередной тип дисков Low-latency NVMe — технологию сверхбыстрых сетевых дисков.

Разработчик платформы сбора и хранения данных компания Arenadata использовала решение Low-latency SSD для увеличения пропускной способности массивно-параллельной [[<L|базы данных]] Arenadata DB. Подробнее здесь.

Для нас критически важно обеспечить высокую производительность дисковой подсистемы независимо от уровня нагрузки, — рассказал Александр Ермаков, технический директор Arenadata. — При тестировании Low-latency NVME при высокой нагрузке на кластер больше не было эффекта его падения, значительно выросла стабильность дисковой подсистемы и самих серверов. При этом отклик составил не более 0,5 мс.

Совместимость Arenadata DB версии 6.7 с ОС «Альт 8 СП»

СУБД Arenadata DB работает в среде защищенной операционной системы «Альт 8 СП». Об этом стало известно 31 августа 2020 года.

Созданный программный стек будет, в первую очередь, полезен организациям, которые обязаны хранить и обрабатывать крупные массивы информации в среде российской ОС, сертифицированной ФСТЭК России.

ОС «Альт 8 СП» и СУБД Arenadata DB развиваются на основе свободного ПО. Это дает возможность создателям операционной системы, компаниям ИВК и «Базальт СПО», совместно с разработчиками СУБД из компании Arenadata использовать лучшие наработки международных проектов, обмениваясь с ними наработками.

Мы заключили партнерство с «Базальт СПО» и ИВК по многочисленным просьбам наших клиентов и партнеров, — комментирует технический директор Arenadata Александр Ермаков. — Наша команда провела функциональное тестирование Arenadata DB версии 6.7 на расширение кластера и апгрейд системы на базе ОС «Альт 8 СП». Мы планируем применить этот опыт и к другим программным продуктам «Базальт СПО», чтобы предоставить заказчикам полный инструментарий для работы.

Операционная система «Альт 8 СП» позволяет создать доверенную цифровую среду для работы с информацией ограниченного доступа, содержащей служебную, коммерческую и иные виды тайн, а также персональные данные, – отмечает Григорий Сизоненко, генеральный директор группы компаний ИВК. – В сочетании с СУБД Arenadata DB она станет основой цифровой среды организаций, которым необходимо анализировать гигантские массивы данных и надежно защищать полученные результаты.

СУБД Arenadata DB – один из ключевых программных продуктов в обширной экосистеме ПО, совместимого с операционными системами семейства «Альт», - подчеркивает Алексей Смирнов, генеральный директор «Базальт СПО». – Мы планомерно наращиваем экосистему, в первую очередь, – обеспечивая совместимость с наиболее развитыми и надежными программными продуктами.

В дальнейших планах Arenadata — подтвердить совместимость ОС «Альт» с остальными продуктами, входящими в единую платформу данных Arenadata Enterprise Data Platform.

Выход Arenadata DB 6.8.1 c обновленным Command Center

Компания Arenadata 8 июля 2020 года презентовала рынку обновленную версию своей аналитической системы управления базами данных — Arenadata DB. Для подписчиков Enterprise-бандла теперь доступно решение для расширенного мониторинга запросов и потребляемых ресурсов.

Arenadata DB Command Center (ADBCC) — программное обеспечение, которое дополнит Enterprise-версию продукта. Оно позволяет в реальном времени видеть прогресс выполнения текущих запросов, их план, этапы выполнения, распределение по кластеру и другие ценные метрики, а также просматривать исторические данные. Для обновления сервиса подписчикам рекомендуют обратиться к аккаунт-менеджеру.

Продукт претерпел несколько изменений. Появилась поддержка Arenadata Cluster Manager (ADCM) — подключить Command Center можно за два клика в веб-интерфейсе. Добавлены типы пользователей с гибкими правами просмотра и снятия запросов. Дополнительно команда внесла ряд небольших улучшений для удобства пользователя и точности поиска.

Использование Arenadata DB Command Center позволит заказчикам, эксплуатирующим СУБД в продуктовых средах, существенно снизить косты на написание и оптимизацию сложных запросов. Мы постарались сделать Command Center таким, каким сами бы хотели видеть идеальный визуализатор планов. Все два месяца, которые продукт находился в закрытой бете внутри компании, наши разработчики использовали его для анализа запросов, и они остались довольны. Конечно, многое ещё предстоит доработать, и мы надеемся на помощь наших пользователей в определении необходимого функционала. — добавил Дмитрий Павлов, директор по продуктам Arenadata.

Запуск в облаке Mail.ru Cloud Solutions

29 апреля 2020 года стало известно, что Mail.Ru Cloud Solutions (MCS) запускает в облаке Arenadata DB как сервис — аналитическую базу данных на основе распределенной СУБД с открытым исходным кодом Greenplum, предназначенную для хранения и обработки больших объемов данных и легко масштабируемую в рамках одного интерфейса без перезагрузки кластера. Сервис позволяет в несколько кликов развернуть базу для хранения и обработки больших данных, не вкладываясь в собственную инфраструктуру и ее поддержку.

Arenadata DB — это быстрое кластерное решение, с помощью которого можно разворачивать распределенные базы данных. Оно позволяет хранить и обрабатывать большие объемы структурированных и слабоструктурированных данных и строить на их основе модели, например, для BI. В отличие от использования аналогичных аналитических баз данных On Premises, Arenadata DB как сервис позволяет до 5 раз ускорить построение сложных аналитических запросов благодаря возможности быстрого масштабирования до сотен узлов в облачной инфраструктуре MCS.

Облачный доступ к базе данных освобождает бизнес от необходимости покупать серверы, выстраивать и обслуживать инфраструктуру, приобретать лицензии: в MCS компания платит только за использованные мощности с посекундной тарификацией.

В рамках Mail.ru Cloud Solutions мы даем компаниям облачный доступ к самым популярным базам данных, и теперь список пополнился аналитической БД. Мы берем на себя инфраструктуру и администрирование — а наши клиенты смогут сосредоточиться на решении бизнес-задач, — комментирует Илья Летунов, руководитель платформы Mail.ru Cloud Solutions.

Мы видим, что в последнее время Greenplum активно распространяется: его внедряет все большее число российских компаний самого разного размера. Возможность воспользоваться им в облаке раздвигает границы для тех из них, кто не мог опробовать продукт на Bare-Metal. Преимущества такого подхода, например, эластичность и оплату по времени за используемые мощности, уже оценили многие компании. По нашему мнению, Mail.ru Cloud Solutions смогла построить надежное и удобное облако, став одним из лидеров по работе с Enterprise. Мы надеемся, что наш совместный продукт с MCS принесет ряд новшеств на российский рынок и поможет заказчикам достигать поставленных целей, — рассказывает Дмитрий Павлов, директор по продуктам Arenadata.

Одним из главных преимуществ сервиса является тесная интеграция с другими Big Data-сервисами, доступными в облачной платформе Mail.ru Cloud Solutions и используемыми для построения озер данных (Data Lake): Hadoop, Spark, Airflow и Kafka.

Клиенты MCS, работающие в облаке с Cloud Big Data, при подключении Arenadata DB также смогут заметно сократить время передачи данных между решениями, поскольку они находятся в рамках одной сети.

Относясь к MPP-системам (Massively Parallel Processing), Arenadata DB легко масштабируется: для этого достаточно добавить в кластер физические или виртуальные серверы. Клиент MCS сможет в одном интерфейсе установить и настроить все необходимые базы данных для организации хранения данных и эффективной работы с Big Data.

При подключении облачной Arenadata DB компании могут выбрать используемую версию: Community, Enterprise Trial или Enterprise. В течение первого месяца при подключении Arenadata DB aaS по запросу компаниям также предоставляется возможность попробовать Enterprise-версию бесплатно.​

В основе облачной услуги для анализа больших данных от «Крок Облачные сервисы»

Крок Облачные сервисы в партнерстве с Arenadata запускают сервис на основе технологии Big Data. С помощью облачной системы Arenadata DB крупные компании смогут без существенных инвестиций в собственную ИТ-инфраструктуру обрабатывать актуальные и полные данные для запуска услуг и улучшения клиентского опыта. Об этом стало известно 11 февраля 2020 года.

Технологии Big data все шире применяются в корпоративном сегменте для задач бизнес-аналитики и маркетинга, особенно в таких отраслях, как телеком, ритейл, финансы и промышленность. Компании стремятся выявить скрытые закономерности и использовать их для развития бизнеса и увеличения прибыли.

Например, с помощью анализа больших данных можно запускать промо-акции на конкретные товары исходя из прогноза погоды, предлагать подходящие тарифы в зависимости от геолокации абонента, прогнозировать выход из строя промышленного оборудования с помощью информации, получаемой с датчиков на объекте, повышать эффективность кредитного скоринга. Использование подобных решений из облака делает их более доступными для широкого круга организаций.

Запускаемая услуга Крок Облачные сервисы будет востребована как клиентами, которые только приступают к внедрению системы анализа больших данных, так и теми компаниями, которые уже имеют опыт работы с решениями Big Data. В отличие от решений on premise, облачные системы класса Big Data не требуют инвестиций в эксплуатацию и модернизацию собственных вычислительных ресурсов.

В основе данного облачного сервиса лежит продукт Arenadata DB – корпоративное решение, сертифицированное мировым сообществом разработчиков систем с открытым кодом (ODPi, Open Data Platform). Это российская разработка, адаптированная под работу в облаке. Arenadata DB прекрасно справляется с задачами построения корпоративного хранилища данных (КХД), аналитики с помощью BI-инструментов, AD-HOC запросов и data science уровня предприятия. По мере роста объёма данных пользователь просто добавляет серверы в кластер — обо всем остальном ADB позаботится сама.

Интерес бизнеса к Big data очень высок. На рынке мы видим все больше практических кейсов применения технологии в маркетинге, управлении клиентским опытом, в разработке продуктов. Для компаний, которые ищут эффективный инструмент предиктивной аналитики, отчетности и анализа оттока клиентов, такие сервисы будут интересны своим удобством и экономичностью. Возможности сервиса и его потенциал для бизнеса можно протестировать по запросу – для этого мы настроим Arenadata DB в зависимости от требований клиента, рассказал Сергей Зинкевич, продакт-менеджер КРОК Облачные сервисы.

Мы уверены, что сотрудничество с КРОК Облачные сервисы пойдет на пользу и нам, и провайдеру, но в первую очередь пользователям продукта Arenadata. У них появится возможность выбирать, как именно использовать решение для анализа данных – в своей инфраструктуре или из облака. А выбрав SaaS, заказчики смогут быть уверены в постоянной доступности сервиса и получении других преимуществ, которые гарантирует наш партнер: качество поддержки, масштабируемость облачной инфраструктуры, прозрачность затрат и доступ к дополнительным услугам, например, настройке и созданию сетевой связности, отметил Антон Мартынов, директор по работе с партнёрами Arenadata

2019

2018

Доступность в Казахстане

14 ноября 2018 года компания Arenadata, российский разработчик многоцелевой платформы данных, сообщила о доступности на рынке Казахстана российского дистрибутива Arenadata Hadoop (ADH), а также аналитической массивно-параллельной СУБД Arenadata DB. Подробнее здесь.

Arenadata DB. Описание

На ноябрь 2018 года Arenadata DB (ADB) — реляционная СУБД, имеющая массово-параллельную архитектуру без разделения ресурсов (Shared Nothing) и предназначенную для хранения, обработки и анализа больших объемов структурированных и слабоструктурированных данных. Используя вычислительную мощность сотен серверов, продвинутый оптимизатор запросов и гибкую систему резервирования данных, ADB позволяет существенно повысить производительность и надежность, сохраняя унаследованным приложениям ANSI SQL (полностью совместимый с PostgreSQL) доступ к данным.

Архитектура ADB — классический кластер: несколько серверов-сегментов, один сервер-мастер и один резервный, соединенные между собой быстрыми сетями (10G Ethernet или Infiniband). В каждом сервер-сегменте есть несколько сегментов (инстансов) PostgreSQL, содержащих данные. В случае отказа одного или нескольких сегментов они помечаются как сбойные и вместо них запускаются их зеркальные сегменты, репликация данных для которых происходит с помощью используемой в СУБД PostgreSQL технологии опережающей записи (Wright Ahead Log, WAL — все изменения таблиц и индексов записываются в файл только после их занесения в журнал).

Использование нескольких интерконнектов позволяет повысить пропускную способность канала взаимодействия сегментов между собой и обеспечить отказоустойчивость кластера за счет перераспределения трафика. Распределение сегментов по сетевым интерфейсам выбирается индивидуально и может подстраиваться под задачи кластера — так, например, все основные сегменты можно заставить использовать один сетевой интерфейс, резервные сегменты же будет использовать второй.

В ADB реализуется классическая схема разделения (шардирования) данных — каждая таблица состоит из N таблиц, размещаемых на N сегментах кластера. Логика разбиения таблицы на сегменты задается ключом (полем) дистрибуции. Для каждой отдельной колонки в таблице можно задать свой тип и уровень сжатия. Помимо изначально доступных в Greenplum типов компрессии — zlib (одна из самых широко используемых библиотек сжатия, в частности, используется в дистрибутивах Linux) и RLE delta compression (хранение изменений между значениями полей в колонке) — в ADB доступен алгоритм zstandard, разработанный компанией Facebook и имплементированный командой Arenadata, который обеспечивает почти в четыре раза более высокую производительность по сравнению с zlib.

В ADB используется полиморфное хранение данных, например, одну таблицу можно разделить на вертикальные разделы (партиции), часть из которых будет храниться в виде строк, а часть – как колоночные объекты. При этом для пользователя такая таблица будет выглядеть одним объектом.

Безопасность в ADB достигается путем шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла. Кроме этого все внутренние взаимодействия компонентов СУБД ADB (сегменты, зеркала и мастера) также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера, могут быть зашифрованы с помощью ключей PGP (на уровне таблиц или колонок в таблицах). Все это позволяет исключить ситуации нахождения данных в незашифрованном виде.

Разграничения зон видимости данных и прав доступа обеспечивается благодаря ролевой модели доступа (Role Based Access Control, RBAC), позволяющей реализовать гибкие, изменяющиеся динамически в процессе функционирования платформы хранения и обработки данных правила разграничения доступа. Так, например, можно создать схемы ограничения доступа к таблицам и другим объектам СУБД, а также к строкам и столбцам отдельных таблиц.

В ADB реализован протокол параллельного обмена данных со сторонними системами – PXF (Platform eXtension Framework), который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Если система-источник также представляет собой кластер, то можно использовать кластерное взаимодействие с обеих сторон, что позволяет повысить производительность, причем скорость взаимодействия будет расти по мере расширения кластеров.

Гибкая система резервирования позволяет развернуть кластер с заранее заданным уровнем отказоустойчивости, позволяя СУБД работать даже при выходе из строя половины серверов из кластера. А больший выбор стратегий хранения данных в ADB обеспечивает необходимую производительность на всех этапах жизненного цикла данных — от получения новых онлайн-данных, хранения основных данных с разным уровнем компрессии до экспорта архивных данных в кластер Hadoop.

Возможности интеграции ADB с другими системами позволяют использовать эту СУБД для построения универсальных платформ хранения и обработки данных, таких, как Arenadata Enterprise Data Platform (EDP) — открытое горизонтально масштабируемое решение для хранения и обработки больших объемов данных любых типов. Платформа работает с нагрузками от OLTP до OLAP, поддерживает доступ к данным как на языке SQL, а также работу с библиотеками на Python.

Платформа Arenadata EDP состоит из трех тесно связанных между собой компонентов с помощью фреймворка параллельного доступа: кластера Arenadata Hadoop, кластера ADB и кластера Arenadata In-memory Grid. В СУБД ADB создаются таблицы, источниками данных для которых служат как данные из самой СУБД, так и данные из HDFS-кластера Hadoop и данные из оперативной памяти кластера In-memory Grid. Для управления внутренними процессами и процессами загрузки данных используется Nifi — открытый процессор ETL/ELT, а для доступа к пользовательским данным и их аналитической обработке — Apache Zeppelin.

Для эффективного использования СУБД необходимы средства управления и мониторинга — в ADB имеется пакет средств администратора: ПО мониторинга, управления СУБД и отправки уведомлений.

Высокая скорость обработки сложных запросов, линейное масштабирование, отсутствие специфических требований к аппаратному обеспечению, открытый исходный код, гибкость интеграции вполне позволяют применять Arenadata DB в качестве аналитического хранилища данных корпоративных информационных систем.