Databricks Cloud

Продукт
Разработчики: Databricks
Технологии: BI,  СУБД

Главный управляющий: Йон Стоика (Ion Stoica)

Одним из самых значительных успехов на арене «больших данных» был выпуск Apache Spark в мае 2014 года. Это механизм обработки-в-памяти с открытым кодом, превосходящий платформу Hadoop по производительности аналитики данных[1].

Компания Databricks была создана несколькими разработчиками Spark и в июне 2014 года предложила платформу Databricks Cloud, построенную на данной технологии. Эта хостинговая платформа, которая проходит бета-тестирование, упрощает развертывание и предоставление Spark и поставляется с набором встроенных приложений для сбора и анализа данных. Организация может, к примеру, использовать Databricks Cloud, чтобы быстро обрабатывать и анализировать данные, хранимые в Amazon S3.

Databricks имеет отношение к Apache Spark, однако компания в значительной степени модифицировала фреймворк, снабдив его более высоким уровнем абстракции API и более быстрой обработкой данных в памяти (in-memory processing), поэтому он не только дополняет возможности «традиционного» Hadoop, но и может выступать его заменой. Модификация Databricks — Delta Lake — это полностью управляемая Open Source-версия Spark, которая работает в облаке и поставляется с несколькими проприетарными расширениями[2].

Delta Lake — чисто облачный проект, который применяется рядом крупных клиентов по всему миру. По словам одного из создателей Apache Spark и технического директора Databricks Матея Захарии, клиенты мигрируют со Spark на платформу Databricks по разным причинам, но часто это продиктовано требованиями бизнеса, который все чаше ориентируется на работу с облачными сервисами. Желание клиентов связать озера данных, которые находятся как в облачном, так и в локальном хранилище, и стало для компании побудительным мотивом к созданию решения для обеспечения их надежности.

«
«Озеро данных сегодня есть почти у каждой компании. Они пытаются добыть из него информацию, но ее ценность и надежность часто вызывает сомнения. Delta Lake устраняет эти проблемы — об этом говорит интерес к этому решению сотен предприятий. Учитывая, что Delta Lake обладает открытым кодом, разработчики смогут беспрепятственно создавать надежные озера данных», — сказал соучредитель и генеральный директор Databricks Али Годси.
»

Он также пояснил, что из себя представляют «Delta-озера данных» и какие типы файловых систем и данных они поддерживают. «Delta Lake располагается поверх вашей СХД (но не заменяет ее) и предлагает транзакционный уровень хранения как в формате HDFS, так и в формате BLOB-объектов Azure, хранящихся в облачном хранилище, к примеру, S3. Пользователи могут скачать Delta Lake и совмещать его с HDFS в онпремис-варианте. Они также могут считывать данные из любой системы хранения, которая поддерживает источники данных Apache Spark, и записывать в Parquet — формат хранения, который понимает Delta Lake», — сказал Годси.Как зародилась масштабная коррупционная схема при внедрении ИТ в ПФР при участии «Техносерва» и «Редсис». Подробности 38.6 т

Databricks отдала предпочтение Apache Parquet, потому что этот колоночно-ориентированный (столбцовый) формат хранения данных изначально создавался для экосистемы Hadoop и не зависит от выбора среды обработки данных. Delta Lake выступает в качестве слоя поверх поддерживаемых форматов хранения данных.

Примечания



СМ. ТАКЖЕ (2)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (19, 330)
  SAP SE (70, 301)
  Oracle (65, 267)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
  Другие (1081, 1514)

  SAP SE (6, 13)
  Qlik (QlikTech) (2, 8)
  Форсайт (2, 8)
  Microsoft (2, 6)
  Доверенная среда (1, 5)
  Другие (47, 73)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 175)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 118)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 37)
  Другие (253, 201)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год