Большие данные (Big Data) в России

Сквозная аналитика

Основная статья: Сквозная аналитика

2023

Минцифры РФ создает фабрику больших данных

8 ноября 2023 года в Министерстве цифрового развития, связи и массовых коммуникаций РФ рассказали о создании фабрике больших данных. Речь идет о госпроекте с использованием технологий искусственного интеллекта.

Будет создана государственная фабрика больших данных, где будет происходить накопление, формирование датасетов, прежде всего, на основе данных, которые уже есть у государства, - рассказал глава Минцифры Максут Шадаев 8 ноября 2023 года.

Он отметил, что данными из этой фабрики смогут пользоваться разработчики ИИ-технологий, чтобы тренировать различные нейросети. Приоритетными областями, где будет использоваться ИИ, глава Минцифры назвал образование, здравоохранение, сферы безопасности и обслуживания.

Второе. На основе тех данных, которое государство на определенных условиях будет забирать у бизнеса. В этом смысле это тоже будет большая регуляторная поправка. И в этом государственном Data Lake будут формироваться Data Set и будут предоставляться разработчикам технологий, чтобы они могли тренировать свои нейросети для дальнейшего предоставления сервисов на конкурентной основе, - сообщил Шадаев.

По его словам, государство сосредоточилось на переходе от стратегии к практическому внедрению и акцентам на данных, что, как добавил министр, должно «выльется в конкретные предложения».

8 ноября 2023 года Шадаев также рассказал, что в ближайшее время на стратегической сессии планируется обсуждение нацпроекта «Экономика данных». Планируется обсудить основные мероприятия, финансирование, а также конкретные регуляторные механизмы.Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 5.9 т

Нацпроект должен предусматривать сбор данных, в том числе с использованием высокочувствительных датчиков на основе квантовых сенсоров, передачу данных и развитие систем связи нового поколения, создание инфраструктуры вычисления и хранения данных с использованием отечественных оборудования, технологий и программного обеспечения, обеспечение безопасности данных, в том числе с использованием технологии квантового шифрования.^[1]

Путин призвал использовать большие данные

16 марта 2023 года, выступая на съезде Российского союза промышленников и предпринимателей (РСПП), президент РФ Владимир Путин призвал к повсеместному развитию цифровых решений и технологий Big Data. Подробнее здесь.

2021

В России утвердили первый национальный стандарт в области больших данных

В России утвердили первый национальный стандарт в области больших данных. Об этом стало известно в середине июля 2021 года.

Речь идёт о ГОСТе «Информационные технологии. Большие данные. Обзор и словарь» идентичен международному стандарту Information technology – Big data – Overview and vocabulary, пишут «Ведомости» со ссылкой на разработчиков документа из Национального центра цифровой экономики МГУ и Института развития информационного общества.

Стандарт призван обеспечить в предметной области «большие данные» взаимопонимание между органами власти, коммерческими компаниями и научно-образовательным сообществом. ГОСТ приводит переводы англоязычных терминов, относящихся к большим данным, на русский язык и расшифровывает их значения. Также приводятся ключевые характеристики больших данных (объем, скорость обработки, разнообразие и вариативность) с объяснением их значения.

Принятие первого национального стандарта задает вектор совместных действий власти, бизнеса, научно-образовательного сообщества по развитию экономики данных в России, — считает председатель совета директоров Института развития информационного общества Юрий Хохлов. — Мы ставим перед собой задачу сократить отставание в стандартизации больших данных.

В дальнейшем планируется принять еще восемь национальных стандартов в сфере больших данных, касающихся их эталонной архитектуры, безопасности, методов анализа, сценариев использования и др., рассказал Хохлов. Он добавил, что часть из них к середине июля 2021 года разработана, а другая часть будет разрабатываться вместе с международными стандартами.

По мнению председателя технического комитета «Кибер-физические системы» при Росстандарте Никиты Уткина, терминологический стандарт действительно необходим, так как он должен позволить участникам рынка больших данных общаться на одном языке.^[2]

Минцифры создаст госоператора больших данных

18 мая 2021 года стало известно о планах Министерства цифрового развития, связи и массовых коммуникаций РФ создать госоператора больших данных. Его услуги, как ожидается, будут платными для компаний.

О предложении Минцифры предоставлять большие данные, накопленные министерствами и ведомствами, коммерческим разработчикам искусственного интеллекта говорится в концепции доступа к государственным дата-сетам, представленной министерством на заседании рабочей группы АНО «Цифровая экономика».

Как пишут «Ведомости» со ссылкой на соответствующий документ, предоставлять доступ к государственным большим данным будет специализированная госорганизация. Она станет формировать дата-сеты на основании запросов разработчиков ИИ, осуществлять их анонимизацию и обезличивание, а также обеспечит создание и эксплуатацию инфраструктуры доступа к государственным наборам данных. Также госоператор будет решать, какие данные можно предоставлять тому или иному заказчику. Например, большими данными, имеющими ту или иную степень секретности, делиться будут с организациями, аккредитованными профильными ведомствами (например, ФСБ).

Возможность создать единую фабрику данных делает государство уникальным оператором, который имеет в своем распоряжении практически неограниченное количество датасетов и их комбинаций. Такие базы представляют интерес для бизнеса, который выстраивает маркетинговые коммуникации и планы развития, опираясь на аналитику датасетов, — объяснил вице-премьер Дмитрий Чернышенко.

По его словам, внедрение искусственного интеллекта будет способствовать увеличению производительности предприятий и ускорит цифровую трансформацию.

Замглавы Минцифры Олег Качанов отметил, что работа с персональными данными требует строгого порядка и призвал операторов при формировании наборов в первую очередь обеспечивать невозможность персонификации.^[3]

В РФ разработан нацстандарт о структуре эталонной архитектуры больших данных

12 января 2021 года стало известно о разработке в России национального стандарта о структуре и процессе применения эталонной архитектуры больших данных. Его создали Национальном центре цифровой экономики МГУ имени М.В. Ломоносова и Институте развития информационного общества.

Национальный стандарт «Информационные технологии. Эталонная архитектура больших данных. Часть 1: Структура и процесс применения» входит в серию из пяти стандартов по эталонной архитектуре больших данных и представляет собой русскоязычную адаптацию международного технического отчета ISO/IEC TR 20547-1:2020 Information technology – Big data reference architecture – Part 1: Framework and application process.

Документ содержит описание структуры эталонной архитектуры системы для работы с большими данными, а также обеспечивает решение задачи отображения в эталонной архитектуре возможных вариантов использования больших данных. Положения национального стандарта могут применяться организациями для описания архитектуры конкретных систем для работы с большими данными и реализации этих систем с учетом используемых технологий, а также ролей/исполнителей и их потребностей.

В документе дано концептуальное представление эталонной архитектуры больших данных, а также базовых понятий: эталонная архитектура, интерес, заинтересованная сторона, область применения, структура архитектуры, пользовательское и функциональное представление, процесс применения, идентификация заинтересованных сторон и др.

Представленный проект национального стандарта наряду с другими частями серии стандартов 20547-Х будет способствовать эффективному использованию сквозной цифровой технологии «большие данные» для решения экономических и социальных задач при реализации национальной программы «Цифровая экономика», считают авторы инициативы.^[1]

2020

Big Data в России: как ускорить применение таких технологий и кому они выгодны

От пилотных проектов к осознанному внедрению

Технологии работы с большими данными уже применяются практически во всех отраслях экономики. Если несколько лет назад за анонсами о внедрении Big Data скрывались пилоты и апробации, то сейчас организации всерьез заняты разработкой корпоративных стратегий работы с данными с учетом бизнес-задач и формирования технологической инфраструктуры.

Ещё несколько лет назад эти технологии использовались преимущественно крупным сетевым и онлайн-ритейлом, страховыми компаниями, банками, маркетинговыми подразделениями крупных производственных корпораций. На сегодня технологии Big Data в том или ином масштабе используются повсеместно: наиболее эта тенденция очевидна в госсекторе, социальной сфере, добывающих отраслях промышленности, строительстве, - рассказывает Алексей Барышкин, эксперт по цифровому взаимодействию власти и бизнеса компании «Нетрика».

По мнению Алексея Артеменко, регионального директора Qlik Россия и СНГ, сам термин Big Data в последнее время стал использоваться более осознанно. Ажиотаж по поводу термина прошел, и те компании, кому действительно актуально анализировать большие массивы данных, развертывают соответствующие решения.

Идет плавный рост спроса, подтверждает Антон Чехонин, генеральный директор компании «Норбит» (входит в группу «Ланит»). По его словам, у тех, кто пользуется этой технологией, стало возникать больше понимания, что для её применения требуется более детальная проработка бизнес-процессов. Также выявляются и решаются задачи нормализации данных для повышения эффективности применения этой технологии.

Руководитель центра экспертизы решений компании «Форсайт» Алексей Выскребенцев, приводит пример, что еще пару лет назад продукт «Форсайт. Аналитическая платформа» внедряли преимущественно для «классической» бизнес-аналитики, тогда как сейчас стало довольно много запросов на системы с «продвинутым» инструментарием для анализа массивов данных и возможности получать бизнес-инсайты.

Реальным драйвером использования и продвижения технологий Big Data в масштабах всей страны в последние годы стали государственные структуры, полагает Алексей Мамонов, генеральный директор компании «Центр Аналитических Систем».

Сейчас уже невозможно себе представить ни одну системообразующую госкорпорацию, которая бы не вела крупные проекты именно в области Big Data. Соответственно, уже в ближайшие годы мы увидим, что и повседневные, и стратегические практики управления будут базироваться именно на «больших данных». Более того, сейчас государство является одним из основных поставщиков базовых данных для использования в корпоративных системах. Очевидно, что эти процессы будут только развиваться, а бизнес, в, свою очередь, – выводить на рынок все новые и новые решения для обработки информации и встраивания аналитических инструментов в корпоративные ИС, - говорит Алексей Мамонов.

Хайп вокруг Big Data затихает, но задачи работы с большими массивами информации сохраняются, и, соответственно, сохраняется потребность в технологиях, способных обрабатывать растущие — часто в геометрической прогрессии — объемы данных, считает Артем Гришковский, коммерческий директор компании «Триафлай» («Доверенная среда», входит в ГКС).

По его словам, работа с такими массивами без применения новых решений в области Big Data невозможна и не даст ожидаемого эффекта. В настоящее время происходит процесс накопления опыта, освоения возможностей и понимания перспектив новых технологий и со стороны заказчиков, и со стороны исполнителей, и в ближайшие годы применение BI-технологий будет расширяться.

Андрей Краснопольский, генеральный директор Консультационной группы АТК, считает, что все больше компаний не просто понимают необходимость применения технологий Big Data, но и начинают экспериментировать, внедряя различные решения и методологии, которые, в том числе, повышают эффективность команды разработки и анализа. Бизнес научился работать с данными в разных разрезах, от обнаружения данных и работы с фактами, до предиктивной аналитики, и уже машинного обучения, считает он.

Александр Елин, генеральный директор "Алан-ИТ", замечает, что число компаний, которые готовы платить за прогнозы и последующие результаты растёт, однако большая часть организаций всё ещё не понимает ценность аналитики данных для бизнеса.

Необходимость готовых практик

Дмитрий Саввин, архитектор BI-решений Qlever Solutions, считает, что заказчикам скорее нужны готовые практики извлечения ценности, чем исследовательские проекты. Они с удовольствием воспользовались бы результатом, который кто-то уже получил. Но придумывать, как извлечь из разрозненных данных нечто ценное — это совсем другой бизнес и скорее задача вендоров.

Простой пример. Польза видеоаналитики и распознавания посетителей в ритейле несомненна. Но заказчику предпочтительнее не инвестировать в технологию, а купить готовое решение, выгода от которого будет сразу понятна, - поясняет Саввин.

Безусловно, заказчики хотят использовать Big Data и AI. Но в основе такого желания сегодня зачастую лежит не прагматичный расчет, а скорее опасение проиграть конкуренцию в будущем. Например, вследствие того, что оказалась упущена какая-то тенденция или «большая вещь».

Возможности для ускорения рынка Big Data

По мнению Юрия Ефарова, генерального директора Sapiens solutions, ускорить внедрение технологий Big Data в России могло бы появление в компаниях культуры «доверия» облачным решениям и технологиям.

В настоящий момент наблюдается консервативное стремление компаний хранить собственные данные в собственной инфраструктуре при том, что поставщики решений BI все чаще предлагают облачные решения, объясняя их преимущества.

Еще один важный фактор – это стабильность экономики и инвестиции. В спокойные времена компании более активно и уверенно инвестируют в инновационные решения.

Как отмечает Александр Елин, генеральный директор "Алан-ИТ", для разработки и вывода на рынок качественного продукта, отвечающего запросам пользователей, необходимы финансовые вложения.

Другой аспект – кадры. Ситуация такова, что даже на профильных специальностях студенты не получают необходимой практики и не информированы о возможности работы в сфере Big Data.

Сотрудничество с университетами и стажировки со стороны компаний, финансирование со стороны государства и инвесторов, могли бы ускорить внедрение технологий Big Data в России, - считает гендиректор "Алан-ИТ".

Также ускорить внедрение технологий Big Data могла бы большая открытость тех компаний, которые первыми в своей отрасли начали работу с большими данными.

Такие компании являются «локомотивами»: им всегда сложнее, но при этом они могут помочь другим двигаться в правильном направлении. Поэтому хотелось бы, чтобы компании, у которых есть успешные кейсы, делились ими с другими представителями своей отрасли, - говорит Светлана Белоус, Business development manager в компании Navicon.

Иван Вахмянин, CEO и со-основатель Visiology, считает, что для ускоренного развития рынка Big Data не хватает решимости руководителей, поскольку и технологии, и опыт внедрения зачастую уже есть.

При внедрении Big Data и аналитики есть элемент риска, потому что ROI от более эффективного контроля и управления не всегда просто посчитать, но риска более чем оправданного в современных условиях. Думаю, что ускорить внедрение технологий Big Data, да и вообще любых цифровых технологий можно только путем развития компетенций руководителей в области принципов и возможностей цифровизации, - считает Иван Вахмянин.

По мнению Алексея Мамонова, новый импульс развитию и внедрению Big Data в России мог бы придать регулярный диалог бизнеса и государства (где первые создают профессиональный инструментарий, а вторые – выступают поставщиком данных), призванный создать реальный механизм внедрения данных технологий в масштабах всей страны. Но стратегическая задача – поставить «на промышленную основу» обучение специалистов, обеспечить массовый приток квалифицированных управленцев, инженеров и аналитиков; научить их правильной работе с данными.

Умение грамотно пользоваться данными (Data Literacy) для высокоэффективного управления должно быть у них «в крови». Добиться этого можно только совместными усилиями государства, бизнеса и образовательных учреждений. Возможно, я бы даже настаивал здесь на создании новых кафедр и специализаций в ВУЗах различных профилей. Но не нужно ждать, – уже сейчас можно использовать представленный на рынке доступный, простой и мощный инструментарий, позволяющий работать с большими данными «здесь и сейчас», - говорит гендиректор «Центра Аналитических Систем».

Кому выгодно внедрение технологий Big Data

Выгоды от аналитики Big Data получают те компании, в которых выстроена высокая культура работы с данными, считают эксперты. В таких организациях у данных есть владельцы, заинтересованные в их качестве, полноте и актуальности, налажены процессы управления жизненным циклом данных.

В них, независимо от отрасли, данным верят и готовы принимать взвешенные решения, основанные на знаниях, полученных из данных, говорит Рустем Ибрагимов, заместитель генерального директора компании «БАРС Груп».

Такие процессы, по его словам, исторически раньше стартовали в банковском секторе, ритейле, фармацевтике и ряде других сфер. Они стали основой конкурентных преимуществ, но эти тренды уже давно вышли за рамки отраслей и становятся де-факто стандартом современных инструментов управления как в корпоративном, так и государственном секторе.

Артем Гришковский, коммерческий директор компании «Триафлай» («Доверенная среда», входит в ГКС), считает, что наибольшие выгоды от внедрения аналитики Big Data могут получить государственный сектор, ритейл, финансовый сектор, и такие и технологические области как робототехника и интернет вещей.

Массивы данные, накапливаемые в базах федеральных и региональных органов власти (например, данные по гражданам, обращениям, госуслугам…) хранят в себе огромный, пока не извлеченный потенциал. На больших массивах данных базируются решения задач предиктивной аналитики, создания имитационных и эконометрических моделей, построения цифровых двойников для ритейла, финансового и корпоративного сектора. Огромный объем данных для получения нового полезного знания дают информационные потоки от различных датчиков, - комментирует он.

На уровне государства выигрывают все – от федеральных министерств до регионов и муниципалитетов, считает Алексей Мамонов, генеральный директор компании «Центр Аналитических Систем».

Большинство территориальных образований к этому уже готово, ведь это ведет к быстрому результату и позволяет реализовывать долгосрочные стратегии развития, - отмечает он.

Если говорить коротко, то любая компания, имеющая большие данные, внедряя аналитику Big Data, сокращает многие издержки, считает Андрей Краснопольский, генеральный директор Консультационной группы АТК.

Например, это крупные ритейл сети, которым необходимо закупать, складировать, перемещать и доставлять товар, а также производственные компании любой отрасли, в которые подразумеваются многоитерационные процессы, - говорит он.

Сергей Шестаков, генеральный директор Группы компаний Luxms, добавляет, что выгоды от внедрения аналитики Big Data можно получить везде, где есть потребность оперативного управления по показателям, с возможностью быстрой и наглядной детализации вплоть до первичных данных. Прежде всего это телеком, ритейл и электронная коммерция, финансовый сектор, транспортная отрасль и, безусловно, госуправление.

На продажи и производство аналитика данных оказывает понятное влияние, отмечает Александр Елин, генеральный директор "Алан-ИТ". Например, прогнозирование объёма продаж, объём необходимого для производства и продаж товара, оптимальное место для открытия филиалов - те вопросы, которыми чаще всего задаются владельцы магазинов, оптовых и производственных предприятий и внедрение аналитики даёт на них ответ.

Однако на самом деле в любой сфере, где есть факторы, поддающиеся оцифровке и оценке, внедрение аналитики, по его словам, обеспечивает измеримый эффект: наука, металлургия, сельское хозяйство. Системы собирают данные о показателях и факторах, которые изменялись и влияли на показатели, а затем строят прогноз, что позволяет компании точно планировать деятельность.

Например, в сельском хозяйстве, на надой молока влияют погода, качество и количество корма, другие показатели, отслеживая которые можно добиться устойчивого увеличения надоев более чем на 15%. В зависимости от размера хозяйства, стоимость 15% в денежном выражении может быть весьма и весьма внушительной. Чем большее число факторов влияет на результат и чем сложнее собрать вместе данные и установить связь - тем более выгодной может быть внедрение аналитики Big Data, - полагает Александр Елин.

Светлана Белоус, Business development manager в компании Navicon, считает, что большие выгоды от внедрения аналитики Big Data могут получить компании из индустрии CPG (Consumer Packaged Goods). Они активно накапливают данные и инвестируют в их анализ и обработку, так как понимают: именно данные позволяют выстраивать персонализированные отношения с клиентами и способствуют росту продаж.

Благодаря инструментам обработки Big Data CPG-компании изучают предпочтения своих покупателей и стремятся предлагать каждому из них качественный и максимально подходящий продукт. Мне, как специалисту из ИТ-сферы, нравится такая внимательная работа с данными. Но я также могу оценить ее как потребитель CPG-товаров: на мой взгляд, персонализированные рассылки, скидки или рекомендации подкупают и выделяют бренд на фоне прочих, отмечает она.

Алексей Барышкин, эксперт по цифровому взаимодействию власти и бизнеса компании «Нетрика», добавляет, что мощный толчок аналитика Big Data получит в медицине, биотехнологической отрасли и сфере персональной безопасности. По его словам, серьезный эффект от качественной аналитики Big Data в свете борьбы с пандемией, преодоления ее последствий, профилактики дальнейшего распространения во многих случаях виден уже сейчас.

Минкомсвязи отозвало законопроект о регулировании рынка Big Data

15 июня 2020 года Минкомсвязи сообщило об отзыве законопроекта о регулировании рынка Big Data. Речь идёт о поправках в Закон об информации, информационных технологиях и защите информации, вводящих новые правила обращения с большими данными. 

С учетом состоявшихся обсуждений, в том числе в Правительстве Российской Федерации, принято решение об отзыве указанного законопроекта из Правительства Российской Федерации, — говорится в письме статс-секретаря – заместителя министра Людмилы Боковой, направленном президенту Российского союза промышленников и предпринимателей (РСПП) Александру Шохину.

Ранее в 2019 году Александр Шохин написал письмо министру цифрового развития, связи и массовых коммуникаций Максуту Шадаеву с замечаниями по поводу законопроекта. В том письме говорилось, что Комитет РСПП по интеллектуальной собственности и креативным индустриям и комиссия РСПП по связи и информационно-коммуникационным технологиям пришли к выводу, что документ не отвечает потребностям ведения бизнеса – не создает гарантий для ведения предпринимательской деятельности, основанной на создании и обработке больших объемов данных, а также защиты интеллектуальных прав.

По мнению профильных комиссий и комитета, законопроект не удовлетворяет не только потребностям бизнеса, но и общества, так как в нем не прописано ограничение оборота данных о гражданах или возможность применения антимонопольных мер к агрегаторам таких данных. Нерешенной остается и проблема доступности данных, которые госорганы собирают в рамках исполнения публичных функций.

Среди недостатков законопроекта: включение в категорию больших данных практически любых сведений независимо от источника и способа получения, высокая коррупционная емкость, избыточное регулирование «операторов больших данных» (под это определение согласно законопроекту подпадает любой человек, обрабатывающий что-либо, в том числе вручную).

В России разработан основополагающий национальный стандарт для Big Data

8 мая 2020 года стало известно о разработке в России основополагающего национального стандарта для больших данных. Соответствующий проект представили Национальный центр цифровой экономики МГУ имени М.В. Ломоносова и Институт развития информационного общества.

Стандарт «Информационные технологии. Большие данные. Обзор и словарь» устанавливает термины и определения основных понятий в области технологий работы с большими данными. Применение таких технологий актуально в телекоммуникационном секторе, банковской сфере, энергетике, здравоохранении и других отраслях. 

Стандарт призван обеспечить в предметной области «большие данные» взаимопонимание между заинтересованными сторонами – органами власти, коммерческими компаниями и научно-образовательным сообществом. Унификация понятийного аппарата поспособствует единству восприятия информации, повысит скорость ее распространения, а также создаст предпосылки для взаимного проникновения отечественных и мировых исследований в сфере технологий работы с большими данными.

Национальный стандарт входит в серию национальных стандартов, гармонизирующих международные документы в области больших данных, и идентичен положениям действующего международного стандарта ISO/IEC 20546:2019 Information technology – Big data – Overview and vocabulary.

Технологии работы с большими данными достигли высокого уровня зрелости, их применение приносит ощутимые эффекты в разных отраслях экономики и областях социальной сферы, — говорит Юрий Хохлов, председатель совета директоров Института развития информационного общества, руководитель рабочей группы по большим данным Технического комитета 164 «Искусственный интеллект». — Стандартизация процессов разработки и использования технологий хранения и анализа больших данных позволяет обмениваться лучшими практиками, использовать подходы и решения, подтвердившие свою результативность как в России, так и во всем мире.[2]

Как Москва использует Big Data при предоставлении госуслуг

Выступая на конференции TAdviser Big Data и BI Day 4 марта, начальник отдела аналитики и мониторинга управления развития госуслуг ДИТ Москвы Александр Филатов рассказал об опыте использования инструментов предиктивной аналитики в городе. За несколько лет отдел прошел путь от предоставления простых данных по статистической отчетности до использования продвинутых математических методов в своей повседневной работе, отметил он.

Для госструктур, в отличие от коммерческих организаций, на первый план выходит не достижение каких-то экономических показателей, а достижение показателей госпрограмм и четкое следование регламентам сервисов, включая сроки исполнения. С этим связаны первые две задачи подразделения.

Третья задача связана со сбором, хранением и обработкой данных, которые возникают при взаимодействии граждан с органами власти. Всего используются порядка 30 источников данных, у каждого из которых есть своя история и свои проблемы. Чтобы этим управлять, внедряются в том числе и математические модели предиктивного анализа.

Еще одна задача, в которой отдел аналитики и мониторинга управления развития госуслуг косвенно принимает участие, - это повышение привлекательности сервисов для пользователя.

В числе данных, которые используются, к примеру, те, которые предоставляет пользователь для оказания ему услуг, а также данные транзакций, которые возникают при взаимодействии пользователя с органами власти.

Данные из источников собираются в хранилище, к ним добавляется нормативно-справочная информация и все это подается на вход математическим моделям, реализованным отдельным слоем на микросервисной архитектуре, и на выходе выдается конечный результат.

Предиктивная аналитика используется, к примеру, для поиска временных рядов, чтобы спрогнозировать значения показателей и выявить какие-то аномалии процессов, говорит Александр Филатов.

На вход алгоритму мы подаем временной ряд транзакций, а на выходе получаем прогнозное значение и интервал, в пределах которого это значение может колебаться, - объяснил представитель ДИТ Москвы. – Это можно использовать для прогнозирования показателей госпрограмм.

Еще один пример – расчет нагрузки на инфраструктуру и прогнозирование необходимости выделения дополнительного пула ресурсов под какие-то всплески. Также осуществляется мониторинг значения показателей работы процессов оказания госуслуг.

Например, если мы видим, что происходит аномально большое число отказов в предоставлении какой-либо услуги, это является сигналом для наших органов, которые занимаются контрольно-надзорной деятельностью и методическим обеспечением процесса, чтобы выйти «в поле» и разобраться на месте, что происходит, - говорит Александр Филатов.

Другое направление связано с управлением источниками данных: прогнозируется, сколько записей с данными каждый источник должен передать в случае, если наблюдается какое-то аномальное значение.

Большой пласт работы связан с изучением поведения пользователей. Берутся пользовательские данные о транзакциях, оцифровываются и переводятся в векторное пространство. На основе методов классификации и кластеризации можно смотреть по группам пользователей, какие группы услуг их интересуют, а можно смотреть выборку по услугам – каким категориям пользователей эти услуги интересны.

Если мы добавляем к наборам данных временные метки, мы можем использовать алгоритмы ассоциативных правил, и тогда можно смотреть не только группы, но и видеть последовательность услуг, которые были заказаны пользователем и спрогнозировать цепочку его последующих действий, - объяснил Александр Филатов. – Таким образом, мы собираемся формировать «супер-сервисы» на основе анализа предпочтений пользователя – наиболее приемлемые для него пакеты услуг.

Минкомсвязи предложило регулировать Big Data

Мин­ком­свя­зи в феврале 2020 года раз­ра­бота­ло про­ект за­кона, нап­равлен­ный на ре­гули­рова­ние рын­ка боль­ших дан­ных (big data). В до­кумен­те ми­нис­терс­тво вво­дит оп­ре­деле­ния по­нятий: боль­шие дан­ные, опе­ратор боль­ших дан­ных и об­ра­бот­ка боль­ших дан­ных. Кон­тро­лиро­вать обо­рот big data бу­дет Рос­комнад­зор. Для это­го ве­домс­тво соз­даст ре­естр опе­рато­ров боль­ших дан­ных. Иг­ро­ки рын­ка на­зыва­ют за­коноп­ро­ект "сы­рым" и неп­ро­думан­ным^[3].

Согласно законопроекту, большие данные определяются так: "Большие данные - совокупность неперсонифицированных данных, классифицирующая по групповым признакам, в том числе информационные и статистические сообщения, сведения о местоположении движимых и недвижимых объектов, количественные и качественные характеристики видов деятельности, поведенческие аспекты движимых и недвижимых объектов, полученных от различных владельцев данных либо из различных структуированных или неструктуированных источников данных, посредством сбора с использованием технологий, методов обработки данных, технических средств, обеспечивающих объединение указанной совокупности данных, ее повторное использованием, систематическое обновление, форма представления которых не предполагает их отнесение к конкретному физическому лицу".

В проекте поправок в ФЗ "Об информации, информационных технологиях и о защите информации" говорится, что под большими данными подразумеваются все данные, которые можно получить от владельцев структурированных и неструктурированных источников, используя любые технологии и средства.

Операторами больших данных могут быть госорганы, муниципальные органы, юрлица или физлица, саморегулируемые организации или общественные объединения (НКО и иностранные агенты тоже), которые организуют или сами обрабатывают big data. Определяют цели обработки больших данных, их состав и алгоритм действий с ними.

Под обработкой больших данных подразумевается действие или совокупность действий, которую совершают операторы больших данных с помощью средств автоматизации или без их использования. Речь идет о сборе, записи, систематизации, накоплении, хранении, обновлении, изменении, а также об извлечении, использовании, передаче, удалении, уничтожении и анализе таких данных.

Согласно тексту законопроекта, определять принципы, права и обязанности операторов big data, порядок, контроль и условия их оборота будет Правительство РФ.

2019: Создание кодекса саморегулирования рынка больших данных

В конце августа 2019 года стало известно о том, что Институт развития интернета (ИРИ) и Ассоциация больших данных (АБД) разработали кодекс саморегулирования, которые, как ожидается, позволит избежать дополнительных законодательных ограничений.

Инициатива среди прочего призвана решить вопрос о возможности свободно использовать общедоступные данные — например, размещенные в социальных сетях, передаёт «Коммерсантъ».

Согласие на обработку персональных данных может быть получено в любой форме, в том числе дистанционно. Но при этом использование данных для таргетированного маркетинга будет признано этичным. Однако лишь в том случае, если предложения позволят потенциальному приобретателю «обеспечить оптимальный выбор товаров» и не будут являться «необоснованно навязчивыми».

Генеральный директор ИРИ Сергей Петров отметил, что в данном случае «необходимо учитывать не только законы рынка, но и права потребителей».

В ассоциации отмечают, что в течение пяти лет российский рынок вырастет в 10 раз, до 300 млрд рублей к 2024 году, что требует его «профессиональной регламентации».

Разработка единого закона на данном этапе может не оправдать ожиданий. У каждого вида данных своя специфика, которую трудно прописать языком юриспруденции, — считает Сергей Петров.

Регулирование больших данных обсуждается в правительстве и Госдуме, свои концепции предлагали центр компетенций АНО «Цифровая экономика» и Фонд развития интернет-инициатив (ФРИИ).

По мнению председателя комитета Госдумы по информполитике Леонида Левина, саморегулирования рынка будет недостаточно — необходимы и законодательные инициативы.

Нужно определить, какой объем информации о пользователях бизнес может использовать и обрабатывать и каким образом эти данные должны храниться, — полагает он.[4]

2018

Boston Consulting Group для Ассоциации Больших Данных

В каких сферах наиболее востребованы технологии Big Data

Трудно назвать отрасль, где технологии анализа больших данных не окажутся востребованными в ближайшей перспективе. В то же время направление Big Data более активно развивается в компаниях, которые накопили большие пласты структурированной и неструктурированной информации: финансовая сфера, телекоммуникации, интернет-коммерция, ритейл.

Телеком-операторы работают с большим объёмом данных о своих пользователях. Они применяют технологии Big Data к целому ряду направлений: прогнозирование оттока абонентов, прогнозирование жалоб, планирование мероприятий по удержанию клиентов, предотвращение мошеннических финансовых операций и т.д.

В ритейле при помощи аналитики больших данных можно, например, агрегировать информацию об интересах посетителей магазинов и на основании этого очень точного среза аудитории прогнозировать эффекты различных маркетинговых кампаний и акций.

В ближайшем времени будет больше внедрений с использованием технологии больших данных в госсекторе. Накопленные федеральными госорганами обширные массивы данных – это огромный ресурс, который можно использовать для развития цифрового общества и повышения эффективности процессов государственного управления, - отмечает Юлия Кудрявцева, директор по стратегическому развитию компании «Форсайт».

Спрос со стороны госзаказчка и госкорпораций, во многом вызван импортозамещением и развитием Цифровой экономики. Госзаказчик понимает, что накопленные данные – ценный актив в сфере государственного управления, ведь федеральные информационные системы хранят огромную отраслевую Big Data.

Например, в здравоохранении ЕГИСЗ позволяет собирать статистическую информацию об отрасли и мониторить каждый населенный пункт на предмет обеспеченности нужным оборудованием и медицинскими услугами. В отрасли строительства – информационно-аналитическая система, созданная для реализации реформы ценообразования в строительстве. В системе рассчитывается сметная цена строительных ресурсов и услуг в разрезе каждого региона страны, в результате чего публикуются каталоги общим объемом порядка 50 000 позиций сметных цен. В финансовом секторе – ГИИС «Электронный бюджет», в котором происходит полный процесс подготовки законопроекта Федерального бюджета России, - рассказывает Тимур Ахмеров, генеральный директор «БАРС Груп».

По мнению экспертов, перечень сфер, где востребованы технологии Big Data, в скором время пополнится также транспортной отраслью, энергетикой, нефтегазовой и пищевой промышленностью.

Транспортным компаниям, например, технологии Big Data позволяют оптимизировать планирование логистики и ее тарифное регулирование за счет отслеживания состояния транспортного парка, расхода на топливо, мониторинга заявок клиентов, - поясняет Тимур Ахмеров.

Кроме того, самым тесным образом с большими данными связан интернет вещей. Всевозможные датчики, измерительные приборы для расхода воды, оборудование на роботизированных заводах, умный транспорт – все они порождают огромное количество информации, которая передается от машины машине, а потом подвергается исследованию и обработке людьми.

Наконец, инструменты Big Data осваивает пул компаний, в которых требуется мгновенное принятие решений в зависимости от изменения ситуации на рынке и в бизнесе – сейчас под это определение попадает почти любой российский бизнес, - добавляет Роман Коновалов, генеральный директор «АйДи – Технологии управления».

Сельское хозяйство, строительство и некоторые другие отрасли не всегда могут похвастаться высоким проникновением технологий Big Data. Это связано, главным образом, с большим жизненным циклом продукта внутри каждой отрасли: для постройки здания и для выведения нового сорта растения нужно много времени, что влияет на сбор подходящей выборки данных для последующего анализа.

Однако всеобщая цифровизация и автоматизация многих процессов поспособствуют тому, что глубокий анализ данных в будущем будет использоваться и в этих сферах, - уверен Денис Афанасьев, генеральный директор CleverDATA (группа компаний «Ланит»).

Если говорить о конкретных направлениях применения технологий Big Data, то нельзя обойти вниманием такие решения, как анализ видео, изображений и других неструктурированных видов данных. Новые технологии позволили анализировать их не только эффективно, но и быстро.

Уже созданы прикладные варианты решений для применения в силовых ведомствах и правоохранительных органах. Так, система распознавания лиц с помощью видеокамер позволяет задерживать тех, кто находится в розыске, а интеллектуальные системы видеонаблюдения в магазинах выявляют подозрительное поведение покупателей, - рассказывает Алексей Давлетьяров, руководитель группы разработки отделения комплексного проектирования информационных систем, компания «Форс – Центр разработки».

В целом эксперты говорят о двух подходах в работе с технологиями больших данных. Первый – когда приобретают не технологию, а уже готовый продукт, где внутри встроены технологии Big Data, и клиенту в целом все равно как это работает внутри. Зачастую это облачные решения. Второй – создание решения на базе этих технологий внутри компании с привлечением внешних экспертов или самостоятельно. Второй подход активно применяют телекоммуникационные, производственные компании, ритейл, банковский и страховой секторы.

Это все отрасли, в которых уже накопилось большое количество данных, и где бизнес-подразделения осознали их ценность и стремятся получить за счет технологии Big Data конкурентное преимущество и монетизировать данные, - рассказывает Егор Осипов, эксперт по большим данным «Крок».

Когнитивная обработка данных и инструменты анализа Big Data улучшит те бизнес-процессы, где необходимо обрабатывать большие массивы неструктурированной информации в короткие сроки.

Во-первых, это сфера маркетинга. Для расчета эффективности маркетинговой кампании, предсказания оттока покупателей или следующей возможной покупки часто недостаточно функциональности традиционных BI-систем – чтобы повысить точность прогнозов, необходимы инструменты, которые могут учитывать одновременно множество параметров, факторов и всю доступную информацию о клиентах.

В свою очередь, решения на базе когнитивной аналитики позволят, например, сформировать паттерны и шаблоны потребительского поведения, базируясь на комплексной истории всех взаимодействий с каждым клиентом – и на этом основании делать ему персональные предложения или прогнозировать уход, - полагает Артем Капцов, руководитель департамента интеграционных услуг и комплексных решений Navicon.

Еще одна сфера, которая выиграет от внедрения умных инструментов обработки данных – финансы. Машинное обучение и искусственный интеллект помогут здесь прогнозировать точные бюджеты на период и оперативно перепланировать их.

Наконец, инструменты обработки больших данных существенно упростят жизнь бэк-офисов, отлично справляясь со считыванием данных и оформлением документации, включая договоры, соглашения и все виды отчетности, по заранее заданным шаблонам и с минимальным привлечением человеческих ресурсов.

К примеру, благодаря инструментам распознавания на базе искусственного интеллекта умные BI-системы могут беспрепятственно считывать информацию со сканов документов в разных форматах и использовать ее для анализа, наравне с другими данными, - отмечает эксперт Navicon.

Что сдерживает развитие рынка Big Data в России

Высокая стоимость решений и отсутствие быстрых результатов

Хотя интерес к решениям BI и Big Data растет во всех сферах, основным сдерживающим фактором, особенно в компаниях среднего бизнеса, остается стратегия выживания при отсутствии стратегии развития и рывка, и, как следствие, экономия на ИТ-бюджете. Заказчикам нужны не просто ИТ-технологии, им нужны конкурентоспособные бизнес-идеи и экономический эффект в ближайшем будущем.

Другими словами, многие заказчики среднего бизнеса не готовы работать на перспективу, они живут одним днем, не заглядывая за горизонты точно известного и необходимого прямо сейчас и экономя на инвестициях, - поясняет Денис Сероштанов, руководитель направления информационно-аналитических систем «Интерпроком».

Инструменты обработки больших данных требуют больших вычислительных мощностей, а следовательно, дороги в закупке, установке и использовании.

Бизнес-пользователи при таких обстоятельствах хотят увидеть возврат инвестиций в оборудование в самой ближайшей перспективе. Однако на деле этого не происходит – как и любые аналитические инструменты, системы Big Data нацелены на оптимизацию бизнеса и не приносят «быстрых» доходов, - отмечает Роман Коновалов, генеральный директор «АйДи – Технологии управления».

Артем Капцов из Navicon, добавляет, что пока разработчики не могут сделать решения Big Data настолько простыми, чтобы они были доступны каждому. Но как только рынок Big Data перейдет в более «массовую» фазу развития, мы увидим резкое упрощение пользовательских интерфейсов и стремительное падение цен на решения, уверен он.

Юлия Кудрявцева, директор по стратегическому развитию «Форсайт», к ограничениям рынка также причисляет бюджеты и стремление заказчиков заранее оценить эффективность вложений. По её словам, инновационные проекты или сложные задачи оптимизации связаны с процессами исследования и многочисленными итерациями верификации методологических моделей. Однако не все готовы идти в проект, который не обещает гарантированный результат.

Дефицит специалистов

На рынке по-прежнему наблюдается дефицит специалистов, которые умеют реализовывать проекты в сфере Big Data. В России пока не образовались центры компетенций, которые бы занимались их массовой подготовкой. Поэтому успешные кейсы – это скорее истории отдельных компаний и разработчиков.

Многие компании пытаются найти специалистов на аутсорсе, но из-за дефицита квалифицированных кадров многие проекты просто не «выстреливают», - замечает Егор Осипов, эксперт по большим данным «Крок».

Кроме того, в России пока отсутствует профессиональное сообщество, которое взяло бы на себя большую задачу – информирование рынка изнутри.

Запрос есть со стороны как разработчиков, так и заказчиков, а компетенциями обладают отдельные вендоры и специалисты. Я думаю, что стоит использовать как можно больше различных форматов для создания экспертного сообщества. Мы все являемся участниками единого ИТ-пространства, и обмен опытом позволит укрепить потенциал рынка отечественной ИТ-разработки технологий Big Data, - отмечает Тимур Ахмеров, генеральный директор «БАРС Груп».

По мнению гендиректора CleverData Дениса Афанасьева, применение Big Data на практике сильно зависит от компетенций и навыков специалистов, поэтому компаниям важно развивать собственную экспертизу. Для извлечения пользы из данных требуются аналитики, совмещающие навыки и математика, и разработчика, и бизнес-аналитика. Синергия этих компетенций позволяет разбираться одновременно в сфере анализа данных, в статистике, учитывать возможности технической реализации проектов и практического применения Big Data.

Андрей Байбутов, директор по развитию бизнеса департамента BI ГК «Корус Консалтинг», рассказывает, что часто довольно сложно замотивировать и привлечь в команду на проект в России компетентных людей, поскольку большая часть высококвалифицированных специалистов, имеющих опыт построения высоконагруженной Big Data архитектуры, работает на проектах за рубежом.

Российский рынок Data-специалистов на данный момент находится на начальной стадии, но он активно развивается. И если на западном рынке многие компании уже имеют в штате необходимых экспертов для построения собственных цифровых продуктов и монетизации данных, то на российском рынке лишь крупные игроки начали работу в этом направлении. Наличие высококвалифицированных data scientists позволяет бизнесу повышать структуру выручки благодаря реализации цифровых проектов помимо основной деятельности компании, - говорит Андрей Байбутов.

Некачественные данные

Для российских заказчиков по-прежнему актуальна проблема некачественных данных – на основе разрозненных или недостоверных данных эффективно решать аналитические задачи невозможно.

Но важно, что направление обозначено и в целом движение вперед прослеживается, а на рынке присутствуют российские BI-инструменты, которые обеспечивают интеграцию с различными источниками данных, что жизненно необходимо для внедрения проектов Big Data, и инструментарием продвинутой аналитики одновременно. Например, «Форсайт. Аналитической платформа». В ней обеспечена интеграция с коммерческими платформами, среди которых – Teradata, Oracle Exadata, SAP Hana, HP Vertika, IBM Netezza и др.), а также open source продуктами (например, PostgreSQL, Hadoop и др.), - говорит Юлия Кудрявцева из компании «Форсайт».

Ограниченный выбор решений

На рынке не так много решений, которые реально способны эффективно работать с большими объемами неструктурированных данных. При этом использовать их могут только крупнейшие игроки рынка, объем данных которых исчисляется петабайтами: телеком, розница, финансы.

И даже среди них далеко не все довольны реальными результатами от внедрения существующих решений – их нужно еще серьезно дорабатывать, делать более практико-ориентированными. Аналитика больших данных не должна внедряться ради самой аналитики, иначе бизнес не получит финансовых результатов в обозримой перспективе, - отмечает Артем Капцов, руководитель департамента интеграционных услуг и комплексных решений Navicon.

Конфиденциальность данных

Одними из основных сдерживающих факторов для развития и совершенствования инструментов аналитики в России являются опасения заказчиков в области конфиденциальности данных.

Несмотря на то, что инструменты киберзащиты нового поколения, активно внедряются в бизнес-практику, пользователи систем Big Data все еще остерегаются сливов конфиденциальной информации о компаниях, а также персональных данных клиентов, - рассказывает Роман Коновалов, генеральный директор «АйДи – Технологии управления».

Более активному развитию рынка препятствует недоверие потребителей к технологиям, а также отдельные вопросы регулирования рынка.

Для работы с данными интернет-пользователей и их применения необходимо обеспечить конфиденциальность и особые условия хранения персональных данных, - добавляет Денис Афанасьев из CleverData.

Другие факторы

Технологии Big Data часто воспринимаются негативно, т.к. шума вокруг них за последние годы было крайне много, но очевидных сценариев применения многие компании для себя не увидели. Как итог – некоторые организации делают ошибочный вывод, что это скорее модная, чем полезная технология.

Важно понимать, что на проекты c технологиями Big Data сегодня готовы лидеры рынка. Для остальных компаний Big Data – не ключевой драйвер развития. У части компаний сегодня все еще нет даже корпоративного хранилища данных или стратегии Data Governance, поэтому они не думают о том, чтобы применять эти технологии.

Таким компаниям мы советуем строить сразу правильную архитектуру их аналитической системы. Современные решения для аналитики данных достаточно комплексные, состоящие из большего количества компонентов. Вовсе не обязательно сразу ставить себе все компоненты, включая Hadoop или какие-то другие тяжелые решения. Можно использовать только те компоненты, которые отвечают текущим потребностям. Но важно выбрать такую архитектуру, которую со временем, когда компания поймет, что готова работать с большими объемами данных, можно будет легко расширить, - поясняет эксперт по большим данным «Крок» Егор Осипов.

Наконец, сдерживает серьезный рост рынка отсутствие реального практического опыта у большинства производителей и интеграторов.

Заказчик хочет видеть реальный эффект, который внедрение системы принесло их конкурентам или другим отраслевым компаниям. Когда ИТ-компания не может показать проектный опыт, доверие к ней и внедряемому решению резко снижается, - говорит Роман Коновалов.

Также нельзя не отметить недостаточность практики получения данных из внешних источников.

Имеются в виду не социальные сети, сайты, открытые данные – все, что можно получить оттуда, используется максимально эффективно. Но для решения ряда задач порой требуются данные, принадлежащие другим организациям и не доступные в силу законодательных ограничений, - объясняет Алексей Давлетьяров, руководитель группы разработки отделения комплексного проектирования информационных систем, компания «Форс – Центр разработки».

Использование больших данных для выявления нелегальной аренды жилья

20 июля 2018 года стало известно о разработке в Москве системы анализа больших данных (Big Data) для выявления нелегальной аренды квартир. Находить неплательщиков технически непросто, но Департамент информационных технологий (ДИТ) Москвы решил проблему, рассказал РБК руководитель ведомства Артем Ермолаев в кулуарах Московского урбанистического форума.

Он пояснил, что механизм, который позволит определять тех, кто не платит налоги, уже протестирован и, «в определенный момент» эти данные будут использованы. Однако для полноценного запуска технологии потребуется внести изменения в законодательство.

Это сложная схема, потому что она организационно-нормативно-правовая. Здесь пересечение зон ответственности, — отметил Ермолаев.

Артем Ермолаев еще в 2017 году на урбанистическом форуме говорил о том, что ведется работа над выявлением арендодателей, которые скрываются от уплаты налогов. Тогда он рассказал, что предполагается анализировать крупнейшие интернет-ресурсы, на которых предлагаются квартиры в аренду, и сопоставлять эти данные со статистикой об уплате налогов. После такого анализа данные о тех квартирах, которые, возможно, нелегально сдаются в аренду, планировалось передавать в налоговую службу для проверки.

Дата-директор Weborama Russia Дмитрий Егоров заявил, что с технической точки зрения механизм, о котором говорят в ДИТ, — решаемый. Однако на практике авторы объявлений не всегда указывают точный адрес объекта сдачи. Кроме того, зачастую квартиры сдают риелторы, а не собственники. А коммерческий директор AmberData Виктор Митюнин полагает, что у ДИТа получится раздобыть данные арендодателей, так как объявления с номерами телефонов находятся в открытом доступе.

По данным департамента экономической политики и развития Москвы, за девять месяцев 2017 года в городе нелегально сдали в аренду около 27 тысяч квартир. При этом ежегодно в столице в аренду предлагается 200-300 тысяч квартир.^[5]

2017: Тенденции и перспективы на рынке Big Data

Роман Баранов — руководитель направления бизнес-аналитики и хранилищ данных компании «Крок» — в августе рассказал о тенденциях на российском рынке Big Data. По его словам, концепция Big Data, которая в последние годы входила в «горячий» топ технологий анализа, постепенно выходит из моды. ИТ-специалисты уже не ждут революционных изменений в этой области, а только уточнений подходов и возможностей реализации тех или иных задач, но набор необходимых для работы продуктов уже определился.^[6]

Теряет ли Big Data актуальность?

Конечно же, нет, утверждает эксперт «Крок». Это по-прежнему один из ключевых трендов на рынке аналитики. На первом этапе «хайп-цикла» Big Data воспринималась как экзотика. Новая концепция на базе open source-технологий была в новинку российскому бизнесу, который привык к коробочным решениям известных зарубежных разработчиков. Слова «Big Data» помогали ускорить одобрение проекта бизнесом практически вдвое, даже если само решение относилось к большим данным весьма условно. Новые продукты было непросто интегрировать и эксплуатировать; сегодня эти проблемы решаются с применением всевозможных коннекторов, визуальных инструментов, предназначенных для эксплуатации и работы с массивами данных. Появление российских дистрибутивов Hadoop и продуктов для работы с ними делает рынок понятнее, становятся прозрачнее процессы закупок, поддержки и обучения. Все это, в конечном счете, нивелирует прежний разрыв между технологиями Big Data и российской ИТ-действительностью, считает Роман Баранов.

Big Data как способ сэкономить

Big Data представляет собой отличный вариант для ситуаций, когда традиционные решения оказываются слишком дорогими или сложными в эксплуатации, отметил эксперт.

Из последних примеров я могу вспомнить недавние события на коллекторском рынке, который сильно изменился 1 января 2017 года. Вступил в силу закон, сильно ограничивший возможности для коммуникации с должником. Один банк обратился к нам, чтобы мы помогли обеспечить контроль в этой сфере и совместить интересы заказчика с требованиями законодательства. Применение классических технологий оказалось достаточно дорогим, так как тогда пришлось бы держать внутри одного процесса огромные массивы информации, собранные со всех филиалов по всей стране. А Big Data позволила значительно удешевить решение и выполнить проект за несколько месяцев, — подчеркнул Роман Баранов.

Большие данные в торговле

По прогнозам эксперта, в ближайшем будущем, помимо банковского сегмента, интерес к большим данным будет в сфере e-commerce. Здесь эти технологии переживают второе рождение. Бизнес понимает, как зарабатывать и какие решения ему в этом помогут. Например, продажи услуг логистики, которые не могут полностью уйти в онлайн, а с Big Data становятся источником дополнительного дохода у многих компаний и особенно сервисных агрегаторов.

В розничной торговле Big Data активно применяется в области Wi-Fi-аналитики, которая позволяет, задействовав сигналы с мобильных устройств посетителей, составить репрезентативный аналитический срез: длительность визита в магазин, частота посещений, маршруты передвижения, распределение посетителей по территории, пересечение аудитории с другими объектами торгового центра, доля посетителей магазина из числа всех проходящих мимо и т.д.

Видеоаналитика и распознавание лиц

Еще одно решение в рамках концепции Big Data, интерес к которому только разгорается — видеоаналитика и распознавание лиц. Эта технология автоматически обнаруживает и выделяет значимую для заказчика информацию из огромного видеопотока, позволяя подсчитать, например, количество посетителей, проанализировать загрузку торгового зала, мониторить очереди, предугадывать интересы покупателей, контролировать активность персонала и кассовые операции, мгновенно обнаруживать подозрительные действия, отправлять персонифицированную рекламу и т.д.

Безопасность

Big Data также позволяет решать ряд вопросов, касающихся безопасности. Предприятиям теперь нет необходимости уповать на внимательность охранной службы, следящей за десятью мониторами одновременно. Система, использующая возможности технологии Big Data, может автоматически распознавать подозрительные действия на территории предприятия или, к примеру, торгового центра или аэропорта. Сценариев здесь может быть достаточно много, все зависит от особенностей и задач бизнеса, отметил представитель «Крок».

Заказчики чаще хотят понимать темпы возврата инвестиций. Технологии больших данных достигли того уровня развития, когда бизнес чётко понимает их прикладное значение и может оценить положительный эффект в деньгах. Можно ждать, что дальше по этому пути пройдут интернет вещей и блокчейн, что приблизит к народу модную нынче цифровую трансформацию, — заключил Роман Баранов.

2016

Состояние российского рынка Big Data

Российский рынок Big Data находится на начальной стадии развития и под этим термином часто понимаются традиционные BI-подходы. Основными потребителями технологий больших данных, так же, как и основными носителями больших объемов данных, являются компании в банковском секторе, телекоме и торговле. Для них анализ больших объемов данных, связанных с анализом платежеспособности клиентов, потребительским поведением и рыночной конъюнктурой является важнейшим инструментом для поддержания конкурентного преимущества.

В последние годы во всех компаниях из большой тройки мобильных операторов появились подразделения, специализирующиеся на работе с большими данными, причем они являются не просто информационными подразделениями для развития клиентских профайлов, они являются бизнес-единицами, которые призваны генерировать дополнительную прибыль.

Именно в телекоме начали переводить большой контур систем на Hadoop. Большие массивы данных из биллинг-систем, CRM и других источников складываются в Hadoop, агрегируются и уже над этой информацией надстраивают BI, позволяющий понимать, где в данный момент находится абонент и каковы его потребности, чтобы предложить лучший сервис, сделать для каждого конкретного клиента наиболее привлекательной предложение, - рассказывает Андрей Байбутов, директор по развитию бизнеса департамента BI ГК «Корус Консалтинг».

Ритейл тоже находится в числе первопроходцев рынка Big Data. Все больше компаний из этого сегмента создают отдельные подразделения по работе с данными, чтобы как можно глубже погружаться в строки чеков за 2+ лет и находить новые скрытые взаимосвязи, добавляет Байбутов.

Иван Вахмянин, генеральный директор компании Visiology, полагает, что первая шумиха уже прошла, и сейчас происходит накопление реального опыта, как у заказчиков, так и у исполнителей.

Мы ожидаем в ближайшее время появления интересных кейсов, причем не только в «традиционных» для Big Data отраслях, таких как финансы, телеком и ритейл, но и в промышленности, логистике, строительстве и здравоохранении, - добавляет Вахмянин.

Павел Адылин, исполнительный директор компании Artezio (Артезио) (группа компаний ЛАНИТ), считает, что потенциальным заказчиком Big Data проектов в России в ближайшее время должны выступить также и компании госсектора, т.к. они обладают огромными накопленными объемами данных, пригодными для анализа.

Константин Черноусов, заместитель генерального директора Vesolv, приводит пример реализованного проекта в госсекторе: «Например, Федеральная Налоговая Служба завершила первый проект с использованием Big Data по отслеживанию цепочки плательщиков НДС и пресечению мошенничеств по уводу НДС».

Что касается решений, предлагаемых разработчиками, то это либо международные коммерческие продукты от Oracle, SAP и подобных, либо решения на базе open source технологий. Отечественного софта для обработки большого объема данных практически нет, добавляет Черноусов.

Андрей Нугманов, партнер AT Consulting, директор блока BI, считает, что в секторе «нового BI» – анализа больших данных, процессинга событий и принятия решений в реальном времени – стек СПО активно теснит продукты традиционных вендоров. Оно развивается в свете обновленного видения функциональных требований к BI и технологически во многом догнало проприетарный стек.

Открытый код, транспарентность развития, правовая чистота и доступность, гарантированная и не замкнутая на одного вендора поддержка, толерантность к оборудованию, высочайшая популярность СПО, в первую очередь среди молодых и перспективных специалистов, – все это становится причинами активного вытеснения и вымывания «старого» проприетарного стека из традиционных ниш, - уверен Нугманов.

Вендоры пытаются если не оседлать волну, то хотя бы не быть погребенными ею. Кто-то открывает код и переходит на СПО-модель бизнеса, пытаясь возродить интерес у публики, а значит и у лидеров мнений в среде покупателей, к своим традиционным продуктам. Другие активно интегрируются с крупными поставщиками сервисов по поддержке стека Hadoop, стараясь снизить стоимость владения своими традиционными продуктами за счет использования открытых возможностей Big Data и достичь синергетических эффектов гибридного решения.

Клиент не всегда готов сразу платить за лицензии вендору и пытается самостоятельно протестировать технологию, понять степень ее применимости и набрать необходимую экспертизу для дальнейшей эксплуатации. Выбор СПО позволяет обеспечить быстрое внедрение интересующей функциональности без лицензионных платежей и – благодаря отсутствию закупочных процедур – в минимальные сроки. Каких-то серьезных препятствий в развитии данных технологий у клиентов мы не видим. И экспертиза присутствует на рынке, и как минимум есть внятный бизнес-кейс, обеспечивающий сокращение операционных затрат на хранение значительных объемов информации, - говорит Нугманов.

С точки зрения технологий, в AT Consulting наблюдают, что на первый план выходят решения использующие In-Memory Data Grid (IMDG).

Hadoop позволяет собрать разнородную информацию и хранить. Теперь пришло время следующего шага – проводить сложные аналитические расчеты в онлайн-режиме. Классические MPP-платформы уже не могут обеспечить быстрой реакции по причине наличия операций чтения и записи на диски и специфики операционной среды. Также важен и вопрос стоимости таких технологий, - рассказывает партнер AT Consulting. - Мы видим, что для серьезных аналитических задач все чаще применяются in-memory решения. Они обеспечивают возможность высокопроизводительного параллельного выполнения запросов на сильно нагруженных аналитических системах для обслуживания тысяч пользователей в режиме высокой доступности.

Роман Баранов, руководитель направления бизнес-аналитики и хранилищ данных компании «Крок», отмечает важность понимания того, что сам термин Big Data с каждым годом становится все более размытым. Перечень технологий, которые можно отнести к этому понятию, становится все больше. Они уже являются обыденной реальностью большинства современных компаний. Кроме того, произнося «большие данные» многие уже давно имеют в виду не только сбор и хранение данных, но и аналитику, и интернет вещей, и многое другое.

Тренды российского и мирового рынка Big Data

Основная тенденция российского рынка Big Data — проникновение технологий больших данных в те области, в которых раньше их было сложно представить.

Если ранее огромное число сегментов, например, производство, не так активно уделяло внимание технологиям работы с большими данными, то сейчас возможность собрать информацию со всех датчиков и другого оборудования завода дает гигантские возможности.

Это позволит существенно оптимизировать работу на самом производстве, а также повысить эффективность планирования и конвертировать полученную информацию в деньги, которые теряются при отклонении от плана или не дозарабатываются с точки зрения утерянной прибыли, - говорит Андрей Байбутов, директор по развитию бизнеса департамента BI ГК «Корус Консалтинг».

По мнению Константина Черноусова, заместителя генерального директора Vesolv, общий тренд заключается в том, что все хотят использовать Big Data, поскольку анализ больших данных повышает эффективность и конкурентоспособность компании. И одним из движимых фактов является, как ни странно, появляющиеся опасения от того, что конкурент начал извлекать выгоду, используя новую технологию.

Если говорить о мировых трендах, то в первую очередь можно говорить о тренде переноса инфраструктуры Big Data в облако, считает Иван Вахмянин, генеральный директор компании Visiology.

Это имеет смысл для многих компаний, так как серверные мощности для Big Data стоят очень дорого, а нужны не всегда на постоянной основе. Например, мы в Visiology большинство своих Big Data экспериментов проводим в облаке Amazon. Кроме того, облачные Big Data продукты часто сильно облегчают работу инженеров – порог входа большинства Big Data программных продуктов в плане развертывания очень высокий, а в облаке можно сразу получить уже сконфигурированный кластер, - рассказывает Вахмянин.

Второй тренд, по его словам, - это потоковая (streaming) аналитика, которая позволяет анализировать поступающие данные в реальном масштабе времени. Эта возможность особенно важна для приложений, построенных поверх данных, собираемых с датчиков (IoT, IIoT).

Павел Адылин из Artezio, добавляет, что для мирового рынка характерно разделение направления Big Data, которое у нас пока понимают в общем виде, на множество самостоятельных направлений, решающих более узкие специфические задачи.

Например, по его данным, можно выделить: программно-аппаратные средства обеспечения хранения больших данных, средства параллельной обработки данных, средства фильтрации данных и построения моделей, средства визуализации данных и их взаимосвязи, средства работы с изображениями, машинное обучение, интеллектуальные интерфейсы, автоматизация умственного труда.

С таким разделением также связано появление готовых отраслевых решений для малого и среднего бизнеса, работающих как автономные приложения, так и по моделям SaaS или BDaS (Big Data as Service).

Барьеры российского рынка Big Data

Нехватка специалистов

Одна из главных проблем рынка Big Data в России - трудности с поиском квалифицированных специалистов.

По мнению Ивана Вахмянина из Visiology, дефицит таких кадров наблюдается не только потому, что они должны обладать довольно сложным набором навыков и компетенций, но и потому что сегодня мало кто понимает, как их готовить, оценивать и правильно организовывать их работу.

Константин Черноусов, заместитель генерального директора Vesolv, рассказывает, что сейчас постепенно входит в обиход такая профессия как Data Scientist. Она довольно редкая, но спрос на нее уже колоссальный: на одно резюме такого специалиста приходится порядка 50 запросов на работу.

В России таких специалистов, которые расскажут руководству о возможностях анализа с использованием Big Data, посчитают бюджет и реализуют проект, мало, и увеличить их количество быстро не получится, поскольку отсутствуют не просто курсы, а даже материалы на русском языке, - отмечает Черноусов.

Андрей Тиунов, генеральный директор компании «БиАй Партнер» (ГК «Ай-Теко»), уточняет, что Data Scientist - это эксперты со стороны компании-заказчика, которые понимают тенденции своего рынка, отлично знают бизнес, находят возможности для его роста и умеют использовать потенциал данных, которыми владеют, для решения тех или иных задач. Именно они обладают ключевыми компетенциями по решениям Big Data, говорит Тиунов.

Андрей Байбутов, директор по развитию бизнеса департамента BI ГК «Корус Консалтинг», также считает, что хороших специалистов в области Big Data на рынке критически мало.

Если вы сейчас выйдете на рынок ресурсов в поиске хорошего специалиста с опытом работы с Big Data, machine learning, IoT и т.д., вряд ли сходу сможете найти человека с опытом от двух до пяти лет работы, да ещё и с необходимым продуктовым портфелем. Поэтому многие компании стараются взращивать собственных специалистов под данные задачи, - поясняет эксперт.

Любовь Ведешина, руководитель практики бизнес-аналитики компании «Интерпроком», видит проблему в том, что в России пока не сформировалось экспертное сообщество аналитиков в области больших данных, не появились компетентный заказчик и компетентный исполнитель.

На стороне потенциальных заказчиков мы видим нехватку специалистов, которые одинаково хорошо разбирались бы как в отраслевой специфике, так и в подходах, инструментах и методах обработки больших данных. На стороне исполнительней уже появились эксперты в области больших данных мирового уровня, некоторые даже находятся в мировом топе. Но их единицы, - подчеркивает Ведешина.

Профессия аналитика в области больших данных пока еще не стала массовой. В вузах нет соответствующих программ подготовки, опять же потому что пока мало компетентных преподавателей. Корпорации отчасти компенсируют нехватку специалистов, предлагая собственные программы обучения. Например, ШАД (Школа анализа данных) от «Яндекса» и платные курсы в «Билайне».

Однако этих курсов недостаточно, должно пройти еще какое-то время, чтобы число квалифицированных аналитиков больших данных изменило бы качество спроса и предложения на рынке Big Data, - полагает Любовь Ведешина.

Павел Адылин, исполнительный директор Artezio, добавляет, что в силу недостатка специалистов в области Big Data в России чаще всего не разделяются профессии Data Scientist, Data Analyst и Data Engineer. Если первый из них является создателем новых технологий извлечения информации из данных, алгоритмов машинного обучения, искусственного интеллекта, то последний является разработчиком комплексов программного или программно-аппаратного обеспечения для решения конкретных задач больших данных. Для подготовки этих различных специалистов уже сейчас требуется внедрять различные методологические подходы, уверен Адылин.

Нехватка опыта внедрений

Основным сдерживающим фактором в развитии рынка Big Data в России ряд экспертов называют небольшое количество российских кейсов, на которые могли бы опираться как заказчики, так и интеграторы. В результате чего, Big Data проекты оказываются рискованными.

Часто приходится слышать от клиентов – «гарантируйте нам, что внедрение Big Data аналитики принесет нам экономию N рублей», но таких гарантий дать невозможно, как минимум, до проведения эксплоративного анализа накопленных данных и построения и верификации первых моделей, что само по себе требует вложения ресурсов», - отмечает Иван Вахмянин, генеральный директор компании Visiology.

Об этом же говорит и Любовь Ведешина, руководитель практики бизнес-аналитики компании «Интерпроком». По её мнению, потенциальные потребители не понимают, какую выгоду для их компании и отрасли несут технологии применения больших данных. Заказчики сомневаются, что их инвестиции в технологии обработки и анализа больших данных окупятся.

Аналогичного мнения придерживается и Константин Черноусов из Vesolv. По его словам, сдерживает развитие российского рынка отсутствие знаний о возможных выгодах от использования Big Data.

Представитель «Корус Консалтинг» Андрей Байбутов также ссылается на опыт внедрений, как на барьер рынка:

Я знаю только о единицах, максимум — паре десятков внедрений. Большая часть проектов с большими данными делается зачастую на продуктах с открытым исходным кодом, опыта работы с которыми у российских специалистов тоже немного. В результате есть методологическая неготовность, что мешает понимать, как делать проекты, и технологическая — из-за отсутствия необходимых программных компетенций.

Западные кейсы мало на кого производят впечатление, потому что российские реалии довольно сильно отличаются. Поэтому на данном этапе рынок Big Data двигают компании, которые не боятся экспериментировать, вкладываться в исследовательские проекты, в расчете на те выгоды и конкурентные преимущества, которые Big Data может принести, - добавляет Иван Вахмянин.

Проблемы качества данных

Важной проблемой для применения технологий Big Data в России является отсутствие практики накопления больших данных и низкое качество этих данных.

По мнению Любови Ведешиной из «Интерпроком», даже если потенциальный заказчик сформировал понимание своих выгод от анализа Big Data и нашел отраслевых экспертов-аналитиков в области больших данных, он сталкивается с проблемой качества и количества данных, которые у него накоплены. Как правило, данные, стихийно накопленные заказчиками, находятся в состоянии, не пригодном для анализа и получения выгоды для компании, отмечает она.

Такую же проблему видит и Павел Адылин из Artezio. По его словам качество данных оставляет желать лучшего из-за наличия искажений (выбросов) и недостаточной глубины. Таким образом, требуется значительно расширять наборы данных для анализа, но для этого нет возможности, т.к. в связи с защитой персональных данных в нашей стране практически отсутствует рынок купли/продажи информации в виде бирж данных (Data Exchange).

Возможно, накоплению данных могла бы помочь программа государственной поддержки открытых источников оцифрованных данных, например, доступ к первичным данным Росстата и т.д., - считает эксперт.

Глава Роскомнадзора считает, что в России необходим госоператор Big Data

Глава Роскомнадзора Александр Жаров считает, что в России необходимо создать государственного оператора больших пользовательских данных. Чиновник обосновал это тем, что, по его мнению, такая информация является национальным достоянием, а не собственностью компаний, обрабатывающих данные.

"Я считаю, что государственный оператор больших пользовательских данных должен быть. Я поддерживаю позицию, которую озвучили эксперты. О том, что это национальное достояние, а не собственность компаний, которые обрабатывают данные. Это очевидно является собственностью гражданина. Но понять, до какой глубины должна структурироваться информация о личности, каждый человек не может. Это должно быть национальным достоянием", — цитирует RNS комментарий Жарова.

Глава РКН уточнил, что в понятие "больших пользовательских данных" входят геолокация, биометрия, пользовательское поведение на различных сайтах и т.п.

"Все это оставляет следы в интернете, является предметом анализа транснациональных интернет-компаний и, очевидно, требует также регулирования, как сейчас работает 152-й закон — "О защите персональных данных", - добавил Жаров. По его словам, речь идет о создании нового закона, и этим уже занимается рабочая группа под руководством помощника президента РФ Игоря Щеголева. На данный момент вопрос регулирования прорабатывается с экспертами, до конца 2016 года должны быть сформулированы конкретные предложения.

2014

TAdviser - 100 стратегий заказчиков в сфере Big Data

Аналитики центра TAdviser провели исследование рынка Big data в России. В ходе исследования эксперты опрашивали ключевых ИТ-заказчиков, с тем чтобы определить существующую конъюнктуру спроса на подобные технологии, а также обозначить его потенциал.

Подробнее: 100 профайлов топ-компаний России о стратегии в Big data (отчет)

CNews Analytics: Уровень зрелости рынка повысился

Согласно результатам исследования СNews Analytics и Oracle, уровень зрелости российского рынка Big Data за 2014 год повысился.

Опрошенные заказчики продемонстрировали более высокую степень осведомленности об этих технологиях, а также понимания потенциала подобных решений для своего бизнеса. Более трети опрошенных уже приступили к использованию технологий Big Data в России. Можно отметить, что на российском рынке уже складывается единое понятийное поле этого сегмента.

Yandex Data Factory формирует предложения в сфере Big data

По сообщению Интерфакс, подразделение Yandex Data Factory (YDF) компании Яндекс намерена заняться задачей разработки предложений для удержания абонентов. В начале 2015 года сообщалось, что YDF проанализировал более 100 параметров, описывающих поведение 100 тысяч игроков World of Tanks. Получившаяся в итоге модель прогноза оттока игроков, оказалось на 20-30% точнее стандартных для игровой индустрии инструментов анализа.

Леонид Делицын, аналитик инвестиционного холдинга Финам:

Вряд ли Яндекс действительно возьмёт на себя задачу разработки предложений для удержания чужих абонентов. Удержать своих абонентов может только сам оператор. Мне не удалось найти запись в блоге или в корпоративном разделе, на который ссылаются новостное агентство, но думаю, что речь шла только о прогнозировании оттока абонентов. Для этого требуется оценить так называемую `функцию дожития` абонента, или, альтернативно, функцию риска оттока пользователя. Эти задачи хорошо известны в статистике, в отличие от успешных кейсов их применения на практике.

Яндексу, безусловно, нужен поток позитивных новостей, и большие данные – благодарная тема с точки зрения их генерации. Мы вступаем в эпоху, когда машины ежесекундно собирают о нас информацию, куда-то её отправляют, где-то архивируют и хранят, и иногда даже перерабатывают. Машины уже знают о каждом из нас гораздо больше, чем мы сами. Вряд ли сами игроки в World of Tanks способны измерять своё поведение при помощи 100 параметров. И вряд ли все они сегодня знают, как долго останутся в игре. Конечно, не все эти 100 параметров одинаково важны, вот только заранее неизвестно, какие – важны, а какие – не очень. Чтобы выделить важные параметры, требуется изучить поведение 100 тысяч игроков - но поскольку Яндекс подсказывает ответы сотне миллионов посетителей, эта задача ему по силам.

Вообще говоря, применений методов машинного обучения к большим данным довольно много, многие из них - довольно яркие и могут генерировать популярные новости. Это хорошо для компании как само по себе, так и для решения задачи ободрения аналитиков фондового рынка. Именно эта задача – самая сложная сегодня для Яндекса. А задача прогнозирования оттока клиентов – довольно старая и хорошо изученная, подходы к ее решению опубликованы. Вопрос лишь в практической реализации тех подходов, которые работоспособны, когда клиентские базы насчитывают миллионы пользователей. В этой области на `шлифование` решения с целью сделать его пригодным для решения практических задач может уйти больше лет и средств, чем на разработку теории. По сообщениям новостных агентств благодаря использованию проприетарных алгоритмов Яндексу удаётся строить на 20-30% более точные решения, чем удается конкурентам. Эта разница не выглядит такой уж существенной. Думаю, что главное конкурентное преимущество Яндекса – в наличии штата опытных специалистов, софта и `железа`.

Помимо активизации Яндекса в b2b секторе, важно ещё следующее. Судя по всему, повторяется (или продолжается история с SaaS), когда вместо возникновения новых, независимых компаний мы наблюдаем возникновение нового канала продаж у крупных производителей и дистрибьюторов программного обеспечения. Большие данные являются вторым из наиболее популярных у венчурных фондов направлений инвестирования, согласно результатам исследования Venture Barometer Russia 2014, они уступают только финансовым технологиям, да и то, отставание нельзя назвать значимым. Инвесторы понимают перспективность машинного обучения в период растущей волны M2M-технологий – ведь устройства должны не просто обмениваться данными, но и изменять своё поведение в зависимости от полученной информации. Короче говоря, инвесторы хотят вложить деньги в направление `большие данные`. Но вряд ли могут.

Дело в том, что в случае больших данных, требуются, во-первых, мощная аппаратная база, а во-вторых, действительно, высокие технологии. На одном лишь поверхностном знании методов машинного обучения много не построишь, поскольку для работы с большими данными методы должны быть быстрыми и устойчивыми. Практически полезные методы отшлифованы годами практики – и у Яндекса такая практика есть, а у новых игроков её, скорее всего нет. Объём первоначальных вложений, по-видимому, тоже превосходит сумму, на которую венчурные инвесторы были бы готовы рискнуть, чтобы попробовать новое направление. Простые задачи, которые можно решить при помощи не очень больших данных и специалистов обычной квалификации за сравнительно небольшую сумму, вряд ли принесут высокую прибыль, - просто потому, что решить их могут многие, а значит, неизбежна жёсткая конкуренция. Яндекс в этой ситуации оказался защищён уникальным барьером, естественно построенным за годы работы над поисковой машиной, Яндекс-маркетом и системой управления контекстной рекламой.

Поэтому в области `больших данных`, как и в индустрии SaaS, главными игроками рынка окажутся не независимые стартапы, а уже хорошо известные крупные компании. Кстати, услугу по прогнозированию оттока абонентов Web-сайтам мог бы предоставлять не только Яндекс, но и, например, российские интернет-счётчики, LiveInternet, OpenStat и другие. Если Яндекс раскрутит эту услугу, то она войдёт в моду, и для других игроков возникнет поле деятельности – поиск минимально затратной реализации решений наиболее ходовых задач.

2013

Несколько десятков пилотов на всю страну

Взрывной рост данных, а также стремление получить больше знаний о своих клиентах толкает крупные компании на поиски технологий, которые помогут сохранять огромные объемы данных, получать и анализировать информацию из недоступных или труднодоступных ранее источников (например, потоковое видео, sentence-анализ при обращении в колл-центр). Кроме того, в традиционных системах стоимость хранения 1ТБ данных достаточна высока, применение решений на базе технологий Big Data позволяет значительно сократить затраты за счет использования более дешевого оборудование.

На 2013-2014 годы тренд Big Data пока не дошел до России в полной мере. Распространение этой концепции в нашей стране пока ограничивается пилотными внедрениями и апробацией. Например, у компании "Крок" в 2013 году было три «пилота», рассказал Максим Андреев, руководитель направления бизнес-приложений компании КРОК. Один из них - для крупной телекоммуникационной компании по отслеживанию социальных связей между абонентами и выявлению уровней влияния. Цель проекта - уменьшение оттока клиентов.

При этом в России в это время доступны все имеющиеся в мире наработки в области Big Data – начиная от open source, заканчивая решениями крупных вендоров. Что касается стоимости, то она варьируется в зависимости от задачи и подходящего под нее решения. Использование этой технологии для компаний – это возможность уйти в отрыв от конкурентов за счет совершенствования предлагаемых продуктов или услуг, либо существенной оптимизации производственных и бизнес-процессов. Поэтому Big Data востребованы всеми компаниями, живущими в условиях высокой конкурентности, в частности, банками, ритейлом, телеком-операторами и прочими.

«Интерес к Big Data по-прежнему виден, а вот проектов единицы. До сих пор большинство специалистов не понимают, что такое Big Data, да и, честно говоря, пока не так много компаний в России, у которых данных по-настоящему много и они не структурированы», - прокомментировал Георгий Нанеишвили, директор по работе с партнерами Qlik.

По его словам, телеком и поисковые системы используют данные технологии, но пока для решения очень ограниченного класса задач.

Таким образом, технологии уже больше пяти лет, однако, именно в последние годы появились реальные проекты в компаниях, в том числе российских, чей бизнес существенно меньше, чем, например, Facebook. Саму технологию Hadoop могут себе позволить многие российские компании разного уровня, работающие в сфере телеком- и интернет-услуг, государственного управления, финансовой сферы и других направлений, считает он.

Юрий Колбасин, директор центра компетенций блока BI компании AT Consulting (Группа ЭйТи Консалтинг)(АТ Консалтинг) рассказал TAdviser, что его компанией также завершен пилотный проект в одном из российских операторов сотовой связи. На базе open source решения был создан кластер, в который загружаются все СDR и строится аналитика о геолокации абонента в момент совершения транзакции. Это позволяет получить информацию о распределении абонентов на карте, а также помогает работать с абонентами более таргетировано. Весь поток данных обрабатывался в десятки раз быстрее, чем в традиционных системах, при этом стоимость кластера дешевле на порядки. В результате пилотного проекта были сформированы области применения технологии больших данных в телеком-индустрии, показана их эффективность как с точки зрения сокращения затрат, так и с точки зрения повышение производительности.

Все ведущие вендоры представлены в эко-системе Big Data. Кроме того, существует открытое ПО Apache Hadoop, которое составляет основу в коммерческих релизах. На российском рынке, с точки зрения аналитических систем на базе BigData, наиболее «удобными» являются решения от IBM, Oracle и Teradata, считают системные интеграторы.

В России технологии Big Data могут быть востребованы в любых компаниях, где руководители готовы к серьезным инновациям с горизонтом отдачи в 5 лет. Сам по себе объем данных роли практически не играет, они всегда есть, надо лишь иметь хоть какую-то идею, как извлечь из них ценность для бизнеса. Промышленные компании, например, могут обратиться к уровню АСУТП, данных там хватает, но пока не очень много идей, как они могут помочь на управленческом уровне, на уровне бизнес-процессов.

В целом опрошенные TAdviser эксперты ожидают, что после 2103 года рынок технологий big data в России перейдет от стадии тестирования и интереса у заказчиков к реальным коммерческим развертываниям.

В России рынок Big Data пока невелик. Это несколько десятков проектов – пилотных, либо на начальной стадии внедрения. Компания IDC полагает, что этот сектор рынка составляет порядка $340 миллионов. Около $100 миллионов приходится на решения по бизнес-аналитике SAP, примерно $250 миллионов составляют аналогичные решения Oracle, IBM, SAS, Microsoft.

Данные EMC

В октябре 2013 года Dell EMC опубликовала результаты опроса, в рамках которого 678 ИТ-руководителей российских предприятий поделились своими взглядами на то, какие задачи и возможности, и, в том числе, новые компетенции, связывают они с большими данными и ИТ-трансформацией.

Российские специалисты отмечают, что использование больших данных ведет к существенному улучшению процессов принятия решений, положительно отражается на конкурентоспособности компаний и упрощает управление рисками.

• 70% респондентов в России считают, что анализ данных их компании поможет принимать более взвешенные решения, а 35% респондентов подтверждают, что высшее руководство их компаний полагается на результаты аналитики больших данных при принятии принципиальных бизнес-решений.
• 31% респондентов сообщили, что их компании получили конкурентное преимущество в результате внедрения технологий больших данных, а 51% респондентов считают, что отрасли, в которых используются такие инструменты, покажут наиболее высокий рост.
• Более половины (51%) респондентов согласны, что технологии анализа больших данных сыграют решающую роль в выявлении и предотвращении кибер-атак; это может оказаться решающим фактором, так как только 67% респондентов в России уверены, что они смогут в случае необходимости полностью восстановить все свои данные.

В то же время опрос выявил ряд причин, влияющих на принятие решений о внедрении аналитики больших данных в российских компаниях:

• 25% компаний, участвовавших в опросе, на данный момент не планируют внедрять технологии больших данных.
• среди респондентов, не планирующих внедрение больших данных, 37% назвали основной причиной, препятствующей их внедрению, нерелевантность для бизнеса.

Поскольку компании в России по-прежнему видят в ИТ-инновациях основу конкурентного преимущества на внутреннем и внешнем рынке:

• в число самых распространенных приоритетов для бизнеса, стимулирующих трансформацию ИТ, вошли эффективность бизнес-процессов/операционной деятельности (68%), улучшение обслуживания заказчиков и взаимодействия с ними (37%);
• 76% респондентов отмечают, что инвестирование в технологии является стратегически важным фактором достижения
• бизнес-целей их предприятия;
• 71% респондентов прогнозируют, что в ближайшие три года важной задачей станет поддержание навыков специалистов на уровне, соответствующем темпам развития ИТ-технологий.

См. также Big Data

Большие данные (Big Data)

Big Data - Каталог систем и проектов

Большие данные (Big Data) мировой рынок

Обзор BI и Big Data

Business Intelligence (рынок России)

Главные тенденции рынка BI в России

Специалист по работе с большими данными (big data)

Большие данные (Big Data)

Business Intelligence (мировой рынок)

География BI-проектов

Российский BI: отраслевая специфика

Внедрения BI в России: типичные ошибки

Большие данные в гражданской авиации

Примечания