Как крупный бизнес отвечает на ИТ-вызовы в новой реальности. Подкаст TAdviser с руководителем Tarantool Александром Виноградовым
В студии подкастов TAdviser — руководитель Tarantool Александр Виноградов. Tarantool (продукт VK)— это промежуточное ПО для хранения и обработки данных, которое сочетает в себе сервер приложений, гибридное хранилище с гибкой схемой данных и средства масштабирования. Александр Виноградов рассказал, с чем сейчас сталкиваются крупные компании в процессе цифровой трансформации, как меняются их потребности и подходы к построению ИТ-инфраструктуры, какие технологии помогают справиться с вызовами. Ниже — аудио- и текстовая версии беседы, подготовленные при поддержке VK Tech.
Александр, компании в России находятся на разных этапах цифровой трансформации: кто-то еще даже не начинал этот процесс, а кто-то приступил к модернизации legacy. Некоторые модернизировали ИТ-инфраструктуру и начали процесс активного вывода на рынок собственных цифровых сервисов. По вашему опыту, какие сложности возникают у компаний на разных этапах цифровой трансформации?
Александр Виноградов: Сложности одинаковы на всех этапах цифровой трансформации. Вопрос в том, как сделать хорошо, дешево и быстро. Всё обычно упирается в то, что либо есть открытая или бесплатная технология и нужно растить компетенции внутри компании, либо можно купить всё под ключ и пригласить специалистов для выполнения работ. Затем — передать им на дальнейшее сопровождение, доработку и поддержку. Можно самостоятельно и долго растить компетенции или быстро получить типовой вариант, а интегратор по выбранной вендорской технологии всё сделает.
Сейчас набирает популярность история с open source - и open-core-технологиями, у которых есть комьюнити. И вендоры вроде бы предоставляют поддержку. Но на самом деле всё равно нужны инженеры, которые это сделают, и придется платить за работу либо специалистам в штате, либо интегратору.
Каким образом Tarantool помогает компаниям на разных этапах модернизации ИТ-систем?
Александр Виноградов: Tarantool как технологии уже 15 лет, ее используют многие крупные компании. Экспертиза команды очень глубокая и давно взращивается.
Мы предоставляем услуги по созданию архитектур, консалтингу, внедрению. Tarantool как продукт позволяет ускорить цифровую трансформацию. Он уже много лет как не СУБД — начиная с версии 1.6.
Мы уже упомянули legacy-системы, и многие решения с применением in-memory технологий, в частности, которые есть и в Tarantool, используются для ускорения legacy-систем в компаниях. Для ускорения каких именно legacy-систем такие платформы чаще всего применяются помимо тех примеров, что вы уже привели? И насколько выгоднее может выйти ускорение за счет применения промежуточного слоя на основе in-memory, чем создание новой, более производительной системы с нуля?
Александр Виноградов: Это непросто посчитать и усреднить. Legacy-система — это обычно биллинг, AБC, система управления банкоматами, какие-то вещи, которые касаются ивент-процессинга либо скоростной онлайн-аналитики. Например, когда вы набираете в корзину товар в интернет-магазине, а интерфейс сразу же предлагает акцию. Они все очень разные. AБC, биллинги невозможно типизировать.
На длинной дистанции наличие системы, аналогичной Tarantool, всегда более эффективно с точки зрения вывода новых продуктов на рынок. Лучше иметь одну платформу, на которой вы создаете подобные middleware-сервисы, чем «зоопарк» этих технологий. Догнать и перегнать: Российские ВКС прирастают новыми функциями 
Можно использовать другие технологии, но сила Tarantool в том, что вы один раз устанавливаете и учитесь эксплуатировать. Не нужно внедрять что-то другое — это платформа, где как из кубиков можно собирать готовое решение. Удобно, когда вы знаете, как эксплуатировать платформу, уже есть экосистема и готовый штат инженеров внутри.
Процесс цифровой трансформации сопряжен с ростом сложности ИТ-инфраструктуры, и возникает тот самый уже упомянутый «зоопарк» технологий с разным уровнем зрелости и проблемами совместимости. Что заказчики и вендоры, по вашему опыту, предпринимают в ответ на это?
Александр Виноградов: Здесь два пути. Первый — нанять опытную команду эксплуатантов, архитекторов и программистов, заключить с ними дорогой контракт. Так делают крупные корпорации. До какого-то момента это дешевле, чем растить экспертизу у себя, потому что команда может жить на достаточно высокой марже.
Года через 3–4 начинает ломаться экономика, поднимают прайс, потому что люди растут, хотят увеличить зарплату, маржа у проекта становится хуже. А заказчик не хочет платить, потому что его маржа тогда «поплывет». В этой пирамиде всегда начинаются проблемы.
Второй путь — растить экспертизу у себя. Неважно, какая технология используется, enterprise или open-source. Проблема, которая здесь обычно возникает, — постоянная опора на комьюнити, где нет SLA. Приходится брать на себя риски и всю ответственность.
На помощь приходят конструкции open-core или частично open-source. Mongo, например, и частично Tarantool. Open source и комьюнити, но с поддержкой вендора, чтобы регистрировать баги, краши по гарантии. Она может быть расширенной, когда под вас будут делать кастомизации, поддержку какого-то решения или собранной информационной системы. По моему опыту, это работает лучше, чем первые два варианта.
Какие потребности, связанные с хранением и обработкой данных, возникнут у бизнеса завтра и в ближайшие годы?
Александр Виноградов: Сильно увеличатся нагрузки и понадобится большая производительность везде. С точки зрения обработки, наверное, мало что изменится, потому что у нас есть все возможные ITIL-процессы, все возможные внутри СУБД конструкции с написанием процедур. Как ее растить бесконечно под эти безумные нагрузки — скорее всего, будет ключевой проблемой в будущем.
Мы придем по технологической синусоиде туда же, где были лет 15–18 назад, когда уперлись в размер жесткого диска, в его производительность и требовалось горизонтально расширяться нодами. Это значит, что магия и кунг-фу распределенных систем снова будет актуальной.
Наверное, на этом фоне программно-определяемые технологии будут играть большую роль, чем раньше?
Александр Виноградов: Да, совершенно точно: всё, что software-defined, и всё, что накоммодить и заводить, будет пользоваться гораздо большей популярностью, чем enterprise, scale-up хранилища, которые были.
К вопросу о масштабируемости. Здесь существует извечная дилемма: масштабируемость или отказоустойчивость. Масштабирование цифровых сервисов ведет к повышению риска сбоев в ИТ-системах, как известно. Как найти золотую середину и достижима ли она?
Александр Виноградов: Масштабироваться можно бесконечно, если у вас есть архитектурно scale-out’ная система. Чтобы найти золотую середину, нужно понять, на какие риски придется пойти. Нет панацеи и единого решения, чтобы оно было и отказоустойчивым, и производительным одновременно. Не бывает хорошо, быстро и дешево.
Механизмов много. Можно использовать erasure coding, он разный. Можно делать различного рода пары данных, чанков данных. Всё зависит от того, какое количество денег вы готовы потратить на разработку стратегии управления рисками.
Как мы уже говорили, растет объем данных, которые бизнесу надо собирать, хранить, обрабатывать. Это могут быть уже петабайты данных в разных форматах и разных системах. Насколько российский рынок решений по интеграции и обработки данных можно назвать зрелым и удовлетворяющим потребности бизнеса? И каких технологий, по вашему мнению, не хватает на рынке?
Александр Виноградов: Не хватает software-defined блочных хранилищ в большом количестве, чтобы они были классные и стабильные и конкурировали друг с другом. Примеров этого софта мало. И с ITIL то же самое. Хотелось бы увидеть доминирующего вендора или пару вендоров. В остальном, мне кажется, мы готовы ко всему, потому что хранилище структурировано, информация СУБД и кэши.
В продолжение темы российского рынка решений, как вы думаете, какое будущее у программно-аппаратных решений? Появятся ли российские аналоги Exadata, Teradata, SAP HANA?
Александр Виноградов: Нет сомнений, что появятся. Думаю, что уже кто-то делает все три, мы просто об этом не знаем. В период моей работы в американских корпорациях были разные программные и программно-аппаратные продукты, которые разрабатывали специалисты из России. Теперь здесь российские разработчики работают в США, делая эти же самые продукты. Поэтому мы можем не знать, что сейчас кто-то переизобретает SAP HANA. Думаю, мы полностью заполним локальный рынок большим количеством конкурирующих продуктов года через 2–3. Я бы ставил на 2025–2026 годы.
Вы упоминали, что смотрите в сторону технологических альянсов, здесь имеются в виду заказчики как технологические партнеры, у которых развита собственная экспертиза, или вы также готовы устанавливать партнерства в этом плане с какими-то вендорами?
Александр Виноградов: В первую очередь с вендорами, конечно. Но мы рассмотрим любую компанию, если это будет интересно технологически и коммерчески.
Было бы интересно узнать, по какому треку планирует развиваться Tarantool и почему?
Александр Виноградов: Tarantool Enterprise Edition, или Tarantool Plus, как указано в реестре российского ПО, — это сама платформа. На ней строим коробочные продукты, и развиваться будем, закрывая все возможные use case’ы по хранению и обработке данных. Часть аналитических нагрузок также собираемся закрывать.
Сейчас продолжается тренд на работу с большими данными. В какой степени Tarantool сейчас уже применим для работы с big data и machine learning, есть ли у вас желание развивать свой продукт в эту сторону?
Александр Виноградов: У нас есть Cloud Storage, который работает по протоколу S3, и это на 80% или больше на Tarantool написано. Оно скорее может смотреть в сторону больших данных. Там можно хранить огромные дата-файлы, из них потом аналитика будет считаться. Здесь всё можно связать в одну инфраструктуру за счет поддержки протокола S3.
С точки зрения machine learning интереснее: здесь Tarantool используется для хранения векторов у нас внутри и в ряде компаний, которые занимаются computer vision, используя Tarantool для этих целей. В эту сторону мы будем развиваться, и будут постепенно появляться продукты, закрывающие эту нишу.
Как обстоят дела с обеспеченностью специалистами, разработчиками, эксплуатирующими решения, хватает ли рынку специалистов на Tarantool? Что вы делаете для развития рынка таких специалистов? Особенно ввиду того, что с прошлого года дефицит ИТ-кадров несколько усилился.
Александр Виноградов: Я бы сказал, что специалистов хватает. Как правило, заказчики при желании взрастить у себя экспертизу по эксплуатации, расширению и созданию сервисов справляются с этой задачей. Часто они не идут в эту сторону, потому что иногда это не нужно и может быть гораздо проще обратиться к нам, поскольку спектр услуг, которые мы оказываем, огромный. Часто не нужно делать что-то с нуля, проще заказать.
Мы растим экспертизу всегда, у нас очень понятный трек попадания в команду с позиции стажера. Есть стажерская программа, много развилок, куда расти, и люди, приходя к нам стажерами, идут, скорее всего, в саппорт, потом растут в разработку, поддержку, администрирование, эксплуатацию, автоматизацию. Можно прийти стажером в пресейл, а оттуда начать рост в более коммерческую историю.
Разумеется, у нас есть обучение — и для заказчиков, и открытые курсы, которые можно купить, и возможность изучать технологии Tarantool в открытом доступе.
Для заказчиков это как отдельная услуга?
Александр Виноградов: Да. Есть инструмент, который называется Try Tarantool. Это песочница, куда вы можете зайти и по инструкции развернуть Tarantool. Потом можно этот контейнер себе скачать и запустить. Разумеется, мы выступаем на всевозможных конференциях в России и не в России, пишем статьи. На «Хабре» у нас огромный блог, также развивается блог на нашем сайте.
Мы с вами говорили про развитие продуктовой линейки, но хотелось бы еще поподробнее узнать, какой у вас трек развития по услугам? Что-то новое будете предлагать заказчикам?
Александр Виноградов: Мы уже все предложили. У нас типизировалась поддержка. Она разбилась на гарантийную, на поддержку решений, на расширенную поддержку с разными SLA, но это не новое. И так были разные предложения. Мы еще внедрением занимаемся, можем архитектуру нарисовать, консалтинг предоставить.
Интересно было бы еще поговорить про какие-то конкретные кейсы применения Tarantool. Например, есть ли кейсы использования Tarantool для CRM-маркетинга, построения программ лояльности?
Александр Виноградов: Ритейл, банки и телекомы — у нас во всех них есть RTM, который каким-то образом используется. Был проект с «Магнитом», точнее между «Магнитом» и «Деливери», когда при помощи Tarantool стягивалась и обновлялась информация об остатках товаров в магазинах «Магнита» по всей стране, чтобы вы через приложение не заказали то, чего нет.
В одной из ритейл-сетей был такой кейс — не знаю, это RTM или нет, — это такой процессинг ивентов: пока на кассе вам пробивают что-то, ваш профиль анализируется с точки зрения покупок и сразу же на чеке вам печатают «один плюс один килограмм картошки» и предложение со скидкой. Это моментально обрабатывается через Tarantool, ивент случается после быстрой аналитики.
Такого рода вещи, как программа лояльности, где анализируются данные и людям очень быстро подкидываются акции, персональные скидки, есть во всех этих сегментах, и наши заказчики плюс-минус известны.
Александр, как вы думаете, в бизнесе в будущем какие будут более востребованы базы данных — например, гибридные, поддерживающие разные типы данных или какие-то узкоспециализированные решения?
Александр Виноградов: Я думаю, что всё перейдет постепенно в узкоспециализированные решения. Совмещать графовые базы с какой-нибудь классической SQL в виде Postgres или MySQL — бессмысленная задача. Думаю, они все очень сильно типизируются в будущем. Вопрос в том, будут ли такие конструкции, как у нас, например, сделаны, когда в общем графовую базу можно реализовать на Tarantool и с точки зрения производительности она вполне себе будет достойна.
Возможно, кто-то пойдет этим путем, будет слой базовой технологии, на основе которого создаются различного рода СУБД, еще какие-то хранилища, кэши, storage и т. д. Но я совершенно уверен, что всё типизируется: мультимодельные истории, когда всё можно хранить в одном месте, — это вряд ли.
Хотелось бы развить тему про технологически различные альянсы и сотрудничество. Как у вас сейчас выстраивается сотрудничество с российскими производителями «железа» в области хранения данных?
Александр Виноградов: Мы активно взаимодействуем в области объектного хранения с Cloud Storage и делаем это по-разному: и в проектах, и делаем программно-аппаратные комплексы в рамках альянсовых программ. Часть нашей стратегии — продолжать это делать.
По вашему мнению, какие основные факторы сокращения time-to-market сейчас есть у бизнеса?
Александр Виноградов: С точки зрения технологий — это единые платформы по хранению и обработке. То есть не иметь 50 open-source-проектов или платных программных продуктов, принятых внутри одной компании, которые по-разному программируются, эксплуатируются и для которых нужны разные эксперты, а иметь одну платформу. Это гораздо удобнее. Поскольку у вас растут нагрузки, вам нужна одна платформа для работы и хранения, а не «зоопарк».
На что, по вашему мнению, важно обратить внимание при внедрении data-driven-подходов и в целом в управлении данными в компаниях?
Александр Виноградов: С точки зрения технологии хранилище нужно всегда строить с оглядкой больше не на производительность, а на отказоустойчивость и с оглядкой на интеграцию с инструментами, которые вы будете использовать для работы с этими данными. Потому что аналитику важно, чтобы его инструмент мог работать с этим хранилищем. А с точки зрения бизнеса данные — это хорошо, но стоит верить интуиции, помимо самих данных.
erid: -
