Исследование TAdviser: Рынок аутсорсинга услуг тестирования ИТ-систем в России

Введение

Предмет и цели исследования

Настоящее исследование TAdviser посвящено достаточно узкой, с точки зрения финансовой оценки, области в рыночном сегменте аутсорсинговых ИТ-услуг – аутсорсингу услуг тестирования программного обеспечения. Несмотря на относительно скромный – по сравнению с другими видами ИТ-услуг - размер данного сегмента рынка, в последние 2-3 года он привлек к себе внимание аналитиков и профильных СМИ из-за нескольких больших конкурсов с бюджетами в сотни миллионов рублей, проведенных ключевыми заказчиками (крупные банки, госструктуры федерального уровня, розничные сети).

Основными целями исследования, проведенного в сентябре-ноябре 2018 года, были:

• Качественная оценка рынка услуг тестирования – кто и какие услуги заказывает, кто и какие услуги предоставляет;
• Оценка текущего объема рынка услуг тестирования ПО в денежном выражении;
• Формирование рейтинга основных компаний-провайдеров услуг тестирования по годовым объемам выручки;
• Выявление основных тенденций на рынке, проблем и рисков для поставщиков и заказчиков услуг тестирования.

Объекты исследования

Объектами исследования были обе стороны рыночных отношений – и заказчики услуг, и провайдеры.

В отношении заказчиков услуг тестирования анализ заключался в качественной и количественной оценке их потребностей; для провайдеров услуг основным содержанием анализа были оценка исполнительского ресурса, оценка годовой выручки в рассматриваемой категории ИТ-услуг, оценка потенциала дальнейшего развития.TAdviser выпустил Гид по российским операционным системам 10.8 т

Крупнейшими заказчиками услуг тестирования ПО в последние несколько лет являются банки из Топ-20 рейтинга российских банков – Сбербанк России, ВТБ / ВТБ24, Альфа-Банк, «Газпромбанк», «ФК Открытие». Анализ публично доступной информации по ИТ-закупкам Сбербанка позволил сформировать практически исчерпывающий список второй стороны рынка – компаний-провайдеров услуг тестирования. Неформально критерий принадлежности к группе основных провайдеров можно сформулировать так: «Если компания ни разу не принимала участие в конкурсах Сбербанка по тестированию, значит, она не является участником данного рынка».

Основными объектами исследования стали компании, для которых услуги тестирования ПО и сопутствующие услуги являются основным или одним из нескольких ключевых видов деятельности. Критерии отбора компаний в список исследуемых:

• Минимальный объем годовой выручки от услуг тестирования ПО – не менее 20 млн рублей;
• Наличие в штате не менее 10 специалистов по тестированию ПО;
• Наличие в перечне предоставляемых услуг тестирования не менее 2-х услуг из наиболее востребованных на рынке;
• Наличие в списке клиентов, как минимум, одного крупного заказчика услуг тестирования из профильных отраслей.

Тестирование ПО – базовое определение и классификация

Базовое определение

Классическое определение понятия "тестирование программного обеспечения" зафиксировано в стандарте ISO/IEC TR 19759 "Software Engineering -- Guide to the software engineering body of knowledge (SWEBOK)" (первая версия стандарта выпущена в 2005 году, действующая редакция – 2016 год):

Тестирование (software testing) – деятельность, выполняемая для оценки и улучшения качества программного обеспечения. Эта деятельность, в общем случае, базируется на обнаружении дефектов и проблем в программных системах.

Заслуживает быть процитированным еще один фрагмент из того же стандарта:

Общий взгляд на тестирование программного обеспечения последние годы активно эволюционировал, становясь все более конструктивным, прагматичным и приближенным к реалиям современных проектов разработки программных систем. Тестирование более не рассматривается как деятельность, начинающаяся только после завершения фазы конструирования. Сегодня тестирование рассматривается как деятельность, которую необходимо проводить на протяжении всего процесса разработки и сопровождения и является важной частью конструирования программных продуктов. Действительно, планирование тестирования должно начинаться на ранних стадиях работы с требованиями, необходимо систематически и постоянно развивать и уточнять планы тестов и соответствующие процедуры тестирования.

Классификации видов и методов тестирования

Основные характеристики качества программного обеспечения впервые описаны в стандарте ISO/IEC 25010:2011 "Systems and software engineering. Systems and software Quality Requirements and Evaluation (SQuaRE). System and software quality models":

• функциональная пригодность,
• уровень производительности,
• совместимость,
• удобство пользования,
• надежность,
• защищенность,
• сопровождаемость,
• переносимость (мобильность).

Один из вариантов классификации видов и методов тестирования, привязанной к модели качества ПО и целям тестирования, приведен на Рис.1.

Рис. 1. Классификация видов тестирования ПО в формате Mind Map (источник – Habr.ru^[1])

Потенциальный спектр услуг на рынке тестирования ПО, как это видно из Рис. 1, достаточно широк, однако, существующие на сегодняшний день потребности заказчиков концентрируются, в основном, вокруг ограниченного набора услуг, фактически и формирующего рынок в его нынешнем виде и объеме.

Эти востребованные услуги включают в себя:

• функциональное тестирование (ФТ) - ручной (РФТ) и автоматизированный (АФТ) варианты;
• нагрузочное тестирование (НТ) - основной подвид нефункционального тестирования;

Тестирование ПО и обеспечение качества ПО – в чем разница?

Достаточно часто в публикациях на темы тестирования ПО (в том числе, и на сайтах компаний-провайдеров ИТ-услуг) наряду с термином «тестирование ПО» употребляется как синоним другой термин – «обеспечение качества ПО», а также аббревиатура SQA (часто – просто QA), происходящая от английского варианта "software quality assurance". Обычно такое смешение и взаимозамена терминов происходят в маркетинговых публикациях, в названиях тематических мероприятий, в общении в рамках профессионального сообщества.

Процедуры обеспечения качества охватывают весь цикл разработки программного обеспечения, включая такие процессы как определение требований, проектирование, кодирование, контроль исходного кода, анализ кода, конфигурационное управление, тестирование, управление релизами и интеграция продуктов. Процедуры обеспечения качества включают цели, возможности, процедуры, измерения и проверки. Если формулировать коротко и намеренно упрощенно, тестирование ПО обеспечивает проверку качества готового продукта, а процедуры обеспечения качества, в полном соответствии со своим названием, организуют весь процесс производства продукта с целью получения качественного результата.

Показательно, что существует концепция, объединяющая в себе разработку и тестирование – «Разработка, управляемая тестированием (Test-driven development)». По сути, это не столько техника тестирования, сколько стиль организации процесса разработки, жизненного цикла, когда тесты являются неотъемлемой частью требований (и соответствующих спецификаций).

Зачем нужен аутсорсинг тестирования?

Даже при наличии сильных подразделений тестирования в компаниях-заказчиках, избежать заказа аутсорсинговых услуг удается не всегда. Собственный штат тестировщиков (даже очень хороший) ограничен в своих возможностях, прежде всего количественно – бесконечно увеличивать этот штат невозможно, исходя из структуры компании, KPI бизнеса и т.п.

Павел Эйделанд, руководитель Центра тестирования компании «Аплана»^[2]:

Преимущества аутсорсинга в области тестирования по большому счету ничем не отличаются от преимуществ использования такой модели в любой другой области. Основной плюс аутсорсинга – возможность быстро получить компетенцию, которой компания не располагает, чтобы избежать необходимости нанимать дополнительных специалистов в штат. Поиск специалистов на рынке – это долгий и порой очень сложный процесс, особенно если речь идет о редких компетенциях. Во-вторых, очевидно, что компании нецелесообразно нанимать людей на проекты, которые длятся всего несколько месяцев или выполняются дискретно. Кроме того, аутсорсинговая модель дает возможность черпать трудовые ресурсы в регионах, где обычно стоимость их существенно ниже, чем в Москве.

Часто возникает ситуация, когда число бизнес-критических систем, подлежащих тестированию, кратно превосходит исполнительские возможности штата внутренних тестировщиков.

Сергей Лунев, X5 Retail Group, начальник отдела обеспечения качества:

На сегодняшний день в X5 Retail Group из всего объема затрат на тестирование до 80% приходится на аутсорсинг/ аутстаффинг тестирования.

Здесь следует сделать небольшое уточнение относительно термина «аутстаффинг» , появившегося в вышеприведенной цитате. Официально оказание услуг заемного труда (российское название аутстаффинга) в РФ разрешено только для аккредитованных кадровых агентств и организаций, находящихся внутри единых холдинговых структур. Провайдеры и заказчики услуг тестирования применяют этот термин в качестве рабочего слэнга – потому что внешне это действительно очень похоже на аутстаффинг. В проектах по функциональному тестированию, обычно имеющих продолжительность от 6 до 12 месяцев и дольше, команды тестировщиков, сформированные компанией-провайдером, работают на площадках заказчиков и находятся в оперативном управлении заказчика. Такой режим работы сложился исторически: он обусловлен не только удобством для заказчика, но и соображениями информационной безопасности, т.к. зачастую тестируемые системы содержат конфиденциальную информацию и/или информацию, являющуюся коммерческой тайной заказчика, персональными данными клиентов.

Но по факту (и юридически) это аутсорсинг на условиях T&M (Time and Materials) с длительным сроком оказания услуг и формированием реального объема услуг на основании спецификаций, поступающих от заказчика. Основной причиной именно такой формы работы является невозможность точного определения трудоемкости проекта до ознакомления с системой и начала тестирования, из-за чего оказание услуг по фиксированной стоимости аутсорсингового контракта не представляется возможным.

Сергей Лунев, X5 Retail Group:

Лично я не воспринимаю аустафф, как внешний ресурс – это просто люди, которые получают зарплату не в нашей компании, а в другом месте. Если со стороны провайдера при этом еще есть дополнительный сервис по развитию этих людей и их мотивации, по консалтингу в части выполнения работ, если они <провайдер> постоянно наблюдают за ситуацией, то это очень хорошо работает.

Рынок тестирования ПО в России – этапы развития

Начальной точкой отсчета истории рынка следует считать 1998 год, когда была создана первая компания, представлявшая только аутсорсинговые услуги тестирования ПО. Таким образом, в этом году у рынка тестирования юбилей – 20 лет.

Прошедшие два десятилетия можно условно разделить на 4 периода:

• 1998-2008 гг. – период формирования рынка на стороне исполнителей и постепенного появления заметного и постоянного пула заказчиков. Первые заказчики приходят из отраслей, где критически важны производительность и стабильность информационных систем – банки, телеком. На формирующийся рынок смотрят с заинтересованностью, но, в основном, в режиме наблюдения "старожилы" – системные интеграторы и ИТ-аутсорсеры, образовавшиеся в начале и середине 90-х годов; некоторые из этих компаний реально придут на рынок только во второй фазе его развития;
• 2008-2012 гг. – период созревания рынка. Появление специализированных компаний-провайдеров услуг тестирования, приход в потенциально привлекательный сегмент рынка известных интеграторов. Стабилизация основного набора услуг тестирования, наращивание численности квалифицированного персонала, освоение инструментальных средств. Рост просвещенности на стороне заказчиков;
• 2013 -2017 гг. – постепенный стабильный рост с резким всплеском в 2015-2017 гг. Основной драйвер рынка – Сбербанк (и его ИТ-«дочка» - «Сбербанк Технологии», «СберТех»). Рынок заметно растет в объеме суммарной выручки, приходит вторая волна провайдеров (вновь образованные компании – в том числе, и созданные выходцами из компаний первой волны). Усиливается конкуренция, достаточно заметно обозначается дефицит квалифицированных кадров;
• 2018 год – начало нового исторического этапа на рынке. Основной вехой, отмечающей начало данного этапа, является происходившая в течение года реорганизация "СберТеха" (и случившееся в рамках этой реорганизации фактическое упразднение Департамента качества (ДК), являвшегося на протяжении предыдущих 3-4 лет своеобразной "точкой силы" – подробнее об этом см. в разделе 6 «Сбербанк России – стратег на рынке тестирования ПО»).

Экономика проектов тестирования

Кто заказывает аутсорсинг тестирования?

В интервью, состоявшемся 7 лет назад, но не утратившем актуальности по многим аспектам рассматриваемой темы, заместитель генерального директора по развитию бизнеса компании EPAM Systems Артак Оганесян дал портрет типичного заказчика услуг тестирования^[3]:

Типичный заказчик аутсорсинга тестирования ПО – это компания, которая обладает достаточной зрелостью, чтобы пристально следить за надежностью информационных систем, но которая не хочет тратить деньги на создание внутри себя по сути полноценной ИТ-организации. Таких клиентов становится все больше, и востребованность аутсорсинга тестирования растет. В основном услуга актуальна для финансовой, страховой и телекоммуникационной отраслей, где существует критическая зависимость бизнеса от большого количества информационных систем, при этом требуются их постоянное развитие и внедрение новых приложений.

За прошедшие 7 лет несколько изменился (хотя, практически не расширился) перечень отраслей, в которых находятся сегодня основные заказчики:

• На первом месте безоговорочно находится банковско-финансовая отрасль (прежде всего, банки из Топ-10 – Сбербанк, ВТБ), к которой имеет смысл отнести и страховые компании;
• Второе место сегодня достаточно уверенно занимает ритейл – крупные торговые сети (X5 Retail Group, Эльдорадо, Лента) по оснащенности средствами ИТ и сложности своей ИТ-инфраструктуры уже вполне могут соперничать с банками;
• Телеком-компании, сохраняя высокую ИТ-вооруженность и также обладая обширным спектром бизнес-критических систем, тем не менее, постепенно утрачивают статус топ-заказчиков услуг тестирования. Это не значит, что потребность в контроле за качеством ПО в телекоме уменьшилась – просто, большинство крупных телеком-операторов, еще несколько лет назад бывших одними из основных заказчиков аутсорсинговых QA-услуг, постепенно переходят на модель инсорса и формируют компетенции по тестированию ПО внутри себя;
• Все еще в статусе потенциально многообещающих заказчиков находятся госструктуры (в основном, федерального уровня и крупнейшие региональные - Пенсионный фонд России, ФНС, ФТС, ДИТ Москвы). Несмотря на то, что крупные QA-провайдеры называют «госов» и в числе своих сегодняшних заказчиков, это выглядит, скорее, как аванс самим себе на будущее. Состоявшиеся 3-4 года назад несколько не очень масштабных проектов по тестированию пока не создали устойчивый тренд.

Экономика проектов тестирования

Стоимость проекта тестирования формируется изначально на стороне заказчика в виде начальной максимальной цены контракта (НМЦК), объявляемого на конкурсные торги. Формулы расчета НМЦК достаточно просты – они базируются на утвержденных заказчиком максимальных часовых или дневных ставках специалистов по тестированию (с учетом видов тестирования и категорий специалистов) и утвержденной трудоемкости работ по тестированию, рассчитываемой по нормативам заказчика и с учетом накопленной статистики по прошлым проектам.

На основании публично доступных данных из конкурсов Сбербанка (см. Табл. 1) можно сделать вывод о том, какой уровень зарплат специалистов является максимально возможным, с точки зрения зарплат привлекаемых специалистов, с тем, чтобы проект тестирования оставался прибыльным для исполнителя.

Табл. 1. Рыночные ставки и зарплаты специалистов по тестированию ПО с НДС (в регионе Москва)

Источник – конкурсная документация Сбербанка

* Значения расчетной зарплаты получены делением месячной ставки специалистов на коэффициент 2.5, учитывающий социальные отчисления, налоги, накладные расходы, норму прибыли, рассчитываемые как соответствующие производные величины от фонда оплаты труда (ФОТ). Рыночные значения данного коэффициента обычно находятся в диапазоне 2.3-2.7.

Достаточно часто используется метод расчета стоимости, базирующийся не на ставках исполнителей, а на стоимости типовых операций, выполняемых в ходе проекта тестирования. В этом случае заказчик задает максимальные оценки стоимости каждой операции, а НМЦК рассчитывается по количеству операций каждого типа, которые должны быть выполнены в проекте (подготовка тестового сценария, прогон теста, подготовка отчета и т.п.). Конкуренция на торгах происходит относительно снижения стоимости типовых операций.

При этом только обязательно нужно помнить, что в ходе конкурсных процедур стоимость контракта достаточно серьезно «утрамбовывается» - нередко на 25-30%. Кроме того, практика крупных заказчиков предусматривает дополнительные переговоры с победителями конкурсов на предмет дополнительного снижения цены (нередко еще на 5-10%).

Еще один аспект стоимости контрактов, о котором нужно знать и помнить – это система штрафных санкций, предусмотренных для исполнителя контракта в случае недостижения им заданных критериев качества.

Штрафные санкции к исполнителям прописываются в контрактах и применяются практически всеми крупными заказчиками. Правда, штрафы не являются панацеей. Срыв проекта тестирования бизнес-критической системы обычно чреват для заказчика серьезными убытками, не окупающимися штрафами.

С.Лунев, X5 Retail Group:

Для руководства (X5, прим. TAdviser) не имеет значения, по чьей конкретно вине происходит срыв проекта. Объяснять ИТ-директору, что сроки не выдержали аутсорсеры – жалкое оправдание. Последствия подобного срыва для X5 с ее объемами – недополучение прибыли, неработоспособность сервиса. При этом утешать себя тем, что нерадивый исполнитель оштрафован, несерьезно – потери прибыли от нереализации проекта не покрываются никакими штрафами, выставленными аутсорсеру. Можно выставить аутсорсеру такие штрафы, что он просто прекратит существование, но нам-то это не поможет.

Современное состояние рынка тестирования ПО в России

Сегодняшнее состояние рынка тестирования ПО характеризуется следующим образом:

1. Рынок сформировался содержательно.

• Понятен основной набор услуг на рынке, понятны способы оказания этих услуг.
• Понятна динамика востребованности различных услуг.
• Существуют организационные формы и инструментальные средства оказания услуг

2. Рынок вполне сформировался с точки зрения спроса и предложения.

• Есть заказчики с понятными потребностями, понятными прогнозами по платёжеспособности, понятными механизмами коммуникаций.
• Есть провайдеры услуг, способные обеспечить исполнение всех основных потребностей заказчиков.
• Достаточно стабильный пул провайдеров, формирующих рынок качественно и количественно насчитывает 10+ компаний. Общий пул участников рынка на стороне провайдеров – порядка 20+ компаний.
• Пул заказчиков численно ограничен, но зато это очень крупные заказчики, своими потребностями загружающие всех существующих провайдеров.

3. Рынок по основным параметрам соответствует общемировым тенденциям и практикам – те же методологии, те же инструменты, те же проблемы и риски.

Текущее состояние рынка тестирования ПО в России однозначно характеризуется как "рынок заказчиков", то есть, все основные правила игры на рынке, тенденции развития, динамику, объем рынка в денежном выражении определяют заказчики услуг. В фигуральном смысле можно сказать даже более жестко: рынок тестирования ПО это рынок, переформатированный одним заказчиком – Сбербанком России.

В отраслевом разрезе, несмотря на декларации провайдеров о том, что они имеют в своих портфолио заказчиков из 4-5 отраслей, основной объем выручки на рынке формируется за счет представителей банковско-финансового сектора и ритейла.

Есть еще, конечно, рынок мелких разработчиков и мелких провайдеров тестирования (условно – "рынок кустарей" в противовес "промышленному рынку"), состоящий из десятков (если не сотен) субъектов на каждой стороне, но этот рынок (несмотря на его потенциально немалый объем) является практически неизмеримым – относительно его суммарных характеристик можно только строить догадки. Правда, и востребованные на данном рынке виды услуг тестирования сильно отличаются от "промышленного рынка" – как правило, это тестирование веб-настроек и веб-интерфейсов, настройки производительности веб-приложений, UX/UI-тестирование и т.п.

Провайдеры услуг тестирования

В настоящее время на рынке присутствует порядка 20+ компаний, предоставляющих услуги тестирования ПО (см. Табл. 2). Среди них:

• Специализированные провайдеры: «Аплана», «Перфоманс Лаб», ряд небольших компаний;
• Крупные разработчики заказного ПО со своими центрами тестирования: EPAM Systems, "Люксофт Профешнл"
• Системные интеграторы со специализированными подразделениями тестирования «ЭйТи Консалтинг», «Бэлл Интегратор», «Ай-Теко» / ИЦ «Ай-Теко».

В таблице представлены основные компании-провайдеры услуг, присутствующие сегодня на рынке. Видно, что по стажу на рынке компании достаточно четко делятся на группы "ветеранов" и "новичков" (к "новичкам" относятся компании, созданные после 2011 года). Но при этом нужно помнить, что некоторые "новички", на самом деле, являются дочерними структурами "ветеранов" (например, ИЦ «Ай-Теко») и по опыту своего персонала ничем не уступают последним. С другой стороны, у ряда "ветеранов" направление тестирования достаточно долго могло находиться в "следящем" режиме, и его активизация произошла относительно недавно, вместе с ростом рынка.

Данные по объемам выручки и численности штата тестировщиков собраны из различных источников; некоторые цифры являются оценками TAdviser (об этом есть пометка); там, где уверенности в корректности оценки не было, указано «н/д» (нет данных). Компании представлены в последовательности, соответствующей объемам выручки за услуги тестирования в 2017 году.

Табл. 2. Основные провайдеры услуг тестирования (оценка по 2017 году)

* Оценка TAdviser

** Компания Экзактпро (Exactpro) (до 2015 называлась «ИТС-Эксперт») специализируется на разработке и тестировании ПО для бирж, инвестбанков, брокеров. Ввиду достаточно узкой специализации и ориентации на западные рынки, компания не «засветилась» ни у больших заказчиков услуг тестирования, ни в контрактах с госструктурами.

Количественные показатели рынка

Суммарная оценка объема рынка услуг тестирования была сформирована из следующих компонентов, полученных либо путем поиска и обработки доступной информации, либо расчетами по специальной модели:

1. Прямые продажи услуг тестирования. Это базовый объем рынка, вычисляемый как сумма годовых объемов выручки компаний-провайдеров, полученной от исполнения контрактов, основным предметом которых было оказание услуг тестирования ПО. В расчеты по данному компоненту включается выручка, полученная от реализации проектов у заказчиков любой сферы деятельности – банков, коммерческих компаний, государственных структур.
2. Непрямые продажи услуг тестирования в коммерческом секторе. Суммарные ежегодные объемы выручки от услуг тестирования, оказываемых в рамках комплексных проектов заказной разработки ПО для коммерческих заказчиков. Этот компонент (при правильном его определении) не пересекается с другими компонентами общей оценки.
3. Непрямые продажи услуг тестирования в государственном секторе. Суммарные ежегодные объемы услуг тестирования в рамках проектов создания/развития/модернизации федеральных ГИС. Этот компонент также не пересекается с другими компонентами общей оценки.

Табл. 3. Компоненты оценки объема рынка тестирования, тыс. руб.

* Оценка TAdviser

Из Табл. 3 видно, что основной компонент объема рынка – прямые продажи услуг тестирования – достаточно стабильно увеличивался от года к году. Эта стабильность, конечно, была обеспечена, в первую очередь, Сбербанком, и достаточно резким наращиванием объемов тестирования в объединенном ВТБ / ВТБ24 (см. Табл. 4).

Однако, в текущем году, по предварительной оценке, прямые продажи услуг тестирования вышли на "плато" – их рост по сравнению с 2017 годом незначителен (хотя, конечно. год еще не закончился, но оставшийся месяц вряд ли что-то серьезно изменит).

Табл. 4. Закупки услуг тестирования Сбербанком и ВТБ / ВТБ24, тыс. руб.

Невидимые игроки рынка

Госсектор – «спящий заказчик»

При оценке общего объема рынка, приведенной выше, компонент «Непрямые продажи услуг тестирования – государственный сектор» был добавлен не для того, чтобы итоговая цифра по рынку смотрелась повнушительнее. Госсектор федерального уровня – это групповой игрок рынка, имеющий высокий потенциал, но находящийся в настоящее время в неактивном состоянии. В 2014-2016 гг. некоторыми провайдерами были выполнены контракты по тестированию (преимущественно, нагрузочному и интеграционному) для ряда федеральных ведомств, разрабатывающих и эксплуатирующих большие ГИС – Пенсионного фонда (АИС ПФР-2)], Федеральной налоговой службы (АИС Налог-3), однако, подобные контракты не стали регулярными. В основном, такая ситуация обусловлена стандартной причиной – наличием приближенного к ведомству инсорсера или не менее приближенной команды разработчиков, которая замыкает на себя все услуги в рамках жизненного цикла систем.

Как уже было отмечено выше, суммарный ежегодный бюджет на создание и развитие федеральных ГИС находится на уровне примерно в 15 млрд рублей; еще около 15 млрд ежегодно расходуется на эксплуатацию всех этих ГИС. Бизнес-критичность государственных систем, в целом, сильно уступает критичности финансовых и банковских систем, но из нескольких сотен существующих ГИС можно насчитать примерно 15-20, к функциональности и высокой доступности которых предъявляются достаточно высокие требования. Поэтому не будет большой ошибкой посчитать, что суммарно на тестирование всех ГИС уходит примерно 15% из 15-миллиардного бюджета развития, то есть, порядка 2,25 млрд рублей.

К оценке, полученной для федеральных ведомств было решено добавить оценку для крупнейшего регионального ИТ-ведомства – ДИТ Москвы. Годовой бюджет ДИТ в 2016 году составлял более 30 млрд рублей, а в 2017 году превысил 45 млрд рублей. По структуре бюджет ДИТ практически аналогичен суммарному бюджету федеральных ведомств, поэтому можно принять, что на создание и развитие региональных ГИС расходуется – в процентном отношении – такая же доля бюджета, что и на федеральном уровне (15%). Доля тестирования в этом бюджете развития также может быть принята на уровне 15%. Таким образом, расчетные затраты ДИТ Москвы на тестирование ежегодно составляют порядка 0,7-1 млрд рублей.

Среди закупок ДИТ Москвы можно легко обнаружить ежегодные контракты, целиком относящиеся к тестированию ПО. Предмет этих контрактов – «Оказание услуг по технической экспертизе информационных систем, разрабатываемых, модернизируемых и эксплуатируемых в рамках Государственной программы города Москвы "Информационный город"», ежегодная стоимость находится на уровне 65-70 млн рублей. При этом выборочная проверка нескольких крупных контрактов на развитие городских ИС (с бюджетами в 100-300 млн рублей) показала, что в составе работ в этих контрактах предусмотрены затраты на тестирование на уровне 15-25% от общей суммы. Таким образом, вышеприведенный расчет объема затрат на услуги тестирования в ДИТ Москвы является консервативным и статистически достоверным.

«Черная дыра» рынка – «карманные» инсорсеры

Образ астрономической «черной дыры» неслучайно применен к «карманным» инсорсерам госкорпораций. Понятно, что госкорпорации для своего нормального функционирования нуждаются в крупной и сложной ИТ-инфраструктуре. Эта инфраструктура существует, развивается и эксплуатируется, получая практически 100% необходимого объема и спектра ИТ-услуг от приближенных компаний-инсорсеров. Как «черная дыра» в астрофизике не выпускает свет за свой горизонт событий, так и инсорсеры практически не выпускают ИТ-бюджеты госкорпораций за пределы своего «горизонта финансов». Единственное исключение среди инсорсеров – «СберТех», который является уникальным примером «карманного» инсорсера, широко использующего в своей деятельности аутсорсинг ИТ-услуг.

Пытаться оценить виртуальный (а точнее – мнимый) объем услуг тестирования, приходящийся на крупнейших инсорсеров, бессмысленно – доступ к этому квази-рынку для посторонних надежно закрыт. Но сам этот рынок, как гравитационное поле «черной дыры», вполне ощутимо влияет на реальный рынок услуг тестирования – конкретно, на его человеческие ресурсы. Специалисты по тестированию уходят от провайдеров не только к заказчикам в пределах наблюдаемого рынка, но и на другую сторону «горизонта финансов» - к инсорсерам. Пока это происходит не в таких масштабах, которые в свое время (2014-2016 гг.) демонстрировал «СберТех», но угроза вполне реальна – особенно в контексте надвигающегося тренда цифровой трансформации (см. раздел «Тенденции и перспективы рынка»).

Оценить потенциальный размер этой угрозы можно, сравнив, например, основные характеристики двух инсорсеров – «Сибинтека» и «СберТеха». Годовой объем выручки у обеих компаний примерно одинаков, а значит, можно предположить, что и профили обслуживаемой ИТ-инфраструктуры могут быть сопоставлены с определенным коэффициентом подобия. Конечно, ИТ-инфраструктура Сбербанка, в силу более высокой бизнес-критичности и нагруженности, существенно сложнее инфраструктуры Роснефти, обслуживаемой «Сибинтеком». Видимо, не будет большой ошибкой посчитать, что коэффициент сложности «СберТех к Сибинтеку» имеет значение в диапазоне 3-5. Это означает, что потребность «Сибинтека» в специфических ИТ-ресурсах (разработчики ПО, тестировщики) уступает потребности «СберТеха» в 3-5 раз. При этом внутренняя и внешняя потребность «СберТеха» в тестировщиках (до реорганизации 2018 года) оценивается примерно в 3 тысячи человек. Таким образом, текущая потребность «Сибинтека» в тестировщиках может быть оценена примерно в 600-1000 человек. Сколько из этого числа сегодня реально работает в инсорсере, неизвестно. Но если в обозримом будущем «Сибинтек» придет на открытый рынок за тестировщиками, то он без труда поглотит компанию размером с «Аплану» или «Перфоманс Лаб».

Сбербанк России – стратег на рынке тестирования ПО

Роль Сбербанка России в формировании текущего состояния рынка тестирования ПО (как в финансовом, так и во всех остальных аспектах рынка – конкурентном, квалификационном, ресурсном) настолько значима, что при подготовке обзора было принято решение посвятить детальному рассмотрению феномена Сбербанка отдельный раздел. Конечно, следует уточнить, что во многом этот феномен реализовался на рассматриваемом отрезке времени (2015-2017 гг.) через ИТ-"дочку" Сбербанка – компанию «СберТех»

Все, что сегодня происходит на рынке тестирования, так или иначе связано с потребностями Сбербанка:

• На протяжении 2015-2017 гг. объем услуг тестирования, закупаемых Сбербанком, составлял, по разным оценкам (в том числе, исходящих от представителей провайдеров, находящихся «в рынке»), 20-25% общего объема рынка. Оценка, выполненная при подготовке настоящего обзора, показала, что доля Сбербанка на рассматриваемом рынке в 2015-2017 гг. почти достигала 50% (см. Табл. 5)!
• Востребованность в конкретных видах услуг тестирования (и, соответственно, востребованность и численность специалистов определенных квалификаций) определялась на рынке во многом именно потребностями Сбербанка;
• В своих конкурсных материалах Сбербанк устанавливал максимальные допустимые ставки специалистов по тестированию (а в ходе самих конкурсов еще и добивался их значительного снижения), что впрямую влияло на уровень зарплат, которые компании-провайдеры услуг готовы выплачивать специалистам;
• Необходимость оптимизировать затраты на персонал вынудила практически все компании-провайдеры к движению в регионы;
• Помимо влияния на зарплаты тестировщиков в компаниях-провайдерах, Сбербанк (через свою ИТ-"дочку" – «СберТех») фактически "пропылесосил" кадровый рынок специалистов по тестированию (как раньше он поступил и с рынком разработчиков, и с другими рынками ИТ-специалистов). В ходе опроса при подготовке обзора практически все компании отметили факты перекупки специалистов Сбербанком с предложением существенно большего (примерно в 2 раза выше рыночного) уровня окладов.

Табл. 5. Оценка доли Сбербанка на рынке тестирования ПО

* В Табл. 5 под общим объемом понимается только компонент прямых продаж

Департамент качества «СберТеха» – как игрок рынка тестирования

Говоря о ключевой роли Сбербанка в формировании (и переформатировании) рынка тестирования ПО в России, нужно иметь в виду, что реализовалась эта роль через одно из структурных подразделений «СберТеха» – Департамент качества (ДК).

Как и весь «СберТех», в 2014-2016 гг. ДК очень быстро развивался в количественном и структурном аспектах. В ФБ-аккаунте начальника одного из управлений ДК, есть фотография, датированная 2014 г. с подписью «… и это только 1/5 моей новой команды» (на фото – 15 человек в процессе тимбилдинга); через 2 года у этой же фотографии появился новый комментарий – «...а сегодня это лишь 1/20 самой профессиональной команды», то есть, за 2 года (2014-2016) одно из управлений ДК выросло с 75 до 300 человек. Общая же численность ДК к концу 2016 года приблизилась к 1500 человек – за два года с рынка (то есть, фактически, из других специализированных компаний) было набрано более 1000 человек.

Топ-менеджер одной из компаний, представляющих услуги тестирования, вспоминает:

Когда они нанимали эту тысячу человек, это был 2014 - 2016 год, на рынке творился ужас. Зарплаты взлетели, наших людей переманивали, просто умножая зарплату на 2. У нас ушло много тестировщиков туда, поэтому там сильная практика.

Такой агрессивный рост был обусловлен начавшейся в 2015 году разработкой новой технологической платформы Сбербанка, включающей 3 компонента – Единую фронтальную систему (ЕФС), Платформу поддержки развития бизнеса (ППРБ) и «Фабрику данных». Полный перевод на новую технологическую платформу клиентов, продуктов и данных планируется завершить в 2020 году.

Антон Романов, заместитель начальника отдела тестирования корпоративно-кредитных систем ДК (из интервью 2017 года):

В Департаменте качества работает около 1 500 человек, это 38 отделов. Получается около пяти управлений, которые делятся по функциональным компетенциям: Управление нагрузочного тестирования (и автоматизации, прим. TAdviser), Управление тестирования автоматизированных банковских систем, Управление тестирования фронтальных систем, Управление администрирования. И в каждом управлении где-то по пять отделов.

Комментарий TAdviser: Вышеприведенная цитата дана по первоисточнику^[4]. Очевидно, что с цифрами по структуре ДК есть определенная неувязка – заявленное общее число отделов и управлений дает среднее число отделов в каждом управлении на уровне 7-8 (и среднюю численность одного отдела около 40 человек).

И даже при таком собственном штате тестировщиков, превышавшем численность крупнейших специализированных провайдеров – компаний «Аплана» и EPAM Systems – более, чем в 2 раза, ДК не смог самостоятельно обеспечить исполнительским ресурсом весь тот объем тестирования, который был обусловлен разработкой новых систем. Именно поэтому в 2015 году состоялся первый мегаконкурс Сбербанка по заказу услуг тестирования, а год спустя – второй.

В настоящее время судьба ДК в реорганизованном «СберТехе» непонятна. На основе отрывочных публикаций и инсайдерских новостей можно сделать вывод, что основная масса тестировщиков из штата ДК (практически все, кто был занят тестированием в проектах, использующих методологии Agile/DevOps) переведена в ИТ-блок Сбербанка, причем, не в статусе тестировщиков, а в статусе разработчиков, работающих в парадигме CD/CI (Continuous Delivery / Continuous Integration). Но, поскольку разработка платформенных решений ЕФС и ППРБ осталась в СберТехе, можно предположить, что какая-то часть штата ДК (скорее всего, из управлений тестирования фронтальных систем и тестирования АБС) также осталась в «СберТехе» (см. интервью TAdviser «CIO Сбербанка - о переводе тысяч ИТ-шников в банк и судьбе "СберТеха"»).

Общая статистика по закупкам Сбербанка в области тестирования ПО

В ходе подготовки обзора из нескольких открытых источников (ЕИС в сфере госзакупок, ЭТП Сбербанка, проект "Госзатраты") были собраны данные по большинству закупок Сбербанка, относящихся к тестированию ПО, за период 2015-2018 гг. При этом отбор данных проводился только по закупкам, в которых предметом закупки в явном виде были объявлены один или несколько видов тестирования ПО. Для анализа отбирались как завершенные закупки (в таких случаях анализировались контракты, заключенные по итогам закупочных процедур), так и закупки, находящиеся на стадиях сбора заявок, работы конкурсной комиссии и подведения итогов.

Закупки, относящиеся к созданию новых или развитию/модернизации существующих информационных систем в массив анализируемых данных, не включались, хотя, понятно, что и в составе таких контрактов обязательно присутствует тестирование как один из видов работ.

Анализ закупок Сбербанка в области тестирования целесообразно проводить не по датам закупок, а по датам исполнения соответствующих контрактов. В 2015-2017 гг. (и частично в 2018 гг.) действовало эмпирическое правило: необходимый объем услуг по ФТ закупался на год вперед, а услуги по НТ, в зависимости от плановой длительности их проведения распределялись примерно поровну между годом закупки и следующим годом.

В 2016-2017 гг. львиная доля годовых объемов закупок пришлась на мегаконкурсы. О ценовых и количественных показателях этих конкурсов в свое время написали все профильные СМИ (включая и TAdviser – см. «Экономия более 1 млрд рублей на конкурсах по тестированию автоматизированных систем»). Хотя, и помимо них, каждый год происходило несколько десятков закупок с небольшими объемами услуг в каждой из них.

Поскольку в 2017 году мегаконкурсов не было, все закупки 2017-2018 гг. производились с существенно меньшими объемами каждой единичной закупки, но при существенно возросшем количестве закупок.

В Табл. 6 представлена статистика закупок Сбербанка в разрезе провайдеров и по годам.

Табл. 6. Распределение закупок Сбербанка по основным провайдерам, тыс. руб

Из таблицы хорошо видно, что основной объем закупок услуг тестирования Сбербанком пришелся на 2016-2017 гг. Текущий год демонстрирует определенное «проседание» закупок, но это объясняется тем, что часть услуг тестирования ушла из-под прямых закупок в закупки, связанные с разработкой ПО.

Общая сумма закупок Сбербанком услуг тестирования, осуществленных в 2018 году, составляет порядка 1,13 млрд; из них порядка 450 млн рублей приходятся на контракты, которые будут исполняться в 2019 году (и это пока весь известный бюджет Сбербанка по услугам тестирования на 2019 год).

Дефицит квалифицированных кадров – главная проблема рынка

Проблемы и риски рынка связаны с его структурой, динамикой и внешним окружением. Основные факторы проблем и рисков:

• зависимость от небольшого количества крупных заказчиков;
• тенденция к формированию инсорс-ресурсов тестирования у сегодняшних крупных клиентов, формирующих рынок;
• наличие "черной дыры" в виде внешних инсорсеров при крупных государственных и коммерческих структурах (Газпром, Роснефть, Росатом и т.п.)

Главным фактором риска и главной проблемой на протяжении нескольких лет является перманентный дефицит квалифицированных кадров.

В настоящее время рынок, с точки зрения текущей потребности в непосредственных исполнителях, специалистах-тестировщиках, находится в условиях постоянного дефицита кадров – это отмечают и провайдеры, и заказчики, которые также регулярно ищут специалистов по тестированию к себе в штат. Ориентация на наращивание инсорс-ресурсов тестирования в компаниях, формирующих рынок является, по мнению практически всех провайдеров, одной из главных угроз для рынка.

Численность штата тестировщиков у основных провайдеров увеличивается от года к году на десятки и сотни единиц, но их все равно не хватает. При этом зачастую набирать в штат приходится достаточно «сырых» кандидатов и доводить их до кондиции ускоренным обучением с последующим быстрым вводом в «боевые» проекты.

Юрий Ковалев, генеральный директор компании "Перфоманс Лаб":

С 2016 года на рынке наблюдается сильный дефицит кадров. Остро не хватает специалистов по тестированию, особенно начального уровня. Зарплаты взлетели на 40-60%. Для подготовки интернов, готовых к работе, мы тратим 3-4 недели обучения. Кадры утекают как к конкурентам, так и к клиентам.

Заказчики также стали более требовательными к квалификации исполнителей. Если раньше стандартным требованием был только минимальный стаж практической работы (обычно – от 6 месяцев), то сейчас в конкурсных документах все чаще присутствуют требования по качественному составу команд. Так, Сбербанк сейчас допускает наличие в командах тестировщиков только 10% специалистов с опытом работы в проектах тестирования менее 1 года; одновременно выдвигается условие о наличии не менее 10% специалистов с практическим опытом от 3-х лет и более.

При подготовке обзора один из собеседников TAdviser, находящийся в настоящий момент на стороне заказчика, но имеющий и опыт работы в провайдере, отметил, что ситуация на рынке такова, что если сегодня вдруг появится новый заказчик с потребностями масштаба Сбербанка или ВТБ, то ни один провайдер из существующих не сможет подхватить этого заказчика – из-за отсутствия свободных ресурсов исполнителей. Более того, заказчика такого масштаба не смогут «переварить» и несколько объединившихся в пул провайдеров – из-за той же самой нехватки кадров. Конечно, появление «второго Сбербанка» ситуация, скорее, фантастическая, но где гарантия, что заказчик типа Газпрома или Росатома вдруг не изменит свою ИТ-стратегию и не начнет привлекать ресурсы с открытого рынка? В конце концов, возможности их «домашних» инсорсеров также небесконечны.

Заслуживает внимания опыт компании «Аплана», системно подошедшей к решению данной проблемы. В 2016 году, испытывая нехватку специалистов по автоматизированному тестированию (в это время только исполнение контрактов в Сбербанке, выигранных годом ранее на первом из мега конкурсов, требовало от компании обеспечения постоянного присутствия «в поле» не менее 30 специалистов по АФТ), в «Аплане» приняли решение об организации открытого корпоративного университета на базе существующего учебного центра. Принципиально новым в этой идее было то, что слушателем университета бесплатно мог стать соискатель «с улицы», успешно прошедший входное тестирование.

За 2 года, прошедшие с момента создания корпоративного университета «Апланы», заявки на обучение подавали почти 1000 человек. После рассмотрения заявок на входное тестирование было приглашено около половины кандидатов. Всего за два года выпущено 20 групп; обучение прошли 196 человек. На данный момент в компании работают 102 сотрудника, набранные после обучения в корпоративном университете.

Тенденции и перспективы рынка

1. Стабильный спрос на услуги тестирования

В обозримом будущем (2019-2021 гг.) спрос на услуги тестирования, как минимум, сохранится на достигнутом в 2016-2017 гг. уровне.

Алла Прохорова, генеральный директор компании «Аплана»:

Одним из самых больших сегментов является РФТ. С него начинают аутсорсинг тестирования большинство новых заказчиков. По мере того, как процессы разработки и тестирования в компании вызревают, более востребованным становится АФТ. Сбербанк вместе со «СберТехом», являющийся сегодня одним из инновационных центров в сфере ИТ в целом, одним из первых апробирует новые методологии и новые инструменты, в том числе, и в области тестирования ПО. В Сбербанке сейчас делается акцент на увеличении доли автоматизированного тестирования, и в ближайшие 2-3 года мы увидим там явный рост по этому направлению. Но это не означает, что аналогичный рост будет в компаниях, находящихся на более ранних стадиях зрелости процессов тестирования. Нагрузочное тестирование само по себе пользуется спросом и его объем будет увеличиваться по мере того, как будет возрастать объем разрабатываемых приложений.

2. Изменения в структуре востребованных услуг

Изменения происходят уже сейчас:

• В конкурсах Сбербанка, остающегося главным законодателем мод на рынке, все чаще появляются требования о наличии у специалистов по тестированию опыта выполнения работ в моделях Agile/DevOps
• Специализация проектных команд, привлекаемых к выполнению тестирования, также изменяется – увеличивается потребность в специалистах по АФТ. Если раньше доля таких специалистов составляла в объявляемых конкурсах порядка 20%, то в 2018 году квота для специалистов по АФТ уже увеличилась до 30%. Это полностью соответствует тенденциям, отмеченным в отчете «World Quality Report 2017-2018», так что, в этом направлении российский рынок QA синхронизирован с мировым.

3. Региональный вектор развития провайдеров

Для периода "низкого" рынка, каким был сегмент тестирования ПО за два года до "Большого Взрыва", порожденного конкурсами Сбербанка, движение провайдеров услуг в регионы было вполне оправданной тактикой. Подобным же образом действовали тогда (и продолжают действовать сейчас) поставщики любых ИТ-услуг, для которых местонахождение конкретного исполнителя не имеет значения для получателя результата оказания услуги.

На сегодняшний день практически все основные игроки рынка имеют региональные офисы. Помимо решения проблемы стоимости ресурсов исполнителей, это также теоретически дает возможность реализации проектов тестирования в регионах присутствия локальных офисов. Правда, о региональных проектах по тестированию пока значимых новостей не появлялось.

4. Зарубежные рынки как запасной аэродром

Хотя негативный сценарий (стагнация или сокращение спроса) для российского рынка тестирования выглядит как маловероятный, совсем исключать его из рассмотрения не стоит.

В условиях стабилизации российского рынка тестирования ПО практически все основные игроки рынка неизбежно столкнутся с проблемой поиска новых заказов и новых заказчиков. Западные рынки для такого поиска представляются практически единственным возможным вариантом.

Многие провайдеры услуг, рассматриваемые в данном обзоре, имеют не только региональные офисы в России, но и зарубежные представительства. Такие гиганты, как Luxoft Professional и EPAM Systems, вообще являются открытыми публичными компаниями со штаб-квартирами на Западе, и для них Россия всего лишь один из регионов присутствия (и далеко не самый большой с точки зрения выручки.

Компания "Перфоманс Лаб" в 2014-2015 гг. также предприняла усилия для выхода на западный рынок. Было объявлено об открытии офиса Performance Lab US, LLC в городе Санта Клара (Калифорния, США) и о заключении контрактов на тестирование с инновационными компаниями Splunk и Illumina.

Ситуация на рынке в 2018 году и прогноз на 2019-2020 гг.

Рынок услуг тестирования в 2018 году

Основными событиями, оказавшими влияние на рынок услуг тестирования в 2018 году, стали:

1. Реорганизация «СберТеха» (фактически – ликвидация ДК «СберТеха» в его привычном рынку виде). Как уже было отмечено, внешне на рынке это выразилось в том, что в закупках Сбербанком услуг тестирования стало гораздо больше закупок в количественном выражении с одновременным снижением средних объемов единичных закупок, то есть, проявилась тенденция децентрализации закупок услуг тестирования. Причина этого понятна – теперь данные закупки инициируются в дивизионах Сбербанка, на уровне которых сосредотачивается Agile/DevOps-разработка новых систем, и куда, соответственно, мигрирует (или уже мигрировала) значительная часть тестировщиков – теперь уже в статусе DevOps-разработчиков.

Оценивая потребность Сбербанка в услугах тестирования, нужно понимать, что формально (если считать только прямые закупки) этот объем снизился в текущем году по сравнению с 2016-2017 гг., но фактически он возрос – хотя, для демонстрации этого роста пришлось бы рутинно проанализировать все контракты Сбербанка, относящиеся к созданию и развитию ПО. В той части программных разработок Сбербанка, которая выполняется по методологии Agile/DevOps, тестирование может даже явно и не присутствовать в спецификациях выполняемых работ, однако, на практике оно, конечно, имеет место и его объемы не уменьшились.

2. Объединение ВТБ и ВТБ24. В текущем году объем прямых закупок услуг тестирования в объединенном банке ВТБ значительно приблизился к объему закупок Сбербанка – 737,7 млн рублей против 1 276,9 млн рублей у Сбербанка. Причем, закупки ВТБ в 2018 году продемонстрировали существенный рост (более, чем на 300 млн рублей), а закупки Сбербанка по сравнению с 2017 годом сократились более, чем на 500 млн рублей. Но здесь необходимо учитывать (об этом уже было сказано выше), что часть потребности Сбербанка в услугах тестирования теперь «замаскирована» в услугах по разработке ПО. Кстати, и в ВТБ наблюдается та же тенденция - помимо прямых закупок услуг тестирования, в значительных объемах закупаются услуги по созданию и развитию информационных систем, внутри которых размещаются и услуги тестирования. Выборочный анализ крупных контрактов ВТБ по разработке ПО показал, что в бюджеты этих проектов заложен значительный объем именно услуг тестирования – 20-25% от сумм контрактов.

3. Запуск в эксплуатацию и расширение масштабов использования ряда крупных ГИС. В 2018 году началась эксплуатация нескольких государственных и окологосударственных ИС федерального масштаба – ГИС ЖКХ, ЕИС жилищного строительства (ДОМ.РФ), Единая биометрическая система (ЕБС); расширилась функциональность и увеличилось количество пользователей в системах Пенсионного фонда (АИС ПФР-2), Минфина и Казначейства (ГИИС «Электронный бюджет ГИИС»), ФНС (АИС Налог-3), Минкомсвязи (Портал госуслуг и Инфраструктура электронного правительства).

Нынешняя нагрузка на эти системы несопоставима с нагрузкой на бизнес-критические системы банков, но усилия регуляторов по приданию этим системам статуса инфраструктурных в рамках цифровой экономики безусловно приведут к повышению требований по функциональности, надежности и доступности. Пока с текущим развитием и тестированием этих систем более-менее справляется закрытый «клуб» разработчиков, регулярно выигрывающих конкурсы в рамках госзакупок. Однако, достаточно часто становящиеся публично известными случаи сбоев и некорректного функционирования больших ГИС, привлекшие внимание даже таких контрольных инстанций как Счетная палата и Контрольное управление Администрации Президента, в обозримом будущем неизбежно приведут к ужесточению требований по тестированию и приемо-сдаточным испытаниям, что, в свою очередь, заставит заказчиков из госсектора обратиться за услугами профессиональных провайдеров услуг тестирования.

О количественной оценке рынка в 2018 году говорить пока еще рано – значительную часть этой оценки составляет непубличная выручка компаний, объемы которой станут доступными для оценки и анализа только в начале 2019 года, но общее мнение аналитиков и провайдеров, с кем TAdviser обсуждал этот вопрос, склонны считать, что рынок сохранил, пусть и небольшую, но положительную динамику. Косвенным подтверждением этой оценки служит то, что на конкурсах, проводимых крупнейшими заказчиками, регулярно появляются (хотя, и без заметных успехов) новые компании из категории среднего и малого бизнеса (некоторые со штатом тестировщиков не более 10 человек).

Прогноз на 2019-2020 гг.

1. Объем рынка

Объем рынка в ближайшие два года не должен значительно измениться ни в сторону уменьшения (такой пессимистичный вариант прогноза существует среди провайдеров, с кем беседовал TAdviser - из-за реорганизации «СберТеха»), ни в сторону увеличения.

Сбербанк и ВТБ продолжат поддерживать рынок потребностью в услугах тестирования на уровне не ниже 1,2-1,5 млрд рублей по каждому из банков. Остальные банки из Топ-20 также останутся среди крупнейших заказчиков, хотя, и будут уступать по объемам своих закупок «Большой Двойке» (так, например, банк «ФК Открытие» в опубликованном плане закупок на 2018 год обозначил потребность в услугах тестирования на уровне 300 млн рублей – причем, весь объем этих услуг отнесен к 2019 году).

Объем закупок со стороны крупных розничных сетей (второй по значимости отраслевой сегмент для рынка тестирования), скорее всего также сохранится на текущем уровне.

Появление новых крупных заказчиков теоретически возможно только из сфер телекома и/или госструктур, но ни тот, ни другой (условные) сегменты рынка пока не дают оснований на развитие событий по подобному сценарию.

Поскольку стратегия Сбербанка по созданию новой технологической платформы, являющаяся одним из главных драйверов рынка услуг тестирования (и не только его), рассчитана до 2020 года, провайдеры, работающие со Сбербанком, могут расценивать свои бизнес-перспективы на ближайшие два года как достаточно стабильные.

Прогнозируемая стабильность рынка (в части прямых продаж услуг тестирования) обусловлена тем, что во всех перечисленных отраслевых сегментах (банки, ритейл, телеком) устоялся состав игроков (как аутсорсеров, так и инсорсеров), модель и объем потребления услуг, напрямую связанные с объемами выполняемой разработки ПО.

Со стороны промышленности пока не видно очевидных сигналов к резкому росту потребления услуг разработки (и, соответственно, услуг тестирования).

Есть также еще один сегмент, который не рассматривался в обзоре – интернет-компании. Крупнейший игрок этого рынка Яндекс ведет разработки ПО в больших объемах, но преимущественно сам же весь этот объем разработки и тестирует; аналогичная ситуация – с Mail.Ru Group. От этих интернет-гигантов, скорее, можно ожидать возможного выхода на рынок услуг тестирования в качестве провайдеров, но не в качестве заказчиков.

Интернет-ориентированные ИТ-компании меньшего размера (интернет-торговля, сервисы на основе ИТ-платформ, мобильные приложения) уже сегодня потребляют аутсорсинговые услуги тестирования и, в принципе, могли бы стать новыми драйверами рынка, но их удельный вес в общей структуре экономики не так уж велик. Поэтому даже существенный рост в рамках потенциального сегмента вряд ли как-то кардинально скажется на объеме рынка разработки и тестирования.

2. Увеличение потребности в «Agile-ready» специалистах и изменения в спектре услуг

Все большее число заказчиков – в основном, крупные банки, следующие примеру Сбербанка, но и не только они – переходят на разработку в методологии Agile/DevOps. Изначальная включенность процедур SQA в процессы разработки на базе Agile/DevOps означает, что заказчики, практикующие такой стиль создания ПО, предъявляют принципиально новые требования к процедурам тестирования (тестирование становится неотъемлемой частью процесса разработки, частота его выполнения увеличивается, требования к автоматизации возрастают) и, соответственно, в требованиях к тестировщикам все чаще появляются пункты о знании и практическом опыте работы в контексте данных методологий.

Лев Шелковой, директор по развитию информационных технологий, «Бэлл Интегратор»:

Корректируя развитие тех или иных направлений внутри нашей компании, мы чётко отдаем себе отчет, какие специалисты будут востребованы через 3-4 года. Среди них автотестировщики, тестировщики таких практик как CI/CD, тестировщики в модели DevOps, тестировщики с уклоном в роботизацию. А вот тренд функционального тестирования, на наш взгляд, в ближайшие 2-3 года будет идти на спад.

Для провайдеров услуг тестирования это является и новым вызовом, и новой возможностью. С одной, стороны, потребуется проводить дополнительное обучение тестировщиков и наращивать их компетенции в новых направлениях, но, с другой стороны, ставки оплаты специалистов по автоматизированным видам тестирования в 1,2-1,3 раза выше, чем ставки для тестировщиков с навыками только ручного тестирования.

Кроме того, расширение объемов автоматизированного тестирования может сократить сроки реализации длительных проектов и способствовать увеличению выручки провайдеров за счет выполнения большего числа проектов.

3. Влияние политики импортозамещения и западных санкций

Начиная с 2015 года, в России проводится политика на импортозамещение западного программного обеспечения. Понятно, что любые подобные замены в архитектуре сложных информационных систем обязательно должны сопровождаться значительными объемами тестирования. Для основного пула сегодняшних клиентов компаний-провайдеров тестирования проблема импортозамещения вряд ли возникнет в 2019 году, однако, уже через полтора-два года «принуждение к реестру отечественного ПО» может добраться и до них.

В целом, вероятность развития событий по такому сценарию для гигантов типа Сбербанка невелика, но, например, для госкорпораций она вполне реальна – на рынке уже достаточное количество примеров, когда в корпоративных системах производится замена западных ИТ-«фундаментов», на российские аналоги.

4. Влияние программы «Цифровая экономика» и тренда на цифровую трансформацию

Национальный проект «Цифровая экономика» о котором много говорили в 2017-2018 гг., наконец, обрел финансовые очертания и, начиная с 2019 года, его реализация пойдет по шести основным направлениям (см. «Цифровая экономика России»), три из которых – «Информационная инфраструктура», «Информационная безопасность» и «Цифровое государственное управление» - могут стать генераторами значительного количества новых программных разработок в госсекторе уже в ближайшие 2-3 года. И это могут быть системы с более высокими функциональными требованиями и характеристиками производительности, то есть, и потенциальные объемы необходимого тестирования у этих систем будут существенно выше, а, следовательно, государственный компонент в общем объеме рынка тестирования также должен будет увеличиться.

Цифровой трансформацией своей деятельности сейчас наиболее активно занимаются (по крайней мере, декларируют это) госкорпорации. Практически у всех корпораций есть свои «карманные» инсорсеры, но объемом разработок (а, следовательно, и тестирования) при цифровой трансформации может превысить возможности инсорсеров (связка Сбербанк-СберТех, за которой можно наблюдать в силу ее открытости – реальное доказательство этого постулата). Поэтому «карманные» инсорсеры могут пойти на рынок – и за услугами (это будет шанс для рынка), и за ресурсами для самих себя (это будет прямая и явная угроза рынку).

Методология исследования

Основные метрики и гипотезы, использованные для оценки рынка

В рамках данного обзора приходилось неоднократно давать количественные оценки, базирующиеся на определенных допущениях и предположениях. Ниже представлены основные из использованных допущений и краткие обоснования их приемлемости:

1. Одной из главных оценочных метрик, используемой в обзоре, является средняя годовая выручка, обеспечиваемая одним специалистом-тестировщиком. Анализ достаточно большого массива объективных данных (открытые публикации конкурсной документации крупнейших заказчиков, достоверные сведения о штатной численности и годовой выручке ключевых провайдеров) показал, что эта величина находится в диапазоне от 1 до 4 млн рублей в год. Надо отметить, что цифра годовой выручки в 1 млн рублей достаточно скромная и соответствует зарплате на уровне примерно 35 тыс. рублей в месяц – такая зарплата приемлема для ИТ-специалистов начального и среднего уровня в регионах, но, как минимум, в 2 раза меньше зарплаты специалистов такой же квалификации в Москве и Санкт-Петербурге. Поэтому в оценочных расчетах (там, где, например, через значение единичной выручки и гипотезу о численности задействованных специалистов вычислялась годовая выручка компании-провайдера или бюджет, затрачиваемый на тестирование компанией-заказчиком) в качестве значения метрики использовалась величина 1,5-2 млн рублей. Диапазон величины призван учитывать особенности деятельности оцениваемой компании – виды предоставляемых услуг, наличие региональных офисов, рыночную историю.

2. При оценке объемов выручки, полученной за услуги тестирования, для компаний, представляющих широкий спектр услуг, делались определенные предположения о доле выручки за тестирование в известной валовой выручке компании:

• Для малых (10-20 специалистов) и средних (20-50 специалистов) компаний, предоставляющих только услуги заказной разработки ПО и тестирования, принималось соотношение выручки за тестирование и выручки по другим услугам на уровне 1:1;
• Для крупных компаний «софтового» профиля (т.е., не продающих ИТ-«железо» и сопутствующие услуги), представляющих услуги разработки, тестирования и сопровождения информационных систем, доля выручки за тестирование определялась по более сложному алгоритму. Половина выручки компании относилась на услуги сопровождения ПО, внутри которых обычно не бывает услуг тестирования, а вторая половина - на услуги разработки ПО, определенную долю в которых занимали услуги тестирования. Конкретный размер доли услуг тестирования (расчетный коэффициент-множитель) определялся назначением разрабатываемых систем, их масштабом, сложностью и бизнес-критичностью. Так, например, доля услуг тестирования в составе стоимости бизнес-критических высоконагруженных систем принималась в диапазоне от 20 до 30% общей стоимости (это достаточно консервативная оценка), а для менее критичных систем доля стоимости тестирования принималась в диапазоне от 10 до 20%.
• Для компаний, занимающихся, помимо разработки/сопровождения ПО, еще и поставками оборудования вначале проводилось разделение общей выручки на «железную» и «софтовую» части (такое деление могло выполняться в диапазоне от 50:50 до 70:30 в пользу «железа» - в зависимости от известного профиля деятельности компании), а затем к оставшейся «софтовой» части выручки применялись вышеописанные процедуры.

3. В ряде случаев оценка для компаний-заказчиков выполнялась на укрупненном уровне – исходя из общей величины ИТ-бюджета заказчика (или однородной группы заказчиков – например, федеральных ведомств) и известного профиля расходов в составе такого бюджета. Так, профиль расходов крупных «карманных» ИТ-инсорсеров при госкорпорациях принимался идентичным профилю расходов СберТеха, также являющемуся «карманным» инсорсером (правда, со значительным объемом потребления аутсорсинговых услуг).

Более детальное описание методики оценочных расчетов выходит за рамки обзора и приводиться здесь не будет. Во всех местах обзора, где будут формироваться оценки, базирующиеся на описанных выше допущениях и метриках, будут даваться ссылки на данный подраздел.

Методология оценки

Одной из главных целей исследования TAdviser было получение оценки объема рынка услуг тестирования ПО в денежном выражении. В ходе работ было принято решение о выполнении оценки на периоде 2015-2017 гг. и анализе ситуации в 2018 году с формированием прогноза для текущего года.

Оценка формировалась, исходя из следующих фактов и допущений:

1. Существует достаточно компактная группа из примерно 20+ компаний-провайдеров услуг тестирования, чья выручка в значительной степени (от 70 до 100% объема) формируется за счет выполнения проектов, основной (или единственной) целью которых является выполнение одного или нескольких видов тестирования (ручное/автоматизированное функциональное тестирование, нагрузочное тестирование и их модификации) в промышленных масштабах (со стоимостями контрактов от 1-3 миллионов рублей до сотен миллионов рублей). Основными заказчиками для этой группы провайдеров выступают крупнейшие банки, некоторые федеральные и региональные госзаказчики с развитой ИТ-инфраструктурой, крупные телеком-операторы и розничные торговые сети.

Большая часть информации по контрактам указанных заказчиков доступна публично (либо в ЕИС госзакупок, либо на электронных торговых площадках, либо на корпоративных сайтах в разделах «Закупки/Тендеры»). Таким образом, значительная часть общего объема рынка со стороны заказчиков - с динамикой по годам, с разбивкой по видам услуг и т.п. – может быть проанализирована и использована в других частях расчетной модели.

С другой стороны, финансовые показатели деятельности компаний-провайдеров, оказывающих не только услуги тестирования, доступны в сервисах типа «Контур.Фокус» и «Спарк-Интерфакс». При условии знания (или правдоподобных гипотез) о том, какая доля выручки провайдеров формируется именно от контрактов по тестированию ПО, может быть получена оценка части объема рынка со стороны провайдеров услуг – путем применения соответствующих поправочных коэффициентов.

Поправочные коэффициенты для объемов выручки каждой из компаний-провайдеров устанавливались в диапазоне от 0.2 до 1 путем экспертной оценки, с учетом всей доступной информации о деятельности компаний. При экспертной оценке использовался консервативный подход – при недостаточности обосновывающей информации по конкретной компании коэффициенту-множителя присваивалось минимальное значение.

В отдельных случаях, при отсутствии достоверной информации об общей выручке компании и/или ее распределении по видам деятельности, в качестве значения выручки за услуги тестирования принималось удвоенное значение выручки, полученной в проектах, информация о которых доступна публично (т.е., делалось предположение, что компания-провайдер получала равные доли выручки со своих публичных и непубличных проектов).

2. Существует компактная группа специализированных ИТ-компаний (EPAM Systems, Luxoft Professional, Neoflex Consulting, «Ай-Теко»), оказывающих услуги полномасштабной заказной разработки и внедрения ПО с бюджетами проектов от нескольких десятков миллионов рублей до нескольких миллиардов. Эти компании имеют в своем распоряжении большие команды разработчиков ПО с полным спектром специализаций, включая и тестировщиков. У некоторых из таких компаний (например, в EPAM Systems) все тестировщики относятся к единому корпоративному Центру тестирования и обеспечения качества ПО и, фактически, выполняют внутрикорпоративные проекты тестирования в рамках комплексных проектов заказной разработки.

При условии знания (или правдоподобных гипотез) о том, какая доля от общих бюджетов проектов заказной разработки приходится на тестирование, может быть получена оценка части объема рынка со стороны компаний-разработчиков ПО.

Немаловажным является также то обстоятельство, что компании данной группы практически никогда не участвуют в «чистых» проектах по тестированию ПО. Таким образом, объемы выручки компаний-разработчиков дополняют объемы выручки компаний-провайдеров, практически не пересекаясь с ними на общих проектах и заказчиках.

Для формирования значений поправочных коэффициентов, используемых в расчетах по данной группе компаний, был проведен анализ нескольких десятков публично доступных крупных контрактов по заказной разработке ПО, содержащих в своем составе значительные объемы работ по тестированию. В результате было установлено, что работы по тестированию составляют от 6-7% до 25% общего объема контракта.

На основании проведенного анализа, для оценки по компаниям данной группы было выбрано значение поправочного коэффициента 0.15, что хорошо согласуется со статистическими данными по доле затрат на тестирование в крупных проектах заказной разработки ПО.

3. Существует также сегмент федеральных госзаказчиков (порядка 80 министерств, агентств и служб), имеющих в своем распоряжении несколько сотен государственных информационных систем (ГИС). На создание новых и развитие/модернизацию существующих ГИС на федеральном уровне тратится примерно 15 млрд рублей ежегодно. Естественно, что в рамках этих объемов финансируются также и работы по тестированию ПО – практически всегда только в рамках госконтрактов на создание/развитие ГИС; целенаправленные проекты по тестированию являются редкими исключениями из общего правила. Тем не менее, оценка объема услуг тестирования ПО для данного сегмента важна, потому что эти услуги также привносят свою долю в общий размер рынка.

В перечень компаний, составляющих российский рынок услуг тестирования ПО, была включена 21 компания (см. Табл. 2).

Достоверная информация о годовых объемах доходов от продаж услуг тестирования ПО была получена от 3-х компаний, входящих в Топ-10 рынка («Аплана», «Перфоманс Лаб», «Инфосистемы Джет»). Для оценок по остальным компаниям применялись подходы, описанные выше.

Так, например, оценка для компании EPAM Systems базировалась на следующих исходных допущениях:

• Известна (открыто опубликована) общая численность компании в глобальном масштабе; также известна (практически ежегодно встречается в пресс-релизах общая численность Центра тестирования компании);
• Известна общая численность штата компании в России (порядка 5 тысяч человек). Исходя из предположения, что пропорция численности тестировщиков в России такая же, как в остальных регионах деятельности компании, численность тестировщиков была принята на уровне 800+ человек.
• Средняя годовая выручка в проектах тестирования на одного тестировщика находится в пределах от 1 до 4 млн рублей – это соответствует расчетам, сделанным на основании ставок тестировщиков, объявляемых в конкурсах, и на основании фактических сведений о годовых объемах выручки и численности персонала по «чистым» тестировщикам – таким, как «Аплана» и «Перфоманс Лаб». Для EPAM Systems была применена консервативная оценка – 1 млн рублей в год на тестировщика, что соответствует стратегии компании, формирующей команды из специалистов как из Москвы и Петербурга, так и из региональных центров, где уровень затрат ниже столичных.

Примечания