Яндекс (ИТ-инфраструктура)

• Основная статья о компании: Яндекс
• История Яндекс
• Финансовые показатели "Яндекс"

Дата-центры

По состоянию на начало 2018 года у «Яндекса» есть четыре дата-центра в Москве и Подмосковье, по одному дата-центру – в Рязанской области и Финляндии, а также ЦОД во Владимире.

В одном из дата-центров «Яндекса»

Ранее «Яндекс» также использовал дата-центры в США и Нидерландах, однако после введения в эксплуатацию собственного большого дата-центра в Финляндии в 2015 году необходимость в аренде этих площадок пропала, рассказали TAdviser в компании.TAdviser выпустил Гид по российским операционным системам 10.7 т

В конце апреля 2022 г на фоне спецоперации России на Украине в Финляндии дата-центр «Яндекса» отключили от электропитания. В марте финская энергетическая компания Nivos Energia Oy заявила, что продолжает сотрудничество с зарегистрированной в Финляндии Yandex Oy, но готова прекратить его, если «Яндекс» попадет под санкции. Директор «Яндекс» Худавердян попал под санкции.

Развитие ИТ-инфраструктуры «Яндекса»

2024

Яндекс, НИУ ВШЭ и ИТМО запустили аспирантуру в области искусственного интеллекта и гранты для молодых ученых

Яндекс открывает первую аспирантуру по искусственному интеллекту с уклоном в практику. Ее цель — создать новые условия и инфраструктуру для развития молодых ученых в стране. Каждый год обучения аспиранты будут получать гранты по 800 тысяч рублей, чтобы создавать новые технологии в области искусственного интеллекта и быстро внедрять свои разработки на практике, в индустрии. Среди первых партнеров — ИТМО и НИУ ВШЭ, в течение следующих нескольких лет Яндекс увеличит число партнеров в несколько раз. Об этом НИУ ВШЭ сообщила 23 июля 2024 года.

Главная особенность: аспиранты будут не только заниматься теоретическими исследованиями, но и применять их в реальных продуктах под руководством тимлидов из Яндекса. Они получат доступ к технологиям облачной платформы Yandex Cloud и разработкам в области робототехники. На протяжении 3-4 лет аспиранты будут принимать участие в конференциях уровня А и проходить стажировки в зарубежных университетах и лабораториях.

Первые аспиранты придут осенью 2024 года. Для поступления нужно пройти вступительные испытания в университете и собеседования с проектными руководителями от Яндекса. В первом наборе ими станут Михаил Левин, старший разработчик автономного транспорта Яндекса, и Дмитрий Рыбалко, архитектор ML-сервисов в Yandex Cloud. Помимо этого, у аспирантов будут научные руководители— ведущие исследователи в университетах.

Чем больше развиваются технологии, тем сильнее рынку необходимы высококлассные специалисты, исследователи и создатели инноваций. Данный формат аспирантуры — наш шаг к сближению науки и продуктового подхода, теории и практики. Мы будем делиться накопленной экспертизой, опытом ведущих практиков и технологическими мощностями, чтобы аспиранты могли проводить исследования в условиях реальных продуктовых задач, — прокомментировала директор Яндекс Образования Дарья Козлова.

Аспиранты будут проводить совместные эксперименты с командами сервисов и в ходе обучения решать реальные продуктовые задачи. Например, они будут улучшать и дообучать языковые модели, в том числе YandexGPT, повышать безопасность автономного транспорта и разрабатывать методы применения ИИ в промышленности и в других областях.

Следующее поколение вычислительных моделей в физике, химии и биологии будет разрабатываться на основе нейросетей. Однако сделать это в университетах невозможно без тесной коллаборации с бигтехами, которые владеют данными, вычислительными ресурсами и базовыми языковыми моделями. В рамках совместной с Яндексом аспирантуры ИТМО планирует развивать методологию отраслевой адаптации больших языковых моделей, в том числе на основе мультиагентных технологий, что в перспективе даст толчок развитию отраслевых систем вертикально ориентированного ИИ, — отметил руководитель исследовательского центра «Сильный искусственный интеллект в промышленности» ИТМО Александр Бухановский.

Аспирантура крайне важна для исследовательского университета: например, при установлении контактов с ведущими зарубежными вузами один из главных показателей — количество аспирантов. Запрос на индустриальную аспирантуру есть как у университетов, так и у бизнеса, и мы совместно с Яндексом первые, кто запускает такой формат. Есть все основания полагать, что проект будет успешным и сможет быть масштабирован в будущем на другие вузы, — прокомментировал декан факультета компьютерных наук НИУ ВШЭ Иван Аржанцев.

Ранее Яндекс вместе со Сбером запустили бакалавриат AI360/ИИ360 для создателей ИИ-технологий будущего сразу в четырех вузах — ИТМО, НИУ ВШЭ, МФТИ и в Университете Иннополис. Бакалавры будут учиться создавать ИИ-модели, а в дальнейшем смогут стать учеными и продолжать исследования в новой аспирантуре.

Открытие магистерской программы «Искусственный интеллект и большие данные в медиакоммуникациях» на факультете журналистики МГУ

Яндекс и факультет журналистики МГУ имени М. В. Ломоносова открывают магистерскую программу «Искусственный интеллект и большие данные в медиакоммуникациях». Выпускники будут уверенно работать с генеративными инструментами, которые уже сегодня активно применяются в медиа. Набор начнётся летом 2024 года. Об этом Яндекс сообщил 25 апреля 2024 года. Подробнее здесь.

2022: «Яндекс» строит крупнейший дата-центр

Как выяснил TAdviser в сентябре 2022 года, «Яндекс» строит новый дата-центр в Калуге. Об этом рассказал источник, близкий к компании, и информация подтверждается вакансиями, которые «Яндекс» разместил в открытом доступе. Подробнее здесь.

2019: «Яндекс» сократил инвестиции в серверы и дата-центры

В 2019 году примерно 60% капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров, следует из годового отчета компании по форме 20-F, опубликованного в апреле 2020-го. В абсолютном выражении данные расходы составили порядка 12,3 млрд рублей из общих капитальных затрат в 20,5 млрд рублей. Это на 13% меньше, чем в 2018 году, когда на серверы и расширение дата-центров ушло порядка половины всех капитальных затрат «Яндекса»: 14,16 млрд рублей из 28,3 млрд рублей. Совокупные капитальные затраты компании в 2019 году сократились примерно на 27%.

Общая стоимость серверов и сетевой инфраструктуры «Яндекса» в 2019 году увеличилась почти на 20%, до 59,4 млрд рублей, а «инфраструктурных систем», которые тоже относятся к дата-центрам, выросла на 9%, до 9,5 млрд рублей. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений.

Дата-центр «Яндекса» в Финляндии (фото - Gigabitmagazine.com)

В «Яндексе» отказались отвечать на вопросы TAdviser, связанные с дата-центрами. В годовом отчете расширение вычислительной инфраструктуры компания связывает с необходимостью поддерживать рост на текущих и новых для «Яндекса» рынках.

В числе наиболее динамично растущих бизнесов в 2019 году оказались экспериментальное направление, включающее «Яндекс.Дзен», «Яндекс.Облако», «Яндекс.Драйв», геосервисы и «Яндекс.Образование», а также медиасервисы, куда входят «КиноПоиск», «Яндекс.Музыка», «Яндекс.Афиша», «Яндекс.Телепрограмма», продюсерский центр «Яндекс.Студия» и единая подписка на сервисы — «Яндекс.Плюс». Эти направления показали рост выручки на 168% и 103% соответственно.

Помимо дата-центров в Москве и других российских регионах, у «Яндекса» также есть площадка в Финляндии. Как и годом ранее, в 2019 году значительная часть капитальных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. Ранее в «Яндексе» поясняли, что речь идет о ЦОДе в Сасово, который был запущен в 2014 году.

В 2019 году были сообщения о планах расширения и других ЦОДов. Так, на 2019-2023 гг. запланированы инвестиции в размере 6,4 миллиарда рублей в развитие дата-центра во Владимире^[1] и строительство нового корпуса для ЦОДа в Финляндии^[2].

В 2020 году, как и ранее, «Яндекс» планирует продолжить инвестировать в инфраструктуру и технологии. Примечательно, что помимо растущего бизнеса одной из причин, по которой могут потребоваться дополнительные мощности ЦОДов, «Яндекс» в годовом отчете указывает необходимость соответствовать требованиям, которые предъявляются к компаниям, включенным в реестр «организаторов распространения информации». Сначала туда попал сам «Яндекс», а в конце 2019 года туда же внесли его проект «Яндекс.Дзен».

Нахождение в реестре, в том числе, обязывает предоставлять в случае необходимости доступ к оборудованию и программно-техническим средствам, помощь правоохранительным и другим уполномоченным органам власти в обеспечении безопасности. Также предусмотрена обязанность «предоставлять информацию для декодирования электронных сообщений».

2018: Затраты на ИТ-инфраструктуру выросли на 41%

В 2018 году порядка 50% всех капитальных затрат «Яндекса» пришлось на серверы и расширение дата-центров для поддержания текущей деятельности. Это следует из годового отчета компании по форме 20-F за 2018 год. В абсолютном выражении эти расходы составили примерно 14,16 млрд рублей.

В 2017 году доля затрат на серверы и расширение дата-центров в капитальных затратах была еще выше - 81%, но в денежном выражении это составляло порядка 10 млрд рублей. Таким образом, в 2018 году «Яндекс» потратил на данные цели примерно на 41% больше.

В «Яндексе» заявили TAdviser, что необходимость расширения инфраструктуры связана со «стремительным ростом сервисов и бизнеса».

ИТ-инфраструктура «Яндекса» постоянно расширяется (фото - rb.ru)

Значительная часть указанных затрат пришлась на строительство одного из крупных дата-центров компании, говорится в годовом отчете. В «Яндексе» пояснили TAdviser, что под этим имеется в виду ЦОД в Сасово. Запущен он был в 2014 году.

Одним из новых сервисов, развернутых на серверах «Яндекса» в России, стал Yandex.Cloud - облачные услуги, который в 2018 году стал доступен для широкого круга пользователей. По данным «Яндекса», по состоянию на февраль 2019 года клиентами этого сервиса являются порядка 6 тыс. компаний и индивидуальных пользователей.

В 2017 году значительная часть капитальных расходов на серверы и расширение дата-центров была связана со строительством дата-центра «Яндекса» во Владимире. По состоянию на 2018 год у «Яндекса» помимо ЦОДов в России есть также дата-центр в Финляндии.

Выросла и совокупная стоимость серверов и сетевой инфраструктуры, которыми владеет «Яндекс» - на 45% в 2018 году, до 49,57 млрд рублей, следует из годового отчета компании. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений.

Общая стоимость «инфраструктурных систем» «Яндекса» также увеличилась - на 14,8%, до 8,7 млрд рублей. Ранее в «Яндексе» поясняли, что эти системы тоже относятся к дата-центрам.

Для сравнения - общая стоимость серверов и компьютеров, которыми владеет Mail.ru Group, в 2018 году составляла 4,195 млрд рублей. Эта сумма не включает сетевую инфраструктуру и приведена за вычетом аккумулированных амортизационных отчислений. Подробнее здесь.

2017: За пять лет стоимость ИКТ-инфраструктуры «Яндекса» выросла в 3,5 раза

Общая стоимость серверов и сетевой инфраструктуры, которыми владеет «Яндекс», с 2013 по 2017 гг. выросла более чем в 3,5 раза: с 9,739 млрд рублей до 34,165 млрд рублей. Это следует из годовых отчетов «Яндекса» по форме 20-F^[3]. Данные о стоимости приведены за вычетом аккумулированных амортизационных отчислений, указано в отчетах.

Выросла и стоимость «инженерных систем» «Яндекса»: с 3,409 млрд рублей в 2013 году до 7,621 млрд рублей в 2017 году. В отчетах не уточняется, какие именно инфраструктурные системы имеются в виду. В «Яндексе» говорят, что здесь имеются в виду дата-центры компании.

В 2017 году «Яндекс» потратил на приобретение серверов и расширение дата-центров порядка 10 млрд рублей, что составило 81% от всех капитальных затрат компании. При этом и в 2017, и в 2016 гг. они в большой степени связаны с созданием нового дата-центра во Владимире, о запуске которого было объявлено в сентябре.

Расходы на серверы и сетевое оборудование исторически составляют основную часть капитальных затрат «Яндекса»

От года к году объем затрат на серверы и оборудование колеблется: так, например, в 2013 году их объем был 3,850 млрд рублей, а в 2015 году – около 11 млрд рублей.

Для оптимизации наших поисковых технологий, ожидаемого увеличения интернет-трафика, рекламных транзакций и новых сервисов, в 2018 году и далее мы продолжим инвестировать в наши дата-центры, технологии, корпоративные средства, ИТ-инфраструктуру, - отмечается в отчете «Яндекса» за 2017 год.

В отчете также говорится рисках в области инфраструктуры, с которыми сталкивается «Яндекс». Компания отмечает, что ее будущий успех зависит от непрерывной доступности, развития и поддержки интернет-инфраструктуры глобально и на рынках, где работает «Яндекс». Это включает поддержку надежной магистральной сети с нужной скоростью, пропускной способностью и безопасностью для предоставления надежных интернет-сервисов. Любое прерывание доступа к сети, обеспечиваемого третьими сторонами, или их неспособность поддержать текущие или увеличенные будущие объемы использования могут существенно навредит бизнесу «Яндекса». При этом компания уже испытывала и продолжает испытывать прерывания и задержки в этих сервисах время от времени.

Интернет-инфраструктура также может оказаться неспособна выдержать нагрузку со стороны растущего числа пользователей или времени, проводимого онлайн, или увеличенные требования пропускной способности. Государственное регулирование также может ограничить доступ компании к адекватной и надежной интернет-инфраструктуре, говорится в отчете «Яндекса» без уточнения подробностей.

2016: «Яндекс» сокращает ЦОДы в Москве

«Яндекс» планирует перенести часть вычислительных мощностей из своих дата-центров в Москве в новый ЦОД во Владимире, рассказал руководитель группы исследований и разработки департамента эксплуатации «Яндекса» Павел Мельников, выступая на мероприятии компании Mellanox в марте 2016 года.

В качестве причины этого он упомянул дороговизну содержания дата-центров в Москве, главным образом, из-за высокой стоимости электроэнергии.

Мы планируем сокращать московские дата-центры и мигрировать во Владимир, где будет наш следующий большой дата-центр. Москва – город с очень дорогим электричеством и сложностью найти его в достаточном количестве, - сказал Мельников.

В пресс-службе «Яндекса» предпочли не углубляться в детали миграции, отметив лишь, что «строительство новых площадок ЦОД в Москве сейчас невыгодно, и стоимость электричества здесь - лишь один из факторов». Поэтому «Яндекс» «оптимизирует» инфраструктуру ЦОД.

В компании добавили, что во Владимире сейчас идет этап возведения здания ЦОДа. Запустить этот дата-центр «Яндекс» рассчитывает в 2017 году.

По данным годового отчета «Яндекса» по форме 20-F^[4], в 2015 году капитальные затраты компании составили 13,045 млн руб., из которых примерно 84% составили расходы на расширение инфраструктуры дата-центров и серверы, чтобы поддержать текущий рост деятельности компании.

2015

Строительство ЦОДа во Владимире

В 2015 году «Яндекс» начал реализацию проекта по строительству дата-центра в поселке Энергетик Владимирской области. Представители администрации региона сообщали о том, что объем инвестиций в проект составит порядка 4,5 млрд руб.

ЦОД строится на участке площадью 6 га. Его полная мощность составит около 40 МВт, а первая фаза ЦОДа будет рассчитана на 10 МВт. По планам компании, новый ЦОД начнет работу в конце 2017 года.

Открытие дата-центра в Финляндии

В 2015 году «Яндекс» завершил строительство первой очереди дата-центра в финском городе Мянтсяля. Участок под его строительство площадью 8 га «Яндекс» приобрел за 1,5 млн евро в 2013 году. Дата-центры «Яндекса», как правило, размещаются в уже готовых строениях — например, в корпусах бывших заводов. Стройку же в Мянтсяля компания вела с нуля.

План ЦОДа «Яндекса» в Финляндии

Система охлаждения, которая применяется в финском дата-центре, позволяет использовать тепло от серверов для отопления жилых домов. Поставляя городу тепло, «Яндекс» получил возможность возместить часть трат на электроэнергию — одну из самых крупных для дата-центра статей расходов, писала компания.^[5]

В одном из блогов «Яндекса» говорится, что до начала проектирования финского дата-центра компания успела построить и частично закрыть 10 дата-центров. ^[6]

2013: План великой миграции серверов

«Яндекс» планирует строить новые высокоэффективные ЦОДы, в которые постепенно будут мигрировать мощности со старых площадок, рассказал TAdviser 19 марта 2013 г. Сергей Крупин, заместитель директора департамента строительства и инженерных систем интернет-компании. В них планируется внедрять передовые технологии, выбор которых будет опирается на опыт строительства и эксплуатации предыдущих ЦОДов, говорит он.

По словам Крупина, при строительстве новых площадок «Яндекс» будет ориентироваться на те регионы, в которых по климатическим параметрам сможет построить наиболее эффективную систему охлаждения ЦОДа.

В «Яндексе» рассказывают, что все последние ЦОДы компании построены с использованием тех или иных систем охлаждения с технологиями free cooling, включая и так называемые схемы Full free cooling, подразумевающие охлаждение серверных помещений за счет воздуха с улицы. Общая мощность таких ЦОДов компании превышает 15 МВт. Аналогичные технологии планируется применять и в будущих ЦОДах, куда мигрируют вычислительные ресурсы.

Технология Full free cooling, в частности, сейчас используется в ЦОДе «Яндекса» в подмосковном городе Ивантеевка, построенном в 2011 г., и в новом ЦОДе в Рязанской области, строительство которого завершилось в 2012 году.

В нем в качестве дополнительного охлаждающего оборудования применяется абсорбционно-холодильная машина, которая работает на природном газе. По словам представителей интернет-поисковика, она позволяет повысить эффективность использования энергоресурсов и снизить потребление электричества.

Сергей Крупнин отмечает, что внедрение любых энергосберегающих, инновационных или «зеленых» технологий предполагает высокие капитальные затраты, но позволяет существенно снизить эксплуатационные расходы. Поэтому определяющим фактором становится срок эксплуатации ЦОД. Если это долгосрочный проект (более 10 лет), то энергосберегающие технологии становятся окупаемыми.

Где именно будут располагаться новые площадки и каковы будут их параметры, в компании предпочли не раскрывать, отметив лишь, что по состоянию на март 2013 г. у «Яндекса» насчитывается шесть дата-центров, располагающихся как в России, так и за ее пределами. Часть серверов в своих ЦОДах компания на безвозмездной основе предоставляет Европейскому центру ядерных исследований (ЦЕРН).

Строительство новых площадок является одним из направлений развития ЦОДов «Яндекса», говорит директор департамента строительства и инженерных систем компании.

Перед нами стоит задача не только повышения энергоэффективности, но и общей эффективности – то есть стоимости владения ЦОДом. Масштабы новых площадок будут зависеть от множества факторов, в том числе - в зависимости от развития новых сервисов компании, а также возможностей серверных и инженерных технологий», - отмечает он.

По словам Сергея Крупнина, другими направлениями по развитию ЦОДов компании является оптимизация существующих решений и применение серверов и инженерных решений нестандартной конфигурации, а также разработка механизмов «обратной связи» между ИТ-оборудованием и системами охлаждения ЦОД.

2012: Строительство дата-центра в Рязанской области

В 2012 году «Яндекс» начал создание ЦОДа в г. Сасово Рязанской области. Проект предполагает строительство в четыре этапа. Полностью завершить его планируется к 2020 году. Общий объем инвестиций в строительство дата-центра составляет 2,7 млрд руб. ^[7]

2011: Строительство ЦОДа в Ивантеевке

По состоянию на 2011 год у «Яндекса» в России есть пять дата-центров, крупнейший из которых расположен подмосковном городе Ивантеевка. В сентябре 2011 года «Яндекс» сообщил о запуске второй очереди своего дата-центра в подмосковном городе Ивантеевка. Общая площадь двух его очередей составляет 4,5 тыс. кв. м, из которых 2,2 тыс. кв.м. приходится на вторую очередь.

Во второй очереди нового дата-центра используется система охлаждения российской разработки – Full Free Cooling (FFC). Она основана на технологии свободного охлаждения (free cooling), при которой помещение дата-центра охлаждается за счет более прохладного воздуха с улицы.

Разработчиком этой системы является московская компания Ayaks Engineering. Ее представитель Андрей Нестеров заявил CNews, что «Яндекс» стал их первым клиентом, использующим систему FFC в своем дата-центре.

Всего в ЦОДе будет размещено более 10 тыс. серверов, а общая потребляемая мощность составляет 8 МВт. В «Яндексе» уточнили, что показатель энергопотребления приведен с учетом новой системы охлаждения. «То электричество, которое мы экономим на охлаждении, мы можем пустить на более полезные вещи - на ИТ-мощности в том же дата-центре, например», - рассуждают в поисковике.

Согласно стандарту TIA-942 температура, которую необходимо выдерживать в серверных помещениях, составляет +22 градуса по Цельсию ± 2 градуса. В том или ином виде технологию free cooling используют во многих российских дата-центрах, однако главной особенностью своей системы в Ayaks Engineering называют температурный порог, при котором задействуется оборудование для охлаждения внешнего воздуха – он составляет +22 градуса. Т.е. система охлаждения включится только после того, как температура воздуха превысит это значение.

В стандартных холодильных установках с free cooling охлаждение включается при +5 - +12 градусах по Цельсию.

В «Яндексе» заявляют, что с использованием системы Ayaks Engineering новому дата-центру требуется в два раза меньше электроэнергии в год для поддержки того же количества серверов. Впрочем, некоторые эксперты считают, что в данном случае это сомнительное преимущество.

Евгений Громов, технический директор «Центра Хранения Данных», владеющего дата-центром SafeData, рассказал CNews, что их компания также рассматривала данную систему: «Ее плюс – в уменьшении затрат на электроснабжение, из минусов – в четыре раза большая цена по сравнению с классическими системами и более дорогое техническое обслуживание. При нынешних ценах на электроэнергию в России в коммерческом ЦОДе такая система не оправданна».

Система FFC представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОДа, в наружный контур подается уличный воздух. Основным элементом системы является роторный регенератор, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении ЦОДа. Задача роторного регенератора заключается в том, чтобы охладить воздух в дата-центре с +37 до +24 градусов наружным воздухом температурой до +22 градусов.

Экспериментировать с различными технологиями охлаждения мы начали в конце 2009 г. Основная задача заключалась в том, чтобы максимально увеличить температурный порог. В результате его удалось поднять с +13 до +22 градусов по Цельсию, — говорит Геннадий Вахутинский, директор по строительству инженерных систем «Яндекса». — От использования в новом дата-центре экономичной системы охлаждения выиграет не только компания, но и окружающая среда — меньше электроэнергии, значит меньше природных ресурсов для её выработки.

Из известных в России систем охлаждения схожий с FFC принцип работы на основе роторного теплообменника используется также, к примеру, в системе Kyoto Cooling, разработанной в Голландии.

Начало 2000-х: Первые дата-центры «Яндекса»

Когда в 1997 году был открыт сайт www.yandex.ru, для его работы достаточно было одного сервера под столом одного из первых разработчиков^[8]. Вскоре после объявления об открытии появился второй сервер, а когда понадобилось установить ещё один, выяснилось, что места под столом не хватает.

До мысли о создании собственных дата-центров Яндексу в тот момент было ещё далеко — индекс русскоязычного интернета целиком умещался на одном SCSI-диске размером 4Гб, а вся команда портала составляла около десяти человек, работавших в компании CompTek. Поэтому серверное оборудование Яндекса в первые три года его работы было размещено в дата-центре компании «МТУ-Интел». К моменту создания ООО «Яндекс» в 2000 году Яндекс арендовал четыре стойки в «МТУ-Интеле», где размещалось около 40 собственных серверов Яндекса.

Эти несколько десятков серверов и стали основой первого самостоятельного дата-центра Яндекса, который расположился в первом офисе компании — в Москве, на улице Вавилова, в вычислительном центре Российской академии наук.

Примечания