Проект

Inline Technologies построила ИКТ-инфраструктуру для суперкомпьютера "Росгидромета"

Заказчики: Федеральная служба по гидрометеорологии и мониторингу окружающей среды России (Росгидромет)

Москва; Государственные и социальные структуры

ГВЦ Росгидромета
Москва; Государственные и социальные структуры

Продукт: Суперкомпьютер (проекты)
Второй продукт: РСК Торнадо
Третий продукт: Cray XC series

Дата проекта: 2012/12  - 2018/11
Технология: Суперкомпьютер
подрядчики - 36
проекты - 71
системы - 62
вендоры - 38

2018: Построение ИКТ-инфраструктуры для суперкомпьютера "Росгидромета"

26 ноября 2018 года компания INLINE Technologies сообщила, что завершила проект по созданию информационно-коммуникационной инфраструктуры суперкомпьютерных центров Федеральной службы по гидрометеорологии и мониторингу окружающей среды (Росгидромет). По информации компании, он стал частью совместных работ консорциума компаний INLINE Technologies, «Т-Платформы» и BD Enterprise Networking Limited по совершенствованию высокопроизводительных вычислительных ресурсов в рамках общей модернизации и технического перевооружения организаций и учреждений Росгидромета.

План совершенствования высокопроизводительных вычислительных ресурсов Росгидромета включал установку суперкомпьютерной системы Cray/T-Platforms на базе суперкомпьютера XC40-LC в Главном вычислительном центре (ГВЦ) Росгидромета и еще двух вычислителей в Западно-Сибирском и Дальневосточном управлениях по гидрометеорологии и мониторингу окружающей среды с соответствующим инженерным обеспечением и вычислительной инфраструктурой, а также построение информационного комплекса обработки и защиты данных в дата-центре ГВЦ. Планирование и управление работами в Москве, Новосибирске и Хабаровске тоже было реализовано INLINE Technologies совместно с компанией «Т-Платформы».

С целью поддержки будущих технологических процессов Росгидромета, в том числе использующих суперкомпьютерные мощности, INLINE Technologies установила в ГВЦ платформу виртуализации вычислительных ресурсов, объединившую на ноябрь 2018 года более 70 блейд-серверов виртуализации Fujitsu PRIMERGY CX, транспортный модуль, модуль хранения данных, и внедрила систему управления резервным копированием и восстановлением данных на базе ПО Veritas NetBackup. Компания также провела глубокую модернизацию сетевой инфраструктуры ГВЦ, которая обеспечивает, в том числе через Интернет, интеграцию вычислительного комплекса с другими информационными ресурсами учреждений Росгидромета, ведомственными сетями и подключение локальных и удаленных пользователей к вычислительному кластеру. Дополнительно INLINE Technologies построила в здании ГВЦ кабельную и высокопроизводительную телекоммуникационную инфраструктуру дата-центра с системой сетевого мониторинга.

Помимо этого, компания внедрила инфраструктурные и базовые сетевые сервисы, включая службы каталогов и управления рабочими станциями, средства балансировки трафика и сервис точного времени на базе ГЛОНАСС. Они предназначены для работы как вычислительной подсистемы суперкомпьютера, отвечающей за оперативную обработку гидрометеорологических данных и прогнозирование развития атмосферных процессов, так и прикладных пользовательских систем, не связанных с ней непосредственно.

По словам представителей компании, отдельное внимание при организации суперкомпьютерного комплекса было уделено обеспечению информационной безопасности (ИБ). Так, INLINE Technologies усовершенствовала существующую ИБ-систему ГВЦ Росгидромета, создав отказоустойчивую инфраструктуру на базе межсетевых экранов Cisco ASA и модулей высокоуровневого анализа потоков информации Cisco FirePOWER NGFW с контролем приложений. Кроме того, компания установила систему защиты электронной почты от спама и вирусов на платформе Symantec и систему контроля и защиты пользовательского доступа в Интернет с использованием прокси-серверов McAfee.

Для управления инфраструктурой информационной безопасности были внедрены централизованные системы, позволяющие эффективно администрировать доступ ко всем ИБ-модулям, визуализировать и контролировать события ИБ на всех устройствах защищаемой ИКТ-инфраструктуры.

Обновление также затронуло сервисы голосовой связи, видео-конференц-связи (ВКС) и коротких сообщений, функциональность которых расширена за счет интеграции инструментария унифицированных коммуникаций Microsoft Skype for Business с существующими в Росгидромете системами ВКС, ведомственной IP-телефонии и телефонной сетью общего пользования. Это позволит сотрудникам Службы использовать для аудио- и видеообщения не только ПК, но и мобильные устройства, на которых установлены программные клиенты, а также организовывать полнофункциональные видеосовещания в формате HD с передачей контента в обе стороны.

Наконец, в ходе проекта компания провела миграцию существующих информационных ресурсов ГВЦ Росгидромета на очередную инфраструктуру и организовала обучение по внедренным системам его сотрудников.

Благодаря ИКТ-инфраструктуре и запуску суперкомпьютерной системы на ноябрь 2018 года общая производительность суперкомпьютерного парка Росгидромета увеличилась более чем в 30 раз. Это дает возможность Росгидромету значительно повысить детализацию и качество прогностической информации, а также создает условия для введения в практику следующих видов прогнозов с использованием численных моделей – от сверхкраткосрочных (наукастинг) до долгосрочных сезонных.

2017

Закупка компьютера для определения прогноза погоды за 2,4 млн рублей

На портале Госзакупок 31 мая 2017 года, спустя 2 дня после обрушившегося на Москву и пригороды мощнейшего за последние сто лет урагана, Росгидромет разместил контракт на закупку за 2,4 млн рублей компьютера для определения прогноза погоды. Согласно конкурсной документации, компьютер поступит в ФГБУ "Гидрометеорологический научно-исследовательский центр Российской Федерации" (ФГБУ "Гидрометцентр России")[1].

Весной 2017 года на встрече с представителями СМИ руководитель Росгидромета Александр Фролов отмечал, что требования со стороны населения к прогнозам метеорологов постоянно растут.

— Чтобы оправдать доверие россиян и повысить достоверность прогнозов, вкладываются значительные средства в модернизацию инфраструктуры. Модернизируются и оснащаются новой техникой метеорологические станции по всей стране, а для обработки собранных данных будут закупаться суперкомпьютеры, — отмечал Фролов.

По информации Лайфа, именно после того, как метеорологи не смогли предсказать 29 мая 2017 года обрушившийся на столичный регион ураган, скорость которого, по разным данным, достигала от 20 до 28 м/с, Росгидромет и вспомнил об обещаниях руководства ведомства закупить новые компьютеры для определения точных прогнозов погоды.

Росгидромет заказал оборудования суперкомпьютеров на 1,8 млрд руб

2 марта 2017 года компании «Т-платформы» и Inline Technologies в консорциуме с кипрской логистической структурой BD Enterprise Networking Limited сообщили о получении контракта стоимостью ~1,8 млрд руб. на поставку суперкомпьютеров Cray для Росгидромета.


Задачи проекта

«Т-платформы» и интегратору Inline Teсhnologies предстоит установить суперкомпьютеры в вычислительные центры Росгидромета.

Консорциум организаций, в составе которого зарегистрированная на Кипре структура BD Enterprise Networking Limited, которая доставит оборудование, получил контракт фонда «Бюро экономического анализа» (БЭА) по результатам международных конкурсных торгов - БЭА по роду своей деятельности на тендерной основе распределяет средства международных финансовых организаций, идущие из-за рубежа в виде займов на финансирование различных проектов в масштабе государства, среди российских компаний.

Мероприятие Росгидромета, (2013)
Мероприятие Росгидромета, (2013)

Закупка суперкомпьютера для Росгидромета будет выполнена с привлечением кредитных средств Всемирного банка [2].

Согласно протоколу итогов конкурса, цена контракта в рамках заявки-победителя сложилась из трех валют и составляет 358,4 млн, $24,1 млн и €4 млн. По курсу на 2 марта 2017 года ~1,8 млрд руб.

В торгах принимала участие компания «Крок», заявки на тендер подавали «Компьюлинк», «Техносерв», «Ай-теко» и консорциум в составе «Ланита» и Lenovo PC HK Limited, но они признаны несоответствующими коммерческим и техническим требованиям.

Согласно контракту, через 10 месяцев суперкомпьютер производительностью 1,2 Петафлопс должен заработать в Мировом метеорологическом центре в Москве. Еще две установки по 76 Терафлопс — в региональных специализированных центрах в Новосибирске и Хабаровске.

В составе Сray XC40-LC 936 вычислительных узлов с двумя процессорами Intel Xeon E5-2697v4 и 128 ГБ оперативной памяти на узел.

В рамках распределения ролей в проекте, компания «Т-платформы» установит и настроит вычислительные комплексы Cray, системы хранения данных Cray и EMC, сервер обработки оперативной информации Bull S6130 c общей оперативной памятью, более 50 серверов E-Class собственной разработки для систем архивирования и резервного копирования, мониторинга, формирования оперативной продукции. Компания организует системы электропитания, охлаждения и пожаротушения. Помимо системного и управляющего ПО, средств разработки Cray, Intel и других производителей, на суперкомпьютеры Росгидромета будет установлена система управления и мониторинга Clustrx HPC Pack разработки «Т-платформ».

Inline Technologies предстоит создать вычислительную инфраструктуру суперкомпьютерного центра на основе серверов Fujitsu Primergy CX400, которые будут использоваться и для организации платформы виртуализации, ЛВС и структурированной кабельной системы. Компания установит системы информационной безопасности, управления резервным копированием и восстановлением данных, модернизирует инфраструктурные сервисы и систему мониторинга сетевой инфраструктуры, внедрит систему управления рабочими станциями.

Партнеры обеспечат техническую поддержку монтируемых систем и организуют семь различных курсов обучения для сотрудников организаций Росгидромета по сопровождению разных элементов ИТ-инфраструктуры.

В консорциуме уверены, что поставка мощностей позволит улучшить разрешение компьютерных моделей, применяемых для прогноза погоды и климата, повысить их точность.

Использование суперкомпьютеров поможет в формировании более точного кратко- и среднесрочных прогнозов, усовершенствовании сезонных прогнозов, требующих обработки исторических данных за 30 лет.

2016: Росгидромет купит суперкомпьютер за 2 млрд рублей

В октябре 2016 года стало известно о планах Федеральной службы по гидрометеорологии и мониторингу окружающей среды России (Росгидромет) приобрести новый суперкомпьютер, который будет использоваться для прогнозирования погоды. Максимальная стоимость проекта – $33,9 млн (около 2,1 млрд рублей по курсу на 21 октября 2016 года). Часть этих денег предоставит Международный банк реконструкции и развития (МБРР), пишут «Ведомости» со ссылкой на материалы банка.

Мощность нового суперкомпьютера для Росгидромета должна составить от 500 терафлопсов (триллионов операций с плавающей точкой в секунду), что более чем в 15 раз превышает производительность системы, поставленной синоптикам компанией «РСК технологии» в 2012 году.

Росгидромет купит суперкомпьютер за 2 млрд рублей
Росгидромет купит суперкомпьютер за 2 млрд рублей

По данным издания, за право поставить новый суперкомпьютер метеорологам борются ИТ-интеграторы «Ай-теко», «Техносерв», «Ланит», «Крок», «Компьюлинк», а также разработчик суперкомпьютеров «Т-платформы». В частности, партнером «Ланита» является Lenovo.

С помощью нового суперкомпьютера сотрудники Росгидромета смогут заниматься обработкой больших метеорологических данных, производить моделирование движения воздушных масс и улучшить точность прогнозов.

В сентябре 2013 года МБРР одобрил заем на модернизацию и переоснащение Росгидромета. Общие расходы проекта оцениваются в $139,5 млн, из которых $60 млн (43% от суммы) являются деньгами МБРР, остальные средства поступят по госпрограмме внешних заимствований России. В такой же пропорции будет финансироваться и закупка суперкомпьютера, рассказал «Ведомостям» источник, знакомый с деталями проекта.

Суперкомпьютер, используемый Росгидрометом к октябрю 2016 года, занимает лишь 47-е место в рейтинге крупнейших российских суперкомпьютеров. В мировой рейтинг он не вошел вовсе, в него входят три российские разработки от «РСК технологий»: они занимают 159-е, 348-е и 498-е места. [3]

2015: Росгидромет купит суперкомпьютер за 1 млрд рублей

28 декабря 2015 года стало известно о планах Федеральной службы по гидрометеорологии и мониторингу окружающей среды России (Росгидромет) по приобретению суперкомпьютера, который поможет российским синоптикам прогнозировать погоду.

Прогнозировать погоду российским синоптикам поможет суперкомпьютер за 1 млрд рублей
Прогнозировать погоду российским синоптикам поможет суперкомпьютер за 1 млрд рублей
«Росгидромет подготовил документы для проведения тендера на приобретение нового супермощного суперкомпьютера. Он будет установлен в Москве и позволит уточнить прогноз погоды. Российская академия наук внесет большой вклад в решение этой задачи», — заявил глава службы Александр Фролов (цитата по «Интерфаксу»).

По его словам, ориентировочная стоимость проекта составит 1 млрд рублей, однако окончательная цена будет определена в ходе конкурса. Фролов также добавил, что вопросы разработки суперкомпьютера для нужд российских метеорологов прошли все необходимые процедуры согласования, в том числе общественные слушания.

«Одно из определений суперкомпьютера — это его цена. Конечно, в шутку. Главное — это производительность и объем памяти, которые будут доступны для пользователей», — отметил глава Росгидромета.[4]

В начале 2014 года правительство РФ подписало со Всемирным банком соглашение о модернизации компьютеров для гидрометцентра. Тогда сообщалось о создании вычислительной системы производительностью более 100 трлн операций в секунду.

В 2008 году благодаря Всемирному банку Росгидромет получил компьютеры, производительность которых составила 11 и 16 трлн операций в секунду. В 2011 году была добавлена еще одна система вычислительной мощностью 15 трлн операций в секунду.

Параметры нового суперкомпьютера стоимостью 1 млрд рублей, который Росгидромет анонсировал в конце декабря 2015 года, не сообщаются.

2012: Суперкомпьютер "РСК Торнадо"

В Росгидромете завершилась опытная эксплуатация и началось промышленное использование модернизированного суперкомпьютера, разработанного и установленного группой компаний РСК. Это первый HPC-проект в России и СНГ, реализованный с использованием новых серверных процессоров Intel Xeon E5-2600, официально представленных широкой общественности в начале 2012 году.

Пиковая производительность системы, созданной на базе архитектуры `РСК Торнадо` с применением жидкостного охлаждения, составляет 35 Тфлопс, однако Росгидромету для решения актуальных задач уже сейчас требуются гораздо большие мощности.

В РСК напомнили историю вопроса. Кластер Росгидромета после установки в октябре 2011 г. пилотной системы с пиковой производительностью 15,33 Тфлопса подвергся плановой модернизации в первом квартале 2012 г. Была осуществлена замена процессоров предыдущего поколения Intel Xeon X5680 на новые E5-2690 (2,9 ГГц, 135 Вт) без изменения габаритов всего вычислительного комплекса. На тот момент новые процессоры еще официально не были представлены на рынке, но уже были доступны некоторым партнерам Intel во всем мире под конкретные значимые проекты. (РСК имеет высший статус Platinum в программе Intel Technology Provider.) Утверждается, что после замены процессоров время счета по ряду моделей уменьшилось на 30%.

Публично о факте модернизации было впервые объявлено в Москве 15 марта текущего года. Тогда же присутствовавший на презентации директор главного вычислительного центра (ГВЦ) Росгидромета Владимир Анцыпович заявил, что технологии прогнозирования и физическое наполнение моделей уже сейчас требуют вычислительных ресурсов на уровне 300—500 Тфлопс, поэтому Росгидромет приступил к разработке проекта следующего шага модернизации.

В РСК уточняют, что планируется модернизация всей инфраструктуры Росгидромета, и в настоящий момент проект находится в стадии планирования и проработки деталей. Когда будет объявлен соответствующий конкурс, РСК намерена принять в нем участие — в рамках соблюдения всех необходимых процедур.

Справочно сообщается, что в силу своей специфики Росгидромет решает задачи в области обработки гидрометеорологических данных, моделирования и прогнозирования процессов в атмосфере и океане. Мировой метеорологический центр в Москве, функции которого выполняют Гидрометцентр России, ГВЦ Росгидромета и Авиаметтелеком Росгидромета, наряду с центрами в Вашингтоне и Мельбурне, является одним из трех центров Всемирной метеорологической организации (ВМО), в рамках которой ее члены обеспечивают выполнение своих международных обязательств по обмену прогностической информацией и данными гидрометеорологических наблюдений.

Примечания