В МГУ заработал новый суперкомпьютер

2023: Запуск нового суперкомпьютера на 400 петафлопс

В конце августа 2023 года МГУ им. М. В. Ломоносова сообщил о запуске нового суперкомпьютера. Его мощности будут использоваться в в том числе в поиске новых методов защиты систем на основе технологий искусственного интеллекта (ИИ). Производительность вычислительной машины составляет 400 петафлопс.

Новый суперкомпьютер будет использоваться в исследованиях, связанных с физикой, химией, биологией, психологией, социологией, геологией, медициной, в разработке новых инструментов на основе искусственного интеллекта (ИИ), например, алгоритмов анализа больших данных и других направлениях науки, также поиском новых методов защиты систем на основе технологий ИИ.

МГУ сообщил о запуске нового суперкомпьютера

Как заявили в МГУ, новое решение основано на практиках и существующих разработках в области высокопроизводительных вычислений ведущих мировых производителей. За архитектурную основу решения брались реализованные суперкомпьютеры ведущих мировых университетов. В супервычислительный комплекс вошли новые системы энергообеспечения, охлаждения и коммуникации. По словам ректора МГУ им. М. В. Ломоносова Виктора Садовничего, новый суперкомпьютер может войти в тройку мировых лидеров среди систем такого класса.

Ранее в МГУ был запущен суперкомпьютер «Чебышов» (60 терафлопс/с), созданный при участии программы «СКИФ-ГРИД» Союзного государства. Затем в вузе был установлен «Ломоносов», который после нескольких этапов модернизации достиг пиковой производительности 1,7 петафлопс. Суперкомпьютер «Ломоносов-2» заработал в университете в 2012 году, его пиковая производительность оценивается в 5,5 петафлопс. К августу 2023 года его используют более 3 тыс. пользователей из 20 подразделений МГУ, а также представители более 50 институтов РАН и более 40 университетов России.^[1]

2018: Иск МГУ к «Т-платформы» из-за просрочки исполнения договора

1 ноября 2018 года в CNews сообщили, что отечественная компания «Т-платформы» затянула проект апгрейда суперкомпьютера Московского государственного университета им. М. В. Ломоносова (МГУ) — «Ломоносов 2». За это ей придется выплатить МГУ неустойку в размере 45,7 млн. руб. и штраф в 298,5 тыс. руб.

Суммы финансовых компенсаций были определены решением Арбитражного суда Москвы, в который МГУ обратился с иском в середине июня 2018 года. Как следует из документов разбирательства, просрочка исполнения договора между университетом и «Т-платформами» составила 174 дня.Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.3 т

В своем иске МГУ требовал взыскать с проштрафившегося подрядчика пени в размере 90,8 млн. руб. и штрафа почти в 3 млн. руб. Однако суд счел возможным удовлетворить эти требования лишь частично.

На 1 ноября 2018 года в МГУ не смогли прокомментировать CNews завершившееся разбирательство. В «Т-платформах», отвечая на вопрос CNews, намерена ли компания оспаривать решение служителей Фемиды, указали, что по решению суда никаких разногласий по проекту суперкомпьютера между МГУ и компанией не существует. Также в организации заверяют, что МГУ использует мощности суперкомпьютера в полном объеме, и технических проблем с эксплуатацией системы нет. Задержку проекта в компании объяснили тем, что в основе «Ломоносова 2» используются платы со сложной топологией, предполагающей работу двух ускорителей на одном процессоре, которые были разработаны и созданы специально под проект, что сказалось на сроках производства.^[2]

2016: Закупка 2-го дополнительного комплекта оборудования для суперкомпьютерного комплекса

МГУ принял решение о закупке дополнительного оборудования для суперкомпьютерного комплекса, который размещается в университетском корпусе "Ломоносовский" в Москве. Для этой цели в ноябре 2016 года учебное заведение объявило аукцион с начальной ценой контракта в 599,95 млн рублей^[3].

МГУ собирает мощный суперкомпьютерный комплекс в университетском корпусе "Ломоносовский"

Закупаемое оборудование заказчик называет "Вторым дополнительным комплектом первой очереди вычислительного оборудования для суперкомпьютерного комплекса". Первый такой комплект был приобретен в рамках аукциона, прошедшего в конце 2015 - начале 2016 гг. Тогда победителем стал единственный участник - компания "Т-Платформы", а стоимость комплекта составила 395 млн рублей.

В новой закупке университету требуется вычислительное оборудование, состоящее из 4 основных модулей - это 2 комплекта вычислительных узлов, а также оборудование управления и сети передачи данных.

Основные характеристики требуемых устройств таковы:

• Суммарная пиковая производительность вычислительных узлов - не менее 1.6 ПФлоп/c
• Суммарная пиковая производительность установленных ускорителей вычислений - не менее 1.5 ПФлоп/c
• Суммарная пиковая производительность установленных центральных процессоров - не менее 7.6 ТФлоп/c
• Общее количество установленных центральных процессоров вычислительных узлов - не менее 160

На все поставляемое "железо" должна быть предоставлена гарантия на 5 лет. Дополнительно в течение 2-х лет поставщик будет обязан производить техническое обслуживание смонтированных систем.

Среди других требований, стоит отметить необходимость установки поставляемых устройств в имеющийся у заказчика аппаратный шкаф Т-Платформы A7100 A-Class system rack, а также демонстрации работоспособности оборудования на тесте High Performance Linpack.

Поставка разбита на 2 этапа. До 30 апреля 2017 года заказчик должен получить плату ускорителя вычислений, до 30 ноября 2017 года - все остальное оборудование.

2015: Закупка 1-го дополнительного комплекта оборудования для суперкомпьютерного комплекса

В октябре 2015 года МГУ объявил аукцион на закупку 1-го дополнительного комплекта первой очереди вычислительного оборудования для суперкомпьютерного комплекса. Начальная стоимость договора составляла 395 млн рублей^[4]. .

На аукцион была подана одна заявка от компании "Т-Платформы", с ней в итоге и был заключен договор. Стоимость контракта осталась неизменной.

По условиям соглашения, заказчику требовалось дополнительное оборудование для суперкомпьютерного комплекса со следующими характеристиками:

• Суммарная пиковая производительность вычислительных узлов - не менее 375 ТФлоп/c
• Суммарная пиковая производительность установленных ускорителей вычислений - не менее 274 ТФлоп/c
• Суммарная пиковая производительность установленных центральных процессоров - не менее 40.9 ТФлоп/c
• Общее количество установленных центральных процессоров вычислительных узлов - не менее 192

Все оборудования состояло из 5 основных модулей - это комплект оборудования аппаратного шкафа для установки вычислительных узлов, комплект вычислительных узлов, а также 3 комплекта оборудования сети передачи данных.

2014: Новый мега-мощный суперкомпьютер МГУ

18 ноября 2014 года российский производитель суперкомпьютеров «Т-Платформы» сообщил, что завершает тестирование и пуско-наладку новой высокопроизводительной вычислительной системы для МГУ с пиковой производительностью 2,57 Пфлопс.

Новый суперкомпьютер стал пятым по счету и самым мощным в «коллекции» суперкомпьютеров университета. Самой мощной вычислительной системой в МГУ до него являлся суперкомпьютер «Ломоносов» с пиковой производительностью 1,7 Пфлопс. По состоянию на осень 2014 года он же занимает первую строчку суперкомпьютерного рейтинга Топ-50 России и СНГ. Три из уже существующих в МГУ систем также поставили «Т-Платформы».

На момент создания новый суперкомпьютер МГУ является и самым мощным в России из систем, о которых есть публичная информация. Известно, что помимо МГУ суперкомпьютер петафлопсного уровня производительности есть также у «Росатома», однако в рейтинге Топ-50 данная система не присутствует, а данные по ее совокупной производительности по состоянию на 2014 год не раскрываются.

В декабре 2014 года вычислительный комплекс с общей пиковой производительностью 1,5 Пфлопс планирует запустить «Ростех» в лице «Солнечногорского приборного завода» (СПЗ). Основной целью создания последнего ставится обеспечение промышленных предприятий, прежде всего, предприятий ОПК, высокопроизводительными вычислительными ресурсами.

Стоит отметить, что в октябре 2012 года в МГУ заявляли^[5], что на тот момент завершали создание инфраструктуры для доведения мощности «Ломоносова» до 10 Пфлопс, а через 1,5-2 года планировали выйти уже на 21-25 Пфлопс при наличии поддержки со стороны государства.

Новый, самый мощный, суперкомпьютер МГУ расположится в одном из новых блоков университета

Ход проекта

Аукцион на выполнение работ по проекту МГУ объявил в конце августа 2014 года. Его начальная цена составляла 800 млн руб., а «Т-Платформы» оказались единственной компанией, подавшей заявку на участие в тендере. Согласно ТЗ по проекту, крайним сроком завершения работ значится середина июня 2015 года.

В «Т-Платформах» рассказали TAdviser, что контракт на выполнение работ по проекту был заключен с МГУ в конце октября. Вместе с тем, уже в ноябре новый суперкомпьютер оказался в мировом рейтинге Топ-500 мощнейших компьютеров, заняв в нем 22 место.

Суперкомпьютеры в Топ-500 ранжируются по производительности, достигнутой ими на тесте Linpack. По условиям рейтинга, прием заявок на участие в нем завершается примерно за месяц до публикации списка. Таким образом, чтобы попасть в рейтинг по всем правилам, новый суперкомпьютер МГУ должен был быть собран уже примерно к середине октября для возможности снять с него результаты Linpack.

Представители «Т-Платформ» относительно этого заявили TAdviser, что «заключение контракта с таким крупным заказчиком, как МГУ, это всегда долгий и сложный процесс, проходящий множество инстанций, при этом сроки все равно необходимо выдерживать, даже промежуточные – например, если необходимо провести предварительное тестирование системы для подачи в список Тор500».

«Конечно, далеко не все работы закончены, инсталляция не завершена, и по условиям контракта мы действительно имеем право сдать полностью настроенную систему только в июне следующего года. Однако, большую часть оборудования уже закупили заранее, и систему собрали в достаточной степени, чтобы снять первые результаты теста Linpack, - - сказали представители «Т-Платформ». - Сейчас в спокойном режиме продолжится инсталляция, пуско-наладка, настройка и тестирование».

Назначение системы

В «Т-Платформах» говорят, что количество задач в постоянно растущей очереди к установленным в МГУ суперкомпьютерам «Чебышев» и «Ломоносов» исчисляется сотнями. Однако мощности новой мультипетафлопсной системы планируется использовать, во многом, для наиболее крупных и ресурсоемких расчетов, способных использовать сотни процессоров одновременно.

По словам представителей компании, к моменту запуска новой системы доступа к ней ожидают «масштабные исследовательские проекты в области медицины (например, моделирование молекулярных процессов в живой клетке), инженерных расчетов (среди них – сложнейшие проблемы вихревой аэродинамики и анализа процессов горения), а также астрофизики, материаловедения, энергетики и многих других областей».

В МГУ рассчитывают, что введение в строй нового суперкомпьютера, в первую очередь, позволит приступить к созданию и обработке более комплексных компьютерных моделей, чем было возможно ранее, а также значительно разгрузит «Ломоносов» и снизит время ожидания задач в очереди.

Начинка суперкомпьютера

Согласно ТЗ по проекту, оборудование нового вычислительного комплекса МГУ размещается в трех машинных залах площадью в 153, 83 и 51 кв. м. Оно включает 5 вычислительных стоек с 1280 узлами на базе 14-ядерных процессоров Intel Xeon E5-2697 v3 и ускорителей NVIDIA Tesla K40, с общим объемом оперативной памяти более 80ТБ. В системе используются две независимые управляющие сети стандарта Ethernet и две сети FDR InfiniBand.

Каждая стойка суперкомпьютера потребляет около 130кВт и охлаждается водой с температурой 45°С, которая подводится в радиаторы, тесно прилегающие к вычислительным платам. Контур водяного охлаждения построен с применением бескапельных разъемов, а все гидравлические и электрические компоненты разнесены в пространстве и защищены.

Двухуровневая система хранения суперкомпьютера включает хранилище расчетных данных объемом 400ТБ на базе параллельной файловой системы Lustre и отдельные серверы доступа для более производительной работы с файлами для загрузки и результатами расчетов.

2011: «Т-Платформы» спроектирует суперкомпьютер производительностью 10 Пфлопс

Компания «Т-Платформы», международный разработчик суперкомпьютеров и поставщик полного спектра решений и услуг для высокопроизводительных вычислений, объявила в декабре 2011 года о заключении контракта на выполнение работ по проектированию вычислительного кластера пиковой производительностью 10 Пфлопс (1015 операций с плавающей точкой в секунду) по заказу Московского государственного университета им. М.В. Ломоносова. По условиям соглашения компания разработает вычислительных комплекс, включающий как суперкомпьютер, так и комплекс инженерной инфраструктуры, обеспечивающей бесперебойность его работы.

Сегодня в Московском государственном университете им. М.В. Ломоносова действуют два вычислительных комплекса компании «Т-Платформы». Суперкомпьютер «МГУ Чебышев» построен в 2008 году. На момент запуска он занимал 36 строчку списка Тор500 мощнейших вычислительных кластеров мира и был седьмым по мощности среди суперкомпьютеров, применяющихся в мировой системе образования. После ввода в эксплуатацию ресурсы данного кластера стали использоваться в полном объеме и уже тогда стал очевиден их дефицит.

По мере увеличения объема актуальных научных проблем и задач появилась объективная необходимость в наращивании вычислительных мощностей. Руководством университета было принято решение о необходимости приобретения нового, более мощного суперкомпьютерного комплекса, который обеспечил бы высокопроизводительными ресурсами большее число научных коллективов и позволил проводить больше исследований. Таким кластером стал разработанный и построенный компанией «Т-Платформы» суперкомпьютер «Ломоносов». Сегодня производительность данного кластера достигает рекордных для России и СНГ 1,3 Пфлопс, что позволяет ему в течении длительного времени сохранять лидерство в рейтинге Top50 – мощнейших суперкомпьютеров России и СНГ, а также занимающий 13 строчку списка Top500.

В настоящее время на базе вычислительных комплексов МГУ проводятся фундаментальные научно-практических исследований в аэрокосмической, атомной, биомедицинской, нефтегазовой и многих других научных областях. Однако из-за постоянного роста сложности этих исследований, для их проведения в заданные сроки существующих вычислительных мощностей становится не достаточно. В этой связи было принято решение о разработке принципиально нового вычислительного кластера мощностью 10 Пфлопс, обладающего достаточным запасом производительности для решения наиболее ресурсоемких задач.

«С Московским государственным университетом им. М.В. Ломоносова мы сотрудничаем на протяжении многих лет, и его без преувеличения можно назвать стратегическим партнером нашей компании, - говорит Всеволод Опанасенко, генеральный директор компании «Т-Платформы». – Победу в конкурсе на право проектирования принципиально нового вычислительного комплекса, обладающего рекордной для нашей страны производительностью, мы рассматриваем как дополнительное подтверждение высочайшей экспертизы наших инженеров и разработчиков, выраженное крупнейшим российским научным центром. Создание этой системы обозначит новый этап развития отечественной суперкомпьютерной индустрии и обеспечит принципиально новые возможности развития российской науки».

«В России должен быть в полном объеме задействован потенциал суперкомпьютеров, которые объединены высокоскоростными каналами передачи данных. С их помощью уже в пятилетней перспективе станет возможным проектирование новейших самолетов и космических аппаратов, автомобилей и ядерных реакторов. Ведь сложная техника, не прошедшая суперкомпьютерного моделирования, что называется, не положенная в цифру, через несколько лет просто не будет востребована рынком». (Из послания Президента Российской Федерации Дмитрия Медведева к Федеральному Собранию от 12 ноября 2009 года)

Примечания