Суперкомпьютер ОИЯИ им. Н.Н. Говоруна

Основные статьи:

• Гиперконвергентная инфраструктура (Hyper-Converged Infrastructure, HCI)
• Суперкомпьютеры

Суперкомпьютер «Говорун» – гиперконвергентный комплекс для высокопроизводительных вычислений со 100% жидкостным охлаждением.

2022: Области применения суперкомпьютера

По информации на апрель 2022 года вычислительные ресурсы и СХД суперкомпьютера «Говорун» используются для ускорения комплексных теоретических и экспериментальных исследований в области физики высоких энергий, ядерной физики и физики конденсированных сред, в том числе для реализации мегапроекта NICA по созданию на базе ОИЯИ ускорительного комплекса для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва – кварк-глюонную плазму. Реализация этого мегапроекта начата в 2013 году, ввод в эксплуатацию ускорительного комплекса планируется осуществить в 2022 г.

2020: 11 строчка в рейтинге Топ50 самых мощных суперкомпьютеров в России и СНГ

31 марта 2020 года стала известна 32 редакция рейтинга Top50 самых мощных суперкомпьютеров в России и СНГ. Гиперконвергентный суперкомпьютер «Говорун» занимает 11 позицию. Подробнее здесь.

2019: Теоретическая пиковая производительность - 860 тфлопс двойной точности

В 2019 году суперкомпьютер ОИЯИ был модернизирован. Обновленная система обладает совокупной теоретической пиковой производительностью 860 ТФЛОПС двойной точности, являясь при этом гиперконвергентной программно-определяемой системой.

Применение гиперконвергентного подхода позволило создать для суперкомпьютера «Говорун» высокоскоростную систему хранения данных — скорость параллельной файловой системы на чтение/запись информации превышает 300 ГБ/с. Достижение таких показателей стало возможным только благодаря внедрению комплексных программно-аппаратных решений РСК, поскольку применение стандартных технологий построения отдельно стоящих СХД потребовало бы в десятки раз более дорогого решения.Как с помощью EvaProject и EvaWiki построить прозрачную бесшовную среду для успешной работы крупного холдинга 2.4 т

Внедренное решение системы хранения «по требованию» позволяет на суперкомпьютере «Говорун» формировать специфическую систему хранения для каждой запускаемой на суперкомпьютере задачи с требуемыми свойствами, такими как (объем и скорость, тип файловой системы, время существования, уровень надежности и безопасности), что было бы также невозможно в случае стандартного подхода к построению СХД для высокопроизводительных вычислительных систем.

2018

Итоги эксплуатации первой очереди суперкомпьютера

Эксплуатация первой очереди суперкомпьютера имени Н.Н. Говоруна позволила провести целый ряд сложнейших ресурсоемких вычислений в области квантовой хромодинамики на решетках для исследования свойств адронной материи при высокой плотности энергии и барионного заряда и в присутствии сверхсильных электромагнитных полей, качественно повысить оперативность моделирования динамики столкновений релятивистских тяжелых ионов, позволила ускорить процесс генерации и реконструкции событий для экспериментов в рамкахмегасайенс-проекта NICA, провести расчеты радиационной безопасности экспериментальных установок, существенно ускорить исследования в области радиационной биологии и других научно-прикладных задач, решаемых в ОИЯИ. Результаты данных научных исследований были опубликованы в более чем 50-ти ведущих мировых научных изданиях.

Производительность, архитектура, назначение

По информации на март 2018 года, суперкомпьютер ОИЯИ им. Н.Н. Говоруна — гетерогенная система с теоретической пиковой производительностью около 1 Пфлопс, которая располагается в Лаборатории информационных технологий (ЛИТ) Объединенного института ядерных исследований (ОИЯИ) в подмосковной Дубне.

Архитектура

Суперкомпьютер состоит из двух частей. Первая часть сформирована из модулей, созданных российской компанией РСК на базе процессоров Intel. Установлены универсальные вычислительные шкафы «РСК Торнадо» с высокой энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем (до +63 °С на входе в вычислительный шкаф). В соответствии с условиями размещения оборудования для ОИЯИ был выбран оптимальный режим работы вычислительного шкафа при постоянной температуре хладоносителя +45 °С на входе в вычислительные узлы (с пиковым значением до +57 °С).

Всего насчитывается 40 2-процессорных серверов на базе Intel Skylake (модели Intel Xeon Gold 6154) и 20 — на базе Intel Xeon Phi 7290.

Вторая часть суперкомпьютера состоит из графических процессоров Nvidia Volta и предназначена для решения задач, связанных с искусственным интеллектом и машинным обучением.

Благодаря системе управления и мониторинга на базе ПО «РСК БазИС» обеспечиваются доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений. Она позволяет управлять как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии.

Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) — это программно-определяемые компоненты, позволяющие упростить и ускорить как начальное развертывание, так и обслуживание, а также последующую модернизацию системы.

Главная особенность системы, по словам ученого секретаря ЛИТ Дмитрия Подгайного, заключается в том, что это гетерогенная система, в то время как в мире преимущественно применяются гомогенные — состоящие только из центральных процессоров (без ускорителей) или из процессоров с ускорителями, но одного вида. В суперкомпьютере ОИЯИ используются графические ускорители и процессоры двух видов.

Назначение

Проект нацелен на кардинальное ускорение комплексных теоретических и экспериментальных исследований в области физики элементарных частиц, ядерной физики и физики конденсированных сред, в том числе для реализации ускорительного комплекса NICA, создаваемого на базе ОИЯИ для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва – кварк-глюонную плазму.

Суперкомпьютер ОИЯИ имени Н.Н. Говоруна позволит:

• проводить ресурсоемкие, массивно-параллельные расчеты для решения задач в области решеточной квантовой хромодинамики для исследования свойств адронной материи при высокой плотности энергии и барионного заряда и в присутствии сверхсильных электромагнитных полей,
• качественно повысить оперативность моделирования динамики столкновений релятивистских тяжелых ионов,
• предоставить широкие возможности для исследования свойств сильно-коррелированных систем в области физики новых материалов,
• разрабатывать и адаптировать программное обеспечение для мегапроекта NICA на передовые вычислительные архитектуры,
• создать программно-аппаратную среду для высокопроизводительных вычислений и моделирования сложных научных задач,
• готовить ИТ-специалистов по всем необходимым направлениям.

Суперкомпьютером также смогут воспользоваться ученые из других институтов, с которыми сотрудничает ОИЯИ.^[1]

Запуск

27 марта 2018 года в Лаборатории информационных технологий (ЛИТ) Объединенного института ядерных исследований (ОИЯИ) состоялся запуск суперкомпьютера, названного в честь директора Лаборатории вычислительной техники и автоматизации ОИЯИ в 1988-1989 гг. Николая Николаевича Говоруна (член-корреспондент Академии наук СССР, профессор, доктор физико-математических наук), с именем которого с 1966 года неразрывно связано развитие информационных технологий в этой международной межправительственной научно-исследовательской организации.

Суперкомпьютер ОИЯИ имени Н.Н. Говоруна представляет собой совместный проект Лаборатории теоретической физики (ЛТФ) им. Н.Н. Боголюбова и Лаборатории информационных технологий, поддержанный дирекцией ОИЯИ. Он реализован при участи специалистов группы компаний РСК и корпорации Intel.

По словам представителей ОИЯИ, суперкомпьютер является естественным развитием гетерогенной платформы HybriLIT, при этом обеспечивает заметное повышение ее производительности. Теоретическая пиковая производительность вычислительного комплекса оценивается в 1 Пфлопс в одинарной точности или около 500 Тфлопс в двойной точности.

В состав системы входит высокоплотное энергоэффективное решение «РСК Торнадо» на базе серверных технологий Intel с прямым жидкостным охлаждением, разработанное специалистами российской группы компаний РСК. Работа в режиме «горячая вода» для данного решения позволила применить круглогодичный режим free cooling (24x7x365), с использованием только сухих градирен, работающих при температуре окружающего воздуха до +50 °С, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. Таким образом, на охлаждение расходуется менее 6% всего потребляемого электричества, указали в ОИЯИ.

Основу вычислительных узлов составили серверные продукты Intel: мощные 72-ядерные серверные процессоры Intel Xeon Phi 7290, процессоры семейства Intel Xeon Scalable (модели Intel Xeon Gold 6154), платы семейств Intel Server Board S7200AP и Intel Server Board S2600BP, твердотельные накопители семейства Intel SSD DC S3520 с подключением по шине SATA в форм-факторе M.2 и высокоскоростные твердотельные диски Intel SSD DC P4511 с интерфейсом NVMe емкостью 1 Тбайт.

Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса ОИЯИ теперь используется передовая технология коммутации Intel Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel Omni-Path Edge Switch 100 Series со 100% жидкостным охлаждением, что, по словам представителей ОИЯИ, обеспечивает высокую эффективность работы системы охлаждения в режиме «горячая вода» и низкую совокупную стоимость владения системой.

Установка и запуск в ЛИТ ОИЯИ гетерогенного суперкомпьютера имени Николая Николаевича Говоруна осуществлена в год 60-летнего юбилея с момента начала эксплуатации первой ЭВМ «Урал-1» в нашем институте в 1958 году. Теперь наши ученые и научно-исследовательские коллективы получили в свое распоряжение мощный инструмент, который позволит кардинальным образом ускорить комплексные теоретические и экспериментальные исследования в области ядерной физики и физики конденсированных сред, – прокомментировал событие Владимир Васильевич Кореньков, директор Лаборатории информационных технологий ОИЯИ.

Примечания