NVIDIA: технологии метавселенной и новые возможности и инструменты для ИИ. Главные анонсы GTC 2021

NVIDIA продолжает активно развивать программно-аппаратную платформу для ИИ. Она предполагает сведение воедино аппаратных решений, софта, алгоритмов, библиотек, систем и сервисов для создания вычислительных решений, которые могут использоваться для самых амбициозных задач вокруг ИИ в разных отраслях. И на ноябрьской конференции GTC решения, способные преобразовать различные отрасли, стали «гвоздём программы». Часть новостей коснулась и аппаратных решений – линии бизнеса NVIDIA с наиболее долгой историей.

Открывая конференцию, CEO NVIDIA Дженсен Хуанг (Jensen Huang) начал одной из главных вещей, которую технологии компании дают и конечному пользователю, и целым отраслям – ускорение. Ускоренные вычисления начинаются с NVIDIA CUDA, программируемых графических процессоров (GPU) общего назначения. «Волшебство ускоренных вычислений» получается из сочетания CUDA, специальных библиотек, алгоритмов, ускоряющих приложения, распределенных компьютерных систем и программного обеспечения.

Краткое содержание выступления Дженсена Хуанга на GTC 2021

NVIDIA развивает CUDA и сопутствующую экосистему уже 15 лет, оптимизируя весь стек связанных с ней технологий, и постоянно расширяет спектр отраслей, которым ускорение становится доступно. Уже охвачены сферы от компьютерной графики до промышленности. При этом для NVIDIA не является необычным увеличивать производительность приложений, работающих на компьютерах с уже существующими ее чипами.

Представьте себе радость исследователя, который смог провести моделирование всего за половину обычного времени только за счет того, что он скачал программное обеспечение, - говорит Дженсен Хуанг.

По мере того, как компания ускоряет все больше приложений, растет спрос на ее платформы со стороны сети партнеров для разных отраслей. Для каждой сферы науки, промышленности компания создает полный стек технологий. С таким посылом компания на GTC анонсировала важные обновления своих продуктов и сервисов.

Omniverse Enterprise: от слов к реальным метавселенным

Слово « метавселенная» не новое, ему уже почти 30 лет. Но в 2021 году оно примкнуло к списку горячих технологических трендов на фоне анонса планов ряда ИТ-компаний, таких как Facebook и Microsoft, по созданию своих метавселенных.

Метавселенная — это мир, в котором виртуальные, несуществующие в реальности объекты сливаются с физическими вещами и событиями в рамках единой платформы, экосистемы. Но если у Facebook инициатива в этой сфере пока по факту отражена только в имени компании, а у Microsoft она пока означает довольно узконаправленную функциональность, то NVIDIA уже создает и предлагает среду метавселенной для использования в разнообразных сферах, воплощенную в ее платформе Nvidia Omniverse.

Рынок ИТ-услуг в России: оценки, тренды, крупнейшие участники. Обзор и рейтинг TAdviser 298.4 т

Платформа Omniverse Enterprise для совместной работы с 3D-графикой в различных организациях с момента анонса в апреле 2021 года находится в особом фокусе у NVIDIA. Она позволяет взаимодействовать в метавселенной, используя физически точные «цифровые двойники», например, разрабатываемых продуктов или решаемых проблем. Это может быть автомобиль, фабрика, или склад ритейлера, или даже целый город – платформа позволяет создать «цифровой двойник» всего, что угодно. Даже Земли.

Хотелось бы надеяться, что через пару лет данные будут стекаться в цифрового двойника Земли, созданного в Omniverse, а совокупность физических моделей с машинным обучением позволит предсказывать изменение климата.

В Omniverse можно создавать цифровые двойники любых объектов, в том числе Земли

По данным NVIDIA, с запуска бета-версии платформы к настоящему моменту ее скачали более 70 тыс. индивидуальных пользователей и используют более 700 компаний, включая такие, как BMW и Ericsson.

9 ноября на GTC стало известно, что с момента анонса платформа обросла новыми возможностями, такими как AR, VR, мульти-GPU рендеринг. И, будучи ранее предложенной в бета-версии, теперь она стала доступна корпоративным клиентам от глобальных вендоров по цене от $9 тыс. в год. Можно получить и бесплатную 30-дневную пробную версию.

Тема, которую вы постоянно будете видеть – как используется Omniverse для создания «цифровых двойников» складов, заводов и фабрик, физических и биологических систем, периферии 5G, роботов, беспилотных автомобилей и даже аватаров, - отметил Дженсен Хуанг.

BMW создает в Omniverse цифровые двойники своего производства

Что касается аватаров, в частности, платформа для их создания на базе ИИ – NVIDIA Omniverse Avatar – стала одной из ключевых новинок, представленных на GTC. Решение объединяет технологии NVIDIA в области речевого ИИ, компьютерного зрения, понимания естественного языка, рекомендательных систем и технологий моделирования.

Аватары, созданные на этой платформе, представляют собой интерактивных персонажей с 3D графикой на базе трассировки лучей.

Персонажи могут видеть, говорить, разговаривать на самые разные темы и понимать высказанные намерения собеседника. Omniverse Avatar позволяет создавать умных помощников, которых легко настраивать практически для любой отрасли: например, для взаимодействия с клиентами при заказах в ресторане, совершении банковских операций, назначении личных встреч, бронировании и т. д.

Компания также анонсировала NVIDIA Omniverse Replicator, мощный движок генерации синтетических данных, который создает физически корректные синтетические данные для обучения глубоких нейронных сетей. Он является частью платформы Omniverse.

Omniverse Replicator добавляет к дорогостоящим, размеченным вручную данным реального мира, которые могут содержать ошибки и быть неполными, возможность создания больших и разнообразных физически точных данных, адаптированных к потребностям разработчиков автономных машин и робототехники.

Это также позволяет генерировать данные, которые трудно или невозможно разметить людям: например, скорость, глубину, закрытые объекты, неблагоприятные погодные условия или отслеживание движения объектов между датчиками.

В своих первых реализациях движка компания представила два приложения для генерации синтетических данных: одно для NVIDIA DRIVE Sim, виртуального мира для размещения цифровых двойников автономных транспортных средств, и другое для NVIDIA Isaac Sim, виртуального мира для цифровых двойников роботов-манипуляторов. А в следующем году Omniverse Replicator будет доступен разработчикам для создания движков генерации данных для различных предметных областей.

Синтезированное изображение с камеры (слева) и соответствующая визуализация данных с сегментацией объектов, сгенерированная в приложении NVIDIA DRIVE Sim на базе Omniverse Replicator

Важным шагом в развитии платформы Omniverse стало расширение ее экосистемы. Здесь NVIDIA объявила об интеграции с программными решениями компаний Bentley Systems, известного разработчика инженерного ПО, и Esri, одного из лидеров в области геоинформационного софта.

Касательно сотрудничества с Esri в частности, Дженсен Хуанг отметил, что от геопространственных технологий Omniverse очень сильно выиграет. И причина этого в том, что многое из того, что будет моделироваться, имеет глобальные масштабы. Один из таких проектов – планируемый проект самой NVIDIA по созданию цифрового двойника Земли под названием Earth 2, который будет использоваться для климатических прогнозов. Во время основного выступления на GTC CEO NVIDIA не так много рассказал об этом проекте, но раскрыл некоторые подробности о нем на пресс-брифинге позже.

Подавляющее большинство данных для Earth 2 будет поступать со спутников. Благодаря этим данным, а также использованию технологий ИИ и воспроизведению объектов с помощью компьютерного зрения можно будет быстро воссоздать геометрию и текстуры конкретных территорий. Можно будет быстро воссоздавать, например, целые города.

CEO NVIDIA добавил, что данный проект по созданию цифрового двойника Земли полностью финансируется самой NVIDIA.

Мы, в частности, заинтересованы в его использовании для науки о климате, чтобы с помощью Earth 2 можно было моделировать климат. Это отличается от прогнозирования погоды, моделирование климата – более сложная задача. Для симуляции климата на региональном уровне и низких облаков нужно разрешение 1-10 метров, а мы сейчас находимся на уровне 10-100 км.

Примечательным стал и анонс о сотрудничестве с Lockheed Martin — американской военно-промышленной корпорацией, специализирующаяся в области авиастроения, авиакосмической техники, судостроения, автоматизации почтовых служб и аэропортовой инфраструктуры и логистики. Компании планируют создать первую в мире лабораторию на основе ИИ и Omniverse, которая займется моделированием и прогнозированием лесных пожаров.

Модели и системы ИИ

В выступлении на GTC Дженсен Хуанг представил Nemo Megatron – фреймворк для обучения больших языковых моделей, содержащих триллионы параметров. NeMo Megatron построен на базе Megatron – проекта с открытым исходным кодом команды исследователей NVIDIA, изучающей эффективное обучение языковых моделей в любом масштабе.

Также были представлены Megatron 530B – кастомизируемая большая языковая модель, которую можно обучать для новых предметных областей и новых языков, и обновление программного решения с открытым кодом для инференса NVIDIA Triton Inference Server.

Megatron 530B – кастомизируемая большая языковая модель

NVIDIA Triton Inference Server теперь, например, поддерживает нескольких GPU/узлов. Эта новая функция позволяет использовать большие языковые модели на основе Transformer, такие как Megatron 530B, которые уже не по силам одному GPU, для инференса на нескольких GPU и серверных узлах. Она обеспечивает производительность инференса в реальном времени.

При использовании с системами NVIDIA DGX, вышеупомянутые инструменты представляют собой готовое к использованию решение корпоративного уровня, упрощающее разработку и развертывание больших языковых моделей.

Интересное обновление появилось также в программном обеспечении NVIDIA Riva для создания диалоговых ИИ-сервисов – Custom Voice. Эта новая функция позволяет компаниям разрабатывать с использованием Riva голоса для корпоративных сервисов за считанные часы вместо недель и с использованием небольших объемов данных. Например, с ее помощью можно создать голосового ассистента с уникальным голосом для колл-центра. Технология позволяет распознавать речь, отвечать на вопросы и даже угадывать намерения собеседника, утверждают разработчики.

Riva говорит по-английски и помимо него распознает еще 6 языков: русский, испанский, немецкий, французский, японский, упрощенный китайский. В будущем, пообещал гендиректор NVIDIA, Riva будет знать большее количество языков.

Riva обеспечивает точность распознавания речи мирового класса, а ее время отклика вне конкуренции. За полчаса обучения она может заговорить конкретным голосом: например, голосом одного из представителей вашего бренда, - говорит Дженсен Хуанг.

Возможности технологий NVIDIA для разговорного ИИ глава компании продемонстрировал на визуализированной мини-модели себя самого, говорящей в режиме реального времени его же голосом и способной распознавать живую речь собеседника

Также был представлен фреймворк NVIDIA Modulus для создания и обучения моделей в области физики, подчиняющихся физическим законам. Этот инструмент предназначен в первую очередь для инженеров, ученых и исследователей. Он может быть использован, например, в сфере белковой инженерии или климатологии.

Дженсен Хуанг представил и три новых библиотеки:

• ReOpt – для оптимизации маршрутов в логистике, в том числе внутри складов;
• cuQuantum – для ускорения исследований в области квантовых вычислений;
• uNumeric – для библиотеки с открытым исходным кодом для языка программирования Python, которая может использоваться учеными для машинного обучения и исследователей ИИ в сообществе Python.

А для помощи в доставке сервисов NVIDIA на базе ИИ Дженсен Хуанг анонсировал расширение программы NVIDIA Launchpad, предлагающей организациям комплексную платформу для задач ИИ. Помимо изначальной доступности Launchpad в Северной Америке, теперь она стала доступна еще из 9 локаций в разных странах на базе площадок Equinix. С этой базирующейся в США компанией, которая специализируется на подключении к интернету и центрах обработки данных, NVIDIA сотрудничает для предоставления технологий NVIDIA в области ИИ заказчикам.

В NVIDIA уточнили TAdviser, что российские клиенты также смогут воспользоваться программой Launchpad.

Экосистема NVIDIA для задач в области ИИ постоянно расширяется, растет число партнеров, и вместе с тем растет портфолио продуктов и сервисов самой NVIDIA для решения задач с использованием ИИ. Нередко в подобных случаях продукты и сервисы компании-ядра экосистемы начинают конкурировать с продуктами и сервисами партнеров. Но Дженсен Хуанг считает, что в случае с NVIDIA такого не наблюдается.

Политика и философия компании – создавать только то, что еще не существует. Зачем нам было бы поддерживать такой крупный ресурс из 22 тыс. профессионалов, чтобы повторять уже созданные разработки? – отметил CEO NVIDIA. – Все, что мы делаем, оказывается полным стеком продуктов, и то, что мы делаем, является открытым. Поэтому мы смогли охватить так много отраслей и клиентов. Наши технологии в каждом облаке и у каждого производителя компьютеров. Мы с ними партнеры. NVIDIA помогает им с системной архитектурой, интеграцией, ПО, и мы даже открываем новые рынки для наших OEM-партнеров, чтобы мы могли расти вместе.

Прорывные технологии для ЦОДов и высокопроизводительных вычислений

В области технологий для дата-центров одним из самых важных анонсов GTC, пожалуй, можно назвать Quantum-2 – новое поколение сетевой платформы InfiniBand, предназначенной для облачных вычислений и суперкомпьютерных центров. Состоит она из коммутатора NVIDIA Quantum-2, сетевого адаптера ConnectX-7, DPU-процессора BlueField-3 и программного обеспечения, поддерживающего новую архитектуру.

Новая платформа обеспечивает вдвое более высокую пропускную способность на порт: 400 Гбит/с против 200 Гбит/c ранее. Также она поддерживает мультитенантный режим для обслуживания большого количества пользователей.

По заявлениям разработчиков, платформа увеличивает производительность в 3 раза и снижает потребность в коммутаторах ЦОД в 6 раз, сокращая при этом энергопотребление и уменьшая пространство ЦОД на 7%. А технология внутрисетевых вычислений NVIDIA Quantum-2 SHARPv3 обеспечивает в 32 раза больше механизмов ускорения для приложений ИИ по сравнению с предыдущим поколением.

Эта сетевая скорость, коммутационные возможности и масштабируемость появились как нельзя вовремя для создания огромных высокопроизводительных систем, которые мир должен построить, - отмечает Дженсен Хуанг.

Еще один важный анонс – выпуск Jetson AGX Orin, который в компании называют самым маленьким в мире, самым производительным и энергоэффективным ИИ-суперкомпьютером. Он предназначен для роботов, автономных машин, медицинских устройств и др. Jetson AGX Orin является продолжением Jetson AGX Xavier, который компания выпустила в 2018 году. По сравнению с ним Jetson AGX Orin обладает в шесть раз большей вычислительной мощностью при том же форм-факторе. Компьютер может уместиться на ладони. Также новинка совместима с компьютером-предшественником.

Производитель заявляет, что Jetson AGX Orin способен выполнять 200 триллионов операций в секунду. Он построен на базе GPU NVIDIA Ampere, оснащен процессорами ARM Cortex-A78AE и ускорителями глубокого обучения и компьютерного зрения нового поколения. Это дает возможность запускать множество приложений ИИ.

Цену нового устройства NVIDIA пока не сообщила. Компания планирует сделать Jetson AGX Orin и комплект разработчика доступными в первом квартале 2022 года.

Квантовые вычисления

NVIDIA представила набор разработчика cuQuantum, чтобы ускорить моделирование квантовых компьютеров на классических системах. Такое моделирование помогает ученым быстро создавать и тестировать новые квантовые алгоритмы, которые современные аппаратные решения не «потянут». Моделирование также является критическим для валидации и тестирования производительности следующего поколения квантовых аппаратных решений.

Первая библиотека cuQuantum в публичной бета-версии стала доступна для скачивания. Она называется cuStateVec и предназначена для акселерации симуляции векторного состояния. Еще одна библиотека – cuTensorNet – должна стать доступна в декабре.

NVIDIA сотрудничает с Google Quantum AI, IBM и другими компаниями, чтобы поднять квантовые вычисления на следующий уровень. NVIDIA интегрировала cuStateVec в qsim, симулятор векторного состояния от Google Quantum AI’s, который может использоваться через Cirq, фреймворк с открытым кодом для программирования квантовых компьютеров. А далее предстоит интеграция cuStateVec с Qiskit Aer от IBM, фреймворком, предоставляющим высокопроизводительные симуляторы квантовых вычислений с реалистичными моделями шума.

Беспилотный транспорт

Технологии для транспорта остаются одной из наиболее горячих тем, и NVIDIA не обходит ее стороной на своих мероприятиях. Помимо уже упомянутого выше приложения для NVIDIA DRIVE Sim на базе Omniverse Replicator, в рамках GTC компания представила NVIDIA DRIVE Concierge и DRIVE Chauffeur – две платформы на базе ИИ, предназначенные для того, чтобы устранить стресс при ежедневном вождении автомобиля.

DRIVE Concierge, умный цифровой ассистент в автомобиле, поможет в том числе с парковкой

Программно-определяемые транспортные средства будут включать два ключевых компонента, построенных с использованием системы-на-чипе NVIDIA DRIVE Orin: один из них – для ассистентов на базе ИИ, DRIVE Concierge, а второй – для автономного вождения, DRIVE Chauffeur. DRIVE Concierge использует платформу для беспилотных автомобилей NVIDIA DRIVE IX, а также NVIDIA Omniverse Avatar, и работает напрямую с DRIVE Chauffeur.

DRIVE Concierge поддерживает такие функции, как автоматическая парковка, цифровой ассистент, надежный обзор обстановки и др. DRIVE Chauffeur поддерживает автономное вождение на разных дорогах – в городе и скоростных трассах, облегчая бремя водителя, связанное с контролем транспортного средства и мониторинга обстановки на дороге.

Здравоохранение

Сфера медицины – одна из отраслей, принимающих на вооружение ИИ и высокопроизводительные вычисления для решения задач критической важности. Для этой отрасли NVIDIA на конференции GTC тоже анонсировала новинки. Одна из них – [[NVIDIA Clara Holoscan, новая компьютерная платформа на базе мини-суперкомпьютера NVIDIA AGX Orin, которая обеспечивает масштабируемую программно-определяемую вычислительную инфраструктуру для обработки потоков данных, поступающих с медицинских устройств. Например, с эндоскопа или оборудования для компьютерной томографии.

Ранее NVIDIA представила для здравоохранения Clara Discovery, набор фреймворков, приложений, ИИ-моделей, исполняемых на GPU, для ускорения разработки лекарств. На GTC 9 ноября компания объявила, что американский стартап Entos использует Clara Discovery для молекулярного моделирования.

Полное выступление Дженсена Хуанга на GTC 2021

О конференции GTC 2021

В рамках онлайн-конференции проходят более 500 сессий, посвященных глубокому обучению, анализу данных, высокопроизводительным вычислениям, робототехнике, решениям для центров обработки данных/сетей и графике. Участие в конференции бесплатное.

Ключевые сессии:

• Главные вызовы метавселенной обсуждают Тим Суини (Tim Sweeney), основатель и генеральный директор Epic Games; Морган Макгуайр (Morgan McGuire), главный научный сотрудник Roblox; Виллим Цуй (Willim Cui), вице-президент Tencent Games; Джинсу Чон (Jinsoo Jeon), вице-президент и глава Metaverse в SK Telecom; Рэв Лебаредян (Rev Lebaredian), вице-президент по технологиям моделирования и инженерии Omniverse в NVIDIA; и Дин Такахаши (Dean Takahashi), ведущий редактор VentureBeat.
• Илья Суцкевер (Ilya Sutskever), соучредитель и главный исследователь OpenAI, представляет свое видение истории глубокого обучения и его будущего.
• Фей-Фей Ли (Fei-Fei Li), профессор компьютерных наук в Стэнфордском университете, обсуждает окружающий интеллект (интеллектуальные сенсорные решения) для здравоохранения и принимает участие в беседе с Кимберли Пауэлл (Kimberly Powell), вице-президентом NVIDIA по решениям для здравоохранения.
• Бей Ян (Bei Yang), вице-президент и руководитель технологической студии Disney Imagineering, рассказыват, как компания использует передовые технологии для создания метавселенной.
• Шаши Бушан (Shashi Bhushan), главный архитектор программного обеспечения и систем искусственного интеллекта в Lockheed Martin, рассказывает, как компания использует NVIDIA Omniverse для прогнозирования лесных пожаров и борьбы с ними.
• Росс Крамбергар (Ross Krambergar), специалист по цифровым решениям для планирования производства в BMW, рассказывает, как BMW использует NVIDIA Omniverse для реализации своего видения фабрики цифровых двойников будущего с целью повышения гибкости производства.
• Кейт Перри (Keith Perry), директор по информационным технологиям Детской исследовательской больницы Сент-Джуд, рассказывает, как они использовали анализ данных для улучшения методов лечения опасных для жизни заболеваний у детей.
• Нир Зук (Nir Zuk), основатель и технический директор Palo Alto Networks, рассказывает о применении искусственного интеллекта в области кибербезопасности.
• Анима Анандкумар (Anima Anandkumar), директор по исследованиям машинного обучения в NVIDIA и профессор Калифорнийского технологического института, рассказывает про измерение и уменьшение ошибок в моделях ИИ и проведет сессию по достижениям в области конвергенции ИИ и научных вычислений.
• Кейт Стриер (Keith Strier), вице-президент по глобальным инициативам в области ИИ в NVIDIA, и Марк Андриянич (Mark Andrijanič), министр цифровой трансформации Словении, принимают участие в обсуждении по инвестициям в ИИ на уровне государств, в том числе в инфраструктуру и специалистов по обработке данных.
• Исследователи Массачусетского технологического института, инициативы Amazon Web Services по устойчивым данным и NVIDIA рассказывают, как организации государственного и частного секторов предоставляют ученым климатические данные.
• Группа экспертов рассказывает о потенциале USD (Universal Scene Description) для 3D-дизайнеров во всех отраслях. В группу входят Себастьян Грассиа (Sebastian Grassia), руководитель проекта по USD в Pixar; Мохсен Резаят (Mohsen Rezayat), главный архитектор решений Siemens; Шон Данн (Shawn Dunn), старший менеджер по продукции Epic Games; Саймон Хеглер (Simon Haegler), старший разработчик программного обеспечения в Esri R&D Center Zurich; Хильда Эспиналь (Hilda Espinal), технический директор CannonDesign; и Майкл Касс (Michael Kass), старший инженер NVIDIA.
• Аксель Герн (Axel Gern), технический директор Daimler Trucks – о стратегии, проблемах и возможностях разработки программно определяемых грузовиков для автономного будущего.
• Два эксперта по графике NVIDIA раскрывают технологии, использованные для создания виртуального Дженсена для весенней презентации GTC. Их работа получила премию Best-in-Show в категории Real-Time-Live на SIGGRAPH 2021.

См. также

Метавселенные (metaverses)