Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
Разработчики: | Nvidia (Нвидиа), Microsoft |
Дата премьеры системы: | 2021/10/15 |
Технологии: | Речевые технологии |
Содержание[Свернуть] |
Основные статьи:
Megatron — инструмент с открытым исходным кодом команды исследователей Nvidia, на базе которого изучается обучение языковых моделей в любом масштабе.
2021
Выпуск фреймворка Nvidia NeMo Megatron
На конференции GTC в ноябре 2021 года Nvidia представила Nemo Megatron – фреймворк для обучения больших языковых моделей, содержащих триллионы параметров. NeMo Megatron построен на базе Megatron – проекта с открытым исходным кодом команды исследователей NVIDIA, изучающей эффективное обучение языковых моделей в любом масштабе. Фреймворк автоматизирует сложность обучения LLM с помощью библиотек обработки данных, которые собирают, обрабатывают, систематизируют и очищают данные.
Nemo Megatron оптимизирован для масштабирования в инфраструктуре ускоренных вычислений Nvidia DGX SuperPOD.Российский рынок CRM-систем: оценки, перспективы, крупнейшие поставщики. Обзор TAdviser
На базе этого же проекта была представлена Megatron 530B – кастомизируемая большая языковая модель, которую можно обучать для новых предметных областей и новых языков.
Полный список анонсов ноябрьской GTC 2021 доступен здесь.
Создание модели генерации естественного языка при участии Microsoft
15 октября 2021 года Microsoft и Nvidia объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров.
MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует высокую точность в широком наборе задач естественного языка, таких как:
- Предсказание завершения текста по смыслу;
- Понимание прочитанного;
- Генерация логических выводов;
- Создание заключений на естественном языке;
- Различение смысла слов с несколькими значениями.
Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.
Подрядчики-лидеры по количеству проектов
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
Распределение систем по количеству проектов, не включая партнерские решения
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)
![](/skins/ta/img/0.gif)