МТУСИ: ARTCam Cтудия производства виртуального видеоконтента

Продукт
Название базовой системы (платформы): Проекты Виртуальной реальности
Разработчики: Московский технический университет связи и информатики (МТУСИ)
Дата премьеры системы: 2024/03/07

Основные статьи:

2024: Представление студии производства виртуального видеоконтента

В МТУСИ разработана студия производства виртуального видеоконтента. Об этом Университет сообщил 7 марта 2024 года.

Технологии виртуальной и дополненной реальностиAR/VR – с каждым годом находят все большее применение в самых разных отраслях экономики: промышленности, медицине, связи, транспорте, торговле. Благодаря их развитию появляются новые направления деятельности человека, одним из которых является виртуальное производство.Метавселенная ВДНХ 4.4 т

Виртуальное производство – это процесс создания виртуальных объектов и сцен с использований технологий AR/VR, особо востребованный в кино- и игровой индустрии.

Студию производства виртуальной реальности разрабатывает студент 3 курса факультета «Радио и телевидение» Глеб Воронков в Центре компьютерного зрения МТУСИ под руководством старшего преподавателя кафедры «Телевидение и звуковое вещание» Дмитрия Егорова.

Студия ARTCam позволяет проводить онлайн-трансляции событий, помещая реальных людей и объекты в 3D-среду. Возможны запись и редактирование трансляций, проведение их в социальных сетях, на стриминговых платформах и с помощью сервисов видеоконференций.

«
Ключевое качество ARTCam – отсутствие необходимости заниматься постпродакшном (период обработки материала после съемок) и использовать дорогостоящие дисплеи для фонового изображения. Ввиду использования VR-технологий «картинка» получается насыщенной и объемной, а качество контента зависит лишь от характеристик сервера, на котором он генерируется. Студия реализована в среде Unreal Engine (UE), позволяющей обеспечивать высокую степень детализации, качества видеоконтента и реалистичности. Дополнительно использованы технология VR, трехмерная графика и программный продукт Open Broadcaster Software (OBS), — прокомментировал Глеб Воронков.
»

По структуре студия состоит из 2 блоков: физического и виртуального. Первый включает в себя VR-систему ориентации камеры в пространстве, камеру, карту захвата изображения, сервер и монитор. Виртуальная часть представляет собой 2 продукта – UE и OBS.

Использование ARTCam даёт возможность ускорить процесс видеопроизводства за счет сокращения этапа постпродакшн и получения готовой видеопродукции в процессе производства, т.к. с помощью заранее подготовленной трехмерной сцены видеоконтент монтируется непосредственно во время трансляции. Благодаря виртуальной студии видеоинженер может вносить изменения во время прямого эфира без приостановок трансляции, смен кадра и потерь в качестве изображения. Возможна трансляция в прямом эфире с добавлением элементов трехмерного окружения в трехмерной виртуальной среде.

Студия может полноценно функционировать на площади от 30 м2, не требует Led-экранов, особых требований к мощности и защите питающей электросети, и для полноценной её работы достаточно пяти человек. На март 2024 года разработан действующий прототип и изготовлена техническая модель.

В ближайшем будущем планируется использовать в ARTCam подключение моделей нейронных сетей для трекинга движений человека в кадре, генерации 3D-моделей и вырезания исходного фона, создания библиотеки 3D-сцен и цифровых костюмов. Будет разработано собственное устройство ориентации камеры в пространстве, что позволит любому человеку полноценно использовать VR-технологию с ARTCam после краткого обучающего курса.