| Разработчики: | Национальный университет Сингапура |
| Дата премьеры системы: | май 2023 г. |
| Отрасли: | Фармацевтика, медицина, здравоохранение |
2023: Создание технологии
19 мая 2023 года исследователи из Национального университета Сингапура и Китайского университета Гонконга сообщили о разработке технологии, которая позволяет генерировать видеоматериалы на основе информации об активности мозга. Проект получил название MinD-Video.
В основу разработки положено программное обеспечение Stable Diffusion с алгоритмами искусственного интеллекта. Этот софт предназначен для формирования изображений по текстовым описаниям. Учёные совместили возможности Stable Diffusion с функциональной магнитно-резонансной томографией (фМРТ). В результате, удалось создать новую систему для «чтения мыслей».
Авторы проекта демонстрировали добровольцам видеоролики с различными жизненными ситуациями, например, с животными или автомобилем, движущимся в лесистой местности. Затем при помощи модели MinD-Video формировался синтезированный видеоряд, основанный на сигналах мозга испытуемых. Оказалось, что различия между оригинальным и реконструированным роликами незначительны. В частности, ИИ-система корректно воспроизводила сюжет, цветовую палитру и другие параметры. В целом, точность оказалась на уровне 85%.
В ходе исследования специалисты выяснили, что кодировщик фМРТ работает по иерархическому принципу, переходя от структурной информации к более абстрактным и визуальным элементам. Причём система способна развиваться с течением времени, улавливая более детальную информацию. Это даёт возможность генерировать видеоролики, качество которых повышается по мере обучения. В перспективе модель MinD-Video может найти применение в разных областях. На её основе, в частности, могут создаваться передовые интерфейсы «мозг — компьютер» или специализированные приложения, помогающие людям с ограниченными возможностями наладить связь с внешним миром.[1]
