F3RM (Feature Fields for Robotic Manipulation)

2023: Анонс продукта

2 ноября 2023 года ученые из MIT рассказали о новом методе обучения роботов с помощью искусственного интеллекта. Он получил название Feature Fields for Robotic Manipulation.

Исследователи рассказывают о принципе работы метода, сравнивая его с человеком, который приехал в гости к знакомому в другую страну. Утром человек пытается сделать завтрак и открывает для этого холодильник. Изначально большинство элементов кажутся ему непонятными из-за незнакомой упаковки. Несмотря на визуальные различия со знакомыми элементами, человек постепенно разбирается, что зачем используется.

Ученые MIT рассказали о новом методе обучения роботов

Такая гипотетическая ситуация вдохновила ученых на создание модели Feature Fields for Robotic Manipulation (F3RM). Данная система превращает 2D изображения основных моделей, на котором обучается ИИ, в 3D модели, чтобы роботу было проще индентифицировать и взаимодействовать с окружающими его предметами. F3RM может понимать открытые языковые инструкции, что помогает им в реальной обстановке, где вокруг них тысячи объектов.

Создание роботов, которые действительно умеют обобщать, находясь в реальных условиях – это очень сложная задача. Мы пытаемся понять, как это можно сделать, и поэтому пытаемся выйти на новый уровень обобщения, от трех-четырех объектов до всего, что мы можем найти в нашем исследовательском центре - прокомментировал разработку Дже Янг, один из авторов исследования.

Благодаря F3RM роботы получают возможность интерпретировать открытые текстовые инструкции используя естественный язык. В результате этого, машины могут понимать менее специализированные запросы людей и выполнять эти задания. Например, пользователь может попросить «поднять высокую чашку», и робот найдет и поднимет предмет, подходящий под описание.^[1]