Visual-Robotics Bridge (VRB)

2023: Анонс продукта

В середине июня 2023 года группа исследователей из Университета Карнеги-Меллона представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам, таким как поднятие трубки телефона, открытие ящиков и т. п.

До 2023 года ученые обучали роботов, физически показывая им, как выполняется та или иная задача, или тренируя их в течение нескольких недель в симулированной среде. Оба эти метода требуют много времени и ресурсов и часто оказываются безуспешными.

Группа исследователей представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам

Команда из Университета Карнеги-Меллона утверждает, что предложенная ими модель, VRB, способна заставить робота выучить задачу всего за 25 мин, и это без участия людей или симулированной среды. Эта работа может радикально улучшить методы обучения роботов и может позволить роботам обучаться на огромном количестве доступных в интернете и видео.

VRB представляет из себя усовершенствованную версию In-the-Wild Human Imitating Robot Learning (WHIRL), модели, которую исследователи ранее использовали для обучения роботов. Разница между WHIRL и VRB заключается в том, что в первом случае требуется, чтобы человек выполнял задачу перед роботом в определенной среде. После наблюдения за человеком робот может выполнить задачу в той же среде. Однако в VRB человек не требуется, и при определенной практике обучаемый робот может имитировать действия человека даже в условиях, отличных от тех, что показаны на видео.Directum Lite в «коробке» — для управления строительством многоквартирного дома «РКС Девелопмент» 5 т

Модель VRB работает на основе аффорданс - концепции, объясняющей возможность действия на объект. Дизайнеры используют эту концепцию, чтобы сделать продукт удобным для пользователя и интуитивно понятным.

В ходе исследования ученые из Университета Карнеги-Меллона сначала заставили роботов просмотреть несколько видеороликов из больших наборов видеоданных, таких как Ego4d и Epic Kitchen. Эти обширные данные были разработаны для обучения программ ИИ человеческим действиям. Затем они использовали аффорданс, чтобы роботы поняли точки соприкосновения и шаги, которые делают действие завершенным, и, наконец, они протестировали две роботизированные платформы в различных реальных условиях в течение 200 часов. Оба робота успешно выполнили 12 задач, которые люди выполняют практически ежедневно в своих домах, например, открыли банку с супом, взяли трубку телефона, подняли крышку, открыли дверь, выдвинули ящик и т. д. На следующих этапах разработчики надеются использовать VRB для обучения роботов более сложным многоэтапным задачам.^[1]