Visual-Robotics Bridge (VRB)

Продукт
Разработчики: Университет Карнеги - Меллона (Carnegie Mellon University)
Дата премьеры системы: июнь 2023 г.
Отрасли: Информационные технологии
Технологии: Робототехника

2023: Анонс продукта

В середине июня 2023 года группа исследователей из Университета Карнеги-Меллона представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам, таким как поднятие трубки телефона, открытие ящиков и т. п.

До 2023 года ученые обучали роботов, физически показывая им, как выполняется та или иная задача, или тренируя их в течение нескольких недель в симулированной среде. Оба эти метода требуют много времени и ресурсов и часто оказываются безуспешными.

Группа исследователей представила модель Visual-Robotics Bridge (VRB) для обучения роботов домашним делам

Команда из Университета Карнеги-Меллона утверждает, что предложенная ими модель, VRB, способна заставить робота выучить задачу всего за 25 мин, и это без участия людей или симулированной среды. Эта работа может радикально улучшить методы обучения роботов и может позволить роботам обучаться на огромном количестве доступных в интернете и видео.

VRB представляет из себя усовершенствованную версию In-the-Wild Human Imitating Robot Learning (WHIRL), модели, которую исследователи ранее использовали для обучения роботов. Разница между WHIRL и VRB заключается в том, что в первом случае требуется, чтобы человек выполнял задачу перед роботом в определенной среде. После наблюдения за человеком робот может выполнить задачу в той же среде. Однако в VRB человек не требуется, и при определенной практике обучаемый робот может имитировать действия человека даже в условиях, отличных от тех, что показаны на видео.TAdviser выпустил Гид по российским операционным системам 10.2 т

Модель VRB работает на основе аффорданс - концепции, объясняющей возможность действия на объект. Дизайнеры используют эту концепцию, чтобы сделать продукт удобным для пользователя и интуитивно понятным.

В ходе исследования ученые из Университета Карнеги-Меллона сначала заставили роботов просмотреть несколько видеороликов из больших наборов видеоданных, таких как Ego4d и Epic Kitchen. Эти обширные данные были разработаны для обучения программ ИИ человеческим действиям. Затем они использовали аффорданс, чтобы роботы поняли точки соприкосновения и шаги, которые делают действие завершенным, и, наконец, они протестировали две роботизированные платформы в различных реальных условиях в течение 200 часов. Оба робота успешно выполнили 12 задач, которые люди выполняют практически ежедневно в своих домах, например, открыли банку с супом, взяли трубку телефона, подняли крышку, открыли дверь, выдвинули ящик и т. д. На следующих этапах разработчики надеются использовать VRB для обучения роботов более сложным многоэтапным задачам.[1]

Примечания



СМ. ТАКЖЕ (1)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (31)
  Cognitive Pilot (Когнитив Роботикс) (14)
  Яндекс (Yandex) (14)
  Nvidia (Нвидиа) (11)
  Cognitive Technologies (Когнитивные технологии) (10)
  Другие (502)

  ABB Group (7)
  Promobot (Промобот) (4)
  Ростелеком (3)
  АББ Россия (ABB) (3)
  IPavlov (Айпавлов) (2)
  Другие (59)

  Mains Lab (Мэйнс Лаборатория) (2)
  Яндекс (Yandex) (2)
  Московский центр инновационных технологий в здравоохранении (2)
  VizorLabs (Визорлабс) (1)
  Мотив нейроморфные технологии (1)
  Другие (45)

  Департамент информационных технологий Москвы (ДИТ) (2)
  Яндекс (Yandex) (2)
  Инфосистемы Джет (2)
  Fora Robotics (Фора Роботикс) (2)
  Яндекс.Облако (Yandex Cloud) (2)
  Другие (46)

  Синимекс (Cinimex) (2)
  Геоскан (Geoscan) (2)
  Университет Иннополис (2)
  Яндекс (Yandex) (2)
  Наносемантика (Nanosemantics Lab) (2)
  Другие (48)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot (Промобот) (9, 32)
  ABB Group (8, 23)
  Cognitive Pilot (Когнитив Роботикс) (3, 21)
  Cognitive Technologies (Когнитивные технологии) (1, 21)
  Яндекс (Yandex) (2, 11)
  Другие (580, 143)

  ABB Group (2, 11)
  Promobot (Промобот) (2, 4)
  Cognitive Pilot (Когнитив Роботикс) (1, 2)
  Gaskar Group (Гаскар Интеграция) (1, 2)
  Ronavi Robotics, Ронави Роботикс (ранее Ронави логистические системы) (1, 2)
  Другие (10, 11)

  Транспорт будущего (2, 1)
  Бирюч-НТ Инновационный Центр (2, 1)
  Эфко ГК (2, 1)
  Smart Meal Service (Смарт Мил Сервис) (1, 1)
  YaCuAi (1, 1)
  Другие (13, 13)

  Fora Robotics (Фора Роботикс) (1, 2)
  Яндекс (Yandex) (1, 1)
  Aripix Robotics (Арипикс Роботикс) (1, 1)
  Rozum Robotics (Розум Роботикс) (1, 1)
  Роботех (Robotech) (1, 1)
  Другие (5, 5)

  Pudu Robotics (Pudu Technology) (1, 2)
  Яндекс (Yandex) (1, 2)
  КиберСклад (1, 1)
  Intuitive Surgical (1, 1)
  Геоскан (Geoscan) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Promobot - 26
  Cognitive Agro Pilot Система автоматического вождения - 21
  ABB IRB Промышленные роботы - 19
  Da Vinci (робот-хирург) - 11
  Nvidia Drive AI-платформа для самоуправляемых автомобилей - 10
  Другие 127

  ABB IRB Промышленные роботы - 8
  YuMi (Мобильный коллаборативный робот) - 4
  Promobot - 4
  Ronavi Robotics: H-серия Роботы для обслуживания складов - 2
  Gaskar Group Hive Автономные дронопорты - 2
  Другие 11

  Cognitive Agro Pilot Система автоматического вождения - 1
  Hi-Fly Cargo - 1
  ABB IRB Промышленные роботы - 1
  Эфко: Hi-Fly Taxi Аэротакси - 1
  Лаборатория знаний: Neuro Angel - 1
  Другие 9

  For-1 Антропоморфный робот - 2
  Dobot CR-серия Коллаборативные роботы - 1
  Aripix A1 Робот-манипулятор - 1
  Robotech: RP-серия Роботы-паллетайзеры - 1
  Яндекс: Складские роботы - 1
  Другие 2

  Pudu CC1 Робот-уборщик - 2
  Яндекс.Ровер - 2
  Da Vinci (робот-хирург) - 1
  Роботы КиберСклад - 1
  Геоскан БАС (Беспилотные авиационные системы самолетного типа) - 1
  Другие 0