Логотип
Баннер в шапке 1
Баннер в шапке 2

Mapping Natural Language Instructions to Mobile UI Action Sequences

Продукт
Разработчики: Google
Дата премьеры системы: июль 2020 г
Технологии: Планшетные компьютеры и смартфоны,  Средства разработки приложений

2020: Раскрытие исходных кодов

10 июля 2020 года Google представила новую ИИ-систему, которая позволяет управлять портативными устройствами, в частности смартфоном, с помощью естественного языка. Новинка под названием Mapping Natural Language Instructions to Mobile UI Action Sequences прежде всего полезной для слабовидящих людей.

В отчете с конференции Ассоциации вычислительной лингвистики (ACL) за 2020 год представлены подробности относительно функционирования ИИ-системы. Исследователи предлагают метод управления смартфонами с помощью естественного языка. Представленная исходная база команд для ИИ позволяет достичь эффективного взаимодействия между несколькими устройствами. Запрограммированная база команд обрабатывает запрос от пользователя, предсказывает последовательность действий приложения, а также экраны и интерактивные элементы для перехода с одного экрана на другой.

Используя ИИ, разработчики уже создали три набора инструкций, которые можно использовать для многоступенчатой работы со смартфонами. Более того, у организаторов проекта уже есть приблизительно 300 тыс одношаговых команд, которые предназначены для пользовательского интерфейса. Ожидается, что они будут функционировать практически на всех устройствах с ОС Android.

Раскрытие исходников ИИ-системы для управления смартфоном естественным языком

В рамках тестирования технологии ИИ успешно удалось перевести естественную речь пользователя в действия, точность составила 89,21%. Все же при усложнении произношения команд, а также при создании искусственных команд во время проговаривания эффективность значительно сокращалась (до 70,59%). Разработчики компании уверены, что в будущем производительность будет улучшена.

Все наработки разработчиков будут в открытом доступе на ресурсе GitHub. Исследователи Google не против получить профессиональную помощь от коллег, так как уверены, что этот проект может стать первым шагом для решения проблемы управления устройствами с помощью естественного языка.[1][2]



Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Солар (ранее Ростелеком-Солар) (46)
  Финансовые Информационные Системы (ФИС, FIS, Финсофт) (15)
  Форсайт (11)
  Бипиум (Bpium) (10)
  Axiom JDK (БеллСофт) ранее Bellsoft (10)
  Другие (394)

  Солар (ранее Ростелеком-Солар) (10)
  Форсайт (3)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (3)
  КРИТ (KRIT) (2)
  Cloud.ru (Облачные технологии) ранее SberCloud (2)
  Другие (13)

  Солар (ранее Ростелеком-Солар) (6)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (4)
  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  РЖД-Технологии (3)
  Robin (Робин) (3)
  Другие (23)

  Unlimited Production (Анлимитед Продакшен, eXpress) (4)
  Солар (ранее Ростелеком-Солар) (3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2)
  Оператор Газпром ИД (ГИД) (1)
  РеСолют (1)
  Другие (12)

Данные не найдены

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Солар (ранее Ростелеком-Солар) (2, 48)
  Microsoft (41, 47)
  Oracle (49, 26)
  Hyperledger (Open Ledger Project) (1, 23)
  IBM (33, 18)
  Другие (615, 309)

  Солар (ранее Ростелеком-Солар) (1, 11)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 3)
  Форсайт (1, 3)
  Сбербанк (1, 2)
  Cloud.ru (Облачные технологии) ранее SberCloud (1, 2)
  Другие (9, 9)

  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 6)
  Солар (ранее Ростелеком-Солар) (1, 6)
  Мобильные ТелеСистемы (МТС) (1, 4)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 4)
  РЖД-Технологии (1, 3)
  Другие (14, 24)

  Unlimited Production (Анлимитед Продакшен, eXpress) (1, 4)
  Мобильные ТелеСистемы (МТС) (2, 3)
  Солар (ранее Ростелеком-Солар) (1, 3)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2)
  Гриндата (GreenData) (1, 1)
  Другие (15, 15)

Данные не найдены

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Solar appScreener (ранее Solar inCode) - 48
  Hyperledger Fabric - 23
  Windows Azure - 20
  FIS Platform - 15
  EXpress Защищенный корпоративный мессенджер - 12
  Другие 329

  Solar appScreener (ранее Solar inCode) - 11
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  BSS Digital2Go - 3
  Cloud ML Space - 2
  Nexign Microservices Framework - 1
  Другие 8

  EXpress Защищенный корпоративный мессенджер - 6
  Solar appScreener (ранее Solar inCode) - 6
  МТС Exolve - 4
  Форсайт. Мобильная платформа (ранее HyperHive) - 3
  РЖД и Робин: Облачная фабрика программных роботов - 3
  Другие 14

  EXpress Защищенный корпоративный мессенджер - 4
  Solar appScreener (ранее Solar inCode) - 3
  МТС Exolve - 2
  Eftech.Factory - 1
  BSS Digital2Go - 1
  Другие 12
Данные не найдены

Подрядчики-лидеры по количеству проектов

За всю историю
2022 год
2023 год
2024 год
Текущий год

  X-Com (Икс ком) (18)
  Softline (Софтлайн) (16)
  Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (11)
  Samsung Electronics (11)
  Кортис (7)
  Другие (91)

  X-Com (Икс ком) (5)
  Softline (Софтлайн) (2)
  Росагролизинг (1)
  123 Солюшнс (1)
  Xiaomi (1)
  Другие (3)

  Softline (Софтлайн) (3)
  X-Com (Икс ком) (2)
  Infinix Mobile (1)
  Максофт (1)
  Другие (0)

  Softline (Софтлайн) (4)
  X-Com (Икс ком) (3)
  Московский банк Сбербанка (1)
  Открытые Технологии (1)
  Irbis (Ирбис) Treolan (1)
  Другие (3)

  Softline (Софтлайн) (1)
  UserGate, Юзергейт (ранее Entensys) (1)
  Ситроникс (Sitronics) (1)
  Другие (0)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Samsung Electronics (35, 22)
  Мобайл Информ (Mobile Inform Group) Адванст Мобилити Солюшинз (6, 12)
  Apple (19, 9)
  Digma (10, 4)
  Huawei Device (7, 2)
  Другие (403, 22)

  Xiaomi (1, 1)
  Redmi (1, 1)
  Другие (0, 0)

  Huawei Device (1, 1)
  Huawei Consumer Business Group (CBG) (1, 1)
  Infinix Mobile (1, 1)
  Другие (0, 0)

  КНС Групп (Yadro) (1, 1)
  Другие (0, 0)

Данные не найдены

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2022 год
2023 год
2024 год
Текущий год

  Мобайл Информ: MIG T-серия Планшетные компьютеры - 8
  Samsung Galaxy Tab-серия планшетов - 6
  Samsung Galaxy Tab Active Series - 6
  Apple iPad - 5
  Samsung Galaxy (серия смартфонов) - 4
  Другие 47

  Xiaomi Redmi Смартфоны - 1
  Другие 0

  Huawei MateBook-серия ноутбуков - 1
  Infinix Hot Cмартфоны - 1
  Другие 0

  Kvadra T (планшет) - 1
  Другие 0
Данные не найдены