Yandex Cloud SpeechSense

Продукт
Название базовой системы (платформы): Искусственный интеллект (ИИ, Artificial intelligence, AI)
Разработчики: Яндекс.Облако (Yandex.Cloud)
Дата премьеры системы: 2024/03/11
Технологии: Речевые технологии

Основные статьи:

2024: Представление нейросети-эмпата

Нейросеть-эмпат от облачной платформы Yandex Cloud поможет бизнесу лучше понять эмоции клиентов. Об этом разработчик сообщил 11 марта 2024 года.

Алгоритм способен по голосу распознать эмоции человека во время диалога. Данная ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. В будущем алгоритм заработает в связке с YandexGPT: вместе нейросети смогут распознать более сложные эмоции, в частности – сарказм.Рынок ИТ-услуг в России: оценки, тренды, крупнейшие участники. Обзор и рейтинг TAdviser 298.7 т

Нейросеть-эмпат разработана на базе технологии распознавания речи Yandex SpeechKit. С ее помощью компании смогут создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют понимать человеческие эмоции. Это позволит бизнесу улучшить качество аналитики телефонных разговоров, а также лучше адаптировать работу колл-центров под каждого клиента и оперативно реагировать на внештатные ситуации во время диалога.

ML-модель работает в потоковом режиме – расшифровка и анализ эмоций происходит сразу во время разговора. Например, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника колл-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.

Алгоритм может определять эмоции не только по содержанию речи спикера, но и по голосу – по скорости речи, высоте,тембру и другим параметрам. Нейросеть также определяет пол участников разговора и поддерживает технологию speaker labeling – она отмечает, кому принадлежит та или иная реплика. Это позволяет полноценно работать с одноканальными звуковыми дорожками: например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, ML-модель расширяет возможности оффлайн-аналитики: данные от нейросети помогут понять, какие именно темы и формулировки от оператора вызывают негатив у клиента, и позволит оптимизировать сценарии коммуникации.

Вскоре новая модель заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких ML-моделей позволит распознать более сложные эмоции спикера – например, неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.

«
При разработке ML-сервисов мы всегда учитываем обратную связь рынка. Один из запросов наших клиентов и партнеров – умение определять эмоции при распознавании речи. Теперь эта функция доступна каждому пользователю. В будущем в рамках сервиса речевой аналитики SpeechSense мы планируем значительно расширить список распознаваемых эмоций и дать возможность клиентам самим выбирать, какие эмоции им необходимо определять, – отметил руководитель ML-сервисов Yandex Cloud Василий Ершов.
»



СМ. ТАКЖЕ (1)


Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (43)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (27)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (24)
  Naumen (Наумен консалтинг) (14)
  Voice Systems Robotics (VSR, VS Robotics) (9)
  Другие (147)

  Группа компаний ЦРТ (Центр речевых технологий) (5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4)
  3iTech (ранее 3i Technologies) (2)
  Naumen (Наумен консалтинг) (2)
  Neuro.net (Нейро) (2)
  Другие (15)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7)
  Naumen (Наумен консалтинг) (3)
  Voice Systems Robotics (VSR, VS Robotics) (3)
  Мегапьютер Интелидженс (Megaputer Intelligence) (2)
  Другие (11)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (9)
  Группа компаний ЦРТ (Центр речевых технологий) (8)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (6)
  Naumen (Наумен консалтинг) (4)
  Unlimited Production (Анлимитед Продакшен) (4)
  Другие (18)

  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2)
  AllSee (АЛЛ СИИ) (1)
  Napoleon IT (Наполеон Айти) (1)
  Naumen (Наумен консалтинг) (1)
  Другие (6)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Группа компаний ЦРТ (Центр речевых технологий) (16, 46)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3, 28)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (11, 25)
  Яндекс (Yandex) (9, 14)
  Avaya (4, 13)
  Другие (300, 143)

  Группа компаний ЦРТ (Центр речевых технологий) (2, 5)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2)
  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2)
  Neuro.net (Нейро) (1, 2)
  Другие (7, 9)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7)
  Voice Systems Robotics (VSR, VS Robotics) (1, 3)
  Naumen (Наумен консалтинг) (1, 3)
  Voximplant (Фастком) (2, 2)
  Другие (9, 11)

  МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9)
  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 8)
  Группа компаний ЦРТ (Центр речевых технологий) (4, 7)
  Unlimited Production (Анлимитед Продакшен) (1, 6)
  Naumen (Наумен консалтинг) (2, 4)
  Другие (12, 13)

  Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 2)
  SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2)
  Сбер Бизнес Софт (1, 1)
  Naumen (Наумен консалтинг) (1, 1)
  Voice Systems Robotics (VSR, VS Robotics) (1, 1)
  Другие (5, 5)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  МТТ VoiceBox - 24
  BSS Digital2Speech - 19
  Voice2Med Система распознавания речи в медицине - 14
  SmartLogger II - 12
  Naumen Erudite - 12
  Другие 158

  BSS Digital2Speech - 5
  Voice2Med Система распознавания речи в медицине - 4
  МТТ VoiceBox - 2
  Neuro.net Голосовой робот - 2
  3i TouchPoint Analytics - 2
  Другие 9

  МТТ VoiceBox - 11
  BSS Digital2Speech - 6
  VS Robotics: VS Робот-оператор - 3
  Naumen Erudite - 3
  VoxImplant - 2
  Другие 12

  МТТ VoiceBox - 9
  BSS Digital2Speech - 7
  EXpress Защищенный корпоративный мессенджер - 6
  SmartLogger II - 4
  Naumen Erudite - 3
  Другие 17

  YandexGPT (YaLM 2.0) - 1
  SmartLogger II - 1
  Naumen Erudite - 1
  BSS Digital2Speech - 1
  Сбер SaluteSpeech (SmartSpeech) - 1
  Другие 6