Дипфейки (DeepFake)

Мошенничество с дипфейками

Основная статья: Мошенничество с дипфейками

2025: MTS AI разработала сервис, который выявляет все виды дипфейков и запрещенного контента

MTS AI разработала сервис, который выявляет все виды дипфейков и запрещенного контента. Об этом компания сообщила 9 января 2025 года. Подробнее здесь.

2024

Как компаниям защититься от дипфейков. 5 стратегий

Дипфейк-технологии, позволяющие подделывать голос и внешность человека, все активнее используются киберпреступниками. С помощью таких инструментах, основанных на искусственном интеллекте, мошенники похищают деньги компаний, компрометируют их руководителей и даже пытаются устроиться на работу, чтобы затем получить несанкционированный доступ к ИТ-инфраструктуре организации. 29 октября 2024 года исследовательская и консалтинговая компания Gartner рассказала о пяти стратегиях для защиты от дипфейков.

Внедрение генеративного ИИ (ГенИИ) связано с многочисленными рисками — от распространения дезинформации до злоупотребления сотрудниками и создания цифровых двойников других людей. Важно, чтобы руководители внедрили эффективные защитные механизмы в своей организации, чтобы сбалансировать беспрецедентные возможности со значительными внешними и внутренними репутационными угрозами, которые открывает ГенИИ, — говорит Эмбер Бойес (Amber Boyes), директор-аналитик Gartner.

Аналитики Gartner дали советы компаниям, как обезопаситься от дипфейков

Расширенный мониторинг социальных сетей

Как показал опрос, проведенный Gartner в период с апреля по май 2024 года, 80% потребителей указывают на то, что ГенИИ усложняет распознавание реального и синтезированного контента в интернете. Создав протокол «человек в контуре», менеджеры могут вооружиться необходимыми инструментами для мониторинга социальных сетей и управления репутационными рисками. Соответствующие процессы должны быть адаптированы для сценариев, специфичных для ГенИИ, включая внедрение новых средств оповещения о ложном и вводящем в заблуждение контенте на социальных платформах.Российский рынок ITSM: драйверы и тренды, крупнейшие игроки. Обзор TAdviser 6.3 т

Укрепление доверия к корпоративным коммуникациям

Дезинформация и подрыв доверия остаются основными проблемами в сформировавшемся медиа-ландшафте. Поэтому крайне важно, чтобы руководители превратили собственную организацию в источник точной и надежной информации. С целью снижения ущерба от информационной атаки эксперты рекомендуют развивать эффективные корпоративные коммуникации. Для этого потребуется тщательно отслеживать публикуемые в интернете сведения и предпринимать необходимые меры в случае появления дезинформации. При этом следует минимизировать количество каналов коммуникаций компании и организовать согласованное распространение информации.

Сценарии действий для наиболее вероятных атак

Специалисты Gartner указывают на необходимость разработки плана реагирования на атаки с применением дипфейков. После определения ключевых рисков для компании руководителям рекомендуется организовать практические учения для эффективного противодействия злоумышленникам и минимизации возможных последствий. При этом особое внимание должно уделяться областям с самыми высокими репутационными рисками.

Прозрачность в отношении использования ГенИИ

Согласно опросам, примерно 75% потребителей считают необходимым, чтобы компании раскрывали информацию о том, когда они используют технологии ГенИИ при создании своего контента. На этом фоне, считают аналитики Gartner, руководителям организаций необходимо обеспечить тщательную проверку генерируемых материалов и фактов. Вместе с тем для сотрудников следует выработать разъяснения и рекомендации по использованию ГенИИ, предоставив соответствующие сценарии применения технологии и реальные примеры.

Расширение возможностей благодаря экспериментам с ГенИИ

Развивая культуру безопасного проведения экспериментов с ГенИИ, руководители могут повысить доверие своих сотрудников к этой технологии. Возможности экспериментирования должны быть сосредоточены на наиболее полезных и наименее рискованных вариантах использования, чтобы свести к минимуму возможные неудачи.^[1]

Британец Хью Нельсон получил 18 лет тюрьмы за создание дипфейк-фотографий с сексуальным насилием детей

28 октября 2024 года стало известно о том, что британский суд приговорил к 18 годам тюремного заключения 27-летнего Хью Нельсона (Hugh Nelson) за создание дипфейк-изображений с сексуальным насилием над детьми. Сгенерированные материалы осужденный продавал в интернете. Подробнее здесь

Как хакеры используют ИИ для взлома ИТ-инфраструктуры российских предприятий

Хакеры все чаще используют возможности искусственного интеллекта (ИИ) для взлома информационно-технологических систем российских предприятий. Согласно данным, представленным в «Лаборатории Касперского», злоумышленники применяют ИИ для создания фейкового контента, который позволяет им обойти защитные системы компаний и получить доступ к конфиденциальной информации. Данные подтверждают рост числа таких атак, что было озвучено 25 октября 2024 года региональным представителем компании в Южном и Северо-Кавказском федеральных округах Игорем Малышевым.

По словам Малышева, хакеры активно используют нейросети для создания поддельных изображений и голосов, применяя их для социальной инженерии и таргетированных атак. Эти технологии могут использоваться не только против предприятий, но и для вымогательства у частных лиц, с целью получения информации, которая может быть использована для будущих атак. Он также отметил, что точной статистики по таким случаям нет, поскольку многие компании не раскрывают детали взломов, однако имеющихся данных достаточно для вывода о нарастающей угрозе.

Хакеры используют ИИ для взлома ИТ-инфраструктуры

Как сообщает ТАСС, на октябрь 2024 года программных средств для автоматического выявления дипфейков и других поддельных материалов на массовом уровне не внедрено. Малышев подчеркнул, что создание таких решений сопряжено с рядом технических трудностей, что делает основным способом защиты повышение киберграмотности пользователей и соблюдение цифровой гигиены. Среди основных рекомендаций он выделил предосторожность при использовании открытых Wi-Fi сетей, внимательное отношение к сообщениям и звонкам от незнакомых лиц, а также к переходам по подозрительным ссылкам.

На сегодняшний день лучшей защитой остается соблюдение базовых правил кибербезопасности. Пользователь должен насторожиться, если его просят срочно выполнить какие-то действия, особенно если это не соответствует обычным процедурам или просьба исходит от человека, не имеющего на это полномочий, — отметил Малышев.[2]

В Госдуму внесены законопроекты для защиты от дипфейков. Помогут ли они?

В один день – 16 сентября – в Государственную думу внесено сразу два законопроекта, направленных на защиту от дипфейков. Один разработан Ярославом Ниловым, депутатом ГД, совместно с сенатором Алексеем Пушковым. Он вносит изменения в Уголовный кодекс РФ. Второй, который предложили сенаторы Андрей Клишас, Артём Шейкин, Наталья Кувшинова, Руслан Смашнёв и депутат ГД Даниил Бессарабов, предлагает изменения в Гражданский кодекс РФ.

Законопроект № 718538-8^[3] «О внесении изменений в УК РФ» предлагает определить использование дипфейков как отягчающее обстоятельство для таких преступлений как клевета (ст. 128.1), мошенничество (ст. 159), кража (ст. 158) вымогательство (ст. 163) и причинение имущественного ущерба (ст. 165). В пояснительной записке к законопроекту сказано следующее:

Учитывая, что именно голос и изображение гражданина используются чаще всего для обмана, предлагается выделить их в отдельную категорию. В связи с вышеизложенным, законопроект предлагает ввести в ряд статей Уголовного кодекса Российской Федерации (клевета, кража, мошенничество, мошенничество в сфере компьютерной информации, вымогательство, причинение имущественного ущерба путем обмана или злоупотребления доверием) дополнительный квалифицирующий признак – совершение преступления с использованием изображения или голоса (в том числе фальсифицированных или искусственно созданных) и (или) биометрических данных гражданина.

В случае принятия закона использование дипфейка по указанным выше статьям будет квалифицироваться судом как преступление, совершенное с отягчающими обстоятельствами, по которым наказание может быть увеличено. Например, за клевету штраф может быть поднят до 1,5 млн рублей (без отягчающих обстоятельств штраф за клевету ограничен 500 тыс. рублей), а за мошенничество срок лишения свободы может быть ужесточен до 6 лет (без отягчающих обстоятельств лишение свободы ограничено 2 годами).

Существующие технологии создания дипфейков действительно достигли уровня, при котором их можно использовать для нанесения вреда, – подтвердил TAdviser важность защиты от дипфейков Юрий Митин, управляющий партнер юридической компании «Интеллектуальная защита». – Дипфейки могут быть использованы для распространения дезинформации, кибербуллинга, шантажа, а также для создания почвы для недоверия в обществе. С помощью таких технологий возможно создать фальшивые видеоизображения или аудиозаписи, где человеку приписываются слова или поступки, которых он не совершал. Это ставит под угрозу репутацию людей и может иметь серьезные последствия.

Это мнение разделяет и Никита Леокумович, начальник управления киберразведки и цифровой криминалистики Angara Security. Он пояснил TAdviser опасность дипфейков так:

С начала 2024 года в России стали фиксироваться случаи мошеннических схем, в которых применяются в совокупности техники социальной инженерии и дипфейк. Например, мошенники могут создать фейковое сообщение от руководителя компании в мессенджере, используя аудио- или видеодипфейк, чтобы обманом добиться перевода денежных средств. Злоумышленники могут генерировать реалистичные изображения или видео, вызывающие эмоциональный отклик у жертв, что делает их атаки еще более эффективными.

Фактически это означает, что набор уголовных статей, где использование дипфейка можно квалифицировать как отягчающее обстоятельство, можно бы и расширить и на дезинформацию (ст. 207), и на нарушение неприкосновенности частной жизни (ст. 137), и на хулиганство (ст. 213) и даже на терроризм (ст. 205).

В Госдуму внесено два законопроекта для защиты от дипфейков

Второй законопроект, №718834-8^[4] «О внесении изменений в часть первую Гражданского кодекса Российской Федерации», вносит в ГК новую статью 152.3. «Охрана голоса гражданина». Она закрепляет за гражданином право распоряжаться записями своего голоса, в том числе и синтезированного с помощью искусственного интеллекта. Правда, предполагаются три исключения, если:

• использование голоса гражданина осуществляется в государственных, общественных или иных публичных интересах;
• голос гражданина записан при видео- или аудиозаписи, которая проводится в местах, открытых для свободного посещения, или на публичных мероприятиях;
• запись голоса гражданина производилась за плату.

В пояснительной записке к законопроекту сказано следующее:

При недобросовестном использовании технологий синтеза речи возникают неблагоприятные правовые последствия для граждан. В частности, искусственный интеллект, обучившись на аудиозаписях реального голоса, может в дальнейшем его имитировать, и «производные» записи могут быть использованы способом, неприемлемым для человека – обладателя голоса, поскольку получение его согласия прямо не предусмотрено законодательством. Таким образом, нарушается право гражданина самостоятельно решать, как распоряжаться записями собственного голоса, в том числе с целью их использования для создания продуктов на основе технологий синтеза речи.

В соответствии с законопроектом, гражданин вправе потребовать уничтожения носителей с его голосом, в том числе и сгенерированным, а также прекращения распространения его в интернете. Интересно, что сама ML-модель, которая была обучена на соответствующем голосе, пока под требование уничтожения не подпадает, но в дальнейшем она может генерировать аналогичные сообщения в неограниченном объеме.

Технологии создания дипфейков развиваются очень быстро и во многих направлениях: как легальных, так и нелегальных, – заявил TAdviser Валерий Сидоренко, генеральный директор digital-агентства «Интериум». – Например, легальные дипфейки применяются в рекламе или ИИ-помощниках, нелегальные — мошенниками и политическими провокаторами. Отмечу ещё, что голосовые дипфейки намного проще сделать, чем видео, и намного сложнее отследить и регулировать. К сожалению, технологий 100% детекции дипфейков не существует: да, есть программы-сканеры, их патентуют большие ИТ-корпорации и крупные банки (например, в России — Сбер), но абсолютно надежных алгоритмов нет именно в силу скорости развития технологий генерации.

Понятно, что если гражданин не сможет доказать, что записанный или сгенерированный голос действительно его – а технологий для этого нет, то и удалить подобный дипфейк ему вряд ли удастся. Хотя Дмитрий Овчинников, руководитель лаборатории стратегического развития продуктов кибербезопасности Аналитического центра кибербезопасности «Газинформсервис», считает по-другому.

Те же самые технологии нейронных сетей позволяют анализировать фото и видео материалы и посредством использования специальных алгоритмов определять подделку, – пояснил он читателям TAdviser. – Для этого используется анализ множества цифровых данных в подделке, которые недоступны человеческому слуху или зрению. Со временем, подобные алгоритмы и сервисы будут не только доступны на отдельных сайтах или специализированных серверах, но и интегрированы в социальные сети, видеохостинг, файловые хранилища и почтовые сервисы, что позволит автоматически, посредством обученного ИИ отсекать подобный контент и предотвращать его распространение.

То есть для разработчиков сервисов и продуктов информационной безопасности одним из направлений развития может стать интеграция в свои продукты технологий детектирования дипфейков и разметки их для пользователей и клиентов. В то же время принятие подобной поправки в ГК открывает возможности для целой отрасли по легальному использованию дипфейков. Пример этого привел Валерий Сидоренко:

Приведу пример легального дипфейка из российской практики: в прошлом году «МегаФон» купил права на лицо Брюса Уиллиса и снял с ним ИИ-рекламу (в Рунете этот ролик произвел фурор). Сам актер болен, но торгует правами на свою внешность для таких видео, и из-за участившихся случаев нелегального использования внешности актеров губернатор Калифорнии, где расположен Голливуд, недавно даже внес законопроекты об ужесточении наказания за дипфейки без согласия. В США в целом на данный момент регулирование во многом определяется лоббизмом «профсоюза работников шоу-бизнеса», именно они несут там основные репутационные и финансовые потери от дипфейков.

Кадр из рекламы «Мегафона» с дипфейком «Брюса Уиллиса»

Законы, которые ограничивают использование в кинопроизводстве сгенерированных изображений и голосов актеров и которые упоминает Валерий Сидоренко, уже были недавно подписаны губернатором штата Гэвином Ньюсомом. Об этом сообщила^[5] Американская федерация артистов телевидения и радио (SAG-AFTRA). Собственно, и наш законопроект, как следует из пояснительной записки, разработан Альянсом в сфере ИИ и Национальной федерацией музыкальной индустрии, то есть направлен на создание рынка легального использования голосовых дипфейков.

С одной стороны, генеративные технологии, включая дипфейки, обладают огромным потенциалом для творческих индустрий, образования и технологий, – считает Юрий Митин. – Они способны обеспечить новые формы искусства, дублирование нужных медиа-материалов и инновации в области развлечений. С другой стороны, опасения относительно злоупотребления такими технологиями заставляют многих специалистов говорить о необходимости ограничения или контроля их использования, чтобы минимизировать риски, связанные с дезинформацией и нарушением прав человека. Важно найти баланс между развитием технологий и их ответственным использованием в обществе.

По мнению эксперта сервиса аналитики и оценки цифровых угроз ETHIC компании [[ Инфосекьюрити (Infosecurity)|Infosecurity]] Максима Грязева, полностью искоренить дипфейк-мошенничество вряд ли получится. Искусственный интеллект будет продолжать развиваться, и вместе с ним — преступные методы. Однако можно значительно снизить количество таких преступлений, развивая технологии обнаружения дипфейков и повышая экспертность в этой области. Ключевыми направлениями должны стать разработка инструментов для автоматического выявления подделок и регулярное обновление методов защиты.

Грязев уверен, что государство должно активно инвестировать в развитие технологий и подготовку специалистов для борьбы с дипфейк-мошенничеством. Необходимы информационные кампании и повышение осведомленности населения о существовании таких угроз. Граждане также должны быть бдительными, не доверять сомнительным сообщениям и всегда проверять источники информации, добавил собеседник TAdviser.

Опрошенные TAdviser эксперты сошлись во мнении, что главной опорой в борьбе с дипфейками является повышение осведомленности граждан.

Мы сами должны определять подозрительные признаки в кадре, или на аудиодорожке, если гражданин в принципе будет знать о существовании дипфейка - значительно снизится процент попаданий в ловушки злоумышленников. Предупрежден - значит вооружен, - считает исследователь социальной инженерии в компании StopPhish (специализируется на обучении информационной безопасности) Алишер Джураев.

Директор по продукту в ИТ-компании Proscom Антон Прокопчин видит два основных способа борьбы с дипфейками:

• Законодательное регулирование, в том числе ужесточение ответственности за использование этой технологии, а также различные методы маркировки для распознавания информации.
• Технические методы. В этой категории вычислять недостоверные данные помогают те же нейросети. Их обучают на настоящих видео, помогая распознавать характерные детали определённых людей. Например, программу по выявлению поддельного видеоконтента разработали в Донском государственном техническом университете.

По словам управляющего партнера юридической компании "Интеллектуальная защита" Юрия Митина, введение уголовной ответственности за использование дипфейков – это важный шаг в борьбе с мошенничеством и распространением ложной информации. В России уже действуют механизмы противодействия дипфейкам, например, проверка на подлинность видеоматериала и использование специальных программ для их анализа. Новая законодательная инициатива, по сути, ужесточает ответственность, делая использование дипфейков более рискованным, рассуждает юрист.

По его мнению, правовое регулирование дипфейков — это сложная задача,requiring взвешенного подхода. С одной стороны, необходимо защищать людей от злоупотребления этой технологией. С другой стороны, следует учитывать, что дипфейки могут иметь и легитимные применения в сфере искусства, образования и развлечений.

Ключевым моментом для эффективного противодействия дипфейкам Юрий Митин назвал повышение информированности пользователей о существующих угрозах и методах их выявления. Необходимо развивать технологии детектирования дипфейков, а также совершенствовать механизмы мониторинга и контроля за их распространением в интернете.

Юрист Владимир Кутаев отмечает, что на первый взгляд, распространение дипфейков должно крайне жестко регулироваться полноценными нормами, закрепленными в главном источнике уголовного права, а с другой стороны не ясно, имеет ли смысл увеличивать объем Уголовного кодекса, если использование технологии дипфейка можно уместить в стандартные составы преступлений путем выпуска постановлений Пленума ВС РФ, на которых и будет строиться правоприменение.

В любом случае, это положительная инициатива, которая должна расширить возможность граждан защитить свои права и установить соответствующие меры ответственности, - сказал Кутаев.

Ученые создали нейросеть для выявления дипфейков

Ученые Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) разработали метод автоматического определения дипфейков через выявление манипуляций по улучшению качества сгенерированного видео для его убедительности (апскейлинга). На основе этого метода была обучена нейросеть, которая анализирует видео и фото и помогает выявить дипфейки. Об этом 2 августа 2024 года сообщила пресс-служба члена комитета ГосДумы РФ по информационной политике, информационным технологиям и связи Антона Немкина. Подробнее здесь.

В России дипфейки могут признать отягчающим обстоятельством

МВД России разрабатывает законопроект, который позволит отнести использование дипфейков к отягчающим обстоятельствам. Об этом 1 июля 2024 года рассказал депутат Госдумы, зампред комитета по информполитике Антон Горелкин, его цитируют РИА Новости.

МВД разрабатывает законопроект, чтобы сделать дипфейки отягчающим обстоятельством и это правильное направление. Я уверен, что в ближайшее время здесь будет какая-то регуляторика, – сказал Антон Горелкин.

По словам депутата, обычный человек уже не может отличить сгенерированный контент от настоящего.

Людям нужен доступный инструмент для быстрой проверки происхождения контента...камеру смартфона навел, получил вердикт...хотелось бы, чтобы было больше таких проектов, – отметил Горелкин.

МВД уже давно ведет работу по ужесточению законодательства в сфере использования ИТ для осуществления противоправных действий, сообщил депутат ГосДумы РФ Антона Немкина.

Напомню, что министр внутренних дел Владимир Колокольцев поручил проработать вопрос отнесения преступлений с использованием ИТ к отягчающим обстоятельствам Уголовного Кодекса России. Соответствующее поручение может распространяться и на дипфейки, – отметил депутат.

По словам Немкина, злоумышленники все чаще начинают использовать как дипфейки, так и дипвойсы.

Как правило, технология используется злоумышленниками в мошеннических целях, чтобы завоевать доверие гражданина. По данным Управления Президента РФ по развитию информационно-коммуникационных технологий, только в январе 2024 года было выявлено около 2 тыс. инцидентов с использованием дипфейков в мошеннических целях. При этом в 70% случаев злоумышленники использовали именно дипвойсы, выдавая себя за родственников жертвы, коллег или знакомых, – рассказал он.

Использование дипвойсов в противоправных целях будет преобладать в ближайшем будущем, считает Немкин.

Это связано с тем, что голосовые дипфейки гораздо легче создавать. Кроме того, именно мессенджеры и социальные сети постепенно становятся ключевым местом для действий злоумышленников, так как люди там часто общаются посредством голосовых сообщений, – пояснил депутат.

Парламентарий отметил, что использование видео-дипфейков может быть связано со сценариями, в которых злоумышленник вымогает финансовые средства у граждан взамен на непубликацию частного контента. Такие инциденты уже есть.

Регулирование дипфейков, конечно, необходимо, отмечает Немкин.

Проблема и в том, что дипфейки потенциально можно использовать в разных противоправных целях. Например, использовать технологию для генерации поддельных документов – паспорта или водительских прав. Напомню, что в рамках подготовки нового нацпроекта «Экономика данных» в России обсуждается и идея создания единой платформы, которая будет выявлять недостоверную информацию, сгенерированную в том числе с использованием технологий искусственного интеллекта. Движение в сторону формирования регуляторной рамки, а также инструментов, призванных защитить граждан, уже есть, – подчеркнул депутат.

Минцифры РФ готовит единую платформу по противодействию мошенничеству. Она будет бороться с дипфейками

5 июня 2024 года стало известно о том, что Минцифры РФ прорабатывает с федеральными органами исполнительной власти (ФОИВ) вопрос создания единой платформы по противодействию различным видам мошенничества с использованием информационных технологий. Речь, в частности, идет о борьбе с дипфейками и другими схемами, основанными на применении искусственного интеллекта. Подробнее здесь.

Дипфейк Юрия Никулина сыграет в новом фильме

26 марта 2024 года стало известно о том, что одним из героев семейной комедии «Манюня: Приключения в Москве» станет образ советского актера и артиста цирка Юрия Никулина, сформированный при помощи технологий искусственного интеллекта. Это первый в России успешный опыт воссоздания внешности и голоса покойного актера посредством нейросети. Подробнее здесь.

ЦБ РФ ввел меры по борьбе с дипфейками

В конце марта 2024 года стало известно о том, что Центральный банк России намерен обновить процедуру информирования о мошеннических переводах в онлайн-сервисах для финансовых операций и обмена цифровых финансовых активов. Речь идет, в частности, о борьбе с дипфейками.

Отмечается, что злоумышленники активно используют современные технологии и инструменты искусственного интеллекта для имитации голоса жертвы и других афер. По оценкам Банка России, объем украденных мошенниками средств в 2023 году достиг 15,8 млрд рублей. Это на 11,5% больше, чем в 2022-м. Регулятор сообщает, что всплеск произошел отчасти в связи с ростом объема денежных операций с использованием платежных карт.

ЦБ намерен обновить процедуру информирования о мошеннических переводах в онлайн-сервисах

Банк России совместно с представителями правоохранительных и надзорных органов прорабатывает вопрос о расширении перечня подлежащих регистрации и хранению сведений о действиях клиентов кредитных организаций и операторов по переводу денежных средств. В соответствии с новыми правилами, с июня 2024 года операторы платежных систем и электронных платформ, включая банки, должны будут передавать данные об украденных средствах клиентов финансовому регулятору. Предполагается, что такие меры помогут в предотвращении преступлений и снижении убытков.

В Банке России отмечают, что с целью повышения безопасности операций разработаны и утверждены перечень угроз и методические рекомендации. Кроме того, контролируется использование Единой биометрической системы. Поэтому «при идентификации для совершения платежей риск использования дипфейков сведен к минимуму». Новые правила, как сообщает CNews, также устанавливают порядок запроса и получения финансовым регулятором у банков информации об операциях, в отношении которых от МВД получены сведения о совершенных противоправных действиях.^[6]

Премьер-министр РФ Михаил Мишустин поручил Минцифры создать систему для выявления дипфейков

Председатель Правительства РФ Михаил Мишустин поручил Минцифры создать систему для выявления дипфейков. Об этом стало известно в марте 2024 года.

Как пишут «Ведомости» со ссылкой на представителя Минцифры, речь идет о разработке единой платформы, способной выявлять недостоверную информацию, сгенерированную в том числе с помощью технологий искусственного интеллекта. Подробнее об этом читайте здесь.

Использование дипфейка для ограбления банка. В каких ситуациях это возможно, и как от этого защититься

В февраля 2024 года российские СМИ распространили информацию о случае якобы использования дипфейков для обхода аутентификации в банке «Тинькофф». В первоисточнике высказывалось предположение, что мошенники якобы с помощью дипфейка смогли вывести со счетов пользователя 200 тыс. руб. TAdviser обсудил с экспертами, насколько велик риск обхода банковской аутентификации и кражи средств с помощью дипфейков. Подробнее

Минцифры РФ занялось регулированием дипфейков

16 февраля 2024 года стало известно о том, что Минцифры РФ приступило к проработке вопросов правового регулирования сферы дипфейков — технологий убедительной подмены личности на основе искусственного интеллекта. В инициативе принимают участие МВД и Роскомнадзор.

Дипфейки могут использоваться злоумышленниками в различных целях. Мошенники могут имитировать голос или изображение определенного человека, например, руководителя компании, для вывода денежных средств или кражи конфиденциальных данных. Технология применяется для распространения дезинформации, создания волнений на политической арене и пр.

Минцифры прорабатывает вопрос правового регулирования дипфейков

Газета «Ведомости» сообщает, что необходимость регулирования сферы дипфейков обсуждалась на заседании правительственной комиссии по профилактике правонарушений под председательством министра внутренних дел Владимира Колокольцева в феврале 2024-го. Минцифры предстоит проработать вопрос выявления фальшивок, созданных с помощью ИИ. Отчет о проделанной работе должен быть представлен в правкомиссию до 1 ноября 2024 года.

В России по состоянию на середину февраля 2024-го использование дипфейков законом не регулируется. Но, как отмечает партнер юридической фирмы «Рустам Курмаев и партнеры» Дмитрий Клеточкин, по факту деяний с применением технологии подмены личности можно возбудить уголовное дело: такие действия могут быть квалифицированы как хищение путем модификации компьютерной информации (ст. 159.6 УК) или как мошенничество (ст. 159 УК). Выявление дипфейков строится прежде всего на ручной работе криминалистов, которые выявляют дрожание голоса, запаздывание речи, склейки и другие особенности аудио- или видеозаписи. В дальнейшем, как ожидается, этот процесс будет автоматизирован, в чем помогут алгоритмы ИИ.^[7]

В России могут ввести ответственность за несанкционированное использование дипфейков

В России может быть введена ответственность за несанкционированное использование голоса и изображения людей, сообщил председатель Комитета Госдумы по информационной политике, информационным технологиям и связи Александр Хинштейн в ходе пленарного заседания. Об этом 25 января 2024 года сообщила пресс-служба депутата ГосДумы РФ Антона Немкина.

В ходе обсуждения поправок, направленных на ужесточение ответственности за допущение утечек персональных данных, первый зампред думского Комитета по науке и высшему образованию Олег Смолин поднял вопрос о распространении дипфейков – подделках как голоса, так и изображения человека с помощью технологий искусственного интеллекта.

Депутат предложил в рамках второго чтения законопроектов о персональных данных рассмотреть поправки, предполагающие ответственность за использование дипфейков в целях мошенничества и дискредитации.

По словам Александра Хинштейна, депутаты занимаются данным вопросом.

Проблема стоит достаточно остро, и вместе с профильными ведомствами мы работаем над подготовкой такой инициативы, отметил он. – Она найдет свое отражение не в рамках этих законопроектов. Нам предстоит внести изменения в базовый закон о персональных данных.

Дипфейки – наверное, самый распространенный пример работы генеративных моделей искусственного интеллекта, отметил Антон Немкин.

Пока что дипфейки скорее приносят обществу больше отрицательного, чем хорошего, создавая новые вызовы. Среди них прежде всего проблема использования дипфейков в мошеннических целях, – сказал депутат.

Так, биометрические данные пользователя могут использоваться в самых разных целях, подчеркнул депутат.

Например, биометрия известного актера может использоваться каким-либо брендом в рекламных целях. Во многом дипфейки используются и в развлекательных целях: интернет «наполнен» различными видео, в которых известные люди говорят фразы, которые на самом деле им никогда не принадлежали. Фактически мы сталкиваемся с ситуацией, в которой лицо человека, а также его голос может использовать кто угодно в своих целях. Подобное положение может привести к унижению чести и достоинства определенных людей, и, вероятно, к повышению социальной напряженности, если дипфейки будут использоваться, например, в политических целях, – отметил депутат.

Проблема использования дипфейков в мошеннических целях постепенно обретает свою актуальность, подчеркнул депутат.

Напомню, не так давно распространилась мошенническая схема, при которой, казалось бы, происходят уже привычные нам действия: взлом аккаунта в мессенджерах, а также рассылка сообщений близкому кругу с просьбой занять в долг. Нововведение мошенников – рассылка таких сообщений с использованием аудиодипфейков, что, конечно, является практически беспроигрышным способом обмана жертвы. Представьте: к вам фактически напрямую обращается близкий вам человек, неужели вы откажете ему в просьбе? В дальнейшем число подобных схем будет только расти, поэтому включение проблемы дипфейков в правовое полое – необходимость, – считает Немкин.

По словам депутата, прежде всего необходимо на законодательном уровне определить понятие дипфейков и возможные концепции их регулирования.

Госдума как раз разрабатывает соответствующую нормативную базу. Не думаю, что включение соответствующих положений в смежные законопроекты приведет к эффективным результатам. Тут нужно работать с основным законодательством в сфере персональных данных, – заключил парламентарий.

2023

Рост расходов на дипфейк-технологии в два раза до $0,11 млрд

В 2023 году объем глобального рынка дипфейк-технологий достиг $0,11 млрд. Это практически в два раза больше по сравнению с 2022-м, когда затраты в данной области оценивались в $0,06 млрд. В дальнейшем ожидается стремительный рост расходов, о чем говорится в обзоре Market Research Future, опубликованном в начале декабря 2024 года.

Ключевыми драйверами рынка являются достижения в области искусственного интеллекта и машинного обучения. Становясь все более сложными, эти технологии позволяют создавать реалистичные и правдоподобные дипфейки. Улучшенные ИИ-алгоритмы дают возможность с высокой точностью воспроизводить лица, синтезировать речь и изображения. Таким образом, может автоматически генерироваться контент, который максимально точно имитирует реальные человеческие эмоции и поведение.

Дипфейк-технологии востребованы в различных областях, в частности, в сфере развлечений и медиа: эти инструменты помогают при создании персонажей, сцен и пр. Кроме того, дипфейки могут применяться в сфере маркетинга, на социальных интернет-платформах и пр.

С другой стороны, такие технологии активно эксплуатируются злоумышленниками для имитации голоса жертвы и других афер. Например, дипфейки могут использоваться с целью политических манипуляций или для создания фальшивых видеоматериалов с «участием» известных людей. Поэтому активно развивается сектор специализированных средств для выявления дипфейков. Одним из основных способов регулирования отрасли является установление требований о маркировке искусственно сгенерированного контента: это может быть явный (видимый) или неявный (извлекается техническими средствами) водяной знак. В целом, развитие цифровой креативной индустрии, производство и потребление контента в глобальном масштабе все больше зависят от технологий ИИ, включая дипфейки. А поэтому, по мнению авторов исследования, сектор продолжит демонстрировать бурный рост.

Аналитики выделяют пять ключевых направлений применения дипфейк-технологий: это развлечения, реклама, СМИ, кибербезопасность и образование. По оценкам, в 2023 году на первый из перечисленных сегментов пришлось $0,04 млрд. В области рекламы расходы оцениваются в $0,02 млрд, в сфере СМИ — в $0,01. Примерно $0,03 млрд принесли инструменты, связанные с кибербезопасностью. Затраты в образовательном сегменте — $0,01 млрд. В список значимых игроков рынка входят:

• Adobe;
• Civitas Media;
• Sensity;
• Zao;
• Microsoft;
• PimEyes;
• Synthesia;
• Reface;
• Lyrebird;
• Google;
• Facebook;
• NVIDIA;
• Deeptrace;
• Kensho;
• OpenAI.

С географической точки зрения Северная Америка лидировала в 2023 году с затратами на уровне $0,05 млрд. Далее следует Европа с оценкой в $0,03 млрд, а замыкает тройку Азиатско-Тихоокеанский регион с $0,02 млрд. Доминирование Северной Америки связано с наличием передовой технологической инфраструктуры и более высокой скоростью внедрения ИИ-решений, поддерживаемой масштабными инвестициями.

По итогам 2024 года объем мирового рынка дипфейк-технологий оценивается в $0,18 млрд. Аналитики Market Research Future считают, что в дальнейшем показатель CAGR (среднегодовой темп роста в сложных процентах) составит 65,78%. В результате, к 2032 году затраты в глобальном масштабе могут подняться до $10 млрд. Вместе с тем специалисты выделяют несколько сдерживающих факторов: этические соображения, дезинформация и контроль со стороны регулирующих органов создают значительные сложности, которые придется решать по мере дальнейшего развития рынка.^[8]

Как киберпреступники пополняют базу для создания аудио- и видеодипфейков

По данным исследования Angara Security, в 2023 году в российском онлайн-сегменте на 45% (зафиксировано около 7 000 сообщений) по сравнению с 2022 годом выросло число запросов на озвучивание «рекламы» и «фильмов» в мессенджерах, социальных сетях и на комьюнити-площадках. При этом аналитики делают вывод о том, что тренд на сбор аудиоданных сформировался именно в 2022 году, когда число подобных запросов выросло в четыре раза относительно данных 2021 года. (около 4 800 материалов vs. 1200 в 2021 году). Об этом компания сообщила 1 марта 2024 года.

Большая часть объявлений размещена в Telegram, но используются и другие ресурсы, например, Habr или спам-звонки с предложением заработать на «большом проекте». Авторы таких сообщений просят указывать имена или ставят условие, что записанный аудиофайл должен быть похожим на телефонный звонок. За участие в подобных проектах предлагают гонорар от 300 до 5000 рублей. Аналитики Angara Security делают вывод о том, что в результате сбора голосовых данных киберпреступники получили возможность усовершенствовать тактики фишинговых атак на частных лиц и бизнес, для которых используются аудио- и видеофейки.

Помимо такого способа эксперты отмечают еще один источник данных — это видеоконтент из социальных сетей (например, VK), который находится в свободном доступе.

Если же аккаунты закрыты, то киберпреступники могут использовать «угон» аккаунта или более простой с технической точки зрения способ – социальную инженерию, чтобы завоевать доверие. Поэтому получение исходных данных для видео- и аудиофейков намного доступнее, чем кажется, − сказала Алина Андрух, специалист по реагированию на инциденты Angara Security.

С начала 2024 года в России стали фиксироваться случаи мошеннических схем, в которых применяются в совокупности техники социальной инженерии и deepfake. Цель такой атаки заключается в том, чтобы получить денежные средства от сотрудников компании, которые получают сообщения от фейкового аккаунта руководителя в Telegram.

Например, в январе в адрес одной из компаний применялась подобная техника. Сначала были украдены несколько аккаунтов пользователей Telegram, затем были получены аудиофайлы (голосовые сообщения). Эти данные использовались для генерации поддельных записей, в которых мошенники от имени владельца аккаунта вымогали денежные средства у пользователей, которые состояли вместе с ним в различных чатах и рабочих группах.

Еще один вариант использования дипфейков – это видеоконференц-связь. Например, международный кейс, когда преступники использовали технологии аудио-и видеофейка, чтобы от имени «доверенных» лиц убедить сотрудника перевести крупную сумму денег.

Мы ожидаем, что тренд на такого рода атаки будет только набирать обороты с развитием технологий ИИ. Поэтому крайне важно сформировать методы и способы распознавания фейковых материалов и решать вопрос на уровне законодательства, чтобы снизить риски для кибербезопасности обычных пользователей цифровых сервисов и бизнеса, − продолжила Алина Андрух.

В России был сделан важный шаг относительно регулирования метода deepfake-материалов: правительство РФ поручило разработать способы регулирования применения такой технологии до 19 марта 2024 года . В 2023 году уже был предложен способ разграничения реального контента и созданного с помощью ИИ путем помещения на объект специального штампа-отметки. Стоит отметить, что такой способ является достаточно трудным для реализации и контроля.

Для выявления следов работы ИИ, в том числе аудио- и видеофейков, разрабатываются новые инструменты, например, российский проект «Зефир», представленный летом прошлого года, способный обнаруживать искусственно созданные (аудио-, видеофейки) с высокой вероятностью. Создание новых инструментов и наработок позволит в ближайшем будущем упростить выявление и распространение таких материалов.

Angara Security рекомендует проверять личность человека, задавая дополнительные вопросы: Если получили аудио-, видеозвонок или сообщение с подозрительным содержанием, нужно проверить личность собеседника, задавая уточняющие вопросы с деталями, которые вряд ли могут быть известны кибермошенникам, или просто связаться лично по email или по номеру из базы контактов на SIM-карте телефона.

Нужно обращать внимание на речевые и внешние особенности:

Обращать внимание на руки собеседника на видео, так как чаще всего именно они «страдают» при генерации контента: добавляются, удаляются либо склеиваются пальцы. Стоит отметить, что атакующие учитывают этот момент, чтобы избежать распознавания видеофейка, поэтому при общении выбирают портретную зону.

Стоит обращать внимание на мимику и периодичность изменения выражения лица. Чаще всего сгенерированная модель поддерживает одну скорость смены позиций положения головы, частоту моргания либо повтор одних и тех же движений в определенный промежуток времени.

Стоит также проверить особенности лица. Например, волосы могут быть позаимствованы с «подложного» видео и не соответствовать реальности, либо смазаны в результате наложения одного лица на другое. Если собеседник знаком в реальной жизни, можно сопоставить родинки, шрамы, татуировки, если они свойственны контакту.

Стоит также обращать внимание на голос (насколько он реалистичный), сопоставлять движения губ и звуковой дорожки. Несмотря на развитие технологии, данный пункт остается одним из ключевых в распознавании фейковых материалов.

Компании для возможного предотвращения манипуляций с видеоматериалами публичных лиц, например, с руководителями компаний, могут использовать как коммерческие предложения по распознаванию дипфейков, так и основанные на открытом исходном коде. Например, технологии, которые позволяют наложить невидимый человеческому глазу фильтр на видео в открытом доступе (например, записи выступлений топ-менеджеров, которыми компании делятся в открытых источниках). Этот фильтр искажает итоговый вариант при попытке генерации фейкового контента.

Необходимы регулярные информационные кампании и обучение методам, как выявлять фейки, для распространения которых киберпреступники используют мессенджеры, корпоративную почту и другие каналы коммуникации.

Представлена программа, которая создает реалистичные видео из одной фотографии и аудиозаписи

16 ноября 2023 года сингапурские исследователи из Школы компьютерных наук и инженерии в составе Наньянского технологического университета сообщили о разработке программы на основе искусственного интеллекта, которая позволяет генерировать видеоматериалы на основе одной фотографии и аудиозаписи. Система под названием DIRFA способна воспроизводить мимику и движения головы говорящего человека. Подробнее здесь.

Индийские власти приказали соцсетям удалить дипфейки

7 ноября 2023 года Министерство электроники и информационных технологий Индии (MeitY) обнародовало документ, требующий от операторов крупных социальных сетей удалять дипфейки со своих платформ. Делать это необходимо в течение 36 часов после получения уведомления или жалобы о публикации подобного контента.

В ведомстве отмечают, что дипфейки, то есть, фальсифицированные видеоматериалы, фотографии или аудиозаписи, созданные с применением технологий искусственного интеллекта, могут наносить серьезный ущерб гражданам — прежде всего женщинам. В качестве примера приводится нашумевший случай, когда в соцсетях появилось видео, в котором якобы запечатлена индийская актриса Рашмика Манданна. Ролик, созданный с применением ИИ-алгоритмов, быстро набрал огромное количество просмотров, а Манданна была вынуждена сделать публичное заявление о том, что не является его героиней.

Учитывая серьезные проблемы, связанные с дезинформацией и дипфейками, MeitY за полгода (к ноябрю 2023-го) выпустило вторую рекомендацию, призывающую онлайн-платформы принять решительные меры против распространения таких материалов. Министерство подчеркивает, что в соответствии с действующими в стране правилами от 2021 года интернет-ресурсы обязаны предотвращать распространение фальсифицированной информации любыми пользователями. Несоблюдение этого требования дает право пострадавшим лицам обращаться в суд в соответствии с положениями Уголовного кодекса Индии.

Наше правительство очень серьезно относится к обязанности гарантировать безопасность и обеспечивать доверие всех граждан, особенно это касается детей и женщин, против которых используется такой контент. Крайне важно, чтобы онлайновые платформы приняли активные меры по борьбе с этой угрозой, — говорится в сообщении MeitY.[9]

Количество дипфейков в мире с начала года выросло в несколько раз

Общее число дипфейков по всему миру в течение первых месяцев 2023 года увеличилось в несколько раз по сравнению с аналогичным периодом 2022-го. Об этом говорит исследование компании DeepMedia, результаты которого были раскрыты 30 мая 2023 года.

Отмечается, что взрывной рост количества фальшивок в глобальном масштабе объясняется резко снизившимися затратами на создание таких аудио- и видеоматериалов. Если раньше на точную имитацию голоса с учётом работы серверного оборудования и использования алгоритмов искусственного интеллекта требовалось около $10 тыс., то к началу мая 2023-го расходы снизились всего до нескольких долларов. Связано это с появлением генеративных ИИ-моделей нового поколения и более мощных аппаратных платформ, спроектированных специально с прицелом на нейросети и машинное обучение.

По оценкам DeepMedia, с января по май 2023-го в интернете было размещено в три раза больше фальшивых видеоматериалов всех видов и в восемь раз больше голосовых дипфейков, чем за тот же период в 2022 году. ИИ-технологии могут применяться для распространения ложных заявлений от имени политиков и известных общественных деятелей, что может спровоцировать серьёзные общественные волнения и конфликты. Хотя крупные социальные платформы вроде YouTube и Facebook (признана экстремистской организацией; деятельность на территории Российской Федерации запрещена) внедряют алгоритмы борьбы с дипфейками, эффективность таких инструментов недостаточно высока.

Говорится, что ведущие ИИ-разработчики, такие как OpenAI, встраивают в свои сервисы специальные функции, которые не позволяют генерировать контент с участием публичных лиц. Но небольшие стартапы зачастую пренебрегают такими мерами. Уже обсуждается возможность создания отраслевого решения, позволяющего идентифицировать материалы, созданные искусственным интеллектом: это могут быть, например, специальные цифровые метки.^[10]

Представлена deepfake-система, которая заставляет пользователя смотреть прямо в камеру

12 января 2022 года компания Nvidia анонсировала систему Maxine Eye Contact. Это deepfake-технология, которая обеспечивает постоянный зрительный контакт пользователей при проведении сеансов видеоконференцсвязи. Подробнее здесь.

2022

Объем мирового рынка инструментов для выявления дипфейков оценен в $3,86 млрд

Развитие цифровой креативной индустрии, производство и потребление контента в глобальном масштабе все больше зависят от технологий искусственного интеллекта, включая негативное влияние дипфейков. Объем мирового рынка инструментов для выявления таких фальшивок по итогам 2022 года достиг $3,86 млрд. Такие данные приводятся в исследовании Института развития интернета (АНО «ИРИ») и компании «Ростелеком», результаты которого опубликованы 19 июня 2024 года.

По оценкам компании DeepMedia, занимающейся разработкой технологий для обнаружения синтетического медиаконтента, в 2023 году в интернете появилось в три раза больше дипфейк-видео и в восемь раз больше подделок голоса, чем годом ранее. Причем по состоянию на 2022-й около 43% опрошенных пользователей не могли отличить фальсифицированные ролики от настоящих. Это открывает широкие возможности для мошенников и киберпреступников. Например, дипфейки могут использоваться с целью политических манипуляций или для создания фальшивых видеоматериалов с «участием» известных людей.

Объем мирового рынка инструментов для выявления таких фальшивок по итогам 2022 года достиг $3,86 млрд

Одним из основных способов регулирования дипфейков является установление требований о маркировке искусственно сгенерированного контента: это может быть явный (видимый) или неявный (извлекается техническими средствами) водяной знак. В России периодически появлялись сообщения о регуляторных инициативах, которые должны регламентировать использование дипфейков, однако по состоянию на декабрь 2023 года такие законопроекты в Госдуму внесены не были.

Вместе с тем на рынке доступны различные решения для проверки на наличие в публикациях сгенерированного контента, разработанные такими профильными компаниями как Sentinel AI и Sensity, а также продукты крупнейших ИТ-корпораций, например, FakeCatcher от Intel и Video AI Authenticator от Microsoft. Кроме того, собственные инструменты для распознавания дипфейков создают ведущие социальные сети.^[11]

В мире резко выросли инвестиции в дипфейк-стартапы

В 2022 году венчурные фонды в мире вложили в стартапы, специализирующиеся на дипфейк-технологиях, приблизительно $187,7 млн. Для сравнения: в 2017-м инвестиции в соответствующей сфере оценивались только в $1 млн. Такие цифры приводятся в исследовании PitchBook, результаты которого были обнародованы 17 мая 2023 года.

Говорится, что в течение первых месяцев 2023 года финансовые вливания в дипфейк-стартапы достигли $50 млн. Крупнейшим получателем венчурных денег за последние пять лет (к началу 2023-го) стала нью-йоркская компания Runway, которая в числе прочего разрабатывает инструмент на основе искусственного интеллекта, способный генерировать короткие видеоролики по текстовому описанию. Эта фирма привлекла как минимум $100 млн и была оценена в $1,5 млрд.

Вместе с тем лондонская компания Synthesia, которая разрабатывает платформу для создания реалистичных виртуальных персонажей на основе видео- и аудиозаписей, получила на развитие $50 млн от ряда инвесторов, включая Kleiner Perkins. Израильский стартап Deepdub, разработавший технологию аудиовизуального дублирования и языковой локализации на основе ИИ, привлёк $20 млн. Такую же сумму получила дипфейк-студии визуальных эффектов Deep Voodoo.

Вместе с появлением новых и более реалистичных дипфейк-инструментов быстро развивается рынок специализированных средств для выявления фальшивок. Согласно подсчётам исследовательской фирмы HSRC, в 2022 году объём данного сегмента составлял приблизительно $3,86 млрд. В период до 2026-го ожидается среднегодовой темп роста в сложных процентах (CAGR) на уровне 42%. Средства обнаружения дипфейков необходимы для предотвращения появления дезинформации в СМИ, противодействия различным мошенническим схемам в интернете и пр.^[12]

Cloud и «Пятёрочка» создали рекламный ролик с применением технологии deepfake

Компания Cloud (ООО «Облачные технологии») при поддержке Института искусственного интеллекта AIRI совместно с торговой сетью «Пятёрочка» создали рекламный ролик с применением технологии DeepFake. Об этом компания Cloud сообщила 22 декабря 2022 года. Обученная специалистами AIRI на облачной платформе Cloud ML Space модель стала основой цифрового образа актрисы Ольги Медынич, даже не присутствовавшей на съемочной площадке. Подробнее здесь.

Китайский регулятор опубликовал правила защиты граждан от дипфейков

12 декабря 2022 года стало известно о том, что Администрация киберпространства Китая (CAC) вводит новые правила для поставщиков контента, которые изменяют лицевые и голосовые данные пользователей.

10 января 2023 года вступят в силу нормы, регулирующие так называемые «дипфейковые» технологии и услуги. Это методика синтеза изображения, основанная на искусственном интеллекте. Суть заключается в том, что на исходные материалы накладываются синтезированные кадры. В подавляющем большинстве случаев для создания таких видео используют генеративно-состязательные нейросети. Одна часть алгоритма учится на реальных фотографиях определённого объекта и создаёт изображение, буквально «состязаясь» со второй частью программы, пока та не начнёт путать копию с оригиналом. В итоге, полученные изображения практически неотличимы от оригинала: они используются для манипуляций или дезинформации.

Постановление CAC предусматривает защиту людей от возможной мошеннической деятельности с помощью дипфейков. Это может быть, например, выдача пользователей за других лиц. Документ также предполагает, что дипфейки могут использоваться онлайн-издателями, которые должны учитывать множество других правил Китая в отношении приемлемого онлайн-контента.

Вместе с тем Китай ожидает, что синтетические изображения людей будут широко использоваться в таких приложениях, как чат-боты. В подобных сценариях дипфейки должны быть помечены как «цифровые творения». В правилах также прописано, как создатели дипфейков, которых называют «поставщиками услуг глубокого синтеза», должны заботиться о том, чтобы их модели и алгоритмы искусственного интеллекта и машинного обучения были максимально точными. Кроме того, необходимо обеспечивать безопасность собираемых персональных данных. ^[13]

Intel представила технологию распознавания дипфейков

Intel представила технологию распознавания дипфейков. Об этом стало известно 17 ноября 2022 года. Подробнее здесь.

Роскомнадзор создает систему проверки видео на ложь и поиск дипфейков

В начале ноября 2022 года стало известно о создании сервиса Expert, который позволит проверять видеозаписи выступлений на предмет лжи и манипуляций. Эту технологию разрабатывают специалисты Национального центра когнитивных разработок ИТМО для подведомственного Роскомнадзору Главного радиочастотного центра (ГРЧЦ). Подробнее здесь.

В России сняли первый в мире веб-сериал с использованием технологии Deepfake

Как стало известно 10 октября 2022 года, российская компания создала первый в мире веб-сериал с использованием технологии Deepfake, главным героем пародийной комедии стал образ британского актёра Джейсона Стэйтема. Проект создан при поддержке Института развития интернета.


Генеральный директор Agenda Media Group Алексей Парфун сообщил в интервью ТАСС заявил, что использование образов актёров с помощью этой технологии законодательно не запрещено, однако Deepfake не должен задевать честь, достоинство и деловую репутацию человека и раскрывать его персональную информацию.

Это ироничный взгляд иностранца в лице Стэйтема на русский быт, - рассказал Парфун.

По его словам, проект раскрывает попытки персонажа понять и интегрироваться в русский быт. По сюжету, главный герой приехал на съёмки в РФ и остался в ней жить.

События сериала происходят в 2027 году. После пятилетних съемок в России Стэйтем остался жить в русской деревне. На 60-летие к нему приезжают друзья - Ривз, Робби и Паттинсон. Их образы создали при помощи дипфейк-технологии: искусственный интеллект производит синтетический контент, где лицо человека заменяется другим в фото-, видео- или аудиопространстве. В сериале снялись Юлия Башорина, Андрей Дерюгин, Андрей Коротков.

По словам продакшен директора Agenda Media Group Марии Артемовой, весь проект реализовали за три месяца с учетом написания сценария и постпродакшна. Некоторые особенности съемок команде приходилось контролировать каждую минуту, отметила она.

Например, дипфейк-съемки не позволяют использовать крупные планы, есть определенные условия по свету, оптике, камерам, а также положениям актеров в кадре. На это тратится много времени и дублей. Кроме этого, были существенные ограничения по амплитуде движений у актеров, что тоже вызывало некоторые трудности, — добавила она.[14]

В ЕС намерены штрафовать соцсети за неудаление дипфейков

В ЕС намерены штрафовать соцсети за неудаление дипфейков. Об этом стало известно 14 июня 2022 года.

Google, Twitter и другие технологические компании должны будут принять меры по борьбе с дипфейками и поддельными аккаунтами, иначе им будут грозить крупные штрафы, до 6% от их глобального оборота, говорится в обновленном кодексе действий Евросоюза.

Создание дипфейков возможно благодаря нейросетям, которые могут моделировать лица и голоса людей по фото и аудиозаписям.

Еврокомиссия намерена опубликовать регулирующий документ в сфере дезинформации уже до конца июня 2022 года. В нем содержатся примеры манипулятивного поведения, подписавшие документ стороны обяжут бороться с фальшивыми аккаунтами, дезинформирующей рекламой и дипфейками, также они должны будут обеспечить большую прозрачность в политической рекламе. Ожидается, что подписавшие документ компании в течение шести месяцев примут и реализуют «политику в отношении недопустимого манипулятивного поведения и практики в своих сервисах, основанную на последних данных о поведении и тактике, методах и процедурах, используемых злоумышленниками^[15].

Дипфейки могут легко обмануть многие системы аутентификации Facial Liveness Verification

3 марта 2022 года стало известно, что некоторые модули обнаружения дипфейков настроены на устаревшие техники. Команда исследователей из университета штата Пенсильвания (США) и Чжэцзянского и Шаньдунского университетов (Китай) изучила восприимчивость к дипфейкам некоторых систем аутентификации на основе лица. Как показали результаты исследования, большинство систем уязвимы к развивающимся формам дипфейков.

В ходе исследования были проведены атаки на основе дипфейков с использованием специальной платформы, развернутой в системах Facial Liveness Verification (FLV), которые поставляются крупными поставщиками и продаются в качестве услуги нижестоящим клиентам, таким как авиакомпании и страховые компании.

Facial Liveness предназначен для отражения использования таких методов, как атаки со стороны изображения, использование масок и предварительно записанного видео, так называемые «мастер-лица» и другие формы клонирования визуальной идентификации.

В исследовании делается вывод о том, что ограниченное количество модулей обнаружения дипфейков в подобных системах, возможно, были настроены на устаревшие техники или могут быть слишком специфичными для архитектуры. Специалисты отмечают, что даже если обработанные видеоролики кажутся нереальными для людей, они все равно могут обойти текущий механизм обнаружения дипфейков с очень высокой вероятностью успеха.

Еще один вывод заключался в том, что текущая конфигурация общих систем проверки лиц предвзято относится к белым мужчинам. Лица женщин и цветных меньшинств оказались более эффективны в обходе систем проверки, подвергая клиентов этих категорий большему риску взлома с помощью методов, основанных на дипфейках.

Авторы предлагают ряд рекомендаций по улучшению текущего состояния FLV, включая отказ от аутентификации по одному изображению («FLV на основе изображения»), когда аутентификация основана на одном кадре с камеры клиента; более гибкое и всестороннее обновление систем обнаружения дипфейков в графических и голосовых доменах; навязывание необходимости синхронизировать голосовую аутентификацию в пользовательском видео с движениями губ (чего, как правило, нет); и требование от пользователей выполнять жесты и движения, которые трудно воспроизвести системами дипфейка (например, просмотр профиля и частичное затемнение лица).^[16]

В Китае запретили дипфейки

В конце января 2022 года в Китае бы принят законопроект, запрещающий использование дипфейков. Эта технология заключается в синтезе искусственного интеллекта человеческих изображений: алгоритм объединяет несколько фото, на которых человек изображен с разным выражением лица, и делает из них видео. При этом система анализирует большое количество снимков и учится тому, как может выглядеть и двигаться конкретный человек.

Инициатива, разработанная администрацией киберпространства Китая, объясняет необходимость регулирования в контексте стремления правительства обеспечить, чтобы интернет был инструментом добра. В пояснительной записке к закону сообщается, что преступников и мошенников привлечет использование созданных в цифровом формате голоса, видео, чат-ботов или манипулирование лицами или жестами.

Законопроект исключает использование таких подделок для любых приложений, которые могут нарушить социальный порядок, ущемить права граждан, распространить фальшивые новости или изобразить сексуальную активность. В проекте также предлагается требовать разрешения на использование того, что Китай называет глубоким синтезом, прежде чем использовать его в законных целях. Какие именно законные цели могут быть использованы, не уточняется, но проект содержит обширные положения о том, как цифровые активы должны быть защищены, чтобы не нарушать конфиденциальность пользователей.

В случае использования глубокого синтеза в проекте предлагается требование маркировать его как цифровое творение, чтобы устранить любые сомнения в подлинности и происхождении. В проекте также изложены требования к поставщикам услуг внедрять методы обеспечения безопасности и всегда действовать в национальных интересах Китая.^[17]

2021

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения

Дипфейк-голоса могут обмануть IoT-устройства и людей после пяти секунд обучения. Об этом стало известно 14 октября 2021 года.

Дипфейк мог обмануть Microsoft Azure примерно в 30% случаев и в 63% случаев успешно обманывал WeChat и Amazon Alexa.

Исследователи из лаборатории Security, Algorithms, Networking and Data (SAND) Чикагского университета протестировали программы синтеза дипфейк-голосов, доступные на сайте сообщества разработчиков с открытым исходным кодом GitHub, с целью узнать, могут ли они обойти системы распознавания голоса в Amazon Alexa, WeChat и Microsoft Azure.

По словам разработчиков SV2TTS, программе требуется всего пять секунд для создания приемлемой имитации.

Программа могла обмануть человеческие уши — из 200 добровольцев, которых просили определить настоящие голоса среди дипфейков, примерно в половине случаев ответы были неправильные.

Дипфейк-аудио более успешно использовалось для имитации женских голосов и голосов тех людей, для кого английский язык не является родным.

Мы обнаружили, что и людей, и компьютеры можно легко обмануть синтетической речью, а существующие средства защиты от синтезированной речи не работают, — сообщили исследователи изданию NewScientist.

Эксперты протестировали другую программу синтеза голоса под названием AutoVC, которой требуется пять минут речи для воссоздания голоса человека. AutoVC удавалось обмануть Microsoft Azure только в 15% случаев, поэтому исследователи отказались тестировать его на WeChat и Alexa^[18].

Ernst & Young начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч

В середине августа 2021 года стало известно, что Ernst & Young (EY) начала использовать видеодипфейки сотрудников для общения с клиентами вместо личных встреч. Для этого фирма использует технологию, предоставленную британским стартапом Synthesia. Подробнее здесь.

МВД занялось системой распознавания фейковых видео

В начале мая 2021 года стало известно о контракте, который Министерство внутренних дел (МВД) России заключило с московским АО «Научно-промышленная компания «Высокие технологии и стратегические системы». Речь идет о научной разработке под шифром «Зеркало» («Верблюд»), предназначенной для выявления сфабрикованных видеороликов (дипфейков). Исследование необходимо для экспертно-криминалистических подразделений и проведения видеотехнических экспертиз. Подробнее здесь.

2020

Исследователи Facebook назвали алгоритм NtechLab по распознаванию deepfake самым устойчивым к атакам

NtechLab, компания в области решений для видеоаналитики на основе нейронных сетей и технологический партнёр Госкорпорации Ростех, 11 декабря 2020 года сообщила, что алгоритм компании по распознаванию дипфейков был назван самым устойчивым к обману с использованием т.н. состязательных атак. Подробнее здесь.

2019

Samsung представила цифровых людей, не отличимых от реальных

В начале января 2020 года компания Samsung представила проект "искусственных людей", получивший название Neon. Он разработан силами подразделения Samsung Technology и Advanced Research Labs (STAR Labs). Подробнее здесь.

Выпуск приложения Zao

В начале сентября 2019 года стало известно о выходе приложения Zao, которое, используя искусственный интеллект, позволяет вставить лицо пользователя в сцену из фильма. Подробнее здесь.

Запущен сервис, раздевающий женщин на фотографии за 30 секунд

В конце июня 2019 года стало известно о запуске сервиса DeepNude, который позволяет раздеть девушку на фотографию. Имя разработчика приложения неизвестно, однако в его Twitter-блоге говорится, что продукт развивает «небольшая команда» из Эстонии. Подробнее здесь.

Московский ИИ-центр Samsung создал нейросеть, ожививший портрет Достоевского

В мае 2019 года исследователи из центра искусственного интеллекта компании Samsung в Москве представили нейросеть, способную «оживлять» статичные изображения лиц. Работа системы описана в материалах, опубликованных на портале arXiv.org.

Нейросеть фиксирует движения и мимику человеческого лица на видео, а после переносит полученные данные на статичный портрет. Ученые «показали» искусственному интеллекту большое количество кадров с лицами людей.

На каждое лицо на таком кадре накладывали специальную маску, которая обозначает границы и базовую мимику. То, как такая маска соотносится с исходным кадром, хранится в виде вектора, данные из которого используются для того, чтобы наложить отдельную маску на изображение человека, после чего готовая анимация сопоставляется с эталоном.

В Samsung отмечают, что такая разработка может найти применение в системах телеприсутствия, видеоконференциях, многопользовательских играх и при создании спецэффектов в фильмах.

Как пишет издание ZDNet, сами себе технологии deepfake не являются чем-то новым, но система Samsung интересна тем, что она не использует 3D-моделирование и позволяет создавать «живую» модель лица лишь по одной фотографии. Если в неё загрузить 32 снимка, то можно «добиться идеально реалистичной картинки и персонализации», отметили в компании.

Возможности системы её разработчики продемонстрировали на фотографиях Мэрилин Монро, Сальвадора Дали и Альберта Эйнштейна. Однако она работает и на картинах и портретах. В видеоролике авторы проекта показали «оживлённый» портрет русского писателя Фёдора Достоевского.

На момент демонстрации разработки всё же заметна искусственность движений — устранением этих дефектов разработчики планируют заняться в дальнейшем.^[19]

McAfee: подмену лиц в видео уже невозможно определить

В начале марта 2019 года компания McAfee, занимающаяся проблемами кибербезопасности, сообщила, что подмену лиц в видео уже нельзя определить невооруженным глазом. В программной речи на конференции по кибербезопасности RSA в Сан-Франциско Стив Гробман (Steve Grobman), директор по технологиям McAfee, и Селеста Фралик (Celeste Fralick), главный специалист по данным, предупредили, что использование новой технологии хакерами – лишь вопрос времени.

Теперь, когда злоумышленники способны создать индивидуализированный целевой контент, они могут использовать ИИ в различных целях – например, для взлома учетных записей с помощью методик социальной психологии или фишинг-атак. Персонализированный фишинг, то есть мошенничество, направленное на получение банковских конфиденциальных данных с целью хищения денег, является более успешным, однако новые возможности искусственного интеллекта позволяют проводить его в масштабах автоматизированных атак.

Существует целая область кибербезопасности, называемая состязательным машинным обучением, где изучаются возможные кибератаки на классификаторы машинного обучения. Специалисты McAfee считают, что методика подмены изображений представляет серьезную угрозу и может использоваться для искажения работы классификатора изображений.

Один из способов обмануть людей и ИИ - сделать настоящую фотографию и незаметно изменить ее небольшую часть. Так при минимальном изменении фотография пингвинов могла быть интерпретирована ИИ как сковорода. Однако ложные срабатывания в более серьезном масштабе могут иметь катастрофические последствия.

Гробман подчеркнул, что сама по себе технологии DeepFake представляют собой орудие, которое можно использовать в самых различных целях. Запретить злоумышленникам использовать новые методики невозможно, но можно своевременно наладить линию защиты, считает он.^[20]

2018: Искусственный интеллект научили подделывать движения людей в видео

Основная статья Искусственный интеллект в видео

Как стало известно в июне 2018 года, появилась новая разработка в области искусственного интеллекта (ИИ), которая позволит создавать реалистичные поддельные видео сюжеты.

Инструменты, позволяющие имитировать движение губ и мимику человека, уже существуют. Однако, как сообщает портал Futurism, новая система на основе ИИ представляет собой значительное улучшение существующих разработок. Она обеспечивает возможность создавать фотореалистичные видеоролики, в которых все движения и слова, произносимые актером в исходном видео, будут переноситься в изменяемое видео.

Публичная демонстрация разработки состоится в августе 2018 года на конференции по компьютерной графике SIGGRAPH. Создатели новой системы планируют показать возможности разработки с помощью экспериментов по сравнению нового алгоритма с уже существующими средствами создания правдоподобных видео сюжетов и изображений, многие из которых были частично разработаны Facebook и Google. Характеристики решения на основе ИИ превосходят показатели существующих систем. Как сообщается, система ИИ всего за несколько минут работы с исходным сюжетом поможет создать безупречное фальшивое видео. Участникам экспериментов с трудом удалось отличить настоящие видео от поддельных.

Разработчики, получившие финансовую поддержку Google, надеются, что их работа будет использована для улучшения технологий виртуальной реальности и обеспечения ее большей доступности.

2017: Замена лица порноактрисы на лицо кинозвезды Голливуда

В декабре 2017 года в интернете появилось порноролик якобы с участием известный актрисы Галь Гадот. Однако в действительности на видео было тело порноактрисы, лицо которой с помощью искусственного интеллекта заменили на лицо голливудской кинозвезды. Подробнее здесь.

См. также

• FakeApp (программа для подмены лиц в видео)

Робототехника

Примечания