Чем можно проверить фото и видео на дипфейки и другие изменения Статьи редакции

Пять сервисов для поиска скрытых деталей и ошибок в изображениях, и технологии, которые пока в разработке.

Дипфейки портретов Wired

Набор бесплатных инструментов для анализа изображений.

  • «Лупа» позволяет увидеть скрытые детали на фото. Она увеличивает размер пикселей и контрастность.
  • «Детектор клонов» выделяет цветом участки изображения, которые были скопированы.
  • «Анализ уровня ошибок» сравнивает снимок с его сжатой версией. Помогает понять, какую часть изображения изменяли: она может быть темнее или ярче, чем аналогичная область, которой не манипулировали.
  • И другие функции.
Интерфейс Forensically Forensically

Сервис бесплатно определяет, были ли изменения в снимке. Если были, сообщает, в каком графическим редакторе их сделали. Сервис анализирует фото на уровне пикселей и их цветов.

В основу сервиса легли алгоритмы анализа: ELA — определение уровня ошибок, и Jpeg% — оценка уровня качества изображения после последнего сохранения.

Пример результата анализа сервиса FixThePhoto

Бесплатная программа с открытым исходным кодом ищет ошибки в изображениях и на их основе выявляет монтаж. Также сравнивает фото с их миниатюрами — если есть разница, сообщает, что снимок изменяли.

Также может извлекать из файлов текстовую информацию, например, URL-адреса. Если находит геотеги и связанную с ними информацию, показывает возможное место снимка на карте.

Интерфейс Ghiro Ghiro

Сервис с открытым исходным кодом бесплатно анализирует видео на дипфейки. Также есть приложение Deepware, оно работает только на Android.

Экран оценки видео Deepware Deepware

Корейское приложение KaiCatch распознаёт поддельные фото и видео с помощью ИИ — он определяет аномальные искажения лиц с точностью 90%.

Проверить фото или видео стоит около $1,7. Приложение работает только на Android и на корейском языке. В будущем разработчики обещают добавить поддержку английского, китайского и японского языков, а также перенести приложение на iOS.

Интерфейс приложения KaiCatch The Korea Herald

Анонсированные разработки

Разработка Adobe

В 2019 году подразделение Adobe Research вместе с Калифорнийским университетом в Беркли создали функцию Photoshop Face Aware Liquify, в основу которой легла свёрточная нейросеть.

Её обучили на тысячах обработанных ИИ фотографиях из интернета. По оценке Adobe Research, определение фото- и видеомонтажа в экспериментах показал эффективность 99%, в то время как люди смогли распознать лишь 53% подделок.

Выявление изменений на фото с помощью разработки Adobe Research Adobe Blog

К работе над проектом исследователи привлекли художника и попросили его вручную изменить некоторые из изображений. Так в обучение нейросети добавился «элемент человеческого творчества».

Опыты с программой показали, что она может не только выявлять подделки, но и возвращать изменённые снимки в их первоначальное состояние. Однако в открытый доступ разработка пока не вышла.

Это важный шаг в обнаружении определенных типов редактирования изображений. Функция отмены — восстановления оригинального вида — работает на удивление хорошо.

Помимо подобных технологий, лучшей защитой будет искушённая публика. Которая знает: контентом можно манипулировать, часто чтобы доставить им удовольствие, но иногда — чтобы ввести их в заблуждение.

Гэвин Миллер, глава Adobe Research

Microsoft Video Authenticator

В сентябре 2020 года Microsoft создала ПО для борьбы с дипфейками — Video Authenticator. Программа оценивает фото и видео и определяет вероятность монтажа.

Фрагмент оригинального видео и обработанного Oriental Review

Её создали с помощью общедоступного набора изменённых фотографий и видео Face Forensic++ и дополнительно обучили на другом наборе — DeepFake Detection Challenge.

Когда компания выпустит технологию, неизвестно.

Разработка Facebook

В июне 2021 года исследователи Facebook создали ИИ, который может идентифицировать дипфейк-контент и отслеживать его происхождение. Над программой работали специалисты Мичиганского государственного университета.

«Наш метод облегчит поиск подделок, когда сама подделка — единственная информация, с которой приходится работать», — рассказали учёные-исследователи Facebook Си Инь и Тал Хасснер.

По словам Facebook, их программа ищет в фото и видео следы изменений в их цифровых «отпечатках». Распространять программу будут вне Facebook, чтобы облегчить расследования «инцидентов скоординированной дезинформации».

В открытый доступ разработка пока не вышла.

FakeBuster

FakeBuster помогает выявлять дипфейки во время онлайн-конференций и в соцсетях. Разработчики протестировали программу во время звонков в Zoom и Skype.

В основу FakeBuster легла 3D-свёрточная нейросеть, которую обучили на комбинации наборов данных, таких как Deeperforensics, DFDC, VoxCeleb, и неназванных видеороликов. В открытый доступ программа ещё не вышла.

Инициативы по борьбе с дипфейками

В сентябре 2020 года Microsoft предложила крупным медиакомпаниям поддержать инициативу Project Origin. Фирма предлагает маркировать онлайн-контент так, чтобы автоматически находить изменения в оригинальных фотографиях и видео.

Страница Project Origin на сайте Microsoft Microsoft

Реализовать Project Origin специалисты предложили в два этапа:

  • Сначала создать инструмент для загрузки цифровых «отпечатков» в виде сертификатов и значений «хэша» в метаданные медиаконтента.
  • Создать считыватель, чтобы определять в нём сторонние изменения.

Microsoft рассказала, что проверку технологии по «маркировке» контента она планирует провести в сотрудничестве с BBC, The New York Times, Вашингтонским университетом и другими.

По оценке разработчиков, в будущем считыватели цифровых «отпечатков» станут доступны пользователям в виде расширений браузера. Они позволят в проверять подлинность информации и определить источник его происхождения.

#подоборка #дипфейк

0
12 комментариев
Написать комментарий...
Ruslan Fatikhov

Это 3D Camera Tracking в After Effects.

Ответить
Развернуть ветку
Илья Склюев
Автор

Да, действительно. Перепутали иллюстрацию, у разработки Facebook пока вообще официальных скриншотов нет. Поправим.

Ответить
Развернуть ветку
Feudor Mcuncle

Норм. Любое действие порождает противодействие. Битва брони и снаряда. Запасаем попкорн и наслаждаемся махачем :)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Евгений Архипов

Настал тот день, когда фотофорензика вышла в массы. Через пару лет выйдет в массы широкие, когда проблема дипфейков станет актуальнее.

Ответить
Развернуть ветку
Ken ю

Нихуя не работает для видео кроме Deepware. И то не понятно насколько достоверные данные. Автор статьи пробовал хотя бы на половине проверить видео фото или тупо копи паст?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Дмитрий Шусов

Ладно, спасибо вам, теперь я знаю как проверять на дипфейки. 

Ответить
Развернуть ветку
Елизавета Дроздова

Штрихкодер?

Ответить
Развернуть ветку
Aram Mirzoyants

анальный

Ответить
Развернуть ветку
Максим Стоялов

Спасибо

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Михаил Стерлин

Спасибо за актуальный материал.

Ответить
Развернуть ветку
9 комментариев
Раскрывать всегда