Обнаружение и классификация глубоких фейков с использованием ошибок

Научные отчеты, том 13, Номер статьи: 7422 (2023) Цитировать эту статью

1607 Доступов

3 Альтметрика

Подробности о метриках

Благодаря широкой доступности легкодоступного контента в социальных сетях, а также передовым инструментам и недорогой компьютерной инфраструктуре людям стало очень легко создавать глубокие фейки, которые могут привести к распространению дезинформации и мистификаций. Такое быстрое развитие может вызвать панику и хаос, поскольку любой может легко создать пропаганду, используя эти технологии. Следовательно, в эпоху социальных сетей решающее значение приобретает надежная система, позволяющая различать реальный и фейковый контент. В этой статье предлагается автоматизированный метод классификации глубоких фейковых изображений с использованием методологий, основанных на глубоком обучении и машинном обучении. Традиционные системы, основанные на машинном обучении (ML), использующие ручное извлечение признаков, не способны фиксировать более сложные закономерности, которые плохо понимаются или легко представляются с помощью простых признаков. Эти системы не могут хорошо обобщать невидимые данные. Более того, эти системы чувствительны к шуму или изменениям данных, что может снизить их производительность. Следовательно, эти проблемы могут ограничить их полезность в реальных приложениях, где данные постоянно изменяются. Предлагаемая структура первоначально выполняет анализ уровня ошибок изображения, чтобы определить, было ли изображение изменено. Затем это изображение передается в сверточные нейронные сети для глубокого извлечения признаков. Полученные векторы признаков затем классифицируются с помощью машин опорных векторов и K-ближайших соседей путем выполнения оптимизации гиперпараметров. Предложенный метод достиг высочайшей точности 89,5% с помощью остаточной сети и K-ближайшего соседа. Результаты доказывают эффективность и надежность предлагаемой методики; следовательно, его можно использовать для обнаружения глубоких фейковых изображений и уменьшения потенциальной угрозы клеветы и пропаганды.

За последнее десятилетие контент социальных сетей, такой как фотографии и фильмы, вырос в геометрической прогрессии в Интернете благодаря недорогим устройствам, таким как смартфоны, камеры и компьютеры. Рост количества приложений для социальных сетей позволил людям быстро делиться этим контентом на разных платформах, что резко увеличило количество онлайн-контента и обеспечило легкий доступ. В то же время мы наблюдаем огромный прогресс в сложных, но эффективных алгоритмах машинного обучения (ML) и глубокого обучения (DL), которые можно использовать для манипулирования аудиовизуальным контентом с целью распространения дезинформации и нанесения ущерба репутации людей в Интернете. Сейчас мы живем в такие времена, когда распространение дезинформации можно легко использовать для влияния на мнение людей, а также для манипулирования выборами или клеветы на любого человека. В последние годы создание дипфейков резко изменилось, и оно может быть использовано для распространения дезинформации по всему миру, что вскоре создаст серьёзную угрозу. Глубокие фейки — это синтезированный аудио- и видеоконтент, созданный с помощью алгоритмов искусственного интеллекта. Использование видео в качестве доказательства в юридических спорах и уголовных делах является стандартной практикой. Подлинность и целостность любого видео, представленного в качестве доказательства, должны быть установлены. Ожидается, что это станет трудной задачей, особенно когда создание дипфейков станет более сложным.

Существуют следующие категории дипфейковых видео: замена лиц, синтез и манипулирование чертами лица. В дипфейках с заменой лиц лицо человека заменяется лицом исходного человека, чтобы создать фейковое видео, нацеленное на человека за действия, которых он не совершал1, что может запятнать репутацию этого человека2. В другом типе дипфейка, называемом синхронизацией губ, губами целевого человека манипулируют, чтобы изменить движения в соответствии с определенной звуковой дорожкой. Цель синхронизации губ — имитировать голос злоумышленника, заставляя кого-то говорить этим голосом. С помощью кукольника глубокие фальшивки создаются путем имитации выражения лица, движений глаз и головы цели. Использование фиктивных профилей делается для распространения ложной информации в социальных сетях. И последнее, но не менее важное: глубокая аудиоподделка или клонирование голоса используются для манипулирования голосом человека, который ассоциирует что-то с говорящим, чего он не сказал на самом деле1,3.