Поиск лиц, созданных искусственным интеллектом, в дикой природе: обсуждение, благодарности и ссылки

Таблица ссылок

• Аннотация и введение
• Наборы данных
• Модель
• Полученные результаты
• Обсуждение, благодарности и ссылки

5. Обсуждение

Для многих задач классификации изображений большие нейронные модели с достаточно репрезентативными данными привлекательны своей способностью изучать отличительные признаки. Однако эти модели могут быть уязвимы для состязательных атак [4]. Еще неизвестно, является ли наша модель такой же уязвимой, как предыдущие модели, в которых незаметное количество враждебного шума искажает модель [3]. В частности, еще неизвестно, приведут ли очевидные структурные или семантические артефакты, которые мы, кажется, изучили, к большей устойчивости к преднамеренным состязательным атакам.

Что касается менее сложных атак, включая такие операции по отмыванию информации, как перекодирование и изменение размера изображения, у нас есть

показали, что наша модель устойчива к широкому спектру операций по отмыванию денег.

Создание и обнаружение контента, созданного ИИ, по своей сути является состязательным процессом с несколько предсказуемым взаимодействием между создателем и детектором. Хотя может показаться, что обнаружение бесполезно, это не так. Постоянно создавая детекторы, мы вынуждаем создателей продолжать вкладывать время и деньги в создание убедительных подделок. И хотя достаточно опытный создатель, вероятно, сможет обойти большую часть защиты, средний создатель этого не сможет.

При работе на крупных онлайн-платформах, таких как наша, эта стратегия смягчения, но не устранения, полезна для создания более безопасных онлайн-пространств. Кроме того, любая успешная защита будет использовать не один, а множество различных подходов, использующих различные артефакты. Обход всех подобных средств защиты создаст серьезные проблемы для противника. Изучая то, что кажется надежным артефактом, устойчивым к разрешению, качеству и диапазону механизмов синтеза, описанный здесь подход добавляет новый мощный инструмент в набор защитных инструментов.

Благодарности

Эта работа является результатом сотрудничества профессора Хани Фарида и команды Trust Data в LinkedIn[10]. Мы благодарим Мати Бохачека за помощь в создании лиц, сгенерированных искусственным интеллектом. Мы благодарим программу LinkedIn Scholars[11] за возможность такого сотрудничества. Мы также благодарим Я Сюй, Даниэля Олмедиллу, Ким Кэппс-Танака, Дженель Брэй, Шонака Чаттерджи, Видита Джайна, Тинг Чена, Випина Гупту, Динеша Паланивелу, Милинду Лаккам и Натеша Пиллаи за поддержку этой работы. Мы благодарны Дэвиду Любке, Маргарет Альбрехт, Эдвину Ниеде, Коки Нагано, Джорджу Челлапе, Бураку Йольдемиру и Анкиту Пателю из NVIDIA за облегчение нашей работы, сделав общедоступным программное обеспечение для генерации StyleGAN, обученные модели и синтезированные изображения, а также за их ценную информацию. предложения.

Рекомендации

[1] Стабильность ИИ. https://стабильность.ай. 1

[2] Дэвид Бау, Алекс Андонян, Одри Куи, Пак Ён Хван, Али Джаханян, Одева Олива и Антонио Торральба. Рисовать словом. arXiv:2103.10951, 2021. 1

[3] Николас Карлини и Хани Фарид. Обход детекторов дипфейковых изображений с помощью атак «белого и черного ящика». В материалах конференции IEEE/CVF по семинарам по компьютерному зрению и распознаванию образов, страницы 658–659, 2020 г. 7

[4] Николас Карлини и Дэвид Вагнер. На пути к оценке надежности нейронных сетей. На симпозиуме IEEE по безопасности и конфиденциальности, страницы 39–57. IEEE, 2017. 7.

[5] Люси Чай, Дэвид Бау, Сер-Нам Лим и Филип Изола. Что позволяет обнаружить поддельные изображения? Понимание свойств, которые обобщают. На Европейской конференции по компьютерному зрению, страницы 103–120, 2020 г. 2

[6] Эрик Р. Чан, Коннор З. Лин, Мэтью А. Чан, Коки Нагано, Босяо Пан, Шалини Де Мелло, Орацио Галло, Леонидас Дж. Гибас, Джонатан Трембле, Самех Хамис и др. Эффективные генеративно-состязательные трехмерные сети с учетом геометрии. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 16123–16133, 2022 г. 2.

[7] Франсуа Шолле. Xception: глубокое обучение с глубоко разделяемыми извилинами. arXiv:1610.02357, 2017. 4

[8] Риккардо Корви, Давиде Коццолино, Джада Зингарини, Джованни Поджи, Коки Нагано и Луиза Вердолива. Об обнаружении синтетических изображений, генерируемых диффузионными моделями. На Международной конференции по акустике, речи и обработке сигналов, страницы 1–5. IEEE, 2023. 2, 5, 7.

[9] Чэндонг Донг, Аджай Кумар и Эрюн Лю. Подумайте дважды, прежде чем обнаруживать поддельные изображения, сгенерированные GAN, по их отпечаткам в спектральной области. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 7865–7874, 2022 г. 2

[10] Хани Фарид. Создание, использование, неправильное использование и обнаружение глубоких фейков. Журнал онлайн-доверия и безопасности, 1(4), 2022 г. 2

[11] Джоэл Франк, Торстен Эйзенхофер, Леа Шёнгерр, Ася Фишер, Доротея Колосса и Торстен Хольц. Использование частотного анализа для глубокого распознавания поддельных изображений. arXiv:2003.08685, 2020. 2

[12] Диего Граньяньелло, Давиде Коццолино, Франческо Марра, Джованни Поджи и Луиза Вердолива. Легко ли обнаружить изображения, созданные GAN? Критический анализ душевного состояния. В Международной конференции IEEE по мультимедиа и выставкам, страницы 1–6, 2021 г. 2

[13] Хуэй Го, Шу Ху, Синь Ван, Мин-Цзин Чанг и Сивэй Лю. Глаза расскажут все: неправильная форма зрачков открывает лица, созданные ганами. На Международной конференции IEEE по акустике, речи и обработке сигналов, страницы 2904–2908. IEEE, 2022. 2.

[14] Каймин Хэ, Сянъюй Чжан, Шаоцин Жэнь и Цзянь Сунь. Глубокое остаточное обучение для распознавания изображений. arXiv: 1512.03385, 2015. 4

[15] Шу Ху, Юэзунь Ли и Сивэй Лю. Экспонирование лиц, сгенерированных GAN, с использованием противоречивых бликов роговицы. На Международной конференции IEEE по акустике, речи и обработке сигналов, страницы 2500–2504. IEEE, 2021. 2

[16] Теро Каррас, Тимо Айла, Самули Лайне и Яакко Лехтинен. Прогрессивное развитие GAN для улучшения качества, стабильности и разнообразия. arXiv:1710.10196, 2017. 1

[17] Теро Каррас, Миика Айттала, Самули Лайне, Эрик Харкёнен, Янне Хеллстен, Яакко Лехтинен и Тимо Айла. Генеративно-состязательные сети без псевдонимов. В «Нейронных системах обработки информации», 2021. 1, 2.

[18] Теро Каррас, Самули Лайне и Тимо Айла. Архитектура генератора на основе стилей для генеративно-состязательных сетей. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 4401–4410, 2019 г. 1, 2.

[19] Теро Каррас, Самули Лайне, Миика Айттала, Янне Хеллстен, Яакко Лехтинен и Тимо Айла. Анализ и улучшение качества изображения StyleGAN. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 8110–8119, 2020 г. 2

[20] Дэвид С. Нилл, Дэвид Филд и Дэниел Керстент. Человеческая дискриминация фрактальных изображений. JOSA A, 7(6):1113–1123, 1990. 1

[21] Бо Лю, Фань Ян, Сюли Би, Бинь Сяо, Вэйшэн Ли и Синьбо Гао. Обнаружение сгенерированных изображений по реальным изображениям. На Европейской конференции по компьютерному зрению, страницы 95–110. Спрингер, 2022. 2

[22] Цзе Лю, Юйтун Линь, Юэ Цао, Хань Ху, Исюань Вэй, Чжэн Чжан, Стивен Линь и Байнин Го. Трансформатор Swin: преобразователь иерархического зрения с использованием смещенных окон. На Международной конференции IEEE/CVF по компьютерному зрению, 2021 г. 4

[23] Шиванш Мундра, Гонсало Дж. Аниано Порсиле, Смит Марвания, Джеймс Р. Вербус и Хани Фарид. Показ сгенерированных фотографий профиля из компактных вложений. На Международной конференции по компьютерному зрению и распознаванию образов, 2023 г. 2, 7

[24] Софи Джей Найтингейл и Хани Фарид. Лица, синтезированные с помощью ИИ, неотличимы от реальных лиц и более надежны. Proceedings of the National Academy of Sciences, 119(8):e2120481119, 2022. 2

[25] Хавьер Портилья и Ээро П. Симончелли. Параметрическая модель текстуры, основанная на совместной статистике комплексных вейвлет-коэффициентов. Международный журнал компьютерного зрения, 40:49–70, 2000. 1

[26] Робин Ромбах, Андреас Блаттманн, Доминик Лоренц, Патрик Эссер и Бьорн Оммер. Синтез изображений высокого разрешения с использованием моделей скрытой диффузии. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 10684–10695, 2022 г. 1, 4.

[27] Паван Синха, Бенджамин Балас, Юрий Островский и Ричард Рассел. Распознавание лиц людьми: девятнадцать результатов, о которых должны знать все исследователи компьютерного зрения. Proceedings of IEEE, 94(11):1948–1962, 2006. 6

[28] Мукунд Сундарараджан, Анкур Тали и Цици Ян. Аксиоматическая атрибуция глубоких сетей. arXiv: 1703.01365, 2017. 6

[29] Чуанчуан Тан, Яо Чжао, Шикуй Вэй, Гуанхуа Гу и Юньчао Вэй. Изучение градиентов: обобщенное представление артефактов для обнаружения изображений, сгенерированных GAN. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 12105–12114, 2023 г. 2

[30] Минсин Тан и Куок В. Ле. Efficientnet: переосмысление масштабирования модели для сверточных нейронных сетей. arXiv: 1905.11946, 2020. 4

[31] Питер Томпсон. Маргарет Тэтчер: Новая иллюзия. Восприятие, 9(4):483–484, 1980. 6

[32] Шэн-Ю Ван, Оливер Ван, Ричард Чжан, Эндрю Оуэнс и Алексей А. Эфрос. Изображения, созданные CNN, на удивление легко обнаружить… пока. На Международной конференции по компьютерному зрению и распознаванию образов, страницы 8695–8704, 2020 г. 2

[33] Синь Ян, Юэзунь Ли и Сивэй Лю. Разоблачение глубоких фейков с использованием непоследовательных поз головы. На Международной конференции IEEE по акустике, речи и обработке сигналов, страницы 8261–8265. IEEE, 2019. 2

[34] Синь Ян, Юэзунь Ли, Хунган Ци и Сивэй Лю. Демонстрация лиц, синтезированных с помощью GAN, с использованием ориентиров. На семинаре ACM по сокрытию информации и мультимедийной безопасности, страницы 113–118, 2019 г. 2

[35] Сюй Чжан, Свебор Караман и Ши-Фу Чанг. Обнаружение и моделирование артефактов в поддельных изображениях GAN. На Международном семинаре IEEE по информационной криминалистике и безопасности, страницы 1–6, 2019 г. 2

[10] Модель, описанная в этой работе, не используется для принятия мер в отношении каких-либо участников LinkedIn.

[11] https://careers.linkedin.com/scholars