KI-generierte Gesichter in freier Wildbahn finden: Diskussion, Danksagungen und Referenzen

Linktabelle

• Zusammenfassung und Einleitung
• Datensätze
• Modell
• Ergebnisse
• Diskussion, Danksagungen und Referenzen

5. Diskussion

Für viele Probleme der Bildklassifizierung sind große neuronale Modelle – mit entsprechend repräsentativen Daten – aufgrund ihrer Fähigkeit, Unterscheidungsmerkmale zu erlernen, attraktiv. Diese Modelle können jedoch anfällig für feindliche Angriffe sein [4]. Es bleibt abzuwarten, ob unser Modell genauso anfällig ist wie frühere Modelle, bei denen unmerkliche Mengen feindlichen Rauschens das Modell durcheinanderbringen [3]. Insbesondere bleibt abzuwarten, ob die offensichtlichen strukturellen oder semantischen Artefakte, die wir gelernt zu haben scheinen, uns robuster gegenüber absichtlichen feindlichen Angriffen machen.

Was weniger raffinierte Angriffe betrifft, einschließlich Waschvorgängen wie Transkodierung und Bildgrößenänderung, haben wir

hat gezeigt, dass unser Modell bei einer breiten Palette von Geldwäschevorgängen robust ist.

Die Erstellung und Erkennung von KI-generierten Inhalten ist von Natur aus konfrontativ, mit einem einigermaßen vorhersehbaren Hin und Her zwischen Ersteller und Detektor. Auch wenn es so aussehen mag, als sei die Erkennung sinnlos, ist sie es nicht. Indem wir kontinuierlich Detektoren entwickeln, zwingen wir die Ersteller, weiterhin Zeit und Geld in die Erstellung überzeugender Fälschungen zu investieren. Und während der ausreichend versierte Ersteller wahrscheinlich in der Lage sein wird, die meisten Abwehrmaßnahmen zu umgehen, wird dies dem durchschnittlichen Ersteller nicht gelingen.

Beim Betrieb auf großen Online-Plattformen wie der unseren ist diese Strategie der Schadensbegrenzung – aber nicht der Eliminierung – wertvoll, um sicherere Online-Räume zu schaffen. Darüber hinaus wird jede erfolgreiche Verteidigung nicht nur einen, sondern viele verschiedene Ansätze nutzen, die verschiedene Artefakte ausnutzen. Das Umgehen all dieser Abwehrmaßnahmen wird den Gegner vor erhebliche Herausforderungen stellen. Indem wir ein scheinbar robustes Artefakt erlernen, das in Bezug auf Auflösung, Qualität und eine Reihe von Synthese-Engines widerstandsfähig ist, fügt der hier beschriebene Ansatz einem Verteidigungs-Toolkit ein leistungsstarkes neues Werkzeug hinzu.

Danksagung

Diese Arbeit ist das Produkt einer Zusammenarbeit zwischen Professor Hany Farid und dem Trust Data-Team bei LinkedIn[10]. Wir danken Matya Bohacek für seine Hilfe bei der Erstellung der KI-generierten Gesichter. Wir danken dem LinkedIn Scholars[11]-Programm, das diese Zusammenarbeit ermöglicht hat. Wir danken auch Ya Xu, Daniel Olmedilla, Kim Capps-Tanaka, Jenelle Bray, Shaunak Chatterjee, Vidit Jain, Ting Chen, Vipin Gupta, Dinesh Palanivelu, Milinda Lakkam und Natesh Pillai für ihre Unterstützung dieser Arbeit. Wir danken David Luebke, Margaret Albrecht, Edwin Nieda, Koki Nagano, George Chellapa, Burak Yoldemir und Ankit Patel von NVIDIA für die Erleichterung unserer Arbeit, indem sie die StyleGAN-Generierungssoftware, trainierte Modelle und synthetisierte Bilder öffentlich zugänglich machten, und für ihre wertvollen Vorschläge.

Verweise

[1] Stabilitäts-KI. https://stability.ai.1

[2] David Bau, Alex Andonian, Audrey Cui, YeonHwan Park, Ali Jahanian, Aude Oliva und Antonio Torralba. Malen nach Wort. arXiv:2103.10951, 2021. 1

[3] Nicholas Carlini und Hany Farid. Umgehen von Deepfake-Bilddetektoren mit White- und Black-Box-Angriffen. In Proceedings der IEEE/CVF-Konferenz zu Computer Vision und Mustererkennungs-Workshops, Seiten 658–659, 2020. 7

[4] Nicholas Carlini und David Wagner. Zur Bewertung der Robustheit neuronaler Netze. In IEEE Symposium on Security and Privacy, Seiten 39–57. IEEE, 2017. 7

[5] Lucy Chai, David Bau, Ser-Nam Lim und Phillip Isola. Was macht gefälschte Bilder erkennbar? Verstehen von Eigenschaften, die verallgemeinern. In European Conference on Computer Vision, Seiten 103–120, 2020. 2

[6] Eric R Chan, Connor Z Lin, Matthew A Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas J Guibas, Jonathan Tremblay, Sameh Khamis, et al. Effiziente geometriebewusste 3D-generative kontradiktorische Netzwerke. In International Conference on Computer Vision and Pattern Recognition, Seiten 16123–16133, 2022. 2

[7] Franc¸ois Chollet. Xception: Deep Learning mit tiefenweise trennbaren Faltungen. arXiv:1610.02357, 2017. 4

[8] Riccardo Corvi, Davide Cozzolino, Giada Zingarini, Giovanni Poggi, Koki Nagano und Luisa Verdoliva. Zur Erkennung synthetischer Bilder, die durch Diffusionsmodelle erzeugt werden. In International Conference on Acoustics, Speech and Signal Processing, Seiten 1–5. IEEE, 2023. 2, 5, 7

[9] Chengdong Dong, Ajay Kumar und Eryun Liu. Überlegen Sie zweimal, bevor Sie GAN-generierte gefälschte Bilder anhand ihrer Spektraldomänenabdrücke erkennen. In International Conference on Computer Vision and Pattern Recognition, Seiten 7865– 7874, 2022. 2

[10] Hany Farid. Erstellen, Verwenden, Missbrauchen und Erkennen von Deep Fakes. Journal of Online Trust and Safety, 1(4), 2022. 2

[11] Joel Frank, Thorsten Eisenhofer, Lea Schonherr, Asja Fischer, Dorothea Kolossa und Thorsten Holz. Leveraging frequency analysis for deep fake image recognition. arXiv:2003.08685, 2020. 2

[12] Diego Gragnaniello, Davide Cozzolino, Francesco Marra, Giovanni Poggi und Luisa Verdoliva. Sind GAN-generierte Bilder leicht zu erkennen? Eine kritische Analyse des aktuellen Stands der Technik. In IEEE International Conference on Multimedia and Expo, Seiten 1–6, 2021. 2

[13] Hui Guo, Shu Hu, Xin Wang, Ming-Ching Chang und Siwei Lyu. Augen verraten alles: Unregelmäßige Pupillenformen verraten von Gans generierte Gesichter. In IEEE International Conference on Acoustics, Speech and Signal Processing, Seiten 2904–2908. IEEE, 2022. 2

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun. Tiefes Residuallernen zur Bilderkennung. arXiv: 1512.03385, 2015. 4

[15] Shu Hu, Yuezun Li und Siwei Lyu. Freilegen von GAN-generierten Gesichtern mithilfe inkonsistenter spiegelnder Hornhaut-Highlights. In IEEE International Conference on Acoustics, Speech and Signal Processing, Seiten 2500–2504. IEEE, 2021. 2

[16] Tero Karras, Timo Aila, Samuli Laine und Jaakko Lehtinen. Progressives Wachstum von GANs für verbesserte Qualität, Stabilität und Variation. arXiv:1710.10196, 2017. 1

[17] Tero Karras, Miika Aittala, Samuli Laine, Erik Hark¨ onen, ¨ Janne Hellsten, Jaakko Lehtinen und Timo Aila. Aliasfreie generative kontradiktorische Netzwerke. In Neuronale Informationsverarbeitungssysteme, 2021. 1, 2

[18] Tero Karras, Samuli Laine und Timo Aila. Eine stilbasierte Generatorarchitektur für generative kontradiktorische Netzwerke. In International Conference on Computer Vision and Pattern Recognition, Seiten 4401–4410, 2019. 1, 2

[19] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen und Timo Aila. Analysieren und Verbessern der Bildqualität von StyleGAN. In International Conference on Computer Vision and Pattern Recognition, Seiten 8110– 8119, 2020. 2

[20] David C Knill, David Field und Daniel Kerstent. Menschliche Diskriminierung fraktaler Bilder. JOSA A, 7(6):1113–1123, 1990. 1

[21] Bo Liu, Fan Yang, Xiuli Bi, Bin Xiao, Weisheng Li und Xinbo Gao. Erkennen generierter Bilder anhand realer Bilder. In der European Conference on Computer Vision, Seiten 95–110. Springer, 2022. 2

[22] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin und Baining Guo. Swin-Transformator: Hierarchischer Bildtransformator mit verschobenen Fenstern. In der IEEE/CVF International Conference on Computer Vision, 2021. 4

[23] Shivansh Mundra, Gonzalo J. Aniano Porcile, Smit Marvaniya, James R. Verbus und Hany Farid. Aufdecken von ganggenerierten Profilfotos aus kompakten Einbettungen. In International Conference on Computer Vision and Pattern Recognition Workshop, 2023. 2, 7

[24] Sophie J Nightingale und Hany Farid. KI-synthetisierte Gesichter sind von echten Gesichtern nicht zu unterscheiden und vertrauenswürdiger. Proceedings of the National Academy of Sciences, 119(8):e2120481119, 2022. 2

[25] Javier Portilla und Eero P Simoncelli. Ein parametrisches Texturmodell basierend auf gemeinsamen Statistiken komplexer Wavelet-Koeffizienten. International Journal of Computer Vision, 40:49–70, 2000. 1

[26] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser und Bjorn Ommer. Hochauflösende Bildsynthese mit latenten Diffusionsmodellen. In International Conference on Computer Vision and Pattern Recognition, Seiten 10684–10695, 2022. 1, 4

[27] Pawan Sinha, Benjamin Balas, Yuri Ostrovsky und Richard Russell. Gesichtserkennung durch Menschen: Neunzehn Ergebnisse, die alle Computer Vision-Forscher kennen sollten. Proceedings of the IEEE, 94(11):1948–1962, 2006. 6

[28] Mukund Sundararajan, Ankur Taly und Qiqi Yan. Axiomatische Attribution für tiefe Netzwerke. arXiv: 1703.01365, 2017. 6

[29] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu und Yunchao Wei. Lernen auf Gradienten: Verallgemeinerte Artefaktdarstellung für die Erkennung von GAN-generierten Bildern. In International Conference on Computer Vision and Pattern Recognition, Seiten 12105–12114, 2023. 2

[30] Mingxing Tan und Quoc V. Le. Efficientnet: Neue Überlegungen zur Modellskalierung für Convolutional Neural Networks. arXiv: 1905.11946, 2020. 4

[31] Peter Thompson. Margaret Thatcher: Eine neue Illusion. Perception, 9(4):483–484, 1980. 6

[32] Sheng-Yu Wang, Oliver Wang, Richard Zhang, Andrew Owens und Alexei A Efros. CNN-generierte Bilder sind überraschend leicht zu erkennen... zumindest im Moment. In International Conference on Computer Vision and Pattern Recognition, Seiten 8695– 8704, 2020. 2

[33] Xin Yang, Yuezun Li und Siwei Lyu. Aufdeckung von Deep Fakes durch inkonsistente Kopfhaltungen. In IEEE International Conference on Acoustics, Speech and Signal Processing, Seiten 8261–8265. IEEE, 2019. 2

[34] Xin Yang, Yuezun Li, Honggang Qi und Siwei Lyu. Freilegen von GAN-synthetisierten Gesichtern anhand von Landmark-Standorten. In ACM Workshop on Information Hiding and Multimedia Security, Seiten 113–118, 2019. 2

[35] Xu Zhang, Svebor Karaman und Shih-Fu Chang. Erkennen und Simulieren von Artefakten in gefälschten GAN-Bildern. In IEEE International Workshop on Information Forensics and Security, Seiten 1–6, 2019. 2

[10] Das in dieser Arbeit beschriebene Modell wird nicht verwendet, um Maßnahmen gegenüber LinkedIn-Mitgliedern zu ergreifen.

[11] https://careers.linkedin.com/scholars