Vahşi Doğada Yapay Zeka Tarafından Üretilen Yüzleri Bulma: Tartışma, Teşekkür ve Referanslar

Bağlantı Tablosu

• Özet ve Giriş
• Veri setleri
• Modeli
• Sonuçlar
• Tartışma, Teşekkür ve Referanslar

5. Tartışma

Pek çok görüntü sınıflandırma probleminde, uygun temsili verilere sahip büyük sinir modelleri, ayırt edici özellikleri öğrenme yetenekleri nedeniyle çekicidir. Ancak bu modeller düşmanca saldırılara karşı savunmasız olabilir [4]. Modelimizin, algılanamaz miktardaki karşıt gürültünün modeli bozduğu önceki modeller kadar savunmasız olup olmadığı henüz bilinmiyor [3]. Özellikle öğrendiğimiz görünen yapısal veya anlamsal eserlerin, kasıtlı düşman saldırılarına karşı daha fazla dayanıklılık sağlayıp sağlamayacağını zaman gösterecek.

Kod dönüştürme ve görsel yeniden boyutlandırma gibi aklama işlemleri de dahil olmak üzere daha az karmaşık saldırılar açısından,

modelimizin geniş bir yelpazedeki aklama operasyonlarına karşı dayanıklı olduğunu gösterdi.

Yapay zeka tarafından oluşturulan içeriğin oluşturulması ve tespit edilmesi, doğası gereği, içerik oluşturucu ile algılayıcı arasında bir şekilde öngörülebilir bir ileri geri hareketle çekişmeli bir süreçtir. Tespitin faydasız gibi görünse de aslında öyle değil. Sürekli olarak dedektörler geliştirerek yaratıcıları ikna edici sahte ürünler yaratmak için zaman ve maliyet yatırımı yapmaya devam etmeye zorluyoruz. Yeterince gelişmiş bir yaratıcı muhtemelen çoğu savunmayı aşabilirken, ortalama bir yaratıcı bunu başaramayacaktır.

Bizimki gibi büyük çevrimiçi platformlarda çalışırken, bu azaltma (ama ortadan kaldırma değil) stratejisi, daha güvenli çevrimiçi alanlar yaratma açısından değerlidir. Buna ek olarak, başarılı bir savunmada, çeşitli eserlerden yararlanan bir değil birçok farklı yaklaşım kullanılacaktır. Bu tür savunmaların tamamının aşılması, düşman için önemli zorluklar oluşturacaktır. Burada açıklanan yaklaşım, çözünürlük, kalite ve çeşitli sentez motorlarına dayanıklı, sağlam bir yapı gibi görünen şeyi öğrenerek, savunma araç setine yeni ve güçlü bir araç ekler.

Teşekkür

Bu çalışma, Profesör Hany Farid ile LinkedIn'deki Trust Data ekibi arasındaki işbirliğinin ürünüdür[10]. Yapay zeka tarafından oluşturulan yüzlerin oluşturulmasındaki yardımlarından dolayı Matya'nın Bohacek'ine teşekkür ederiz. Bu işbirliğini mümkün kıldığı için LinkedIn Scholars[11] programına teşekkür ederiz. Ayrıca bu çalışmaya verdikleri destek için Ya Xu, Daniel Olmedilla, Kim Capps-Tanaka, Jenelle Bray, Shaunak Chatterjee, Vidit Jain, Ting Chen, Vipin Gupta, Dinesh Palanivelu, Milinda Lakkam ve Natesh Pillai'ye teşekkür ederiz. NVIDIA'dan David Luebke, Margaret Albrecht, Edwin Nieda, Koki Nagano, George Chellapa, Burak Yoldemir ve Ankit Patel'e StyleGAN nesil yazılımı, eğitilmiş modelleri ve sentezlenmiş görüntüleri kamuya açık hale getirerek çalışmalarımızı kolaylaştırdıkları ve değerli katkıları için minnettarız. öneriler.

Referanslar

[1] Kararlılık Yapay Zekası. https://stability.ai. 1

[2] David Bau, Alex Andonian, Audrey Cui, YeonHwan Park, Ali Jahanian, Aude Oliva ve Antonio Torralba. Kelimeye göre boya. arXiv:2103.10951, 2021.1

[3] Nicholas Carlini ve Hany Farid. Beyaz ve kara kutu saldırılarıyla deepfake görüntü dedektörlerinden kaçmak. Bilgisayarlı görme ve örüntü tanıma çalıştayları üzerine IEEE/CVF konferansının Bildirileri, sayfa 658–659, 2020. 7

[4] Nicholas Carlini ve David Wagner. Sinir ağlarının sağlamlığının değerlendirilmesine yönelik. IEEE Güvenlik ve Gizlilik Sempozyumu, sayfa 39-57'de. IEEE, 2017.7

[5] Lucy Chai, David Bau, Ser-Nam Lim ve Phillip Isola. Sahte görüntüleri tespit edilebilir kılan nedir? Genelleyen özellikleri anlamak. Avrupa Bilgisayarlı Görme Konferansı, sayfa 103–120, 2020. 2

[6] Eric R Chan, Connor Z Lin, Matthew A Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas J Guibas, Jonathan Tremblay, Sameh Khamis ve diğerleri. Verimli, geometriye duyarlı 3 boyutlu üretken çekişmeli ağlar. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansında, sayfalar 16123–16133, 2022. 2

[7] François Chollet. Xception: Derinlemesine ayrılabilir evrişimlerle derin öğrenme. arXiv:1610.02357, 2017.4

[8] Riccardo Corvi, Davide Cozzolino, Giada Zingarini, Giovanni Poggi, Koki Nagano ve Luisa Verdoliva. Difüzyon modelleri tarafından oluşturulan sentetik görüntülerin tespiti üzerine. Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı, sayfa 1-5. IEEE, 2023.2, 5, 7

[9] Chengdong Dong, Ajay Kumar ve Eryun Liu. GAN tarafından oluşturulan sahte görüntüleri spektral alan izlerinden tespit etmeden önce iki kez düşünün. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansında, sayfalar 7865– 7874, 2022. 2

[10] Hany Farid. Derin sahtekarlıklar oluşturma, kullanma, kötüye kullanma ve tespit etme. Çevrimiçi Güven ve Güvenlik Dergisi, 1(4), 2022. 2

[11] Joel Frank, Thorsten Eisenhofer, Lea Schonherr, Asja Fischer, Dorothea Kolossa ve Thorsten Holz. Derin sahte görüntü tanıma için frekans analizinden yararlanılıyor. arXiv:2003.08685, 2020.2

[12] Diego Gragnaniello, Davide Cozzolino, Francesco Marra, Giovanni Poggi ve Luisa Verdoliva. GAN tarafından oluşturulan görüntülerin tespit edilmesi kolay mı? Durumun eleştirel bir analizi. IEEE Uluslararası Multimedya ve Fuar Konferansı, sayfa 1-6, 2021. 2

[13] Hui Guo, Shu Hu, Xin Wang, Ming-Ching Chang ve Siwei Lyu. Gözler her şeyi anlatıyor: Düzensiz gözbebeği şekilleri, gan tarafından oluşturulan yüzleri ortaya çıkarıyor. IEEE Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı, sayfa 2904–2908'de. IEEE, 2022.2

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun. Görüntü tanıma için derin artık öğrenme. arXiv: 1512.03385, 2015.4

[15] Shu Hu, Yuezun Li ve Siwei Lyu. Tutarsız kornea speküler vurguları kullanarak GAN'ın oluşturduğu yüzleri açığa çıkarmak. IEEE Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı, sayfa 2500–2504'te. IEEE, 2021.2

[16] Tero Karras, Timo Aila, Samuli Laine ve Jaakko Lehtinen. Gelişmiş kalite, kararlılık ve çeşitlilik için GAN'ların aşamalı olarak büyümesi. arXiv:1710.10196, 2017.1

[17] Tero Karras, Miika Aittala, Samuli Laine, Erik Hark ¨onen, ¨ Janne Hellsten, Jaakko Lehtinen ve Timo Aila. Takma ad içermeyen üretken rakip ağlar. Sinir Bilgi İşleme Sistemlerinde, 2021. 1, 2

[18] Tero Karras, Samuli Laine ve Timo Aila. Üretken rakip ağlar için stil tabanlı bir oluşturucu mimarisi. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansında, sayfalar 4401–4410, 2019. 1, 2

[19] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen ve Timo Aila. StyleGAN'ın görüntü kalitesinin analiz edilmesi ve iyileştirilmesi. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansı, sayfa 8110– 8119, 2020. 2

[20] David C. Knill, David Field ve Daniel Kerstent. Fraktal görüntülerin insan tarafından ayırt edilmesi. JOSA A, 7(6):1113–1123, 1990.1

[21] Bo Liu, Fan Yang, Xiuli Bi, Bin Xiao, Weisheng Li ve Xinbo Gao. Oluşturulan görüntülerin gerçek görüntülerle algılanması. Avrupa Bilgisayarlı Görme Konferansı, sayfa 95-110. Springer, 2022. 2

[22] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin ve Baining Guo. Swin transformatörü: Kaydırılmış pencereleri kullanan hiyerarşik görüş transformatörü. IEEE/CVF Uluslararası Bilgisayarlı Görme Konferansı, 2021. 4

[23] Shivansh Mundra, Gonzalo J. Aniano Porcile, Smit Marvaniya, James R. Verbus ve Hany Farid. Kompakt gömmelerden gangüre edilmiş profil fotoğrafları ortaya çıkıyor. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Çalıştayı Konferansında, 2023. 2, 7

[24] Sophie J Nightingale ve Hany Farid. Yapay zekayla sentezlenen yüzler, gerçek yüzlerden ayırt edilemez ve daha güvenilirdir. Ulusal Bilimler Akademisi Bildirileri, 119(8):e2120481119, 2022. 2

[25] Javier Portilla ve Eero P. Simoncelli. Karmaşık dalgacık katsayılarının ortak istatistiklerine dayanan parametrik bir doku modeli. Uluslararası bilgisayarla görme dergisi, 40:49–70, 2000.1

[26] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser ve Bjorn Ommer. Gizli yayılma modelleriyle yüksek çözünürlüklü görüntü sentezi. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansında, sayfalar 10684–10695, 2022. 1, 4

[27] Pawan Sinha, Benjamin Balas, Yuri Ostrovsky ve Richard Russell. İnsanlar tarafından yüz tanıma: Tüm bilgisayarla görme araştırmacılarının bilmesi gereken on dokuz sonuç. IEEE Bildirileri, 94(11):1948–1962, 2006. 6

[28] Mukund Sundararajan, Ankur Taly ve Qiqi Yan. Derin ağlar için aksiyomatik ilişkilendirme. arXiv: 1703.01365, 2017.6

[29] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu ve Yunchao Wei. Gradyanlar hakkında bilgi edinme: GAN tarafından oluşturulan görüntülerin tespiti için genelleştirilmiş yapıt gösterimi. Uluslararası Bilgisayarlı Görme ve Örüntü Tanıma Konferansında, sayfalar 12105–12114, 2023. 2

[30] Mingxing Tan ve Quoc V. Le. Efficientnet: Evrişimli sinir ağları için model ölçeklendirmenin yeniden düşünülmesi. arXiv: 1905.11946, 2020.4

[31] Peter Thompson. Margaret Thatcher: Yeni bir yanılsama. Algı, 9(4):483–484, 1980. 6

[32] Sheng-Yu Wang, Oliver Wang, Richard Zhang, Andrew Owens ve Alexei A Efros. CNN tarafından oluşturulan görüntülerin fark edilmesi şaşırtıcı derecede kolay... şimdilik. Uluslararası Bilgisayarlı Görü ve Örüntü Tanıma Konferansı, sayfa 8695– 8704, 2020. 2

[33] Xin Yang, Yuezun Li ve Siwei Lyu. Tutarsız kafa pozları kullanarak derin sahtelikleri ortaya çıkarmak. IEEE Uluslararası Akustik, Konuşma ve Sinyal İşleme Konferansı, sayfa 8261–8265. IEEE, 2019.2

[34] Xin Yang, Yuezun Li, Honggang Qi ve Siwei Lyu. Önemli konumları kullanarak GAN ile sentezlenmiş yüzleri açığa çıkarma. ACM Bilgi Gizleme ve Multimedya Güvenliği Çalıştayında, sayfa 113–118, 2019. 2

[35] Xu Zhang, Svebor Karaman ve Shih-Fu Chang. GAN sahte görüntülerindeki kusurları tespit etme ve simüle etme. IEEE Uluslararası Adli Bilişim ve Güvenlik Çalıştayında, sayfa 1-6, 2019. 2

[10] Bu çalışmada açıklanan model, herhangi bir LinkedIn üyesine yönelik işlem yapmak için kullanılmamaktadır.

[11] https://careers.linkedin.com/scholars