DERİN SAHTE VİDEOLARIN TESPİTİ VE UYGULAMALARI İÇİN BİR KARŞILAŞTIRMA ÇALIŞMASI

Yıl 2021, Cilt: 8 Sayı: 14, 47 - 60, 30.06.2021

İsmail İlhan , Mehmet Karaköse

Öz

Yapay zekâ ile hızlı olarak gelişen teknolojinin ve sosyal medyanın çok etkin bir şekilde kullanılması derin sahte videoların oluşturulmasını ve paylaştırılmasını kolaylaştırmıştır. Derin sahte tespiti hala tam olarak çözülemeyen bir problem olduğu için Facebook, Microsoft, AWS ve AI gibi sosyal medya firmaları araştırmalara destek sağlamakta ve farklı platformlarda önerilen çözümler açık kaynak olarak sunulmaktadır. Tespit yöntemleri derin sahte oluşturma yöntemlerinde kendilerini iyileştirmek için kullanıldığından oluşturma ve tespit aralarındaki çekişme hiç bitmeyecek gibidir. Bu da her zaman için yeni bir tespit yöntemine ihtiyaç oluşturacaktır. Bu çalışmada derin sahte videoların tespit edilmesinde kullanılan yöntemler incelenmiştir. Uygulamaların performans etki analizleri yapılmıştır. Farklı özellikteki veri setlerinin ve farklı yöntemlere sahip tespit uygulamalarının listesi ve özellikleri tablolar halinde verilmiştir. Uygulamalar karşılaştırılarak, zorlukları ve eğilimleri değerlendirilerek araştırmacılara kaynak olarak sunulmuştur.

Anahtar Kelimeler

Derin Sahte, Manipülasyon, Sahte Video Tespiti, Yüz Değiştirme, Yüz Canlandırma

Kaynakça

• Afchar, D., Nozick, V., Yamagishi, J., & Echizen, I. (2018). Mesonet: a compact facial video forgery detection network. 2018 IEEE International Workshop on Information Forensics and Security (WIFS), (s. 1–7).
• Albahar, M., & Almalki, J. (2019). Deepfakes: Threats and countermeasures systematic review. Journal of Theoretical and Applied Information Technology, 97, 3242–3250. Chen, T., Kumar, A., Nagarsheth, P., Sivaraman, G., & Khoury, E. (2020). Generalization of audio deepfake detection. Proceedings of the Odyssey Speaker and Language Recognition Workshop, Tokyo, Japan, (s. 1–5).
• Chintha, A., Thai, B., Sohrawardi, S. J., Bhatt, K., Hickerson, A., Wright, M., & Ptucha, R. (2020). Recurrent convolutional structures for audio spoof and video deepfake detection. IEEE Journal of Selected Topics in Signal Processing, 14, 1024–1037.
• Chollet, F. (2017). Xception: Deep learning with depthwise separable convolutions. Proceedings of the IEEE conference on computer vision and pattern recognition, 1251--1258.
• Dang, H., Liu, F., Stehouwer, J., Liu, X., & Jain, A. K. (2020). On the detection of digital face manipulation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, (s. 5781–5790).
• G{\"u}era, D., & Delp, E. J. (2018). Deepfake video detection using recurrent neural networks. 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS).IEEE, 1-6.
• Korshunov, P., & Marcel, S. (2018). Speaker inconsistency detection in tampered video. 2018 26th European Signal Processing Conference (EUSIPCO), (s. 2375–2379).
• Korshunov, P., Halstead, M., Castan, D., Graciarena, M., McLaren, M., Burns, B., . . . Marcel, S. (2019). Tampered speaker inconsistency detection with phonetically aware audio-visual features. International Conference on Machine Learning.
• Li, Y., & Lyu, S. (2018). Exposing deepfake videos by detecting face warping artifacts. arXiv preprint arXiv:1811.00656.
• Li, Y., Chang, M.-C., & Lyu, S. (2018). In ictu oculi: Exposing ai created fake videos by detecting eye blinking. 2018 IEEE International Workshop on Information Forensics and Security (WIFS).IEEE, 1-7.
• Mirsky, Y., & Lee, W. (2021). The creation and detection of deepfakes: A survey. ACM Computing Surveys (CSUR), 54, 1–41.
• Nguyen, H. H., Fang, F., Yamagishi, J., & Echizen, I. (2019). Multi-task learning for detecting and segmenting manipulated facial images and videos. 2019 IEEE 10th International Conference on Biometrics Theory, Applications and Systems (BTAS), (s. 1–8).
• Nguyen, H. H., Yamagishi, J., & Echizen, I. (2019). Capsule-forensics: Using capsule networks to detect forged images and videos. ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).IEEE, 2307--2311.
• Nguyen, T. T., Nguyen, C. M., Nguyen, D. T., Nguyen, D. T., & Nahavandi, S. (2019). Deep learning for deepfakes creation and detection. arXiv preprint arXiv:1909.11573, 1.
• Rossler, A., Cozzolino, D., Verdoliva, L., Riess, C., Thies, J., & Nießner, M. (2019). Faceforensics++: Learning to detect manipulated facial images. Proceedings of the IEEE/CVF International Conference on Computer Vision, (s. 1–11).
• Sabir, E., Cheng, J., Jaiswal, A., AbdAlmageed, W., Masi, I., & Natarajan, P. (2019). Recurrent convolutional strategies for face manipulation detection in videos. Interfaces (GUI), 3.
• Tolosana, R., Vera-Rodriguez, R., Fierrez, J., Morales, A., & Ortega-Garcia, J. (2020). Deepfakes and beyond: A survey of face manipulation and fake detection. Information Fusion, 64, 131–148.
• Yang, X., Li, Y., & Lyu, S. (2019). Exposing deep fakes using inconsistent head poses. ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), (s. 8261–8265).