Analysis of the Effectiveness of Various Machine Learning, Artificial Neural Network and Deep Learning Methods in Detecting Fraudulent Credit Card Transactions

Year 2022, Volume: 15 Issue: 1, 144 - 167, 27.03.2022

Esra Çelik , Deniz Dal , Ferhat Bozkurt

https://doi.org/10.18185/erzifbed.954466

Abstract

A credit card is an important financial tool that has emerged in parallel with the developments in technology from the past to the present and has become an indispensable part of human life. The credit card has many advantages that can be listed as facilitating online shopping, providing installments in purchases, and preventing cash dependence. This is why the rate of use of credit cards worldwide is increasing day by day. On the other hand, there are some risks of the credit cards highlighted by security concerns. The fraudsters who access the identity and credit card information of the consumers through different means use it to shop online without the consumer’s knowledge and gain an unfair advantage. Therefore, it is crucial to eliminate this security vulnerability that the fraudsters exploit and to develop an effective solution to the customer victimization experienced by e-commerce companies due to the fraudulent credit card transactions. With this motivation, the performance of the methods from different research fields was examined to explore the solution space in detail in terms of the problem at hand within the scope of this study. For this purpose, three machine learning algorithms (K-Nearest Neighbor, Naive Bayes, Support Vector Machine), two artificial neural network algorithms (Binary Classifier, Autoencoder), and two deep learning algorithms (Deep Autoencoder and Deep Neural Network Classifier) were implemented. The effectiveness of the algorithms in question was tested with a famous dataset widely used in the literature. Experimental results showed that the Deep Neural Network Classifier outperformed the other algorithms used in this study and the best study ever reported in the literature in detecting fraudulent credit card transactions when accuracy and AUROC performance criteria were taken into account.

Keywords

Credit card fraud, machine learning, artificial neural network, deep learning, classification, deep neural network classifier, AUROC, AUPRC

Çeşitli Makine Öğrenmesi, Yapay Sinir Ağı ve Derin Öğrenme Yöntemlerinin Sahte Kredi Kartı İşlemlerini Tespit Etkinliklerinin Analizi

Abstract

Kredi kartı, geçmişten günümüze teknolojide yaşanan gelişmelere paralel olarak ortaya çıkan ve insan hayatının vazgeçilmez bir parçası haline gelen önemli bir üründür. Kredi kartının çevrimiçi alışverişi kolaylaştırmak, alışverişlerde taksitlendirme imkânı sağlamak ve nakit para bağımlılığının önüne geçmek şeklinde sıralanabilecek birçok avantajı mevcuttur. Bu nedenledir ki kredi kartlarının kullanım oranı dünya çapında gün geçtikçe artmaktadır. Öte yandan kredi kartlarının güvenlik kaygılarıyla öne çıkan bazı riskleri de söz konusudur. Farklı yöntemlerle tüketicilerin kimlik ve kredi kartı bilgilerine ulaşan dolandırıcılar bu bilgileri kullanarak tüketicinin haberi olmadan çevrimiçi alışveriş yapmakta ve haksız bir çıkar elde etmektedir. Dolayısıyla dolandırıcıların istismar ettikleri bu güvenlik zafiyetini boşa çıkarmak ve sahte kredi kartı işlemlerinden dolayı e-ticaret şirketlerinin yaşadığı müşteri mağduriyetine etkili bir çözüm geliştirebilmek önem taşımaktadır. Bu motivasyonla bu çalışma kapsamında ilgili problem açısından çözüm uzayını detaylıca keşfedebilmek için farklı araştırma alanlarına ait yöntemlerin performansı mercek altına alınmıştır. Bu amaçla üç makine öğrenmesi algoritması (K-En Yakın Komşu, Naive Bayes, Destek Vektör Makinesi), iki yapay sinir ağı algoritması (İkili Sınıflandırıcı, Otomatik Kodlayıcı) ve iki derin öğrenme algoritması (Derin Otomatik Kodlayıcı ve Derin Sinir Ağı Sınıflandırıcısı) gerçeklenmiştir. Söz konusu algoritmaların etkinliği literatürde yaygın olarak kullanılan ünlü bir veri seti ile test edilmiştir. Deneysel sonuçlar Derin Sinir Ağı Sınıflandırıcısının sahte kredi kartı işlemlerinin tespiti noktasında bu çalışmada kullanılan diğer algoritmaları ve literatürde şu ana kadar rapor edilmiş en iyi çalışmayı doğruluk ve AUROC başarım ölçütleri dikkate alındığında geride bıraktığını göstermiştir.

Keywords

Kredi kartı sahteciliği, makine öğrenmesi, yapay sinir ağı, derin öğrenme, sınıflandırma, derin sinir ağı sınıflandırıcısı, AUROC, AUPRC

References

• An, J, Cho, S. (2015). “Variational autoencoder based anomaly detection using reconstruction probability”, Special Lecture on IE; 2(1): 1-18.
• Arı, A, Berberler, M, E. 2017. “Yapay sinir ağları ile tahmin ve sınıflandırma problemlerinin çözümü için arayüz tasarımı”, Acta Infologica; 1(2): 55-73.
• Awoyemi, J, O, Adetunmbi, A, O, Oluwadare, S, A. “Credit card fraud detection using machine learning techniques: A comparative analysis”, In 2017 International Conference on Computing Networking and Informatics (ICCNI), Lagos, Nigeria, 2017, pp. 1-9.
• Aydoğdu, Ü, R, Karamustafaoğlu, O, Bülbül, M, Ş. 2017. “Akademik Araştırmalarda Araştırma Yöntemleri ile Örneklem İlişkisi: Doğrulayıcı Doküman Analizi Örneği”, Dicle University Journal of Ziya Gokalp Education Faculty; (30): 556-565.
• Carcillo, F, Le Borgne, Y, A, Caelen, O, Bontempi, G. 2018a. “Streaming active learning strategies for real-life credit card fraud detection: assessment and visualization”, International Journal of Data Science and Analytics; 5(4): 285-300.
• Carcillo, F, Dal Pozzolo, A, Le Borgne, Y, A, Caelen, O, Mazzer, Y., Bontempi, G. 2018b. “Scarff: a scalable framework for streaming credit card fraud detection with spark”, Information fusion; 41: 182-194.
• Carcillo, F, Le Borgne, Y, A, Caelen, O, Kessaci, Y, Oblé, F, Bontempi, G. 2019. “Combining unsupervised and supervised learning in credit card fraud detection”, Information sciences.
• Dal Pozzolo, A, Boracchi, G, Caelen, O, Alippi, C, Bontempi, G. 2017. “Credit card fraud detection: a realistic modeling and a novel learning strategy”, IEEE transactions on neural networks and learning systems; 29(8): 3784-3797.
• Dal Pozzolo, A, Caelen, O, Johnson, R, A, Bontempi, G. “Calibrating probability with undersampling for unbalanced classification”, In 2015 IEEE Symposium Series on Computational Intelligence, Cape Town, South Africa, 2015, pp 159-166.
• Dal Pozzolo, A, Caelen, O, Le Borgne, Y, A., Waterschoot, S, Bontempi, G. 2014. “Learned lessons in credit card fraud detection from a practitioner perspective”, Expert systems with applications; 41(10): 4915-4928.
• Gitonga, J, T. 2018. “Fraud detection using machine leaning: a comparative analysis of neural networks & support vector machines”, Doctoral dissertation, Strathmore University.
• Gulati, P. 2020. “Hybrid Resampling Technique to Tackle the Imbalanced Classification Problem”.
• Gupta, S, Agrawal, A, Gopalakrishnan, K, Narayanan, P. “Deep learning with limited numerical precision”, In International Conference on Machine Learning, Lille, France, 2015, pp 1737-1746.
• Han, H, Lim, S, Suh, K, Park, S, Cho, S, J, Park, M. “Enhanced Android Malware Detection: An SVM-Based Machine Learning Approach”, In 2020 IEEE International Conference on Big Data and Smart Computing (BigComp), Busan, Korea (South), 2020, pp 75-81.
• Itoo, F, Singh, S. 2020. “Comparison and analysis of logistic regression, Naïve Bayes and KNN machine learning algorithms for credit card fraud detection”, International Journal of Information Technology, 1-9.
• Kaggle Machine Learning Group. “Credit Card Fraud Detection Dataset”, https://www.kaggle.com/mlg-ulb/creditcardfraud (accessed at 16.06.2020).
• Kaynar, O, Aydın, Z, Görmez, Y. 2017. “Sentiment analizinde öznitelik düşürme yöntemlerinin oto kodlayıcılı derin öğrenme makinaları ile karşılaştırılması”, Bilişim Teknolojileri Dergisi; 10(3): 319-326.
• Kaynar, O, Yıldız, M, Görmez, Y, Albayrak, A. “Makine öğrenmesi yöntemleri ile Duygu Analizi”, In International Artificial Intelligence and Data Processing Symposium (IDAP'16), Malatya, Turkey, 2016, pp 17-18.
• Kolter, J, Z, Maloof, M, A. 2006. “Learning to detect and classify malicious executables in the wild”, Journal of Machine Learning Research; 7: 2721-2744.
• Lakshmi, S, V, S, S, Kavilla, S, D. 2018. “Machine learning for credit card fraud detection system”, Int. J. Appl. Eng. Res.; 13(24): 16819-16824.
• Lebichot, B, Le Borgne, Y, A, He-Guelton, L, Oblé, F, Bontempi, G. “Deep-learning domain adaptation techniques for credit cards fraud detection”, In INNS Big Data and Deep Learning conference, Genova, Italy, 2019, pp 78-88.
• Li, J, Sun, L, Yan, Q, Li, Z, Srisa-an, W, Ye, H. 2018. “Significant permission identification for machine-learning-based android malware detection”, IEEE Transactions on Industrial Informatics; 14(7): 3216-3225.
• Liang, J, Liu, R. “Stacked denoising autoencoder and dropout together to prevent overfitting in deep neural network”, In 2015 8th International Congress on Image and Signal Processing (CISP), Shenyang, China, 2015, pp 697-701.
• Liu, H, Zhang, S. 2012. “Noisy data elimination using mutual k-nearest neighbor for classification mining”, Journal of Systems and Software; 85(5): 1067-1074.
• Lopez, C, C, U, Cadavid, A, N. “Machine learning classifiers for android malware analysis”, In 2016 IEEE Colombian Conference on Communications and Computing (COLCOM), Cartagena, Colombia, 2016, pp 1-6.
• Meker, T. 2018. “Credit card fraud detection analysis and machine learning application”, MEF Üniversitesi Fen Bilimleri Enstitüsü, İstanbul, Türkiye.
• Mukhandi, H. 2018. “Developing machine learning methods for network anomaly detection”, Master of Science Thesis, 2-3.
• Nielsen, M, A. “Neural networks and deep learning”, Determination Press, San Francisco, 2015.
• Osowski, S, Siwek, K, Markiewicz, T. “Mlp and svm networks-a comparative study”, In Proceedings of the 6th Nordic Signal Processing Symposium, Piscataway, NJ, USA, 2004, pp 37-40.
• Ravì, D, Wong, C, Deligianni, F, Berthelot, M, Andreu-Perez, J, Lo, B, Yang, G, Z. 2016. “Deep learning for health informatics”, IEEE journal of biomedical and health informatics; 21(1): 4-21.
• Schultz, M, G, Eskin, E, Zadok, F, Stolfo, S J. “Data mining methods for detection of new malicious executables”, In Proceedings 2001 IEEE Symposium on Security and Privac, Washington, DC, USA, 2001, pp 38-49.
• Shin, H, C, Orton, M, Collins, D, J, Doran, S, Leach, M, O. “Organ detection using deep learning”, In: Kevin Zhou S (ed) Medical image recognition, segmentation and parsing, 1rd edn, FL, United States. 2016, pp 123-153, Academic Press.
• Soylu, K. 2018. “Kredi kartı sahte işlem tespiti”, Ankara Üniversitesi Fen Bilimleri Enstitüsü, Ankara, Türkiye, Yüksek Lisans Tezi, 1-57.
• Şeker, A, Diri, B, Balık, H, H. 2017. “Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme”, Gazi Mühendislik Bilimleri Dergisi; 3(3): 47-64.
• Yousefi-Azar, M, Varadharajan, V, Hamey, L, Tupakula, U. “Autoencoder-based feature learning for cyber security applications”, In 2017 International joint conference on neural networks (IJCNN), Anchorage, AK, USA, 2017, pp. 3854-3861.
• Wang, X, Yang, Y, Zeng, Y, Tang, C, Shi, J, Xu, K. “A novel hybrid mobile malware detection system integrating anomaly detection with misuse detection”, In Proceedings of the 6th International Workshop on Mobile Cloud Computing and Services, Paris, France, 2015, pp 15-22.
• Wu, J, Cai, Z, Zhu, X. “Self-adaptive probability estimation for naive bayes classification”, In The 2013 International Joint Conference on Neural Networks (IJCNN), Dallas, TX, USA, 2013, pp 1-8.
• Varol, A, B, İşeri, İ. 2019. “Lenf Kanserine İlişkin Patoloji Görüntülerinin Makine Öğrenimi Yöntemleri ile Sınıflandırılması”, Avrupa Bilim ve Teknoloji Dergisi; 404-410.