Çevrimiçi Sosyal Ağlarda Nefret Söylemi Tespiti için Yapay Zeka Temelli Algoritmaların Performans Değerlendirmesi

Yıl 2021, Cilt: 33 Sayı: 2, 745 - 754, 15.09.2021

Vahtettin Cem Baydoğan , Bilal Alatas

https://doi.org/10.35234/fumbd.986500

Cited By: 5

Öz

Çevrimiçi sosyal medya araçlarının kullanımının artması Nefret Söylemi (NS) başta olmak üzere birçok sosyal ağ problemini beraberinde getirmiştir. Sosyal ağlarda hızla yayılan NS içeren yazı, resim, kışkırtıcı karikatür, tweet, post vb. iletiler ifade özgürlüğünün ötesine geçmektedir. Dahası bir olayı, rejimi, etnik kökeni, cinsiyet ayrımcılığını, krizi, gündemi vb. durumları hedef alan ve kontrolsüz bir şekilde yayılan bu içerikler insanlar arasında korku ve endişeye sebep olmaktadır. Bu problemlerin çözümü için çalışmada önerilen NS tespit sisteminin geliştirilmesi son derece kritiktir. Önerilen NS tespit sisteminde, sosyal ağlar üzerinde paylaşılan NS tweetlerin otomatik tespiti için yapay sinir ağları ve makine öğrenmesi yöntemlerinden oluşan yapay zeka temelli algoritmalar kullanıldı. Çalışmanın ilk adımında seçilen veri seti üzerinde temel doğal dil işleme teknikleri uygulandı. Ardından, veri setinin temsili için kelime çantası (BoW), terim frekansı (TF) ve terim doküman matris (t-DM) gibi özellik çıkarım teknikleri gerçekleştirildi. Naif Bayes, Destek Vektör Makinesi, iki farklı Karar Ağacı ve Çok Katmanlı Algılayıcı olmak üzere beş farklı yapay zeka temelli algoritma ile NS tespit sistemi tamamlandı. Önerilen sistemin güvenilirliğini kanıtlamak için farklı eğitim ve test teknikleri kullanılarak performans değerlendirme metrikleri hesaplandı. Farklı test teknikleriyle en yüksek doğruluk değeri Karar Ağaçları ve Çok Katmanlı Algılayıcılar tarafından %80 olarak elde edildi. Önerilen NS tespit sistemine ait diğer tüm deney sonuçları tablo ve grafiklerle ayrıntılı bir şekilde Bölüm 4'de sunulmuştur. Ulaşılan umut verici sonuçlar birçok farklı sosyal ağ problemlerinin çözümü için önerilen otomatik tespit sisteminin kullanılabileceğini göstermektedir.

Anahtar Kelimeler

Doğal Dil İşleme, Makine Öğrenmesi, Nefret Söylemi Tespiti, Sosyal Medya, Yapay Zekâ.

Kaynakça

• [1] Baydogan C, Alatas B. Metaheuristic Ant Lion and Moth Flame Optimization-Based Novel Approach for Automatic Detection of Hate Speech in Online Social Networks. IEEE Access, 2021; Vol. 9: 110047-110062.
• [2] MacAvaney S, Yao HR, Yang E, Russell K, Goharian N, Frieder O. Hate speech detection: Challenges and solutions. PloS one, 2019; 14(8): e0221152.
• [3] Gitari ND, Zuping Z, Damien H, Long J. A lexicon-based approach for hate speech detection. International Journal of Multimedia and Ubiquitous Engineering, 2015; 10(4): 215-230.
• [4] Köffer S, Riehle DM, Höhenberger S, Becker J. Discussing the value of automatic hate speech detection in online debates. Multikonferenz Wirtschaftsinformatik (MKWI 2018): Data Driven X-Turning Data in Value, 2018.
• [5] Waseem Z, Thorne J, Bingel J. Bridging the gaps: Multi task learning for domain transfer of hate speech detection. In Online harassment, Springer, Cham. 2018; 29-55.
• [6] Badjatiya P, Gupta M, Varma V. Stereotypical bias removal for hate speech detection task using knowledge-based generalizations. In The World Wide Web Conference, 2019; 49-59.
• [7] Mossie Z, Wang JH. Social network hate speech detection for Amharic language. Computer Science & Information Technology, 2018; 41-55.
• [8] Miok K, Škrlj B, Zaharie D, Robnik-Šikonja, M. To ban or not to ban: Bayesian attention networks for reliable hate speech detection. Cognitive Computation, 2021; 1-19.
• [9] Robinson D, Zhang Z, Tepper J. Hate speech detection on twitter: Feature engineering vs feature selection. In European Semantic Web Conference Springer, Cham, 2018; 46-49.
• [10] Korzeniowski R, Rolczyński R, Sadownik P, Korbak T, Możejko M. Exploiting Unsupervised Pre-training and Automated Feature Engineering for Low-resource Hate Speech Detection in Polish. arXiv preprint, 2019; arXiv:1906.09325.
• [11] Ombui E, Muchemi L, Wagacha P. Hate speech detection in code-switched text messages. In 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT - IEEE), 2019; 1-6.
• [12] Abro S, Shaikh ZS, Khan S, Mujtaba G, Khand ZH. Automatic Hate Speech Detection using Machine Learning: A Comparative Study. International Journal of Advanced Computer Science and Applications(IJACSA), 2020; 10(6): 484-491.
• [13] Pathak V, Joshi M, Joshi P, Mundada M, Joshi T. KBCNMUJAL@ HASOC-Dravidian-CodeMix-FIRE2020: Using Machine Learning for Detection of Hate Speech and Offensive Code-Mixed Social Media text. arXiv preprint arXiv:2102.09866, 2021.
• [14] Omar A, Mahmoud TM, Abd-El-Hafeez T. Comparative performance of machine learning and deep learning algorithms for Arabic hate speech detection in osns. In: The International Conference on Artificial Intelligence and Computer Vision. Springer, Cham, 2020; 247-257.
• [15] Fauzi MA, Yuniarti A. Ensemble method for indonesian twitter hate speech detection. Indonesian Journal of Electrical Engineering and Computer Science, 2018; 11(1): 294-299.
• [16] Plaza-del-Arco FM, Molina-González MD, Ureña-López LA, Martín-Valdivia MT. Comparing pre-trained language models for Spanish hate speech detection. Expert Systems with Applications, 2021; 166: 114120.
• [17] Bohra A, Vijay D, Singh V, Akhtar SS, Shrivastava M. A dataset of hindi-english code-mixed social media text for hate speech detection. In Proceedings of the second workshop on computational modeling of people’s opinions, personality, and emotions in social media, 2018; 36-41.
• [18] Alshalan R, Al-Khalıfa H. A deep learning approach for automatic hate speech detection in the saudi twittersphere. Applied Sciences, 2020; 10(23): 8614.
• [19] Al-Makhadmeh Z, Tolba A. Automatic hate speech detection using killer natural language processing optimizing ensemble deep learning approach, Computing, 2020; 102(2): 501-522.
• [20] Zhou Y, Yang Y, Liu H, Liu X, Savage N. Deep learning based fusion approach for hate speech detection. IEEE Access, 2020; 8: 128923-128929.
• [21] Pitsilis GK, Ramampıaro H, Langseth H, Effective hate-speech detection in Twitter data using recurrent neural networks. Applied Intelligence, 2018; 48(12): 4730-4742.
• [22] Roy PK, Tripathy AK, Das TK, Gao XZ. A Framework for Hate Speech Detection Using Deep Convolutional Neural Network. IEEE Access, 2020; 8: 204951-204962.
• [23] Ayo FE, Folorunso O, Ibharalu FT, Osinuga IA. Machine learning techniques for hate speech classification of twitter data: State-of-the-art, future challenges and research directions. Computer Science Review, 2020; 38: 100311.
• [24] Pitropakis N, Kokot K, Gkatzia D, Ludwiniak R, Mylonas A, Kandias M. Monitoring Users’ Behavior: Anti-Immigration Speech Detection on Twitter. Machine Learning and Knowledge Extraction, 2020; 2(3): 192-215.
• [25] Garain A, Basu A. The titans at SemEval-2019 task 5: Detection of hate speech against immigrants and women in twitter. In Proceedings of the 13th International Workshop on Semantic Evaluation, 2019; 494-497.
• [26] https://www.kaggle.com/usharengaraju/dynamically-generated-hate-speech-dataset.
• [27] Kibriya AM, Frank E, Pfahringer B, Holmes G. Multinomial Naive Bayes for Text Categorization Revisited. Advances in Artificial Intelligence. 2004; 3339: 488-499.
• [28] Chih-Chung C, Chih-Jen L. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011; 2(27):1-27.
• [29] Kumar A, Kaur P, Sharma P. A survey on Hoeffding tree stream data classification algorithms. CPUH-Res. J, 2015; 1(2): 28-32.
• [30] Frank E, Witten IH. Generating accurate rule sets without global optimization. In fifteenth international conference on machine learning, 1998; 144-151.
• [31] Roul RK, Asthana SR, Kumar G. Study on suitability and importance of multilayer extreme learning machine for classification of text data. Soft Computing, 2017; 21(15): 4239-4256.
• [32] Baydogan C, Alatas B. Detection of Customer Satisfaction on Unbalanced and Multi-Class Data Using Machine Learning Algorithms. In 2019 1st International Informatics and Software Engineering Conference (UBMYK - IEEE), 2019; 1-5.
• [33] Baydogan C, Alatas B. Sentiment analysis using Konstanz Information Miner in social networks. In 6th International Symposium on Digital Forensic and Security (ISDFS - IEEE), 2018; 1-5.