Sentiment Analysis of Airline Customer Reviews Using Neural Network Language Models and Universal Sentence Encoder

Yıl 2025, Cilt: 37 Sayı: 1, 167 - 182, 27.03.2025

Semih Osman Saka , Zafer Cömert

Öz

Sentiment analysis represents a fundamental technique within the domain of natural language processing (NLP), employed for the purpose of discerning the emotional tenor of text-based data. Businesses may make strategic decisions by employing emotional insights derived from customer reviews to enhance customer satisfaction and improve service quality. In this study, a dataset comprising reviews from airline customers was employed. The dataset comprises the verification status, content, rating score, recommendation status, and sentiment analysis of each review, with a total of 1100 examples. The study examined four distinct models. The CNN-LSTM model was trained using a training-from-scratch strategy. Furthermore, two distinct neural network language models (Neural Network Language Model, NNLM) and the Universal Sentence Encoder (USE) were trained using a transfer learning approach. The CNN-LSTM model exhibited robust performance, achieving an accuracy rate of 92.06%. The nnlm-en-dim50 model achieved an accuracy rate of 90,87%, while the nnlm-en-dim128 model demonstrated a notably higher level of accuracy at 92.46%. The USE model exhibited the highest performance, with an accuracy rate of 95.63%. These findings suggest that deep learning and transfer learning techniques are effective tools for sentiment analysis. The study offers valuable insights into how businesses can utilize sentiment analysis technologies to enhance customer satisfaction and service quality. It is recommended that future studies investigate the performance of these models with different datasets and larger sample sizes.

Anahtar Kelimeler

Deep learning, artificial learning, natural language processing, sentiment analysis

Sinir Ağı Dil Modelleri ve Evrensel Cümle Kodlayıcı Kullanarak Havayolu Müşteri Yorumlarının Duygu Analizi

Öz

Duygu analizi, metin tabanlı verilerin duygusal tonlarını belirlemede kullanılan önemli bir doğal dil işleme (NLP) tekniğidir. İşletmeler, müşteri memnuniyetini artırmak ve hizmet kalitesini iyileştirmek için müşteri yorumlarından elde edilen duygusal içgörülerle stratejik kararlar alabilir. Bu çalışmada ise havayolu müşteri yorumlarından oluşan bir veri seti kullanılmıştır. Veri seti, her bir yorumun doğrulama durumu, içerik, değerlendirme puanı, öneri durumu, duygu analizini içermektedir ve toplamda 1100 örnekten oluşmaktadır. Çalışmada dört farklı model incelenmiştir. Bu modellerden CNN-LSTM, sıfırdan öğrenme stratejisiyle eğitilmiştir. Ayrıca, iki farklı sinir ağı dil modeli (Neural Network Language Model, NNLM) ve evrensel cümle kodlayıcı (Universal Sentence Encoder, USE) transfer öğrenme yaklaşımıyla eğitilmiştir. CNN-LSTM modeli %92,06 doğruluk oranı ile yüksek performans göstermiştir. nnlm-en-dim50 modeli %90,87 doğruluk oranı elde ederken, nnlm-en-dim128 modeli %92,46 doğruluk oranı ile öne çıkmıştır. En yüksek performansı ise %95,63 doğruluk oranı ile USE modeli göstermiştir. Bu sonuçlar, derin öğrenme ve transfer öğrenme tekniklerinin duygu analizinde etkili araçlar olduğunu göstermektedir. Çalışma, işletmelerin müşteri memnuniyetini artırmak ve hizmet kalitesini iyileştirmek için duygu analizi teknolojilerini nasıl etkin bir şekilde kullanabileceklerine dair önemli içgörüler sunmaktadır. Gelecek çalışmalarda, farklı veri setleri ve daha geniş örneklem büyüklükleri ile modellerin performanslarının daha detaylı incelenmesi önerilmektedir.

Anahtar Kelimeler

Derin öğrenme, yapay öğrenme, doğal dil işleme, duygu analizi

Kaynakça

• Cömert Ö, Yücel N. Müşteri Duyarlılığını Keşfetmek İçin Yapay Zeka Destekli Analiz ile Çevrimiçi Ürün İncelemelerinden Anlamlı Bilgiler Elde Etme. Fırat Üniversitesi Mühendislik Bilimleri Dergisi 2023; 35(2): 679-690.
• Uslu O, Akyol S. Türkçe Haber Metinlerinin Makine Öğrenmesi Yöntemleri Kullanılarak Sınıflandırılması. Estudam Bilişim Dergisi 2021; 2(1): 15–20.
• Tuzcu S. Çevrimiçi Kullanıcı Yorumlarının Duygu Analizi ile Sınıflandırılması. Estudam Bilişim Dergisi 2020; 1(2): 1–5.
• Acı Ç, Çırak A. Türkçe Haber Metinlerinin Konvolüsyonel Sinir Ağları ve Word2Vec Kullanılarak Sınıflandırılması. Bilişim Teknolojileri Dergisi 2019; 12(3): 219-228.
• Demircan M, Seller A, Abut F, Akay MF. Developing Turkish sentiment analysis models using machine learning and e-commerce data. Int J Cognit Comput Eng 2021; 2: 202-207.
• Chen H, Wu L, Chen J, Lu W, Ding J. A comparative study of automated legal text classification using random forests and deep learning. Inf Process Manag 2022; 59(2): 102798.
• Barfar A. A linguistic/game-theoretic approach to detection/explanation of propaganda. Expert Syst Appl 2022; 189: 116069.
• Liu Y, Li P, Hu X. Combining context-relevant features with multi-stage attention network for short text classification. Comput Speech Lang 2022; 71: 101268.
• Colón-Ruiz C, Segura-Bedmar I. Comparing deep learning architectures for sentiment analysis on drug reviews. J Biomed Inform 2020; 110: 103539.
• Wang R, Li Z, Cao J, Chen T, Wang L. Convolutional recurrent neural networks for text classification. In: IEEE 2019 International Joint Conference on Neural Networks (IJCNN);14-17 July 2019; Budapest, Hungary. pp. 1-6.
• Onan A, Korukoǧlu S, Bulut H. Ensemble of keyword extraction methods and classifiers in text classification. Expert Syst Appl 2016; 57: 232-247.
• Göker H, Tekedere H. FATİH Projesine Yönelik Görüşlerin Metin Madenciliği Yöntemleri İle Otomatik Değerlendirilmesi. Bilişim Teknolojileri Dergisi, 10(3), 291-299.
• Kılınç D, Borandağ E, Yücalar F, Tunalı V, Şimşek M, Özçift A. KNN Algoritması ve R Dili ile Metin Madenciliği Kullanılarak Bilimsel Makale Tasnifi. Marmara Fen Bilimleri Dergisi 2016; 28(3): 89-94.
• Kowsari K, Brown DE, Heidarysafa M, Jafari Meimandi K, Gerber MS, Barnes LE. HDLTex: Hierarchical Deep Learning for Text Classification. In 2017 16th IEEE International Conference on Machine Learning and Applications; 18-21 December 2017; Cancun, Mexico. pp. 364-371.
• Alparslan G, Dursun M. Konvolüsyonel Sinir Ağları Tabanlı Türkçe Metin Sınıflandırma. Bilişim Teknolojileri Dergisi 2023; 16(1): 21-31.
• Guo B, Han S, Han X, Huang H, Lu T. Label Confusion Learning to Enhance Text Classification Models. In: AAAI 2021 35th AAAI Conference on Artificial Intelligence; 2021; AAAI. Vol 14B. pp. 12929-12936.
• Alzoubi YI, Topcu AE, Erkaya AE. Machine Learning-Based Text Classification Comparison: Turkish Language Context. Appl Sci 2023; 13(16): 9428.
• T Kaşıkçı T, Gökçen H. Metin Madenciliği İle E-Ticaret Sitelerinin Belirlenmesi. Bilişim Teknolojileri Dergisi. 2013;7(1):0.
• Hajibabaee P, Malekzadeh M, Ahmadi M, Heidari M, Esmaeilzadeh A, Abdolazimi R, James Jr H. Offensive Language Detection on Social Media Based on Text Classification. In: IEEE 12th Annual Computing and Communication Workshop and Conference (CCWC); 26-29 Jan 2022; Las Vegas, NV, USA. pp. 92-98 .
• Gürbüz M, Sürmeli D, Taşkın K, Cebeci Hİ. Otellere için paylaşılan çevre ile alakalı yorumların metin madenciliği ile analizi: Antalya otelleri üzerine bir araştırma. Business & Management Studies: An International Journal 2024; 12(1): 218-239.
• Neogi AS, Garg KA, Mishra RK, Dwivedi YK. Sentiment analysis and classification of Indian farmers’ protest using twitter data. Int J Inf Manage Data Insights 2021; 1(2): 100019.
• Çelik Ö, Koç BC. TF-IDF, Word2vec ve Fasttext Vektör Model Yöntemleri ile Türkçe Haber Metinlerinin Sınıflandırılması. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi 2021; 23(67): 121-127.
• Soni S, Chouhan SS, Rathore SS. TextConvoNet: a convolutional neural network based architecture for text classification. Appl Intell 2023; 53(11): 14249-14268.
• Jang B, Kim M, Harerimana G, Kang SU, Kim JW. Bi-LSTM model to increase accuracy in text classification: Combining word2vec CNN and attention mechanism. Appl Sci 2020; 10(17): 5841.
• Lai S, Xu L, Liu K, Zhao J. Recurrent convolutional neural networks for text classification. In: Proceedings of the National Conference on Artificial Intelligence; 2015. AAAI.
• Gasparetto A, Marcuzzo M, Zangari A, Albarelli A. Survey on Text Classification Algorithms: From Text to Predictions. Information 2022; 13(2): 1-39.
• Chen Z, Zhou LJ, Li X Da, Zhang JN, Huo WJ. The Lao text classification method based on KNN. Procedia Comput Sci 2020; 166:523-528.
• Bahassine S, Madani A, Al-Sarem M, Kissi M. Feature selection using an improved Chi-square for Arabic text classification. J King Saud Univ Comput Inf Sci 2020; 32(2): 225-231.
• Reusens M, Stevens A, Tonglet J, De Smedt J, Verbeke W, Vanden Broucke S, Baesens B. Evaluating text classification: A benchmark study. Expert Syst Appl 2024; 254:124302.
• Wang H, He J, Zhang X, Liu S. A Short Text Classification Method Based on N ‐Gram and CNN. Chin J Electron 2020; 29(2): 248-254.
• Bhattacharya S, Shankar BG, Pitchaimanickam B, Nithya AA. Toxic Comments Classification using LSTM and CNN. In: 2024 3rd International Conference on Applied Artificial Intelligence and Computing (ICAAIC); 5-7 June 2024; Salem, India. pp.214-221.
• İlkuçar M, Artun C, Misafir Yorumlarının Makine Öğrenmesi Yardımıyla Duygu Analizi: Fethiye Beş Yıldızlı Oteller Örneği. J Bus Digit Age 2023; 6: 33–41.
• Syed AA. Airline reviews dataset for Abstractive Summarization and Sentiment Classification. Mendeley Data 2023; doi: 10.17632/pc6fxc95h5.1 .
• Budak Ü, Cömert Z, Çıbuk M, Şengür A. DCCMED-Net: Densely connected and concatenated multi Encoder-Decoder CNNs for retinal vessel extraction from fundus images. Med Hypotheses 2020; 134:109426.
• Togacar M, Comert Z, Ergen B, Budak U. Brain Hemorrhage Detection based on Heat Maps, Autoencoder and CNN Architecture. In: 2019 1st International Informatics and Software Engineering Conference; 6-7 November 2019; Ankara, Türkiye. pp. 1-5.
• Toğaçar M, Ergen B, Cömert Z. Classification of flower species by using features extracted from the intersection of feature selection methods in convolutional neural network models. Measurement 2020; 158:107703.
• Toğaçar M, Cömert Z, Ergen B. Intelligent skin cancer detection applying autoencoder, MobileNetV2 and spiking neural networks. Chaos Solitons Fractals 2021; 144:110714.
• Budak Ü, Çıbuk M, Cömert Z, Şengür A. Efficient COVID-19 Segmentation from CT Slices Exploiting Semantic Segmentation with Integrated Attention Mechanism. J Digit Imaging 2021; 34: 263–272.
• Toğaçar M, Ergen B, Cömert Z. BrainMRNet: Brain tumor detection using magnetic resonance images with a novel convolutional neural network model. Med Hypotheses 2020; 134:109531.
• AL-Smadi M, Hammad MM, Al-Zboon SA, AL-Tawalbeh S, Cambria E. Gated recurrent unit with multilingual universal sentence encoder for Arabic aspect-based sentiment analysis. Knowl Based Syst 2023; 261:107540.