Sentiment Analysis Based on Google Comments with Machine Learning Methods and Amazon Comprehend: The Case of a University in Central Anatolia

Year 2023, Volume: 6 Issue: 4, 452 - 461, 20.12.2023

Mustafa Demirbilek , Sevim Özulukale Demirbilek

https://doi.org/10.32329/uad.1383794

Cited By: 1

Abstract

Sentiment analysis, also known as opinion mining, is a natural language processing technique that involves identifying and categorizing the emotional tone, sentiment, or subjective information expressed in text data. Analyzing a large number of comments and reviews generated through social media platforms enables analysis in various fields, from healthcare to manufacturing, education to services, particularly for organizations operating in highly competitive environments to project future outcomes. In this study, a sentiment analysis is conducted for comments made on a state university through Google. The comments are transferred to MS Excel using web scraping techniques and underwent data preprocessing. They are evaluated using both important supervised machine learning methods like Logistic Regression, Gaussian Naive Bayes, and Support Vector Machine as well as an advanced ensemble learning method as CatBoost. Additionally, LSTM, a deep learning method commonly used in sentiment analysis studies in the literature and Amazon’s AWS Comprehend service are used in the analysis comments. The results are compared with frequently used performance metrics in the literature, and for all the methods, the success rate exceeds 80%. This demonstrates that all selected machine learning techniques and AWS Comprehend can be successfully applied. AWS Comprehend provided the best results in terms of all metrics except sensitivity.

Keywords

Sentiment Analysis, Machine Learning, Deep Learning, AWS Comprehend, Google Reviews, University

Google Yorumları Üzerinden Makine Öğrenme Yöntemleri ve Amazon Comprehend ile Duygu Analizi: İç Anadoluda Bir Üniversite Örneği

Abstract

Fikir madenciliği olarak da bilenen duygu analizi, metin verilerinde ifade edilen duygusal tonu, duyguyu veya öznel bilgiyi belirleme ve sınıflandırma işini içeren doğal dil işleme tekniğidir. Sosyal medya platformları aracılığı ile üretilen çok fazla sayıda yorum ve değerlendirmenin analizinin yapılabilmesi, sağlıktan üretime, eğitimden hizmete kadar pek çok alanda, yüksek rekabet şartlarında faaliyet gösteren kurumların gelecek projeksiyonu için önem arz etmektedir. Bu çalışmada, bir devlet üniversitesi hakkında Google üzerinden yapılan yorumlar için duygu analizi çalışması yapılmıştır. Web kazıma tekniği ile MS Excel’e aktarılan yorumlar, ön işleme sürecine tutulduktan sonra hem Lojistik Regresyon, Gaussian Naive Bayes ve Destek Vektör Makinesi gibi önemli denetimli makine öğrenmesi metotlarıyla hem de CatBoost gibi gelişmiş birleşik öğrenme metoduyla değerlendirilmiştir. Bununla beraber literatürde duygu analizi çalışmalarında sıkça kullanılan derin öğrenme metodu olan LSTM ve Amazon firmasının duygu analizi çalışmaları için kullanıcılara açtığı AWS Comprehend servisi, yorumların analizi ve modellenmesinde kullanılmıştır. Literatürde sıkça kullanılan performans metrikleriyle sonuçlar karşılaştırılmıştır. Kullanılan yöntemler için tüm performans metrikleri üzerinden başarı oranı %80’in üstünde çıkmıştır. Bu da duygu analizi için seçilen tüm makine öğrenmesi tekniklerinin ve AWS Comprehend’in başarılı bir şekilde uygulanabileceğini göstermektedir. Duyarlılık hariç tüm metrikler bakımından en iyi sonucu AWS Comprehend uygulaması vermiştir.

Keywords

Duygu Analizi, Makine Öğrenmesi, Derin Öğrenme, AWS Comprehend, Google Yorumları, Üniversite

Ethical Statement

Bu çalışma için etik kurul onayına gerek yoktur.

References

• Adalı, E. (2012). Doğal Dil İşleme. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 5(2).
• Agarwal, A., Xie, B., Vovsha, I., Rambow, O., & Passonneau, R. (2011). Sentiment Analysis of Twitter Data. LSM ‘11 Proceedings of the Workshop on Languages in Social Media, 30-38.
• Aksu, M. Ç., & Karaman, E. (2022). Turistik Mekanlara Yönelik Sosyal Medya Paylaşımlarının Yapay Zekâ Yöntemleriyle Değerlendirilmesi: Artvin İli Örneği. Journal of Tourism and Gastronomy Studies, 10(1), 505-524. http://doi.org/10.21325/jotags.2022.1001.
• Bird, S., Klein, E., & Loper, E. (2009). Natural Language Processing with Python: O’Reilly Media, Inc. ISBN: 9780596516499
• AWS, (2023), https://aws.amazon.com/tr/comprehend/. Erişim Tarihi: 20/05/2023.
• BrightLocal, (2018). Comparison of Local Review Sites: Which Platform Is Growing the Fastest? https://www.brightlocal.com/research/comparison-oflocal-review-sites/. Erişim Tarihi: 20/05/2023.
• Büyükeke, A., Sökmen, A., & Gencer, C. (2020). Metin Madenciliği ve Duygu Analizi Yöntemleri ile Sosyal Medya Verilerinden Rekabetçi Avantaj Elde Etme: Turizm Sektöründe Bir Araştırma. Journal of Tourism and Gastronomy Studies, 8(1), 322-335. http://doi.org/10.21325/jotags.2020.550
• CatBoost. (2023). https://catboost.ai/. Erişim Tarihi: 20/05/2023.
• Cross Validation in Machine Learning, (2023). https://www.geeksforgeeks.org/cross-validation-machine-learning/. Erişim Tarihi: 20/05/2023.
• Doaa Mohey El-Din Mohamed, H. (2018). A survey on sentiment analysis challenges. Journal of King Saud University - Engineering Sciences, 30(4), 330-338. https://doi.org/10.1016/j.jksues.2016.04.002
• Dorogush, A. V., Ershov, V., & Gulin, A. (2018). CatBoost: Gradient Boosting with Categorical Features Support. arXiv:1810.11363v1, 1-7.
• Géron, A. (2022). Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (3rd Edition ed.): O’Reilly Media, Inc. ISBN: 9781098125974.
• Giachanou, A., & Crestani, F. (2016). Like it or not: A survey of twitter sentiment analysis methods. ACM Computing Surveys (CSUR), 49(2), 1-41. https://doi.org/10.1145/2938640.
• Gündüz, H. (2023). Derin Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri ve Destek Vektör Makineleri ile Türkçe Film Yorumları Üzerine Duygu Analizi. KSÜ Mühendislik Bilimleri Dergisi, 26(2), 542-549. https://doi.org/10.17780/ksujes.1241043.
• Instant Data Scraper, (2023). https://chrome.google.com/webstore/detail/instant-data-scraper/ofaokhiedipichpaobibbnahnkdoiiah. Erişim Tarihi: 20/05/2023.
• Jahromi, A. H., & Taheri, M. (2017). A Non-Parametric Mixture of Gaussian Naive Bayes Classifiers Based on Local İndependent Features. Paper presented at the 2017 Artificial Intelligence and Signal Processing Conference (AISP), Shiraz, Iran. https://doi.org/10.1109/AISP.2017.8324083.
• Kaynar, O., Görmez, Y., Yıldız, M., & Albayrak, A. (2016). Makine Öğrenmesi Yöntemleri ile Duygu Analizi. Paper presented at the In International Artificial Intelligence and Data Processing Symposium (IDAP’16), Malatya/TURKEY.
• Korkmaz, A., Aktürk, C., & Talan, T. (2023). Analyzing the User’s Sentiments of ChatGPT Using Twitter Data. Iraqi Journal For Computer Science and Mathematics, 4(2), 202-214. http://dx.doi.org/10.52866/ijcsm.2023.02.02.018.
• Köksal, B., Erdem, G., Türkeli, C., & Kamışlı Öztürk, Z. (2021). Twitter’da Duygu Analizi Yöntemi Kullanılarak Bitcoin Değer Tahminlemesi. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 9, 280-297. doi:10.29130/dubited.792909
• Lee, K., & Yu, C., (2018). Assessment of airport service quality: a complementary approach to measure perceived service quality based on Google reviews. J. Air Transp. Manag. 71, 28–44. https://doi.org/10.1016/j.jairtraman.2018.05.004.
• Mathayomchan, B., & Taecharungroj, V. (2020). “How was your meal?” Examining customer experience using Google maps reviews. International Journal of Hospitality Management, 90, 102641. https://doi.org/10.1016/j.ijhm.2020.102641.
• Medhat, W., Hassan, A., & Korashy, H. (2014). Sentiment Analysis Algorithms and Applications: A Survey. Ain Shams Engineering Journal, 5, 1093-1113. http://dx.doi.org/10.1016/j.asej.2014.04.011
• Multiclass Classification Using Support Vector Machines, (2023). https://www.baeldung.com/cs/svm-multiclass-classification. Erişim Tarihi: 23/06/2023.
• Nasukawa, T., & Yi, J. (2003). Sentiment Analysis: Capturing Favorability Using Natural Language Processing. Paper presented at the Proceedings of the 2nd International Conference on Knowledge Capture (K-CAP), Florida. https://doi.org/10.1145/945645.945658.
• NLTK, (2023). https://www.nltk.org/. Erişim Tarihi: 20/05/2023.
• Online Reviews Statistics and Trends: A 2022 Report by ReviewTrackers, https://www.reviewtrackers.com/reports/online-reviews-survey/, Erişim tarihi: 06.07.2023
• Öztürk, S. (2022). Bipolar Bozukluk Manik Atak Tanılı Hastaların Atak Şiddetinin Video Tabanlı Duygu Analizi ile Değerlendirilmesi. (Doktora Tezi), Trakya Üniversitesi Edirne.
• Ross, P. (2022), What Every Small Business Needs to Know About Google Reviews, https://www.forbes.com/sites/allbusiness/2022/07/27/what-every-small-business-needs-to-know-about-google-reviews/?sh=41d1b9995e18, (Erişim tarihi: 06.07.20123)
• Qaisi, L. M., & Aljarah, I. (2016, July). A twitter sentiment analysis for cloud providers: A case study of Azure vs. AWS. In 2016 7th International Conference on Computer Science and Information Technology (CSIT) (pp. 1-6). IEEE. https://doi.org/10.1109/CSIT.2016.7549473.
• Rish, I. (2001). An Empirical Study of The Naive Bayes Classifier. Paper presented at the In IJCAI 2001 workshop on empirical methods in artificial intelligence.
• Srinivas, A. C. M. V., Satyanarayana, C., Divakar, C., & Sirisha, K. P. (2021, February). Sentiment analysis using neural network and LSTM. In IOP conference series: materials science and engineering (Vol. 1074, No. 1, p. 012007). IOP Publishing. http://doi.org/10.1088/1757-899X/1074/1/012007.
• Taecharungroj, V. (2019). User-generated place brand identity: harnessing the power of content on social media platforms. J. Place Manag. Dev. 12 (1), 39–70. ISSN: 1753-8335.
• Tsytsarau, M., & Palpanas, T. (2012). Survey on mining subjective data on the web. Data Mining and Knowledge Discovery, 24(3), 478-514. doi:10.1007/s10618-011-0238-6
• Tuna, M. F. (2022). Mobil Uygulama Müşteri Geri Bildirimindeki Duyguların Makine Öğrenmesi Yöntemleriyle Sınıflandırılması. Journal of Business and Communication Studies, 1(1), 83-103. http://dx.doi.org/10.29228/jobacs.63080
• Tuna, M. F., Kaynar, O. ve Akdoğan, M. Ş. (2021). Otellere İlişkin Çevrimiçi Geribildirimlerin Makine Öğrenmesi Yöntemleriyle Duygu Analizi. İşletme Araştırmaları Dergisi, 13(3), 2232-2241. https://doi.org/10.20491/isarder.2021.1258
• Uyaroğlu Akdeniz, F. N., & Cebeci, H. İ. (2021). Belediye Hizmetlerin Değerlendirilmesinde Duygu Analizi Yaklaşımı: Sakarya İli Örneği. Zeki Sistemler Teori ve Uygulamaları Dergisi, 4(2), 127-135. doi:10.38016/jista.932762
• What Is CatBoost. (2023). https://builtin.com/machine-learning/catboost. Erişim Tarihi: 20/05/2023.
• Yüksel, A. S., & Tan, F. G. (2018). Metin Madenciliği Teknikleri ile Sosyal Ağlarda Bilgi Keşfi. Mühendislik Bilimleri ve Tasarım Dergisi, 6(2), 324-333. doi:http://dx.doi.org/ 10.21923/jesd.384791
• Zeng, B. (2013). Social Media in Tourism. J Tourism Hospit 2(1), 1-2. http://dx.doi.org/10.4172/2167-0269.1000e125