Kelime Temsil Yöntemleri ile Kelime Benzerliklerinin İncelenmesi

Year 2019, Volume: 34 Issue: 2, 181 - 196, 30.06.2019

Murat Aydoğan , Ali Karcı

https://doi.org/10.21605/cukurovaummfd.609119

Cited By: 6

Abstract

Günümüzde büyük veri alanında meydana gelen gelişmelerle birlikte günlük işlenebilir durumda olan veri miktarı oldukça büyük boyutlara ulaşmıştır. Bu verilerin çok büyük bir kısmının metin (text) verilerinden oluşması, metin işleme alanında yapılan çalışmaları oldukça önemli ve popüler bir hale getirmiştir. Ancak bu alanda yapılan çalışmalar incelendiğinde başta İngilizce olmak üzere birçok dünya diline yönelik çeşitli çalışmalar yapılırken, Türkçeye özgü yapılan çalışmaların istenilen sayıda olmadığı görülmüştür. Bu nedenle bu çalışma için, python ortamı kütüphanelerinden biri olan Beautiful Soup kütüphanesi kullanılarak Türkçe metinlerden oluşan büyük bir derlem oluşturulmuştur. Bu çalışmada, kelimeleri vektör uzayında her bir kelimenin bir vektörle temsil edildiği yeni bir yaklaşım olan Word2Vec modeli algoritmalarından CBOW ve Skip-Gram algoritmaları ile Glove modeli kullanılmıştır. Oluşturulan derlem üzerinde Word2Vec yöntemi ile Türkçe kelimelerden oluşan ve bu kelimeler arasındaki anlamsal ilişkileri tespit etmeye çalışan bir model geliştirilmiş ve diğer modeller ile başarımı ve eğitim süreleri kıyaslanmıştır. Ayrıca çalışmanın bir diğer katkısı ise modelin performansını artırmak için Türkçe için etkisiz kelimeler listesi oluşturulmasıdır. Geliştirilen bu model ile özellikle Türkçe metin sınıflandırma problemlerinde daha yüksek bir sınıflandırma başarımının yakalanması hedeflenmektedir. Bu çalışma kapsamında oluşturulan model analiz edilip yakın anlamlı kelimeler incelendiğinde oldukça başarılı performans gösterdiği tespit edilmiştir. Veriseti ve kelime vektörleri Türkçe çalışmalara katkı sağlamak için erişime açık olarak paylaşılacaktır. 

 

Keywords

Doğal dil işleme, Kelime temsili, Word2Vec, GloVe

Investigation of Word Similarities with Word Embedding Methods

Abstract

Nowadays, the amount of data that can be processed daily has reached quite big dimensions with the developments in the big data. The fact that a large part of this data consists of text data has made the studies in the field of text processing very important and popular. However, when the studies in this area are examined, it has been observed that while various studies are carried out for many World languages, especially English, there are no desired number of studies conducted in Turkish. Therefore, a large corpus of Turkish texts was created using the Beautiful Soup library, one of the python environment libraries. In this study, CBOW and Skip-Gram algorithms from Word2Vec model algorithms and Glove model were used where each word is represented with a vector in the vector space. In this study, a model which consists of Word2Vec method and Turkish words and tries to detect the semantic relations between these words has been developed and the performance and training times have been compared with other models. In addition, another contribution of this study to improve the performance of the model to create a list of stop words for Turkish. With this model, it is aimed to achieve a higher classification performance especially for Turkish text classification problems. After analyzing the model formed within the scope of this study, it was detected that it showed a very successful performance when close words were examined. The dataset and word vectors will be shared with the public to provide contributions to Turkish studies. 

Keywords

Natural language processing, Word embedding, Word2Vec, GloVe

References

• 1. Kaytan, M., Hanbay, D., 2017. Effective Classification of Phishing Web Pages Based on New Rules by Using Extreme Learning Machines. Anatolian Science-Bilgisayar Bilimleri Dergisi, 2(1), 15-36.
• 2. Adalı, E., 2012. Doğal Dil İşleme. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 5, 2.
• 3. Amasyalı, M.F., Çetin, M., Akbulut, C., 2013. Metinlerin Anlamsal Uzaydaki Temsil Yöntemlerinin Sınıflandırma Performansına Etkileri, Sigma, 5, 8-14.
• 4. Polat, H., Körpe, M. 2018. TBMM Genel Kurul Tutanaklarından Yakın Anlamlı Kavramların Çıkarılması. International Journal of Informatics Technologies, 11, 3.
• 5. Sen, M.U., Erdogan, H., 2014. Learning Word Representations for Turkish. In Signal Processing and Communications Applications Conference (SIU), 22nd 1742-1745. IEEE.
• 6. Gözükara, F., Özel, S.A., 2016. Türkçe ve İngilizce Yorumların Duygu Analizinde Doküman Vektörü Hesaplama Yöntemleri için Bir Deneysel İnceleme. Çukurova Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 31(2), 464-482.
• 7. Güngör, O., Yıldız, E., 2017. Linguistic Features in Turkish Word Representations. In Signal Processing and Communications Applications Conference (SIU), 25th 1-4. IEEE.
• 8. Şahin, G., 2017. Turkish Document Classification Based on Word2Vec and SVM Classifier. In Signal Processing and Communications Applications Conference (SIU), 25th, 1-4. IEEE.
• 9. Mikolov, T., Chen, K., Corrado, G., Dean, J., 2013. Efficientestimation of Word Representations in Vectorspace, arXiv:1301.3781.
• 10. Le, Q., Mikolov, T., 2014. Distributed representations of sentences and documents. 31th International Conference on Machine Learning, China.
• 11. Mikolov T., Sutskever, I., Chen, K., 2013. 0010, Corrado, G., Dean, J., 2013. Distributed Representations of Words and Phrases and their Compositionality, AAAI Spring Symposium AI Technologies for Homeland Security 200591-98, cs.CL, 3111-3119.
• 12. Şenel, L.K., Yücesoy, V., Koç, A., Çukur, T., 2018. Interpretability Analysis for Turkish Word Embeddings. In 2018 26th Signal Processing and Communications Applications Conference (SIU) 1-4. IEEE.
• 13. Amasyalı, M.F., Balcı, S., Mete, E., Varlı, E.N., 2012. Türkçe Metinlerin Sınıflandırılmasında Metin Temsil Yöntemlerinin Performans Karşılaştırılması EMO Bilimsel Dergi, 2(4), 95-104.
• 14. Arabacı, M.A., Esen, E., Atar, M.S., Yılmaz, E., Kaltalıoğlu, B., 2018. Detecting Similar Sentences Using Word Embedding. In 2018 26th Signal Processing and Communications Applications Conference.
• 15. Esen, E., Özkan, S., 2017. Analysis of Turkish Parliament Records in Terms of Party Coherence. In 2017 25th Signal Processing and Communications Applications Conference (SIU) 1-4. IEEE.
• 16. Amasyali, M.F., Taşköprü, H., Çalışkan, K., 2018. Duygudurum Analizinde Kelimeler, Anlamlar, Karakterler Words, Meanings, Characters in Sentiment Analysis. In 2018 Innovations in Intelligent Systems and Applications Conference (ASYU).
• 17. Ayata, D., Saraclar, M., Ozgur, A., 2017. Turkish Tweet Sentiment Analysis with Word Embedding and Machine Learning. 1-4. 10.1109/SIU.2017.7960195.
• 18. Keleş, M.K., Özel, S.A., 2017. Similarity Detection Between Turkish Text Documents With Distance Metrics. In 2017 International Conference on Computer Science and Engineering (UBMK) 316-321. IEEE.
• 19. Penington, J., Socher, R., Manning, C.D., 2008. GloVe:GlobalVectors for Word Representation, Emprical Methods in Natural Language Processing (EMNLP), 1532-1543.
• 20. Jones, S., Karen, 1972. A Statistical Interpretation of Term Specificity and its Application in Retrieval. Journal of Documentation, 28(1), 11-21.
• 21. Rong, X., 2014. Word2Vec Parameter Learning Explained, arXiv:1411.2738.
• 22. https://tr.wikipedia.org/wiki/Fausto_Zonaro, (15.05.2019 tarihinde erişildi).