BOOSTING THE PERFORMANCE OF INSTANCE BASED CLASSIFIers BY USING CLUSTERING

Year 2014, Volume: 16 Issue: 48, 76 - 85, 01.09.2014

Faruk Bulut , M Fatih Amasyalı

Abstract

Instance based classifiers have a world-wide usage due to their simplicity, applicability,
and clearness. k Nearest Neighbors (k-NN) classifier is one of the most preferred algorithm in
this area. The performance of k-NN is directly related with the k parameter. The best k
parameter is generally chosen by the user and the optimal k value is found by experiments.
Additionally, the chosen constant k value is used during the whole cross validation process.
The fixed k value used for each test sample can decrease the overall prediction performance.
The optimal k value for each test sample should vary from others’ in order to have better
performance. In this study, a dynamic k value selection method for each test sample is proposed.
This improved method employs a simple clustering procedure in classification. In the
experiments, more accurate results are found

Keywords

k Nearest neighbors algorithm, Classification, Clustering, Dynamic parameter selection

ÖRNEK TABANLI SINIFLANDIRICILDA KÜMELEME YÖNTEMİYLE PERFORMANS ARTIRIMI

Abstract

Örnek tabanlı sınıflandırıcılar basitliği, uygulanabilirliği ve şeffaflığından ötürü yaygın bir
kullanıma sahiptir. k en yakın komşuluk sınıflandırıcısı (k-EKS) bu alanda en çok tercih edilen
algoritmalardan biridir. k-EKS’de performans, k parametresi ile doğrudan ilişkilidir. En uygun
k parametresi, kullanıcı tarafından genellikle deneme-yanılma yöntemiyle seçilir. Bununla
birlikte, bir veri setinde çapraz geçerleme işlemi süresince her bir test örneği için aynı k
parametresinin kullanılması genel sınıflandırma başarısını olumsuz etkilemektedir. Her bir test
örneği için en uygun k değerinin seçilmesi daha başarılı sonuçlar elde edilmesini
sağlayabilmektedir. Çalışmamızda her bir test örneği için en uygun k parametresini kümeleme
yöntemiyle bulan ve bu sayede genel sınıflandırma başarısını artıran bir yöntem üzerinde
çalışılmış ve başarılı sonuçlar elde edilmişti

Keywords

k En yakın komşuluk algoritması, Sınıflandırma, Kümeleme, Dinamik parametre seçimi

References

• Alpaydın E. (2010): “Yapay Öğrenme kitabı”, Boğaziçi Üniversitesi Yayınevi, ISBN: 978-6- 054-23849-1, İstanbul, s.1-35.
• Bache K., Lichman M. (2013): “UCI Machine Learning Repository Official”, http://archive.ics.uci.edu/ml, Irvine, University of California, ABD.
• Berg M., Eindhoven T. U. (2008): “Computational Geometry: Algorithms and Applications”, ISBN: 978-3-540-77973-5, Springer Publishing, s.99-105.
• Demsar J. (2006): “Statistical Comparisons of ClassiŞers over Multiple Data Sets”, Journal of Machine Learning Research 7, s.1-30. MATLAB R2014a Tutorial (2014): “KD Tree Searcher class Tutorial”, www.mathworks.com/help/stats/
• Myatt G. J. (2007a): “Making Sence of Data: A Practical Guide to Exploratory Data Analysis and Data Mining”, Wiley, s.176-181.
• Myatt G. J. (2007b): “Making Sence of Data: A Practical Guide to Exploratory Data Analysis and Data Mining”, Wiley, s.120-129.
• Özger Z. B., Amasyalı M. F. (2013): “Meta Öğrenme ile KNN Parametre Seçimi KNN Parameter Selection Via Meta Learning”, IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU2013), ISBN: 978-1-4673-5562-9, Girne, KKTC, s.1-4.
• Weiss M. A. (2013): “Data Structures and Algorithm Analysis in C++”, Pearson, ABD, s.83- 85, 614-618 ve 629.