İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ

Year 2015, Volume: 30 Issue: 1, 0 - , 31.03.2015

Ömer Alçin Abdulkadir Şengür , Melih İnce

https://doi.org/10.17341/gummfd.91022

Cited By: 2

Abstract

Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makine öğrenmesi alanında ilgi duyulan bir konu haline gelmiştir. AÖM Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme algoritmasıdır. AÖM modeli iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM bazı dezavantajlara sahiptir. Öncelikle, çıkış ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından aşırı örtüşme ile karşı karşıyadır. Bir diğer sakınca ise AÖM’nin doğruluğunun gizli katman nöron sayısına bağlı olmasıdır. Bu olumsuzluk geniş ölçekli problemlerde daha kötü bir hal almaktadır. Çalışmamızda, bu olumsuzlukları gidermek için seyrek tabanlı bir AÖM modeli önerildi. Seyrek tabanlı AÖM modelinde, çıkış ağırlıklarının seyrek temsilini hesaplamak için yinelemeli fırsatçı takip algoritması tabanlı İleri-Geri Takip (İGT) algoritması kullanılmıştır. İGT-AÖM olarak adlandırılan yöntem normal AÖM ile karşılaştırıldığında aşırı örtüşmeyen (ezberlemeyen) ağ yapısı, düşük hesap karmaşıklığı ve gizli katman nöronlarının kabul edilebilir bir sayıda olması gibi üstünlüklere sahiptir. Yaygın kullanılan sınıflandırma problemleri üzerine yapılan deneysel çalışmalar ışığında İGT-AÖM yöntemi dikkate değer üstünlükler göstermektedir. Ayrıca başarımın etkinliğini vurgulamak için çalışmanın devamında normal AÖM ve en küçük açısal regresyon (Least angle regression, LARS), en küçük mutlak daralma ve seçme operatörü (Least absolute shrinkage and selection operator, LASSO) ve Elastic Net gibi düzenlenmiş AÖM’ler ile önerilen metodun karşılaştırılması yapılmıştır. 

Keywords

AÖM, düzenlenmiş AÖM, seyreklik, ileri-geri takip, TGKİB.

References

• Huang, G.-B., Zhu, Q.-Y. ve Siew, C.-K., “Extreme learning machine: theory and applications”, Neurocomputing, Cilt 70, No 1, 489-501, 2006.
• Luo, M., and Zhang, K. “A hybrid approach combining extreme learning machine and sparse representation for image classification”, Engineering Applications of Artificial Intelligence, Cilt 27, 228-235, 2014.
• Ertugrul, O. F., Tagluk, M. E., Kaya, Y. ve Tekin, R. “EMG signal classification by extreme learning machine”, Signal Processing and Communications Applications Conference (SIU’13), Girne-KKTC, 24-24 Nisan 2013.
• Miche, Y., Van Heeswijk, M., Bas, P., Simula, O. ve Lendasse, A., “TROP-ELM: a double-regularized ELM using LARS and Tikhonov regularization”, Neurocomputing, Cilt 74, No 16, 2413-2421, 2011.
• Deng, W., Zheng, Q. ve Chen, L., “Regularized Extreme Learning Machine”, Computational Intelligence and Data Mining (CIDM'09), Nashville, TN, USA, 389-395, March 30-April 2 2009.
• Martínez-Martínez, J. M., Escandell-Montero, P., Soria-Olivas, E., Martín-Guerrero, J. D., Magdalena-Benedito, R. ve Gómez-Sanchis, J., “Regularized extreme learning machine for regression problems”, Neurocomputing, Cilt 74, No 17, 3716-3721, 2011.
• Luo, J., Vong, C. M. ve Wong, P. K., “Sparse Bayesian Extreme Learning Machine for Multi-classification”, Neural Networks and Learning Systems, Cilt 25, No 4, 836-843, 2014.
• Banerjee, K. S., “Generalized inverse of matrices and its applications”, Technometrics, Cilt 15, No 1, 197-197, 1973.
• Bishop, C. M., Pattern recognition and machine learning, Springer, New York, A.B.D., 2006.
• Huang, G. B., Li, M. B., Chen, L. ve Siew, C. K., “Incremental extreme learning machine with fully complex hidden nodes”, Neurocomputing, Cilt 71, No 4, 576-583, 2008.
• Huang, G. -B., Zhou, H., Ding, X. ve Zhang, R., “Extreme learning machine for regression and multiclass classification”, Systems, Man, and Cybernetics, Part B: Cybernetics, Cilt 42, No 2, 513-529, 2012.
• Li, G., Wen, C., Li, Z. G., Zhang, A., Yang, F. ve Mao, K., “Model-Based Online Learning with Kernels”, Neural Networks and Learning Systems, Cilt 24, No 3, 356-369, 2013.
• Kivinen, J., Smola, A. J. ve Williamson, R. C., “Online learning with kernels”, Signal Processing, Cilt 52, No 8, 2165-2176, 2004.
• Miche, Y., Sorjamaa, A., Bas, P., Simula, O., Jutten, C. ve Lendasse, A., “OP-ELM: optimally pruned extreme learning machine”, Neural Networks, Cilt 21, No 1, 158-162, 2010.
• Alcin, O. F., Sengur, A., Qian, J. ve Ince, M. C., “OMP-ELM: Orthogonal Matching Pursuit-Based Extreme Learning Machine for Regression”,Journal of Intelligent Systems, Cilt 24, No 1, 135-143, 2015.
• Karahanoglu, N. B. ve Erdogan, H., “Compressed sensing signal recovery via forward–backward pursuit”, Digital Signal Processing, Cilt 23, No 5, 1539-1548, 2013.
• Karahanoglu, N. B. ve Erdogan, H., “Optimal forward-backward pursuit for the sparse signal recovery problem”, Signal Processing and Communications Applications Conference (SIU’13), Girne-KKTC, 24-26 Nisan 2013.
• Tropp, J. A. ve Wright, S. J., “Computational methods for sparse solution of linear inverse problems”, Proceedings of the IEEE, Cilt 98, No 6, 948-958, 2010.
• Alcin, O. F., Sengur, A., Ghofrani, S. ve Ince, M. C., “GA-SELM: Greedy algorithms for sparse extreme learning machine”, Measurement, Cilt 55, 126-132, 2014.
• Needell, D., Topics in Compressed Sensing, PhD Dissertation, Univ. of California, Davis, Mathematics, 2009.
• Karakus, C. ve Gurbuz, A. C., “Comparison of iterative sparse recovery algorithms”, Signal Processing and Communications Applications (SIU’11), Antalya-Türkiye, 20-22 Nisan 2011.
• Temlyakov, V.N., “Greedy Algorithms and M-Term Approximation with Regard to Redundant Dictionaries”, Journal of Approximation Theory, Cilt 98, No 1, 117–145 1999.
• Tropp, J. A., “Greed is good: Algorithmic results for sparse approximation”, Information Theory, Cilt 50, No 10, 2231-2242, 2004.
• Frank, A. ve Asuncion, A., UCI machine learning repository, [http://archive.ics.uci. edu/ml], 2011.
• Vlachos, P., StatLib Dataset Archive Carnegie Mellon University, [http://lib.stat.cmu.edu/ datasets], 2005
• Li, J. ve Liu, H., Kent ridge bio-medical data set repository, Inst. for Infocomm Research. [http:// sdmc.lit.org.sg/GEDatasets/Datasets.html], 2002.
• MATLAB version 7.10.0. Natick, Massachusetts: The MathWorks Inc., 2010.