Akan Verinin Makine Öğrenme Algoritmaları Kullanılarak Ölçeklenmesi

Yıl 2022, Cilt: 15 Sayı: 1, 24 - 32, 27.06.2022

Önder Aykurt , Zeynep Orman

https://doi.org/10.54525/tbbmd.1051177

Öz

Teknolojinin gün geçtikçe gelişmesiyle birlikte hayatımızdaki yeri ve önemi artmaktadır. Gelişen teknoloji, birçok cihazın birbirleriyle ve insanlarla olan etkileşimini arttırmıştır. Bu etkileşimin sonucunda ortaya büyük miktarda veri çıkmaktadır. Gerçek zamanlı üretilen bu veriler, üretildiği anda değerlidir. Özellikleri gereği sıralı, değişik boyutlarda ve düzensiz periyotlarda elde edilen bu veriler, akan veri olarak tanımlanmıştır. Akan veriler, hemen işlenmezse değerini kaybedebilir veya tamamen kaybolabilir. Bu nedenle, yapılandırılmamış verileri sürekli olarak alıp analiz edebilen ölçeklenebilir sistemlerin geliştirilmesi önemlidir. Literatürdeki çalışmaların çoğu mevcut şartlarda sistemin nasıl çalışacağı konusuna yoğunlaşmıştır.
Bu çalışma kapsamında, yukarıdaki problemlerden yola çıkarak, akan veriyi makine öğrenme algoritmaları kullanılarak anlık olarak analiz edebilen ölçeklenebilir bir sistem tasarımı amaçlanmıştır. Geliştirilen sistem ve algoritmalar, gerçek veri ve yapay veriler ile çalıştırılarak değerlendirme metrikleriyle sonuçlar elde edilmiş, ölçeklenme durumu anlık olarak izlenmiştir. Yapılan simülasyon çalışması sonucundaki veriler değerlendirilerek literatüre ve gelecek çalışmalara ışık tutmak amaçlanmıştır.

Anahtar Kelimeler

Akan Veri İşleme, Büyük Veri, Makine Öğrenmesi, CluStream-Kmeans++, Ölçekleme

Kaynakça

• Nittel S., 2015, Real-time Sensor Data Streams, Sigspatial Special, 7(2).
• Kolajo T., Daramola O. and Adebiyi A., 2019, Big Data Stream Analysis: A Systematic Literature Review, Journal of Big Data, 6(1), pp. 47.
• Krishnaswamy S., Gaber M. M. and Zaslavsky A., 2005, Mining Dat Streams: A Review, ACM Sigmod Record, 34(2), pp. 18-26.
• Jing G., Clay W., Jiawei K., Nikunj C., Mohamad M., Latifur K. and Kevin W, 2011, Facing the Reality of Data Stream Classification: Coping with Scarcity of Labeled Data, Knowledge and Information Systems, 33, pp. 213-214.
• Bifet A., Holmes G., Kirkby R. and Pfahringer B., 2011, Data Stream Mining a Practical Approach, https://moa.cms.waikato.ac.nz/downloads/, [Ziyaret tarihi: 15 Kasım 2020].
• Lindburg K., Stern R., Buddhika T., Pallicara S. and Ericson K., 2017, Online Scheduling and Interface Alleviation for Low-Latency, High-Troughput Processing of Data Streams, IEEE Transactions on Parallel and Distributed Systems, 28(12), pp. 3553-3569.
• Meng X., Wang C., Guo Q., Weng Z. and Yang C., 2017, Automating Characterization Deployment in Distributed Data Stream Management Systems, IEEE Transactions on Knowledge and Data Engineering, 29(12), pp. 2669 - 2681.
• Liu X. and Buyya R., 2019, Performance-oriented deployment of streaming applications on cloud, IEEE Tr. on Big Data, 5(1), pp. 46-59.
• Li C., Zhang J., Zhu L. and Liu Y., 2016, The Real-time Scheduling Strategy Based on Traffic and Load Balancing in Storm, IEEE 18th International Conference on High Performance Computing and Communications, pp. 372-279.
• Hulten G. and Domingos P., 2000, Mining high-speed data streams, In : Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 71-80.
• Li T., Xu J. and Tang J., 2015, A Predictive Scheduling Framework for Fast and Distributed Stream Data Processing, IEEE International Conference on Big Data, pp. 333-338.
• Sheikholeslami G., Chatterjee S. and Zhang A., 2000, WaveCluster: A Wavelet Based Clustering Approach for Spatial Data in Very Large Databases, The VLDB Journal, 8(3), pp. 289-304.
• Vassilvitskii S., Arthur D., 2007, k-means++: The advantages of careful seeding. In Proceedings of the eighteenth ACMSIAM Symposium on Discrete Algorithms, Society for Industrial and Applied Mathematics, pp. 1027-1035.
• Assent I., Kranen P., Baldauf C. and Seidl T., 2011, The ClusTree: Indexing micro-clusters for anytime stream mining, Knowledge and Information Systems, 29(2), pp. 249-272.
• Ester M., Cao F., Qian W. and Zhou A., 2006, Density-Based Clustering over an Evolving Data Stream with Noise, in Proceedings of the 2006 SIAM International Conference on Data Mining.
• [Singh A., 2017, An Efficient Hybrid- Clustream Algorithm for Stream Mining, 13th International Conference on Signal-Image Technology and Internet-Based Systems, pp. 430-436.
• Merino, J. A., 2015, Streaming Data Clustering in MOA using the Leader Algorithm, (Yüksek Lisans tezi, Universitat Politecnica De Catalunya, Facultat D’informatica De Barcelona).
• Machine Learning Repository, https://archive.ics.uci.edu/ml/datasets/covertye, Son erişim tarihi: 14.03.2022