Olay tabanlı sistemlerde karmaşık olayların tespiti amaçlı gerçek zamanlı izleme alt yapısı

Yıl 2019, Cilt: 25 Sayı: 2, 199 - 207, 22.04.2019

Mehmet Sıddık Aktaş

Öz

Günümüzdeki birçok yeni uygulamada; veri,
sınırlı saklama ortamlarına yönetilemeyecek büyüklüklere varabilmektedir. Bu
tür uygulamalarda verinin sürekli veri akışı formatında olduğu görülmektedir.
Bu veri üzerindeki sorgulamalar, klasik veri tabanlarından farklı olarak, bildirim
sorguları kullanılarak gerçekleştirilmektedir. Bildirim sorguları, sürekli veri
akışı üzerinde filtreleme yapma olanağı sağlamaktadır. Bunun yanı sıra
sorgulardaki koşullara uygun verilerin, izlenebilmesi yeteneğini
kazandırmaktadır. Sürekli veri akış formatında veri yapısı içeren
sistemler,  birim verinin gerçekleşen bir
olay olarak değerlendirilebileceği, Olay-tabanlı Sistemler olarak
değerlendirilebilir. Bu tür sistemlerde; iş süreçlerinin tetiklenmesini sağlayacak
karmaşık olayların gerçek zamanlı tespit edilmesi, bir ihtiyaç haline
gelmektedir. Bu araştırma kapsamında, bu eksikliğin giderilmesine yönelik
Karmaşık Olay İzleme Altyapısı önerilmektedir. Önerilen altyapı, Olay-tabanlı
Sistemlerdeki iş süreçlerinin başlatılma ön koşullarını oluşturan, karmaşık
olayların tespit edilmesini sağlamaktadır. Önerilen altyapının
kullanılabilirliğini göstermek adına, tıklama verilerinin sürekli veri akışı
formatında üretildiği e-ticaret web siteleri için bir prototip uygulama
geliştirilmiştir. Prototip uygulama, ticaretin gerçekleştiği sahadan (e-ticaret ortamı) toplanan müşteri hareket verilerini sürekli olarak
izlemektedir. Zaman damgası ile etiketlenmiş her bir tıklama verisi gerçekleşen
bir olay verisidir. Belirli bir zaman aralığında gerçekleşen temel olayların
bir araya gelmesiyle oluşan karmaşık olaylar tespit edilerek, gerçekleşen
ticari aktiviteler için uygun iş süreçlerinin çalıştırılması sağlanmaktadır.
Geliştirilen uygulama, performans ve ölçeklenebilirlik açısından
değerlendirilmiş, önerilen altyapının kullanılabilirliğini gösteren sonuçlar
elde edilmiştir.

Anahtar Kelimeler

Karmaşık olay işleme, Olay tabanlı sistemler, Sürekli veri akışı, Gerçek zamanlı izleme sistemleri

Detecting complex events with real time monitoring infrastructure on event-based systems

Öz

Nowadays,
in many recent applications; the data size become too large to be managed
within the limited storage environments. In such applications, the data is a
streaming data and has a continuously flowing data format. Queries on streaming
data are performed using declarative queries, as opposed to queries made on
classical databases. Declarative queries provide the ability to filter on a
continuous data stream. In addition, they provide the ability to follow the
data that match the conditions in the queries. Systems with a data structure in
a continuous data flow format can be considered Event-based Systems, in which
unit data can be considered as a real event. In such systems; real-time detection
of complex events that will trigger business processes is becoming an important
need. Within the scope of this research, a Complex Event Monitoring
Infrastructure is proposed to address this deficiency. The proposed
infrastructure provides the detection of complex events, which form the
preconditions for initiating business processes in Event-based Systems. In
order to demonstrate the usability of the proposed infrastructure, a prototype
application has been developed for e-commerce web sites, where the click-stream
data is generated in a streaming data format. Prototype application
continuously monitors customer click-stream data collected from the Web site,
where the trade takes place (e-commerce environment). Each click-stream data,
labeled with a timestamp, is considered as an event data. By combining the
basic events, occurring within a certain time period, complex events are
identified and the appropriate business processes for corresponding commercial
activities are triggered. The developed application was evaluated from the
perspective of performance and scalability, and positive results were obtained
indicating the usability of the proposed infrastructure.

Anahtar Kelimeler

Complex event processing, Event-Based systems, Continuous data streaming, Real-Time monitoring systems

Kaynakça

• Bifet A. ”Mining big data in real time”. Journal of Informatica, 37(1), 15-20, 2013.
• Scott M. Real-Time Marketing and PR, Revised: How to Instantly Engage Your Market, Connect with Customers, and Create Products that Grow Your Business Now, Wiley Desktop Editions Series, John Wiley & Sons, 2011.
• Mishra N, Meyerson A, Guha S, Motwani R. “Streaming-data algorithms for high-quality clustering”. Proceedings of the 18th International Conference on Data Engineering, ICDE-2002, San Jose, CA, USA, 26 February-1 March 2002.
• Leskovec J, Rajaraman A. Ullman J. Mining of Massive Datasets, Cambridge University Press, www.mmds.org, 2010.
• Shanahan G, Laing D. “Large scale distributed data science using apache spark”. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Sydney, NSW, Australia, 10-13 August, 2015.
• Surshanov, S. “Using apache storm for big data”. Computer Modelling & New Technologies, 19(3B), 14-17, 2015.
• Tas Y, Baeth MJ, Aktas M. “An Approach to Standalone Provenance Systems for Big Social Provenance Data”, 12th International Conference on Semantics, Knowledge and Grids, Beijing, China, 15-17 August 2016.
• White T. Hadoop: The Definitive Guide. 3rd ed. Sebastopol, CA, O’Reilly, 2015.
• Baeth M, Aktas M. “Detecting misinformation in social networks using provenance data”. Concurrency and Computation: Practice and Experience, doi: 10.1002/cpe.4263, 31(3), 1-9, 2019.
• Dean J, Ghemavat S. "MapReduce: Simplified data processing on large clusters". 6th Symposium on Operating System Design and Implementation (OSDI-2004), San Francisco, CA, 3 October 2004.
• Husain M, Jalab H, Rohani V. Optimized-Memory Map-Reduce Algorithm for Mobile Learning. Editors: Zaman HB, Robinson P, Smeaton AF, Shih TK, Velastin S, Jaafar A, Ali NM. Advances in Visual Informatics, 249-256, Boston, MA, Springer, 2015.
• Ranjan, R. “Streaming big data processing in data center clouds”. IEEE Cloud Computing, 1(1), 78-83, 2014.
• Aktas M. “Hybrid cloud computing monitoring software architecture”. Concurrency and Computation: Practice and Experience, 4694, 30(21), 1-9, 2018.
• Aktas M, Astekin M. "Provenance aware run-time verification of things for self-healing Internet of Things applications". Concurrency and Computation: Practice and Experience, 4263, 31(3), 1-9, 2019.
• Fox G, Aktas M, Aydin G, Bulut H, Pallickara S, Pierce M, Sayar A, Wu W, Zhai G. Real Time Streaming Data Grid Applications. Editors: Davoli F, Palazzo S, Zappatore S. Distributed Cooperative Laboratories: Networking, Instrumentation and Measurements, 253-267, Boston, MA, Springer, 2006.
• Fox G, Aktas M, Aydin G, Gadgil H, Pallickara S, Pierce M, Sayar A. “Algorithms and the Grid”. Computing and visualization in science, 12(3), 115-124, 2009.
• Baeth M, Aktas M. “An approach to custom privacy policy violation detection problems using big social provenance data”. Concurrency and Computation: Practice and Experience, 30(21), 1-9, 2018.
• Chen P, Plale B, Aktas M. “Temporal representation for mining scientific data provenance”. Future generation computer systems, 36, 363-378, 2014.
• Chen P, Plale B, Aktas M. “Temporal representation for scientific data provenance”. IEEE 8th International Conference on E-Science (e-Science), Chicago, IL, USA, 8-12 October 2012.
• Baloglu A, Aktas M. “BlogMiner: Web blog mining application for classification of movie reviews”. 5th International Conference on Internet and Web Applications and Services (ICIW), Barcelona, Spain, 9-15 May, 2010.
• Aktas M, Plale B, Leake D, Mukhi N. Unmanaged workflows: Their provenance and use. Editors: Liu Q, Bai Q, Giugni S, Williamson D, Taylor J. Data Provenance and Data Management in e-Science, 59-81, Berlin, Heidelberg, Springer, 2012.
• Jensen S, Plale B, Aktas M, Luo Y, Chen P, Conover H. “Provenance capture and use in a satellite data processing pipeline”. IEEE Transactions on Geoscience and Remote Sensing, 51(11), 5090-5097, 2013.
• Palmer J. “Web site usability, design, and performance metrics”. Information systems research, 13(2), 151-167, 2002.
• Kaushik A. Web Analytics: An Hour A Day, 1st Edition, Indianapolis, Indiana, USA, Wiley Publishing, 2007.
• Aktas M, Pierce M, “High-performance hybrid information service architecture”. Concurrency and Computation: Practice and Experience, 22(15), 2095-2123, 2010.