Detecting Complex Events With Real Time Monitoring Infrastructure On Event-Based Systems
Mehmet Sıddık AktasYildiz Technical University, Computer Engineering Department, Istanbul, TurkeyNowadays, in many recent applications; the data size become too large to be managed within the limited storage environments. In such applications, the data is a streaming data and has a continuously flowing data format. Queries on streaming data are performed using declarative queries, as opposed to queries made on classical databases. Declarative queries provide the ability to filter on a continuous data stream. In addition, they provide the ability to follow the data that match the conditions in the queries. Systems with a data structure in a continuous data flow format can be considered Event-based Systems, in which unit data can be considered as a real event. In such systems; real-time detection of complex events that will trigger business processes is becoming an important need. Within the scope of this research, a Complex Event Monitoring Infrastructure is proposed to address this deficiency. The proposed infrastructure provides the detection of complex events, which form the preconditions for initiating business processes in Event-based Systems. In order to demonstrate the usability of the proposed infrastructure, a prototype application has been developed for e-commerce web sites, where the click-stream data is generated in a streaming data format. Prototype application continuously monitors customer click-stream data collected from the Web site, where the trade takes place (e-commerce environment). Each click-stream data, labeled with a timestamp, is considered as an event data. By combining the basic events, occurring within a certain time period, complex events are identified and the appropriate business processes for corresponding commercial activities are triggered. The developed application was evaluated from the perspective of performance and scalability, and positive results were obtained indicating the usability of the proposed infrastructure.
Keywords: Complex Event Processing, Event-Based Systems, Continuous Data Streaming, Real-Time Monitoring SystemsOlay Tabanlı Sistemlerde Karmaşık Olayların Tespiti Amaçlı Gerçek Zamanlı İzleme Alt Yapısı
Mehmet Sıddık AktasYıldız Teknik Üniversitesi, Bilgisayar Mühendisliği Bölümü, İstanbul, TürkiyeGünümüzdeki bir çok yeni uygulamada; veri, sınırlı saklama ortamlarına yönetilemeyecek büyüklüklere varabilmektedir. Bu tür uygulamalarda verinin sürekli veri akışı formatında olduğu görülmektedir. Bu veri üzerindeki sorgulamalar, klasik veri tabanlarından farklı olarak, bildirim sorguları kullanılarak gerçekleştirilmektedir. Bildirim sorguları, sürekli veri akışı üzerinde filtreleme yapma olanağı sağlamaktadır. Bunun yanı sıra sorgulardaki koşullara uygun verilerin, izlenebilmesi yeteneğini kazandırmaktadır. Sürekli veri akış formatında veri yapısı içeren sistemler, birim verinin gerçekleşen bir olay olarak değerlendirilebileceği, Olay-tabanlı Sistemler olarak değerlendirilebilir. Bu tür sistemlerde; iş süreçlerinin tetiklenmesini sağlayacak karmaşık olayların gerçek zamanlı tespit edilmesi, bir ihtiyaç haline gelmektedir. Bu araştırma kapsamında, bu eksikliğin giderilmesine yönelik Karmaşık Olay İzleme Altyapısı önerilmektedir. Önerilen altyapı, Olay-tabanlı Sistemlerdeki iş süreçlerinin başlatılma ön koşullarınını oluşturan, karmaşık olayların tespit edilmesini sağlamaktadır. Önerilen altyapının kullanılabilirliğini göstermek adına, tıklama verilerinin sürekli veri akışı formatında üretildiği e-ticaret web siteleri için bir prototip uygulama geliştirilmiştir. Prototip uygulama, ticaretin gerçekleştiği sahadan (e-ticaret ortamı) toplanan müşteri hareket verilerini sürekli olarak izlemektedir. Zaman damgası ile etiketlenmiş her bir tıklama verisi gerçekleşen bir olay verisidir. Belirli bir zaman aralığında gerçekleşen temel olayların bir araya gelmesiyle oluşan karmaşık olaylar tespit edilerek, gerçekleşen ticari aktiviteler için uygun iş süreçlerinin çalıştırılması sağlanmaktadır. Geliştirilen uygulama, performans ve ölçeklenebilirlik açısından değerlendirilmiş, önerilen altyapının kullanılabilirliğini gösteren sonuçlar elde edilmiştir.
Anahtar Kelimeler: Karmaşık Olay İşleme, Olay Tabanlı Sistemler, Sürekli Veri Akışı, Gerçek Zamanlı İzleme SistemleriCorresponding Author: Mehmet Sıddık Aktas, Türkiye
Manuscript Language: Turkish