Zusammenfassung
Für die Verteilung kontinuierlicher Anfragen in verteilten Datenstrommanagementsystemen gibt es je nach Netzwerkarchitektur und Anwendungsfall unterschiedliche Strategien. Es ist u.U. nachteilig, sich auf eine Strategie festzulegen, besonders wenn sich Netzwerkarchitektur oder Anwendungsfall ändern. In dieser Arbeit wird ein Ansatz für eine flexible und erweiterbare Anfrageverteilung in verteilten Datenstrommanagementsystemen vorgestellt. Der Ansatz umfasst drei Schritte: 1) Partitionierung, 2) Modifikation und 3) Allokation. Bei der Partitionierung wird eine kontinuierliche Anfrage in disjunkte Teilanfragen zerlegt. Die optionale Modifikation erlaubt es, Mechanismen wie Fragmentierung oder Replikation zu verwenden. Bei der Allokation werden die einzelnen Teilanfragen schließlich Knoten im Netzwerk zugewiesen, um dort ausgeführt zu werden.
Für jeden Schritt können unabhängige Strategien verwendet werden. Dieser modulare Aufbau ermöglicht eine individuelle Anfrageverteilung. Zudem können bereits vorhandene Strategien aus anderen Arbeiten und Systemen integriert werden (bspw. weitere Strategien zur Allokation). In dieser Arbeit werden für jeden der drei Teilschritte exemplarisch Strategien vorgestellt.
Drei Anwendungsbeispiele zeigen die Vorteile des vorgestellten, modularen Ansatzes gegenüber einer festen Verteilungsstrategie.
This is a preview of subscription content, log in via an institution to check access.
Literatur
Appelrath HJ, Geesen D, Grawunder M, Michelsen T, Nicklas D (2012) Odysseus: a highly customizable framework for creating efficient event stream management systems. In: Proceedings of the 6th ACM International Conference on Distributed Event-Based Systems, DEBS '12, ACM, S 367–368
Balazinska M, Balakrishnan H, Stonebraker M (2004) Load management and high availability in the Medusa distributed stream processing system. In: Proceedings of the 2004 ACM SIGMOD international conference on Management of data, S 929–930
Brand M, Brandt T, Cordes C, Wilken M, Michelsen T (2015) Herakles: a system for sensor-based live sport analysis using private peer-to-peer networks. In: Datenbanksysteme für Business, Technolog und Web (BTW 2015) – Workshopband, DSEP '15, Bonner Köllen Verlag, Bonn, S 71–80
Buluç A, Meyerhenke H, Safro I, Sanders P, Schulz C (2013) Recent advances in graph partitioning. CoRR abs/1311.3144
Cherniack M, Balakrishnan H, Balazinska M, Carney D, Cetintemel U, Xing Y, Zdonik S (2003) Scalable distributed stream processing. In: CIDR 2003 – First Biennial Conference on Innovative Data Systems Research. Asilomar, CA
Daum M, Lauterwald F, Baumgärtel P, Meyer-Wegener K (2011) Kalibrierung von Kostenmodellen für föderierte DSMS. In: BTW Workshops, S 13–22
Gedik B, Andrade H, Wu KL (2009) A code generation approach to optimizing high-performance distributed data stream processing. In: Proceedings of the 18th ACM Conference on Information and Knowledge Management, CIKM '09, ACM, New York, S 847–856
Gulisano V, Jimenez-Peris R, Patino-Martinez M, Soriente C, Valduriez P (2012) StreamCloud: an elastic and scalable data streaming system. IEEE Trans Parallel Distrib Syst 23(12):2351–2365
Harper R (2003) Inside the smart home. Springer Science & Business Media, London (2003)
Kuntschke R, Stegmaier B, Kemper A, Reiser A (2005) StreamGlobe: processing and sharing data streams in grid-based p2p infrastructures. In: Proceedings of the 31st international conference on Very large data bases, VLDB Endowment, S 1259–1262
Loesing S, Hentschel M, Kraska T, Kossmann D (2012) Stormy: an elastic and highly available streaming service in the cloud. In: Proceedings of the 2012 Joint EDBT/ICDT Workshops, EDBT-ICDT '12, ACM, New York, S 55–60
Michelsen T (2014) Data stream processing in dynamic and decentralized peer-to-peer networks. In: Proceedings of the 2014 SIGMOD PhD symposium, ACM, S 1–5
Pietzuch P, Ledlie J, Shneidman J, Roussopoulos M, Welsh M, Seltzer M (2006) Network-aware operator placement for stream-processing systems. In: Data Engineering, 2006. ICDE'06. Proceedings of the 22nd International Conference on, IEEE, S 49–49
Raspberry Pi Foundation: Raspberry Pi Projekt Homepage. http://www.raspberrypi.org/. Zugegriffen: 10. Sept. 2015
Smith R (1980) The contract net protocol: high-level communication and control in a distributed problem solver. IEEE Trans Comput 29(12):1104–1113
Toshniwal A, Taneja S, Shukla A, Ramasamy K, Patel JM, Kulkarni S, Jackson J, Gade K, Fu M, Donham J, Bhagat N, Mittal S, Ryaboy DV (2014) Storm@twitter. In: SIGMOD Conference, S 147–156
Warneke D, Kao O (2009) Nephele: efficient parallel data processing in the cloud. In: Proceedings of the 2nd Workshop on Many-Task Computing on Grids and Supercomputers, MTAGS '09, ACM, New York, S 8:1–8:10
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Michelsen, T., Brand, M. & Appelrath, HJ. Modulares Verteilungskonzept für Datenstrommanagementsysteme. Datenbank Spektrum 15, 213–221 (2015). https://doi.org/10.1007/s13222-015-0199-9
Received:
Accepted:
Published:
Issue Date:
DOI: https://doi.org/10.1007/s13222-015-0199-9