Skip to main content
Log in

Gesprengte Ketten

Smart Data, deklarative Datenanalyse, Apache Flink

  • HAUPTBEITRAG
  • GESPRENGTE KETTEN
  • Published:
Informatik-Spektrum Aims and scope

Zusammenfassung

Das letzte Jahrzehnt war durch die Digitalisierung von praktisch allen Lebensbereichen gekennzeichnet. Wirtschaft, Wissenschaft und Gesellschaft stehen nun riesige Mengen von stetig wachsenden, oftmals heterogenen Daten zur Verfügung. Allerdings sind diese Daten weder Informationen noch Wissen. Sie sind erst wertvoll, wenn sie verfeinert und analysiert werden, sodass aus Rohdaten ,,Smart Data“ werden. Nur dann können die ökonomischen und sozialen Potenziale vollständig entfaltet werden, beispielsweise im Hinblick auf Prozessoptimierung, Massenindividualisierung oder andere Formen von Erkenntnis- oder Effizienzgewinnen. Leider stehen dem breiten Einsatz von ,,Big Data“-Anwendungen derzeit noch hohe Einstiegshürden entgegen. Das häufig genannte Berufsbild des ,,Data Scientist“ ist vom Anforderungsprofil so komplex, dass es nur wenige Experten gibt, die dieses erfüllen. In diesem Artikel identifizieren wir, dass Ausbildung alleine die Knappheit an ,,Data Scientists“ nicht beheben kann. Vielmehr sind unterstützende Technologien erforderlich, um das volle Potenzial von ,,Big Data“ in der Breite zu entfalten. Wir skizzieren die Technologie ,,Apache Flink“ als einen ersten Schritt sowie die Vision des Berlin Big Data Center (BBDC) zur intelligenten Analyse von Massendaten.

This is a preview of subscription content, log in via an institution to check access.

Access this article

Price excludes VAT (USA)
Tax calculation will be finalised during checkout.

Instant access to the full article PDF.

References

  1. Alexandrov R, Bergmann S, Ewen S et al. (2014) The Stratosphere Platform for Big Data Analytics. VLDB J 5:

  2. Schelter S, Ewen S, Tzoumas K et al. (2013) All Roads Lead to Rome: Optimistic Recovery for Distributed Iterative Data Processing. CIKM 2013:1919–1928

    Google Scholar 

  3. Ewen S, Tzoumas K, Kaufmann M et al. (2012) Spinning Fast Iterative Data Flows. PVLDB 5(11):1268–1279

    Google Scholar 

  4. Heimel M, Markl V (2012) A First Step Towards GPU-assisted Query Optimization. ADMS@VLDB 2012:33–44

  5. Battré D, Ewen S, Hueske F et al. (2010) Nephele/PACTs: programming model and execution framework for web-scale analytical processing. SoCC 2010:119–130

    Google Scholar 

  6. Zaharia M, Chowdhury M, Franklin MJ et al. (2010) Spark: cluster computing with working sets. HotCloud

  7. Jiang D, Chen G, Ooi BC, Tan KL, Wu S (2014) epiC: an Extensible and Scalable System for Processing Big Data. PVLDB 7(7):541–552

    Google Scholar 

  8. Alsubaiee S, Altowim Y, Altwaijry H et al. (2012) ASTERIX: An Open Source System for Big Data Management and Analysis. PVLDB 5(12):1898–1901

    Google Scholar 

  9. Stratosphere. http://www.stratosphere.eu, letzter Zugriff: 7.7.2014

  10. Apache Flink Incubator Project. http://flink.incubator.apache.org/, letzter Zugriff: 7.7.2014

  11. Berlin Big Data Center. http://www.bbdc.berlin, letzter Zugriff: 17.11.2014

  12. Markl V, Krcmar H, Hoeren T (2014) Innovationspotenzialanalyse für die neuen Technologien für das Verwalten und Analysieren von großen Datenmengen. http://www.dima.tu-berlin.de/menue/research/big_data_management_report/, letzter Zugriff: 17.11.2014

Download references

Author information

Authors and Affiliations

Authors

Corresponding author

Correspondence to Volker Markl.

Rights and permissions

Reprints and permissions

About this article

Check for updates. Verify currency and authenticity via CrossMark

Cite this article

Markl, V. Gesprengte Ketten. Informatik Spektrum 38, 10–15 (2015). https://doi.org/10.1007/s00287-014-0858-5

Download citation

  • Published:

  • Issue Date:

  • DOI: https://doi.org/10.1007/s00287-014-0858-5

Navigation