Zusammenfassung
Durch das Aufkommen von kostengünstigen und mobilen Kameras ist es möglich, einfach und flächendeckend ungeordnete Bilddaten in großem Umfang zu erheben. Dadurch können Veränderungen von Gebieten bzw. Objekten aufgezeichnet werden. Die Abbildung von objektbezogenen Veränderungen in aufgezeichneten Bildaufnahmen ist jedoch eine Herausforderung, da diese von externen oder szenischen Veränderungen überlagert werden können. Insbesondere der Umgang mit stark variierenden Blickwinkeln ist eine aktuelle Forschungsfrage. In dieser Arbeit wird ein allgemeines Vorgehen zur Repräsentation von Objektveränderungen vorgestellt. Es wird ein Datensatz eingeführt, um den Ansatz auf Realdaten zu evaluieren. In diesem Zusammenhang werden unterschiedliche Konfigurationen getestet und im Nachgang Empfehlungen für eine effektive Parametrierung herausgearbeitet. Im Anschluss wird als Anwendung eine Klassifikation von Objektzuständen vorgestellt.
Abstract
With the recent development of affordable and mobile cameras it is possible to gather image data of a large area. Using this data it is feasible to monitor changes of the area or objects within the area. The detection of object-related changes in images is challenging, since those changes interfere with scenic and external changes. Especially handling various angles of view is currently not solved. This article proposes a general pipeline for detecting object-related changes. A dataset is introduced to evaluate the pipeline on real-world data. The dataset is used to test different parameter combinations of the pipeline and deduct guidelines for an efficient process concerning parameter selection. Finally, this paper presents a classification of different object states as an use-case.
Über die Autoren
Friedrich Münke M.Sc. ist Doktorand am Institut für Automatisierung und angewandte Informatik (IAI) am Karlsruher Institut für Technologie (KIT). Forschungsschwerpunkte: Maschinelles Lernen, Bildverarbeitung, Datenanalyse für Hochdurchsatzverfahren
Marcel Schilling M.Sc. ist Doktorand am Institut für Automatisierung und angewandte Informatik (IAI) am Karlsruher Institut für Technologie (KIT). Forschungsschwerpunkte: Maschinelles Lernen, Bildverarbeitung, Datenanalyse für Hochdurchsatzverfahren
apl. Prof. Dr.-Ing. Ralf Mikut leitet das Fachgebiet für Automatisierte Bild- und Datenanalyse am Institut für Automation und angewandte Informatik im Karlsruher Institut für Technologie und ist Sprecher der Helmholtz Information and Data Science School for Health (HIDSS4Health). Forschungsschwerpunkte: Computational Intelligence, Maschinelles Lernen, Data Analytics, Modellierung und Bildanalyse mit Anwendungen in der Biologie, Chemie, Medizintechnik, Energiesystemanalyse, Industrie 4.0 und Robotik.
apl. Prof. Dr. Markus Reischl leitet die Arbeitsgruppe “Maschinelles Lernen für Hochdurchsatzverfahren und Mechatronik” am Institut für Automation und angewandte Informatik im Karlsruher Institut für Technologie. Forschungsschwerpunkte: Mensch-Maschine-Schnittstellen, Bildverarbeitung, Maschinelles Lernen, Datenanalyse.
-
Autorenbeiträge: Die Beiträge der Autoren Friedrich Münke (FM), Marcel Schilling (MS), Ralf Mikut (RM) und Markus Reischl (MR) sind: Entwurf der Schriftfassung: FM, MR, Korrektur und Überarbeitung der Schriftfassung: MS, RM, MR, Konzeption: FM, MR, Recherche: FM, Methodik: FM, Implementierung: FM, Annotation und Sammeln des Datensatzes: FM, Betreuung: MR, Projektleitung: MR.
Literatur
1. P. Alcantarilla, A. Bartoli, A. Davison. „KAZE Features”. In: European Conference on Computer Vision, LNCS. Bd. 7577(4). 2012, S. 214–227.10.1007/978-3-642-33783-3_16Search in Google Scholar
2. P. Alcantarilla, S. Stent, G. Ros, R. Arroyo and R. Gherardi. „Street-view change detection with deconvolutional networks”. Autonomous Robots 42 (2018), S. 1301–1322.10.1007/s10514-018-9734-5Search in Google Scholar
3. H. Badino, D. Huber and T. Kanade. „Visual Topometric Localization”. In: Intelligent Vehicles Symposium (2011).10.1109/IVS.2011.5940504Search in Google Scholar
4. A. Bartschat, J. Stegmaier, S. Allgeier, K. Reichert, S. Bohn, O. Stachs, B. Koehler and R. Mikut. „Augmentations of the Bag of Visual Words Approach for RealTime Fuzzy and Partial Image Classification”. In: Proc. 27. Workshop Computational Intelligence, Dortmund. Bd. 27. 2017, S. 227–242.Search in Google Scholar
5. C. Cortes and V. Vapnik. „Support-Vector Networks”. In: [x1-10021-2121] Hrsg. L. von Saitta. Kluwer Academic Publishers, Boston, 1995, S. 273–297. Manufactured in The Netherlands.10.1007/BF00994018Search in Google Scholar
6. J. Epps und D. Newcomb. Maintenance and Rehabilitation Strategies for Repair of Road Damage Associated with Energy Development and Production. Techn. Ber. Texas Department of Transportation, 2016.Search in Google Scholar
7. P. Gargallo, O. Lorentzon, Y. Noun and Y. Noutary. OpenSFM Mapillary. Mapilary. 2018. URL: https://github.com/mapillary/OpenSfM.Search in Google Scholar
8. E. Guo, X. Fu, J. Zhu, M. Deng, Y. Liu, Q. Zhu and H. Li. „Learning to Measure Changes: Fully Convolutional Siamese Metric Networks for Scene Change Detection”. arXiv:1810.09111v3 (2018).Search in Google Scholar
9. H. Jégou, F. Perronnin, M. Douze, J. Sánchez, P. Pérez and C. Schmid. „Aggregating Local Image Descriptors into Compact Codes”. HAL Id: inria-00633013 (2011).10.1109/CVPR.2010.5540039Search in Google Scholar
10. W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu and A. Berg. „SSD: Single Shot MultiBox Detector”. arXiv:1512.02325v5 (2016).10.1007/978-3-319-46448-0_2Search in Google Scholar
11. D. Lowe. „Distinctive image features from scale-invariant keypoints”. International Journal of Computer Vision 60(2) (2004), S. 91–110.10.1023/B:VISI.0000029664.99615.94Search in Google Scholar
12. L. Mou, L. Bruzzone and X. Zhou. „Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery”. IEEE Transactions on Geoscience and Remote Sensing 57(2) (2019), S. 924–935.10.1109/TGRS.2018.2863224Search in Google Scholar
13. F. Münke, A. Bartschat, Y. Chen, R. Mikut and M. Reischl. „Evaluation of Features for Change Detection in Unstructured Image Data”. In: Proc. 29. Workshop Computational Intelligence, Dortmund. 2019.Search in Google Scholar
14. T. Ojala, M. Pietikäinen and T. Mäenpää. „Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns”. In: European Conference on Computer Vision, LNCS. Bd. 1842. 2000, S. 404–420.10.1007/3-540-45054-8_27Search in Google Scholar
15. F. Perronnin, Y. Liu, J. Sánchez and H. Poirier. „Large-Scale Image Retrieval with Compressed Fisher Vectors”. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2012).Search in Google Scholar
16. L. Qin, Q. Zheng, S. Jiang, Q. Huang and W. Gao. „Unsupervised texture classification: automatically discover and classify texture patterns”. Image and Vision Computing 26(5) (2008), S. 647–656.10.1016/j.imavis.2007.08.003Search in Google Scholar
17. R. Radke, S. Andra, O. Al-Kofahi and B. Roysam. „Image change detection algorithms: a systematic survey”. IEEE Transactions on Image Processing 14.3 (2005), S. 294–307.10.1109/TIP.2004.838698Search in Google Scholar PubMed
18. S. Ren, K. He, R. Girshick and J. Sun. „Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”. arXiv:1506.01497v3 (2016).Search in Google Scholar
19. P. Rousseeuw. „Silhouettes: a graphical aid to the interpretation and validation of cluster analysis”. Journal of Computational and Applied Mathematics 20 (1987), S. 53–65.10.1016/0377-0427(87)90125-7Search in Google Scholar
20. K. Sakurada and T. Okatani. „Change detection from a street image pair using CNN features and superpixel segmentation”. BMVC 61 (2015), S. 1–12.10.5244/C.29.61Search in Google Scholar
21. J. Schönberg and J. Frahm. „Structure-from-Motion Revisited”. In: Conference on Computer Vision and Pattern Recognition (2016).10.1109/CVPR.2016.445Search in Google Scholar
22. S. Sergyan. „Color Content-based Image Classification”. In: Slovakian-Hungarian Joint Symposium on Applied Machine Intelligence and Informatics Bd. 5 (2007), S. 427–434.Search in Google Scholar
23. T. Tuytelaars. „Dense Interest Points”. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2013), S. 2281–2288.Search in Google Scholar
24. Y. Wang, P. Jodoin, F. Porikli, J. Konrad, Y. Benezeth and P. Ishwar. „CDnet 2014: An Expanded Change Detection Benchmark Data Set”. In: IEEE Conference on Computer Vision and Pattern Recognition Workshops (2014).10.1109/CVPRW.2014.126Search in Google Scholar
25. J. Yang, Y. Jiang, A. Hauptmann and C. Ngo. „Evaluating Bag-of-Visual-Words Representations in Scene Classification”. In: MIR Proceedings of the International Workshop on Multimedia Information Retrieval. Bd. 7. 2007, S. 197–206.10.1145/1290082.1290111Search in Google Scholar
© 2021 Walter de Gruyter GmbH, Berlin/Boston
