Zusammenfassung
Der Mensch ist die flexibelste, aber auch eine teure Ressource in einem Produktionssystem. Im Kontext des Remanufacturings sind Roboter eine kostengünstige Alternative, jedoch ist deren Programmierung oft nicht rentabel. Das Programmieren durch Vormachen verspricht eine flexible und intuitive Alternative, die selbst von Laien durchführbar wäre, doch hierfür ist zunächst eine Erfassung und Interpretation von Handlungen des Menschen nötig. Diese Arbeit stellt eine multisensorielle, robotergestützte Plattform vor, welche die Erfassung zweihändiger Manipulationsaktionen sowie menschlicher Posen, Hand- und Blickbewegungen während der Demontage ermöglicht. Im Rahmen einer Studie wurden an dieser Plattform Versuchspersonen bei der Demontage von Elektromotoren aufgezeichnet, um adäquate Datensätze für die Erkennung und Klassifikationen von menschlichen Aktionen zu erhalten.
Abstract
Human workers are the most flexible, but also an expensive resource in a production system. In the context of remanufacturing, robots are a cost-effective alternative, but their programming is often not profitable and time-consuming. Programming by demonstration promises a flexible and intuitive alternative that would be feasible even for non-experts, but this first requires capturing and interpreting the human actions. This work presents a multi-sensory robot-supported platform that enables capturing bimanual manipulation actions as well as human poses, hand and gaze movements during manual disassembly tasks. As part of a study, subjects were recorded on this platform during the disassembly of electric motors in order to obtain adequate datasets for the recognition and classification of human actions.
Funding source: Carl-Zeiss-Stiftung
Funding statement: Das Projekt wird durch die Carl-Zeiss-Stiftung gefördert.
Über die Autoren
Christian R. G. Dreher studierte Informatik am Karlsruher Institut für Technologie (KIT) und schloss 2019 sein Studium ab. Derzeit arbeitet er als wissenschaftlicher Mitarbeiter am Lehrstuhl für Hochperformante Humanoide Technologien (H2T), KIT. Sein Forschungsinteresse umfasst die Roboterprogrammierung durch Vormachen.
Manuel Zaremski schloss sein Studium der Bewegungswissenschaft an der Justus-Liebig-Universität Gießen (JLU) 2017 ab und ist wissenschaftlicher Mitarbeiter am Institut für Arbeitswissenschaft und Betriebsorganisation am KIT. Seine Forschungsinteressen liegen im Bereich der Mensch-Maschine-Interaktion und dort beschäftigt er sich insbesondere mit der Analyse der menschlichen Augen- und Blickbewegung.
Fabian Leven schloss sein Studium der Physik am Karlsruher Institut für Technologie (KIT) 2019 ab. Momentan ist er wissenschaftlicher Mitarbeiter am Institut für Industrielle Informatiostechnik am KIT. Seine Forschungsinteressen liegen im Bereich des maschinellen Sehens und dort beschäftigt er sich insbesondere mit der Schätzung der menschlichen Blickrichtung.
David Schneider schloss seinen M. Sc. am Karlsruher Institut für Technologie (KIT) ab und ist wissenschaftlicher Mitarbeiter im Computer Vision for Human-Computer Interaction Lab am KIT. Er arbeitet an der Erkennung menschlicher Aktivitäten als Bestandteil assistiver Technologien.
Alina Roitberg schloss ihre Promotion 2021 am KIT ab, wofür sie den Dissertationspreis der IEEE ITSS Gesellschaft und den Promotionspreis des KIT erhielt. Ihre Forschung zielt darauf ab, zuverlässige, interpretierbare und dateneffiziente Algorithmen zur Aktivitätenerkennung zu entwickeln.
Rainer Stiefelhagen ist Professor für Informationstechnische Systeme für sehbeeinträchtigte Studierende am KIT, wo er das Computer Vision for Human-Computer Interaction Lab am Institut für Anthropomatik und Robotik leitet. Er befasst sich mit visueller Erkennung in Bildern und Videos.
Michael Heizmann ist Professor für Mechatronische Messsysteme und Institutsleiter am Institut für Industrielle Informationstechnik (IIIT) des Karlsruher Instituts für Technologie (KIT). Seine Forschungsgebiete umfassen automatische Sichtprüfung, Signal- und Bildverarbeitung, Bild- und Informationsfusion, Messtechnik, maschinelles Lernen und künstliche Intelligenz sowie deren Anwendungen.
Barbara Deml ist Professorin für Arbeitswissenschaft und Institutsleiterin am Institut für Arbeitswissenschaft und Betriebsorganisation (ifab) des Karlsruher Instituts für Technologie (KIT). Die Forschungsgebiete umfassen die empirische Analyse des menschlichen Verhaltens und die damit assoziierten kognitiven Prozesse, die Interaktion zwischen Mensch und Maschine sowie lernender automatisierter Systeme und die menschzentrierte Gestaltung von Arbeitssystemen.
Tamim Asfour ist Professor für Humanoide Robotiksysteme am Karlsruher Institut für Technologie (KIT), wo er den Lehrstuhl für Hochperformante Humanoide Technologien (H2T) leitet. Sein Forschungsinteresse richtet sich an humanoide Roboter, welche aus Beobachtung und Erfahrung lernen können und in realen Umgebungen agieren und interagieren können.
Literatur
1. Aksoy, E. E., M. Tamosiunaite and F. Wörgötter. 2015. Model-Free Incremental Learning of the Semantics of Manipulation Actions. Robotics and Autonomous Systems (RAS) 71: 118–133.10.1016/j.robot.2014.11.003Search in Google Scholar
2. Badler, N. I. 1975. Temporal Scene Analysis: Conceptual Descriptions of Object Movements, PhD thesis, University of Toronto, Toronto, ON, Canada.Search in Google Scholar
3. Bednarik, R. 2012. Expertise-dependent visual attention strategies develop over time during debugging with multiple code representations. International Journal of Human-Computer Studies 70: 143–155.10.1016/j.ijhcs.2011.09.003Search in Google Scholar
4. Belardinelli, A. and F. Pirri. 2007. Bottom-up gaze shifts and fixations learning by imitation. IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetics 37(2): 256–271.10.1109/TSMCB.2006.886950Search in Google Scholar
5. Billard, A., S. Calinon, R. Dillmann and S. Schaal. 2008. Robot Programming by Demonstration. In Handbook of Robotics, eds. B. Siciliano and O. Khatib, 1371–1394. Springer.10.1007/978-3-540-30301-5_60Search in Google Scholar
6. Cao, Z., G. Hidalgo, T. Simon, S.-E. Wei and Y. Sheikh. 2021. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 43(1): 172–186.10.1109/TPAMI.2019.2929257Search in Google Scholar PubMed
7. Chang, W.-C. 2018. Robotic Assembly of Smartphone Back Shells with Eye-in-Hand Visual Servoing. Robotics and Computer-Integrated Manufacturing 50: 102–113.10.1016/j.rcim.2017.09.010Search in Google Scholar
8. Di Nocera, F., S. Mastrangelo, S. P. Colonna, A. Steinhage, M. Baldauf and A. Kataria. 2015. Mental workload assessment using eye-tracking glasses in a simulated maritime scenario. In Proceedings of the Human Factors and Ergonomics Society Europe, 14–16.Search in Google Scholar
9. Dreher, C. R. G., M. Wächter and T. Asfour. 2020. Learning Object-Action Relations from Bimanual Human Demonstration Using Graph Networks. Robotics and Automation Letters (RA-L) 5(1): 187–194.10.1109/LRA.2019.2949221Search in Google Scholar
10. Duchowski, A. T. 2018. Gaze-based interaction: A 30 year retrospective. Computers and Graphics.10.1016/j.cag.2018.04.002Search in Google Scholar
11. Eraslan, S., Y. Yesilada and S. Harper. 2016. Eye tracking scanpath analysis techniques on web pages: A survey, evaluation and comparison. Journal of Eye Movements Research 9(1): 1–19.10.16910/jemr.9.1.2Search in Google Scholar
12. Fathaliyan, A. H., X. Wangt and V. J. Santos. 2018. Exploiting three-dimensional gaze tracking for action recognition during bimanual manipulation to enhance human-robot collaboration. Frontiers in Robotics and AI 5(25): 1–15.10.3389/frobt.2018.00025Search in Google Scholar PubMed PubMed Central
13. Gegenfurtner, A. and M. Seppänen. 2013. Transfer of expertise: An eye tracking and think aloud study using dynamic medical visualizations. Computer and Education 63: 393–403.10.1016/j.compedu.2012.12.021Search in Google Scholar
14. Grant, E. R. and M. J. Spivey. 2003. Eye movements and problem solving: Guiding attention guides thought. Psychological Science 14(5): 462–466.10.1111/1467-9280.02454Search in Google Scholar PubMed
15. Grossman, R. and E. Salas. 2011. The transfer of training: what really matters. International Journal of Training and Development 15(2): 103–120.10.1111/j.1468-2419.2011.00373.xSearch in Google Scholar
16. Guestrin, E. D. and M. Eizenman. 2006. General theory of remote gaze estimation using the pupil center and corneal reflections. IEEE Transactions on Biomedical Engineering 53(6): 1124–1133.10.1109/TBME.2005.863952Search in Google Scholar PubMed
17. Hamabe, T., H. Goto and J. Miura. 2015. A Programming by Demonstration System for Human-Robot Collaborative Assembly Tasks. In International Conference on Robotics and Biomimetics (ROBIO), 1195–1201.10.1109/ROBIO.2015.7418934Search in Google Scholar
18. Hansen, D. W. and Q. Ji. 2010. In the Eye of the Beholder: A Survey of Models for Eyes and Gaze. IEEE Transactions on Pattern Analysis and Machine Intelligence 32(3): 478–500. 03.10.1109/TPAMI.2009.30Search in Google Scholar PubMed
19. Herbig, B. and A. Büssing. 2003. Implizites Wissen und erfahrungsgeleitetes Arbeitshandeln: Perspektiven für Arbeit und Organisation. Arbeit 12(1): 36–53.10.1515/arbeit-2003-0105Search in Google Scholar
20. Hodgson, T. L., A. Bajwa, A. M. Owen and C. Kennard. 2000. The strategic control of gaze direction in the tower of london task. Journal of Cognitive Neuroscience 12(5): 894–907.10.1162/089892900562499Search in Google Scholar PubMed
21. Holmqvist, K., M. Nyström, R. Andersson, R. Dewhurst, H. Jarodzka and J. van de Weijer. 2011. Eye Tracking: A Comprehensive Guide to Methods and Measures. OUP, Oxford.Search in Google Scholar
22. Jacob, R. J. K. 1993. What you look at is what you get. Computer 26(7): 65–66.10.1145/2978577Search in Google Scholar
23. Jamal, A., V. P. Namboodiri, D. Deodhare and K. Venkatesh. 2018. Deep domain adaptation in action space. In BMVC, Vol. 2, 5.Search in Google Scholar
24. Jenni, S., G. Meishvili and P. Favaro. 2020. Video representation learning by recognizing temporal transformations. In European Conference on Computer Vision, 425–442. Springer.10.1007/978-3-030-58604-1_26Search in Google Scholar
25. Klas, C., F. Hundhausen, J. Gao, C. R. G. Dreher, S. Reither, Y. Zhou and T. Asfour. 2021. The KIT Gripper: A Multi-Functional Gripper for Disassembly Tasks. In International Conference on Robotics and Automation (ICRA), Xi’an, China, 715–721. IEEE.10.1109/ICRA48506.2021.9561336Search in Google Scholar
26. Knoblich, G., S. Butterfill and N. Sebanz. 2011. Psychological research on joint action: Theory and data. In The Psychology of Learning and Motivation, ed. B. Ross, 59–101. Academic Press, Burlington.10.1016/B978-0-12-385527-5.00003-6Search in Google Scholar
27. Knoblich, G., S. Ohlsson and G. E. Raney. 2001. An eye movement study of insight problem solving. Memory and Cognition 29(7): 1000–1009.10.3758/BF03195762Search in Google Scholar
28. Koppula, H. S. and A. Saxena. 2016. Anticipating Human Activities Using Object Affordances for Reactive Robotic Response. Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 38(1): 14–29.10.15607/RSS.2013.IX.006Search in Google Scholar
29. Laeng, B., S. Sirois and G. Gredebäck Pupillometry. 2012. A window to the preconscious? Perspectives on Psychological Science: A Journal of the Association for Psychological Science 7(1): 18–27.10.1177/1745691611427305Search in Google Scholar PubMed
30. Li, S., J. Yi, Y. A. Farha and J. Gall. 2021. Pose Refinement Graph Convolutional Network for Skeleton-Based Action Recognition. IEEE Robotics and Automation Letters 6(2): 1028–1035.10.1109/LRA.2021.3056361Search in Google Scholar
31. Lippiello, V., B. Siciliano and L. Villani. 2005. Eye-in-Hand/Eye-to-Hand Multi-Camera Visual Servoing. In Proceedings of the 44th IEEE Conference on Decision and Control, 5354–5359.10.1109/CDC.2005.1583013Search in Google Scholar
32. Muis, A. and K. Ohnishi. 2005. Eye-to-Hand Approach on Eye-in-Hand Configuration Within Real-Time Visual Servoing. IEEE/ASME Transactions on Mechatronics 10(4): 404–410.10.1109/AMC.2004.1297945Search in Google Scholar
33. Parsa, S. and M. Saadat. 2021. Human-Robot Collaboration Disassembly Planning for End-of-Life Product Disassembly Process. Robotics and Computer-Integrated Manufacturing. 71:102170.10.1016/j.rcim.2021.102170Search in Google Scholar
34. Posner, M. I. and Y. Cohen. 1984. Components of visual orienting. In Attention and performance X: Control of language processes, eds. H. Bouma and D. G. Bouwhuis, 531–556. Lawrence Erlbaum, Hillsdale, NJ.Search in Google Scholar
35. Priyoni, A., W. Ijomah and U. Bititci. 2016. Disassembly for remanufacturing: A systematic literature review, new model development and future research need. Journal of Industrial Engineering and Management 9(4): 899–932.10.3926/jiem.2053Search in Google Scholar
36. Rakita, D., B. Mutlu and M. Gleicher. 2018. An Autonomous Dynamic Camera Method for Effective Remote Teleoperation. In International Conference on Human-Robot Interaction (HRI), 325–333.10.1145/3171221.3171279Search in Google Scholar
37. Redmon, J. and A. Farhadi. 2018. YOLOv3: An Incremental Improvement. arXiv:1804.02767 [cs].Search in Google Scholar
38. Rußwinkel, N. 2020, 2020. Antizipierende interaktiv lernende autonome agenten. In Mensch-Roboter-Kollaboration, ed. H.-J. Buxbaum. Springer, Wiesbaden.10.1007/978-3-658-28307-0_13Search in Google Scholar
39. Savage, S. W., D. D. Potter and B. W. Tatler. 2013. Does preoccupation impair hazard perception? a simultaneous eeg and eye tracking study. Transportation Research Part F: Traffic Psychology and Behaviour 17: 52–62.10.1016/j.trf.2012.10.002Search in Google Scholar
40. Schneider, D., S. Sarfraz, A. Roitberg and R. Stiefelhagen. 2022. Pose-based contrastive learning for domain agnostic activity representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops.10.1109/CVPRW56347.2022.00387Search in Google Scholar
41. Si, C., Y. Jing, W. Wang, L. Wang and T. Tan. 2020. Skeleton-Based Action Recognition with Hierarchical Spatial Reasoning and Temporal Stack Learning Network. Pattern Recognition 107, 107511.10.1016/j.patcog.2020.107511Search in Google Scholar
42. Siegfried, R., B. Aminian and J.-M. Odobez Manigaze. 2020. A dataset for evaluating remote gaze estimator in object manipulation situations. In ACM Symposium on Eye Tracking Research and Applications, ETRA ‘20 Short Papers, Association for Computing Machinery, New York, NY, USA.10.1145/3379156.3391369Search in Google Scholar
43. Sirois, S. and J. Brisson. 2014. Pupillometry. wiley interdisciplinary reviews. Cognitive Science 5(6): 679–692.10.1002/wcs.1323Search in Google Scholar
44. Theeuwes, J., B. Artem and C. N. L. Olivers. 2009. Interactions between working memory, attention and eye movements. Acta Psychologica 132(2009): 106–114.10.1016/j.actpsy.2009.01.005Search in Google Scholar PubMed
45. Thomas, L. E. and A. Lleras. 2007. Moving eyes and moving thought: On the spatial compatibility between eye movements and cognition. Psychonomic Bulletin and Review 14(4): 663–668.10.3758/BF03196818Search in Google Scholar
46. Toering, M., I. Gatopoulos, M. Stol and V T. Hu. 2022. Self-supervised video representation learning with cross-stream prototypical contrasting. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 108–118.10.1109/WACV51458.2022.00092Search in Google Scholar
47. Vahrenkamp, N., M. Wächter, M. Kröhnert, K. Welke and T. Asfour. 2015. The Robot Software Framework ArmarX. it –. Information Technology 57(2): 99–111.10.1515/itit-2014-1066Search in Google Scholar
48. van Gog, T., H. Jarodzka, K. Scheiter, P. Gerjets and F. Paas. 2009. Attention guidance during example study via the model’s eye movements. Computers in Human Behaviour 25: 785–791.10.1016/j.chb.2009.02.007Search in Google Scholar
49. Velichkovsky, B. M. 2002. Heterarchy of cognition: The depths and the highs of a framework for memory research. Memory 10(5–6): 405–419.10.1080/09658210244000234Search in Google Scholar PubMed
50. Vickers, J. N. 2007. Perception, cognition, and decision training. the quiet eye in action. Human Kinetics.Search in Google Scholar
51. Villanueva, A. and R. Cabeza. 2007. Models for gaze tracking systems. EURASIP Journal on Image and Video Processing 2007(1), 023570.10.1186/1687-5281-2007-023570Search in Google Scholar
52. Wu, Y., A. Kirillov, F. Massa, W.-Y. Lo and R. Girshick. 2019. Detectron2. Available from: https://github.com/facebookresearch/detectron2.Search in Google Scholar
53. Xu, D., J. Xiao, Z. Zhao, J. Shao, D. Xie and Y. Zhuang. 2019. Self-supervised spatiotemporal learning via video clip order prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 10334–10343.10.1109/CVPR.2019.01058Search in Google Scholar
54. Ye, F., S. Pu, Q. Zhong, C. Li, D. Xie and H. Tang. 2020. Dynamic GCN: Context-Enriched Topology Learning for Skeleton-Based Action Recognition. arXiv:2007.14690 [cs].10.1145/3394171.3413941Search in Google Scholar
55. Zaremski, M. and B. Deml. 2020. Analyse von Augen- und Blickbewegungen zur Beschreibung von Handlungswissen in der manuellen Demontage. In Tagungsband 66. GfA-Frühjahrskongress Digitaler Wandel, digitale Arbeit, digitaler Mensch?, page Beitrag C.6.3. Gfa, Dortmund.Search in Google Scholar
56. Zhang, X., Y. Sugano and A. Bulling. 2019. Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1–13. ACM, 05.10.1145/3290605.3300646Search in Google Scholar
57. Ziaeetabar, F., T. Kulvicius, M. Tamosiunaite and F. Wörgötter. 2018. Recognition and Prediction of Manipulation Actions Using Enriched Semantic Event Chains. Robotics and Autonomous Systems (RAS) 110: 173–188.10.1016/j.robot.2018.10.005Search in Google Scholar
© 2022 Walter de Gruyter GmbH, Berlin/Boston
