Robot perception for indoor navigation

Roboter wurden in der Vergangenheit hauptsächlich im Bereich der Automatisierung der industriellen Fertigung eingesetzt, in Deutschland z.B. in der Automobilindustrie. Solche Roboter sind jedoch nur sehr eingeschränkt autonom -- im Normalfall können sie lediglich sehr begrenzt auf ihre Umgebung reagieren und folgen einer strikten Programmroutine. Daher ist es notwendig beim Einsatz solcher Roboter die Arbeitsumgebung stark an diese anzupassen. In der industriellen Fertigung werden daher speziell strukturierte Bereiche eingerichtet, in denen Roboter am Fließband oder der Fertigungsstraße eindeutig vordefinierte Bedingungen vorfinden. So wird zum Beispiel die Position eines Werkstücks auf dem Förderband so kontrolliert, dass der Erfolg des vorprogrammierten Bewegungsablaufs garantiert werden kann. Autonome Roboter hingegen setzen ihre Sensoren ein, um ihre Umgebung wahrzunehmen und sich so ein Modell ihrer Umwelt zu verschaffen. Anhand des Modells können autonome Roboter dann Entscheidungen über ihre Aktionen treffen. Die Forschung an solchen autonomen, intelligenten Systemen hat in den letzten Jahrzehnten große Fortschritte gemacht. Besonders die Weiterentwicklung probabilistischer Verfahren hat den Erfolg im Umgang mit Sensormessungen und dem zugehörigen Messrauschen vorangetrieben. Dadurch wurden spannende neue Anwendungen wie z.B. Häfen mit automatisierter Schiffsbe- und entladung ermöglicht. In den letzten Jahren sind auch erste autonome Roboter für den nicht-industriellen Bereich auf den Markt gekommen, z.B. in Form von autonomen Staubsaugern und -wischern, Rasenmähern und Telepräsenzrobotern. Insgesamt ist davon auszugehen, dass Roboter in Zukunft immer mehr Arbeiten übernehmen können. Das Ziel dieser Arbeit ist es, die Grundlagen der Autonomie von mobilen Robotern weiter zu entwickeln. Unser Fokus liegt dabei auf Robotern, die innerhalb von Gebäuden eingesetzt werden, wie z.B. Haushaltsroboter. Eine wichtiges Fundament für einen mobilen Roboter ist die Möglichkeit in der Umgebung zu navigieren. Dazu muss sich der Roboter einerseits lokalisieren können, andererseits sollte er seine Umgebung kartieren können. Wurde der Roboter nicht im Vorfeld mit einer Karte seines Einsatzorts ausgestattet -- was gerade im Konsumentenbereich kaum möglich ist -- muss er gleichzeitig eine Karte erstellen, während er sich anhand dieser lokalisiert. Im Englischen wird dieses Problem "simultaneous localization and mapping", kurz SLAM, genannt. Die Forschung des letzten Jahrzehnts hat viele Ansätze zur Lösung des SLAM-Problems hervorgebracht. Für diese Ansätze wurden meist Laserscanner oder Kameras verwendet, um die Umgebung wahrzunehmen. Laserscanner tasten die Umgebung mit einem rotierenden Strahl ab, so dass z.B. ein horizontaler Schnitt des Gebäudes aus Sicht des Roboters vermessen wird. Aus einer Serie solcher Messungen kann mittels SLAM-Verfahren eine konsistente zweidimensionale Karte erstellt werden. Alternative können SLAM-Verfahren auch andere Sensoren wie Kameras verwenden. Bei einzelnen Kameras ist es dabei schwierig genaue metrische Informationen zu gewinnen, weswegen für SLAM häufig Stereokameras verwendet werden. Mit diesen können metrische Informationen für die Pixel durch Triangulation berechnet werden. Dazu ist es notwendig die jeweiligen Pixel einander zuzuordnen, auf die ein Punkt in den beiden Kameras projiziert wird. Dies ist gerade im Innenbereich oft problematisch, da diese Zuordnung über die Textur des Bildes geschieht. Auf einfarbigen Wänden, Decken oder auch Böden ist eine eindeutige Zuordnung daher kaum möglich. Neuartige RGB-D Kameras, die in der Unterhaltungselektronikbranche entwickelt wurden, umgehen dieses Problem, indem die Triangulation nicht zwischen zwei Bildern geschieht, sondern zwischen einem aktiv projizierten Infrarotmuster und dessen Abbildung in einer Infrarotkamera. Zusätzlich wird mit einer regulären Kamera ein Farbbild aufgenommen. In den aktuellen Modellen funktionieren die Distanzmessungen für den Bereich von ca. 0,6 bis 5m. Im Nahbereich erreichen die Distanzmessungen dabei eine Genauigkeit im Bereich weniger Millimeter, allerdings nimmt der Messfehler bedingt durch die Funktionsweise quadratisch mit der Distanz zu. Mit diesen Eigenschaften sind RGB-D Kameras besonders zum Erstellen von dreidimensionalen Umgebungsmodellen in Innenräumen geeignet. Wir erarbeiten daher in den Kapiteln 3 und 4 ein SLAM-System, das sich die Eigenschaften von RGB-D Kameras zu nutze macht, um ein möglichst genaues Umgebungsmodell für die Navigation mobiler Roboter zu erstellen. Dazu übertragen wir in Kapitel 3.1 zunächst SLAM-Techniken, die für Stereokameras oder Laserscanner eingesetzt werden, und evaluieren die resultierenden Eigenschaften des Systems. In Kapitel 3.2 diskutieren wir dafür geeignete Fehlermaße und stellen Testdatensätze vor, die verschiedenste Szenarien abdecken. Wir stellen fest, dass das System unter bestimmten Bedingungen bereits eine hohe Genauigkeit erreicht. In schwierigen Szenarien, z.B. in großen Räumen oder bei starker Bewegungsunschärfe, sinkt die Leistung jedoch ab. In Kapitel 3 analysieren wir die Probleme die unter schwierigeren Bedingungen auftreten und stellen mehrere Ansätze zur Verbesserung des RGB-D SLAM-Systems vor. Kapitel 3.3 beschreibt mehrere Techniken, mit denen wir die Suche und den Vergleich von visuellen Merkmalen verbessern, um sowohl die Laufzeit zu reduzieren, als auch die Schätzung der Sensorbewegung zu verbessern. In Kapitel 3.4 benutzen wir den Posengraph, eine Graphstruktur bestehend aus den Sensorposen als Knoten und den relativen Bewegungsschätzungen zwischen diesen als Kanten, um die Kandidaten für zukünftige Bewegungsschätzungen zu leiten. Dadurch verbessert sich die Genauigkeit, wenn der Roboter während dem Kartieren einen Ort zum wiederholten Mal besucht. Konkret nutzen wir die Graph-Nachbarschaft, um Kandidaten für die Suche nach Merkmalskorrespondenzen zu bestimmen, da sich bereits erfolgreich berechnete Bewegungsschätzungen in dieser Nachbarschaft widerspiegeln. In Kapitel 3.6 stellen wir einen Ansatz zur Bewertung der Plausibilität von Bewegungsschätzungen mittels eines Sensormodells vor, der sich das Prinzip der Sichtlinie zunutze macht. Bestehende Sensormodelle, wie sie z.B. in der Monte-Carlo Lokalisierung verwendet werden, erlauben eine relative Gewichtung verschiedener Hypothesen. Wir erarbeiten hingegen ein absolutes Qualitätsmaß. Diese Entwicklungen werten wir umfassend aus. Dies erfolgt anhand des beschriebenen Evaluierungsdatensatzes, der es uns erlaubt, die Genauigkeit der Trajektorienrekonstruktion zu berechnen. Appendix A listet die Ergebnisse unseres Ansatzes für über 40 Sequenzen auf, die verschiedenste Szenarien abdecken, wie z.B. SLAM mit einer handgeführten oder auf einem Roboter montierten Kamera. In Kapitel 3.7 vergleichen wir die Ergebnisse mit anderen Ansätzen und zeigen, dass unser Ansatz aktuell zu den besten SLAM-Systemen gehört. Unsere Experimente belegen, dass RGB-D Kameras sich hervorragend als Sensoren für die Kartierung eignen. Eine der größten verbleibenden Limitierungen ist aber das kleine Sichtfeld. Im Gegensatz zu 3D-Laserscannern, die horizontal meist zwischen 180° und 360° abdecken, ist das Sichtfeld horizontal nur etwa 57° und vertikal etwa 43° groß. Dies und die eingeschränkte Tiefenwahrnehmung (zwischen 0,6 bis 5m) führen leicht zu Situationen, in denen nur wenige Daten verfügbar sind, die für die Bewegungsschätzung verwendet werden können. Gerade bei autonomen Robotern mit statisch montiertem Sensor kann dies zu Problemen führen, z.B. wenn sich der Roboter sich unmittelbar vor einer Tür oder Wand befindet. Deshalb erweitern wir unser SLAM System in Kapitel 4, so dass mehrere Sensoren verwendet werden können. Wir evaluieren die Vorteile eines zweiten Sensors in Kapitel 4.1. Dabei zeigt sich, dass ein zweiter Sensor kritische Informationen liefern kann, die die Kartierung stark verbessern können. Mehrere Sensoren bringen aber auch höhere Anschaffungskosten, ein höheres Gewicht und höheren Strombedarf mit sich. Wir entwickeln daher in Kapitel 4.2 eine Erweiterung für RGB-D Kameras, die das Blickfeld mit Spiegeln aufteilt. Wir zeigen, dass diese Lösung in einer SLAM Anwendung ähnliche Vorteile für die Genauigkeit bringt wie ein zweiter Sensor. Um die Daten von mehreren RGB-D Sensoren zu vereinen, müssen deren relative Positionen kalibriert sein. In Kapitel 4.3 stellen wir einen Ansatz vor, diese Kalibrierung direkt während der Kartierung zu bestimmen. Dazu formulieren wir Fehlerterme, die sowohl Informationen aus der geschätzten jeweiligen Eigenbewegung der Sensoren nutzen, als auch gemeinsame, zu unterschiedlichen Zeiten entstandene Observationen der beiden Sensoren. Dieser Ansatz lässt sich sowohl für reguläre RGB-D Kameras nutzen, als auch um die Teil-Sichtfelder des katadioptrischen RGB-D Sensors zueinander zu kalibrieren. Für letzteren Sensor entwickeln wir in Kapitel 4.4 spezifischere Varianten der Fehlerterme, welche die bekannte Struktur des Sensors ausnutzt, um die Freiheitsgrade des Optimierungsproblems zu vermindern. Wir zeigen experimentell, dass hierdurch das Konvergenzverhalten der Kalibrierung verbessert wird. Insbesondere ermöglicht der Ansatz die Kalibrierung der Sichtfelder allein durch Bewegung in der Ebene, also z.B. während der ersten Fahrt eines Haushaltsroboters. Ist ein Roboter in der Lage Innenräume zu kartieren und sich zu orientieren kann er autonome Reinigungs- oder Logistikaufgaben erfüllen. Die aktuelle Generation kommerzieller Roboter ist allerdings nicht in der Lage Türen zu öffnen. Dies bedeutet in den meisten Gebäuden wiederum dass die Umgebung an den Roboter angepasst werden muss. Türen kontrolliert zu öffnen ist für Roboter eine hoch komplexe Aufgabe, für die die bisherigen Ansätze zumeist hohe Anforderungen an die Freiheitsgrade und Reichweite des Manipulators stellen. In Kapitel 5 erarbeiten wir Verfahren, mit denen ein Roboter die kinematischen und dynamischen Eigenschaften einer Tür anhand seiner Beobachtungen modellieren kann. Kapitel 5.2 behandelt dabei die Lernverfahren, die auf 3D Daten basieren. Um dem Roboter zu ermöglichen seine Umgebung autonom zu modellieren, entwickeln wir in Kapitel 5.3 ein Verfahren mit dem der Roboter sein Modell interaktiv initialisieren kann. Dafür nutzen wir taktile Messungen während der ersten Manipulation der Tür, um eine ungefähre Schätzung der Türdynamik vorzunehmen. Unsere Experimente mit einem Roboter zeigen, dass die Informationen in diesem Modell benutzt werden können, um die Aufgabenstellung stark zu vereinfachen. Zusammengenommen ergeben die beschriebenen Verfahren eine neue Grundlage für die Navigation in Gebäuden, auf welcher Ansätze zur Lösung komplexerer Aufgaben entwickelt werden können. Im Vergleich zu bisherigen Ansätzen senken unsere Ergebnisse dabei die Anforderungen an die Sensoren und Manipulatoren der Roboter wesentlich. Damit leisten wir der weiteren Verbreitung von autonomen Robotern in Haushalten und Unternehmen Vorschub.