Sprache und Raum: Natürlichsprachlicher Zugang zu Visuellen Daten

Zusammenfassung

Der vorliegende Beitrag befaßt sich mit der Repräsentation und Verarbeitung räumlichzeitlichen Wissens im Hinblick auf den natürlichsprachlichen Zugang zu visuellen Daten. Im Kontext des Projektes Vitra, das sich mit der Entwicklung wissensbasierter Systeme zur Integration von maschinellem Sehen und der Verarbeitung natürlicher Sprache auseinandersetzt, soll diese Problemstellung näher diskutiert werden. Zunächst wird am Beispiel des Bildfolgenanalysesystems Actions demonstriert, auf welche Weise Trajektorien bewegter Objekte aus Realweltbildfolgen extrahiert werden können. Daran anschließend wird die in Vitra zugrundegelegte Schnittstelle zur Bildanalyse, die geometrische Szenenbeschreibung, vorgestellt. Am Beispiel der lokalen orientierungsabhängigen Relationen rechts, links, vor und hinter wird dann gezeigt, wie sich eine rein geometrische Darstellung in eine propositionale Beschreibung der räumlichen Anordnung überführen läßt. Schließlich geht es um die Interpretation und Repräsentation von Ereignissen, d.h. räumlich-zeitlichen Konzepten. Im Gegensatz zu bisherigen Ansätzen soll dabei jedoch nicht von einer bereits vollständig analysierten Bildfolge ausgegangen werden; vielmehr sind Ereignisse so zu repräsentieren, daß sie simultan zu ihrem Auftreten in der Szene detektiert und natürlichsprachlich beschrieben werden können.