Gudula Retz-Schmidt’s research while affiliated with Hamburg University and other places

Die Planerkennung ist von zentraler Bedeutung für die vorliegende Arbeit. Neben der Intentionsextraktion setzen die Erkennung von Interaktionen und die Analyse von Fehlschlagsursachen darauf auf. Alle drei auf der Planerkennung aufsetzenden Prozesse geben ihre Ergebnisse an die Beschreibungskomponente weiter, die die übermittelte Information in eine natürlichsprachliche Beschreibung umsetzt.

In diesem Abschnitt wird die in der vorliegenden Arbeit verwendete Terminologie eingeführt. Sie orientiert sich vor allem an der Terminologie der philosophischen Handlungstheorie (vgl. Abschnitt 2.1.2) und an der Terminologie der KI-Gebiete Plangenerierung (vgl. Abschnitt 2.3.1) und Planerkennung (vgl. Abschnitt 2.3.3).

Die vorliegende Arbeit behandelt die Interpretation des Verhaltens mehrerer Akteure in Szenenfolgen. Es wurde ein planerkennungsbasierter Ansatz hierfür vorgestellt, der Verfahren zur Erkennung und Beschreibung von Intentionen, Interaktionen und Fehlschlagsursachen integriert. Ein System, das über solche Verfahren verfügt, ist in der Lage, intentionale Aspekte menschlichen Verhaltens zu erfassen und dadurch weitaus mehr Information aus beobachteten Szenenfolgen zu extrahieren als Systeme, die auf raum-zeitliche Aspekte beschränkt sind.

Die vorliegende Arbeit ist im Umfeld der natürlichsprachlichen Beschreibung von Bildfolgen entstanden, einem Teilbereich des Aufgabengebietes „Kopplung von bildverstehenden und sprachverstehenden Systemen“. In diesem Bereich hat man sich bisher nur mit der Erkennung und Beschreibung von Objekten sowie deren räumlichen Relationen und Bewegungen, also mit raum-zeitlichen Aspekten beschäftigt.1

Die im Rahmen der vorliegenden Arbeit entwickelten Ansätze zur automatischen Erkennung von Plänen und Intentionen wurden implementiert in dem System REPLAI-II. Die Beschreibung orientiert sich daher in diesem und im folgenden Kapitel an den Komponenten des Systems.

Natural language systems for the description of image sequences have been developed (e.g. Neumann and Novak, 1986; Herzog et al., 1989). Even though these systems were used to verbalize the behaviour of human agents, they were limited in that they could only describe the purely visual, i.e. spatio-temporal, properties of the behaviour observed. For many applications of such systems (e.g. co-driver systems in traffic, expert systems in high-performance sports, tutorial systems that give “apprentices” instructions in construction tasks, etc.), it seems useful to extend their capabilities to cover a greater part of the performance of a human observer and thus make the system more helpful to the user. In particular, an interpretation process ought to be modelled that yields hypotheses about intentional entities from spatio-temporal information about agents. Its results should be verbalized in natural language.

The system REPLAI-II extends the range of capabilities of natural language systems describing real-world image sequences. The systems developed so far in this field merely extract spatio-temporal information from image sequences and verbalize it in natural language. Such a system is, for instance, the system SOCCER, which describes extracts of soccer games in German ([AHR88], [HSA+89]). REPLAI-II extends this description generation by recognizing and verbalizing intentional entities such as intentions, interactions and the causes of plan failures. Intentions are central to all goal-directed behaviour and are realized by carrying out plans. Interactions typically occur in domains containing multiple agents. We distinguish cooperative and antagonistic interactions between the plans of multiple agents. In addition, REPLAI-II tries to recognize plan failures and to determine their causes. The recognized entities are verbalized in natural language (German).

For the recognition and verbalization of events in real-world image sequences it is in certain cases necessary to have expectations, which are based on common-sense knowledge. This paper deals with the use of scripts as a means of generating expectations about events in the domain of traffic scenes and with the evaluation of these expectations for the purpose of verbalization.

SFB 314, Project VITRA, Universität des Saarlandes D-66041 Saarbrücken Zusammenfassung Im Hinblick auf die Integration von maschinellem Sehen und der Verarbei-tung natürlicher Sprache setzt sich der vorliegende Beitrag genauer mit dem Pro-blem der simultanen Analyse und natürlichsprachlichen Beschreibung einer Re-alweltbildfolge auseinander. Als Diskursbereich für die Entwicklung des Systems Soccer, einem natürlichsprachlichen Zugangssystem zu einem Bildfolgenanalyse-System, wurden kurze Szenen aus Fußballspielen gewählt. In dieser Domäne können die Beschreibungen der Text-sorte Fußballdirektreportage nachempfunden werden, für die bereits zahlreiche linguistische Untersuchungen vorliegen. Die Eingabe für das System Soccer bil-den die aus Realweltbildfolgen extrahierten Trajektorien der bewegten Objekte. Diese rein geometrische Repräsentation der betrachteten Szene wird automatisch weiter analysiert, d.h. es werden interessante Ereignisse erkannt, mit dem Ziel, die Geschehnisse in der Szene sprachlich zu beschreiben. Im Gegensatz zu bishe-rigen Ansätzen soll dabei jedoch nicht von einer bereits vollständig analysierten Bildfolge ausgegangen werden; vielmehr sind Ereignisse so zu repräsentieren, daß sie simultan zu ihrem Auftreten in der Szene detektiert und natürlichsprach-lich beschrieben werden können. Neben der Erkennung und Beschreibung rein visueller Phänomene sollen die Beobachtungen auch interpretiert werden. Im Teilsystem Replai wird dazu mithilfe von Planerkennungsmethoden vom beobachteten Verhalten auf die zu-grundeliegenden Intentionen zurückgeschlossen. Hierfür ist es von Nutzen, daß in der Domäne "Fußballspiel" relativ klar definierte Ziele und Abhängigkeiten zwischen Zielen bestehen, die für die Intentionserkennung ausgenutzt werden können.