Eingang zum Volltext

Urheberrechtshinweis / Copyright notice

Bitte beziehen Sie sich beim Zitieren dieses Dokumentes immer auf folgende
URN: urn:nbn:de:hbz:82-opus-32107
URL: http://darwin.bth.rwth-aachen.de/opus3/volltexte/2010/3210/

Macherey, Klaus

Statistical methods in natural language understanding and spoken dialogue systems

Statistische Methoden für das automatische Sprachverstehen und für sprachbasierte Dialogsysteme

pdf-Format:
Dokument 1.pdf (1.223 KB)

Kurzfassung (Englisch)

Modern automatic spoken dialogue systems cover a wide range of applications. There are systems for hotel reservations, restaurant guides, systems for travel and timetable information, as well as systems for automatic telephone-banking services. Building the different components of a spoken dialogue system and combining them in an optimal way such that a reasonable dialogue becomes possible is a complex task because during the course of a dialogue, the system has to deal with uncertain information. In this thesis, we use statistical methods to model and combine the system's components. Statistical methods provide a well-founded theory for modeling systems where decisions have to be made under uncertainty. Starting from Bayes' decision rule, we define and evaluate various statistical models for these components, which comprise speech recognition, natural language understanding, and dialogue management. The problem of natural language understanding is described as a special machine translation problem where a source sentence is translated into a formal language target sentence consisting of concepts. For this, we define and evaluate two models. The first model is a generative model based on the source-channel paradigm. Because the word context plays an important role in natural language understanding tasks, we use a phrase-based translation system in order to take local context dependencies into account. The second model is a direct model based on the maximum entropy framework and works similar to a tagger. For the direct model, we define several feature functions that capture dependencies between words and concepts. Both methods have the advantage that only source-target pairs in the form of input-output sentences must be provided for training. Thus, there is no need to generate grammars manually, which significantly reduces the costs of building dialogue systems for new domains. Furthermore, we propose and investigate a framework based on minimum error rate training that results in a tighter coupling between speech recognition and language understanding. This framework allows for an easy integration of multiple knowledge sources by minimizing the overall error criterion. Thus, it is possible to add language understanding features to the speech recognition framework and thus to minimize the word error rate, or to add speech recognition features to the language understanding framework and thus to minimize the slot error rate. Finally, we develop a task-independent dialogue manager using trees as the fundamental data structure. Based on a cost function, the dialogue manager chooses the next dialogue action with minimal costs. The design and the task-independence of the dialogue manager leads to a strict separation of a given application and the operations performed by the dialogue manager, which simplifies porting an existing dialogue system to a new domain. We report results from a field test in which the dialogue manager was able to choose the optimal dialogue action in 90% of the decisions. We investigate techniques for error handling based on confidence measures defined for speech recognition and language understanding. Furthermore, we investigate the overall performance of the dialogue system when confidence measures from speech recognition and natural language understanding are incorporated into the dialogue strategy. Experiments have been carried out on the TelDir database, which is a German in-house telephone directory assistance corpus, and on the Taba database, which is a German in-house train time scheduling task.

Kurzfassung (Deutsch)

Automatische sprachbasierte Dialogsysteme werden heutzutage in zahlreichen Anwendungen eingesetzt. So gibt es beispielsweise Dialogsysteme für Hotelreservierungen, Systeme zur Reise- und Fahrplanauskunft, sowie Dialogsysteme für das sogenannte Telefon-Banking. Damit ein für den Benutzer sinnvoller Dialog zustande kommt, muss ein Dialogsystem diejenigen Entscheidungen treffen, die zur Beantwortung der Benutzeranfrage führen. Da ein sprachbasiertes Dialogsystem nur ein unvollständiges Modell der Wirklichkeit besitzt und die Dekodierung von Benutzereingaben fehlerhaft sein kann, können die Entscheidungen eines Dialogsystems im allgemeinen nicht auf Basis von Faktenwissen getroffen werden, sondern müssen aufgrund unvollständigen Wissens erfolgen. Um die Unsicherheit in den Entscheidungen zu beschreiben, verwenden wir in dieser Arbeit statistische Methoden zur Modellierung der Komponenten eines Dialogsystems. Ausgehend von der Bayesschen Entscheidungsregel definieren und evaluieren wir verschiedene Modelle, mit deren Hilfe wir die Spracherkennungskomponente, die Sprachverstehenskomponente und den Dialog Manager modellieren. Das Problem des Verstehens natürlicher Sprache wird als ein spezielles Problem der maschinellen Übersetzung beschrieben, wobei ein Satz der Quellsprache in einen Satz der Zielsprache übersetzt wird. Die Zielsprache ist dabei eine formale Sprache bestehend aus Konzepten. Hierzu untersuchen wir zwei Modelle: das erste Modell ist eine generatives Modell, welches auf dem Source-Channel Paradigma basiert. Da lokale Kontexte von Wörtern eine zentrale Rolle beim Verstehen natürlicher Sprache spielen, verwenden wir ein phrasenbasiertes Übersetzungssystem, dass Wörter im Kontext modellieren kann. Das zweite Modell ist ein direktes Modell, welches auf dem Maximum Entropie Ansatz basiert und ähnlich wie ein Tagger eingesetzt wird. Für das direkte Modell definieren wir zahlreiche Feature Funktionen, welche die komplexen Abhängigkeiten zwischen Wörtern und Konzepten erfassen. Beide Ansätze haben den Vorteil, dass nur Satzpaare in Form von Ein-Ausgabe Sätzen dem Trainingsalgorithmus zur Verfügung gestellt werden müssen. Dadurch entfällt die manuelle Generierung von Grammatiken, welche häufig im Kontext von Sprachverstehenssystemen eingesetzt werden. Desweiteren stellen wir einen auf dem Minimum Error Rate Training basierenden Ansatz vor, der eine stärkere Kopplung zwischen Spracherkenung und Sprachverstehen erlaubt. Der Ansatz ermöglicht auf einfache Weise die Integration zahlreicher Feature Funktionen bei gleichzeitiger Minimierung des Evaluationskriteriums. Dadurch ist es möglich, die Wissensquellen der Sprachverstehenskomponente in die Spracherkennungskomponente zu integrieren und somit die Wortfehlerrate zu minimieren, beziehungsweise umgekehrt die Wissensquellen der Spracherkennungskomponente mit den Wissensquellen der Sprachverstehenskomponente zu kombinieren und somit die Konzeptfehlerrate zu minimieren. Zusätzlich entwickeln wir einen domänenunabhängigen Dialog Manager, der auf Basis einer Kostenfunktion die nächstfolgende Dialogaktion bestimmt. Die Domänenunabhängigkeit des Dialog Managers führt zu einer strikten Trennung zwischen der konkreten Applikation und den Operationen, die der Dialog Manager ausführen kann. Dies vereinfacht die Portierung eines existierenden Dialog Managers auf eine neue Domäne. Wir zeigen empirisch, dass der Dialog Manager in einem Feldtest in der Lage war für ca. 90% aller Entscheidungen die jeweils optimale Entscheidung zu treffen. Abschließend untersuchen wir Techniken zur Fehlerbehandlung in sprachbasierten Dialogsystemen basierend auf Konfidenzmaßen. Dabei untersuchen wir die Performanz des Dialogsystems für den Fall, dass Konfidenzmaße für die Spracherkennung und das Sprachverstehen in die Dialogstrategie eingebaut werden. Experimentelle Resultate werden für die TelDir und die Taba Datensammlung diskutiert. Die TelDir Datensammlung ist ein Korpus aus der Domäne Telefonbuchassistent für die deutsche Sprache, die Taba Datensammlung ist ein Korpus aus der Domäne Fahrplanauskunftssystem, ebenfalls für die deutsche Sprache.

SWD-Schlagwörter: Automatische Spracherkennung , Sprachverstehen , Dialogsystem , Maschinelle Übersetzung , Maximum-Entropie-Methode , Maschinelles Lernen
Freie Schlagwörter (englisch): natural language understanding , spoken dialogue systems , maximum entropy , minimum error rate training
Institut: Lehrstuhl für Informatik 6 (Sprachverarbeitung und Mustererkennung) [122010]
Fakultät: 01 Fakultät für Mathematik, Informatik und Naturwissenschaften
Hochschule: RWTH Aachen
DDC-Sachgruppe: Informatik
Dokumentart: Dissertation
Hauptberichter: Ney, Hermann (Prof. Dr.)
Sprache: Englisch
Tag der mündlichen Prüfung: 22.09.2009
Erstellungsjahr: 2009
Publikationsdatum: 27.04.2010

 Home  |   Hilfe  |   Viewer  |   Fragen und Anregungen an opus@bth.rwth-aachen.de  |  
 auskunft@bth.rwth-aachen.de  ©Hochschulbibliothek  Haftungsausschluss