Abstract
Die vorliegende Doktorarbeit stellt eine robuste, hybride, tiefensyntaktische Parsingarchitektur in der Tradition der Dependenzgrammatik vor, sowie ihre Im- plementierung und Evaluierung. Die Architektur und Implementierung wurde darauf ausgelegt, Suchräume zu minimieren ohne linguistische Kompromisse oder Performanzeinbussen in Kauf nehmen zu müssen. Das resultierende Syntaxanalyseprogramm fürs Englische ist tiefensyntaktisch wie ein Parser für formale Grammatiktheorien, braucht aber weitestgehend nur kontextfreie Komplexität, und ist schnell genug für den Einsatz über unbeschränkten Mengen an Text. Unser Ansatz kombiniert verschiedene erfolgreiche Zugänge zu einem hybriden, relativ einfachen, modularen und offenen Modell. Unser Beitrag zur Forschung besteht aus den folgenden drei Ergebnissen: Erstens diskutieren, implementieren, und evaluieren wir eine Parsingarchitektur, die schnell, robust und effizient genug ist für die umfassende tiefensyntaktische Analyse unbeschränkter Textmengen Englischer Alltags- wie auch Fachsprache. Zweitens führen wir ein Parsingmodell ein, welches eine regelbasierte Kompetenzgrammatik mit einem performanzbasierten probabilistischen Disambiguierungsmodell kombiniert. Drittens zeigen wir, wie inhärent komplexe linguistische Probleme in Unterprobleme aufgeteilt und mit weniger komplexen Zugängen erfolgreich angenähert werden können. Insbesondere gilt:
1. Die grosse Mehrzahl unbeschränkter Abhängigkeiten kann genug angenähert werden durch die Verwendung einer spezifischen funktionalen Dependenzgrammatik, sowie durch die Verwendung regulärer Muster beim Training und in der Nachverarbeitung.
2. Die wenigen verbleibenden unbeschränkten Abhängigkeiten können mittels einer kleinen Erweiterung der Dependenzgrammatik behandelt werden. Diese Erweiterung ist bekannt aus der Tree-Adjoining Grammar (TAG) und erlaubt die Behandlung sogenannt mild kontextsensitiver Strukturen.
3. Das Parsen nichtgeschachtelter Phrasen (base phrases) kann erfolgreich durch flache Zugänge wie Chunking und Tagging angenähert werden. Wir schliessen, dass unsere funktionale Dependenzgrammatik genügend ausdrucksstark für die linguistisch adäquate tiefensyntaktische Analyse englischer Texte ist. Wir argumentieren, dass unser Parser eine Zwischenstufe zwischen oberflächenbasierter Syntaxanalyse und dem Zugang mittels formaler Syntaxtheorien darstellt, welche die Vorteile beider kombiniert. Der Parser erreicht konkurrenzfähige Leistung und wird in verschiedenen Gebieten eingesetzt.
Abstract
This thesis proposes a robust, hybrid, deep-syntatic dependency-based parsing architecture and presents its implementation and evaluation. The architecture and the implementation are carefully designed to keep search-spaces small without compromising much on linguistic performance or adequacy. The resulting parser is deep-syntactic like a formal grammar-based parser but at the same time mostly context-free and fast enough for large-scale application to unrestricted texts. It combines a number of successful current approaches into a hybrid, comparatively simple, modular and open model. This thesis reports three results: First, we suggest, implement, and evaluate a parsing architecture that is fast, robust and efficient enough to allow users to do broad-coverage parsing of unrestricted texts from varied domains. Second, we present a probability model and a combination between rule-based competence grammar and a statistical lexicalized performance disambiguation model. Third, we show that inherently complex linguistic problems can be broken down and approximated sufficiently well by less complex methods. In particular
1. on the level of long-distance dependencies, the majority of them can be approximated by using a labeled DG, context-free finite-state-based patterns, and post-processing,
2. on the level of long-distance dependencies, a slightly extended DG allows us to use mildly context-sensitive operations known from Tree-Adjoining Grammar (TAG),
3. on the base phrase level, parsing can successfully be approximated by the more shallow approaches of chunking and tagging. We conclude that labeled DG is sufficiently expressive for linguistically adequate parsing.
We argue that our parser covers the middle ground between statistical parsing and formal grammar-based parsing. The parser has competitive performance and has been applied widely.
Schneider, Gerold