Formelle Grammatik

Im Formale Sprachtheorie, a Grammatik (Wenn der Kontext nicht gegeben ist, oft als a genannt formelle Grammatik Für Klarheit) beschreibt, wie man Strings aus einer Sprache bildet Alphabet das sind nach der Sprache gültig Syntax. Eine Grammatik beschreibt die nicht Bedeutung der Saiten Oder was kann mit ihnen in welchem ​​Kontext - nur ihrer Form - getan werden können. Eine formale Grammatik wird als eine Reihe von Produktionsregeln für solche Saiten in einer formalen Sprache definiert.

Die formale Sprachtheorie, die Disziplin, die formale Grammatiken und Sprachen untersucht, ist ein Zweig von angewandte Mathematik. Seine Anwendungen sind in gefunden in Theoretische Informatik, Theoretische Sprachwissenschaft, formelle Semantik, Mathematische Logikund andere Bereiche.

Eine formelle Grammatik ist eine Reihe von Regeln für das Umschreiben von Zeichenfolgen sowie ein "Startsymbol", aus dem das Umschreiben beginnt. Daher wird normalerweise eine Grammatik als Sprachgenerator betrachtet. Es kann jedoch auch manchmal als Grundlage für eine "verwendet werden"Erkenntnis" - Eine Funktion beim Berechnen, die feststellt Automatenheorie. Eines der interessanten Ergebnisse der Automatentheorie ist, dass es nicht möglich ist, einen Erkenner für bestimmte formale Sprachen zu entwerfen.^[1] Parsing ist der Prozess der Erkennung einer Äußerung (eine Saite in natürlichen Sprachen), indem sie sie auf eine Reihe von Symbolen zerlegt und jeden gegen die Grammatik der Sprache analysiert. Die meisten Sprachen haben die Bedeutungen ihrer Äußerungen nach ihrer Syntax - eine Praxis, die als bekannt ist Kompositionssemantik. Infolgedessen besteht der erste Schritt zur Beschreibung der Bedeutung einer Äußerung in der Sprache darin, sie durch einen Teil aufzubrechen und ihre analysierte Form zu betrachten (bekannt als seine als ITS bekannt Baum analysieren in der Informatik und als es tiefe Struktur in Generative Grammatik).

Geschichte

PāṇiniAbhandlung Astadyayi gibt formale Produktionsregeln und Definitionen, um die formale Grammatik von zu beschreiben Sanskrit.^[2] Es gibt unterschiedliche Verwendungen von "Form" und "Formalismus", die sich im Laufe der Zeit geändert haben, abhängig von den Feldern, mit denen der zuständige Autor in Kontakt war. Ein historischer Überblick über das Konzept ist in ^[3]

Einführungsbeispiel

Eine Grammatik besteht hauptsächlich aus einem Satz von ProduktionsregelnUmschreiben von Regeln für die Transformation von Saiten. Jede Regel gibt einen Austausch einer bestimmten Zeichenfolge an (ITS) links) mit einem anderen (es rechte Seite). Eine Regel kann auf jede Zeichenfolge angewendet werden, die ihre linke Seite enthält und eine Schnur erzeugt, in der ein Auftreten dieser linken Seite durch ihre rechte Seite ersetzt wurde.

Im Gegensatz zu a Semi-Thue-System, was durch diese Regeln vollständig definiert ist, unterscheidet eine Grammatik weiter zwischen zwei Arten von Symbolen: nicht terminal und Terminal Symbole; Jede linke Seite muss mindestens ein nicht terminales Symbol enthalten. Es unterscheidet auch ein spezielles nicht terminales Symbol, das als das genannt wird Starten Sie das Symbol.

Die von der Grammatik generierte Sprache wird als die Menge aller Zeichenfolgen definiert, ohne nicht terminale Symbole, die aus der Zeichenfolge erzeugt werden können, die aus einem einzigen Startsymbol besteht, indem sie (möglicherweise wiederholt) ihre Regeln auf eine mögliche Weise aufweist. Wenn es im Wesentlichen unterschiedliche Möglichkeiten gibt, dieselbe einzelne Zeichenfolge zu erzeugen, soll die Grammatik sein zweideutig.

In den folgenden Beispielen sind die terminalen Symbole a und bund das Startsymbol ist S.

Beispiel 1

Angenommen, wir haben die folgenden Produktionsregeln:

1. ${\ displayStyle s \ rightarrow asb}$

2. ${\ displayStyle s \ rightarrow ba}$

Dann beginnen wir mit Sund kann eine Regel auswählen, die sich dafür bewerben kann. Wenn wir Regel 1 wählen, erhalten wir die Zeichenfolge Asb. Wenn wir dann Regel 1 auswählen, ersetzen wir erneut S mit Asb und erhalten Sie die Zeichenfolge aasbb. Wenn wir jetzt Regel 2 wählen, ersetzen wir S mit ba und erhalten Sie die Zeichenfolge Aababb, und sind fertig. Wir können diese Reihe von Auswahlmöglichkeiten kurz mehr mit Symbolen schreiben: $oder$.

Die Sprache der Grammatik ist der unendliche Satz $oder$, wo ${\ displayStyle a^{k}}$ ist ${\ displayStyle a}$ wiederholt ${\ displayStyle K}$ Zeiten (und ${\ displayStyle n}$ Insbesondere stellt die Anzahl der Produktionsregel 1 an, die angewendet wurde. Diese Grammatik ist kontextfrei (nur einzelne Nichtterminale erscheinen als linke Seiten) und eindeutig.

Beispiele 2 und 3

Angenommen, die Regeln sind stattdessen:

1. ${\ displayStyle s \ rightarrow a}$

2. ${\ displayStyle s \ rightarrow ss}$

3. ${\ displayStyle ASA \ Rightarrow B}$

Diese Grammatik ist aufgrund von Regel 3 nicht kontextfrei und ist aufgrund der mehrfachen Möglichkeiten, in denen Regel 2 verwendet werden kann, um Sequenzen von zu generieren ${\ displayStyle S}$s.

Die Sprache, die sie erzeugt ${\ displayStyle a}$s und/oder ${\ displayStyle B}$s. Dies ist leicht zu erkennen: um a zu generieren ${\ displayStyle B}$ von einem ${\ displayStyle S}$Verwenden Sie Regel 2 zweimal, um zu generieren ${\ displayStyle SSS}$, dann vor Regel 1 zweimal und Regel 3 einmal zu produzieren, um zu produzieren ${\ displayStyle B}$. Dies bedeutet, dass wir willkürliche nicht leere Sequenzen von generieren können ${\ displayStyle S}$s und ersetzen Sie dann jeden durch sie durch ${\ displayStyle a}$ oder ${\ displayStyle B}$ wie wir wollen.

Dieselbe Sprache kann alternativ durch eine kontextfreie, nicht schwere Grammatik erzeugt werden. Zum Beispiel die regulär Grammatik mit Regeln

1. ${\ displayStyle s \ rightarrow als}$

2. ${\ displayStyle s \ rightarrow bs}$

3. ${\ displayStyle s \ rightarrow a}$

4. ${\ displayStyle s \ rightarrow b}$

Formale Definition

Die Syntax der Grammatiken

In der klassischen Formalisierung generativer Grammatiken, die zuerst von vorgeschlagen wurden von Noam Chomsky in den 1950ern,^[4][5] eine Grammatik G besteht aus den folgenden Komponenten:

• Ein endliches Set N von Nicht terminale Symbole, das ist disjunkt mit den Saiten aus gebildet aus G.
• Ein endliches Set ${\ displayStyle \ sigma}$ von Terminalsymbole das ist disjunkt aus N.
• Ein endliches Set P von Produktionsregeln, jede Regel der Form

$oder$

wo ${\ displayStyle {*}}$ ist der Kleene Star Bediener und ${\ displayStyle \ cup}$ bezeichnet Set Union. Das heißt, jede Produktionsregel kartiert von einer Zeichenfolge von Symbolen zu einer anderen, wobei die erste Zeichenfolge (der "Kopf") eine willkürliche Anzahl von Symbolen enthält, die mindestens einer von ihnen vorgesehen sind. Für den Fall, dass die zweite Zeichenfolge (der "Körper") ausschließlich aus dem besteht leerer String- Ich enthält überhaupt keine Symbole - es kann mit einer besonderen Notation bezeichnet werden (oft ${\ displayStyle \ lambda}$, e oder ${\ displayStyle \ Epsilon}$) um Verwirrung zu vermeiden.

• Ein angesehenes Symbol ${\ displayStyle s \ in n}$ das ist das Starten Sie das Symbol, auch die genannt Satzsymbol.

Eine Grammatik wird formal definiert als die Tupel ${\ displayStyle (n, \ sigma, p, s)}$. Eine solche formale Grammatik wird oft als als genannt System umschreiben oder ein Phrasenstruktur Grammatik in der Literatur.^[6][7]

Einige mathematische Konstrukte in Bezug auf formelle Grammatiken

Der Betrieb einer Grammatik kann in Bezug auf die Beziehungen zu Zeichenfolgen definiert werden:

• Eine Grammatik gegeben ${\ displayStyle g = (n, \ sigma, p, s)}$, die binäre Beziehung ${\ displayStyle {\ unterstrich {g} {\ rightarrow}}}$ (ausgesprochen als "G stellt sich in einem Schritt ab") auf Strings in ${\ displayStyle (\ sigma \ cup n)^{*}}$ wird definiert durch:

  $oder \ rightarrow q \ in p) \ kedge (y = uqv)}$

• die Beziehung ${\ displayStyle {\ overset {*} {\ unterstrich {g} {\ rightarrow}}}}$ (ausgesprochen als G leitet sich in null oder mehr Schritten ab) ist definiert als die Reflexive transsitive Schließung von ${\ displayStyle {\ unterstrich {g} {\ rightarrow}}}$
• a Sententiale Form ist ein Mitglied von ${\ displayStyle (\ sigma \ cup n)^{*}}$ Das kann in einer begrenzten Anzahl von Schritten vom Startsymbol abgeleitet werden ${\ displayStyle S}$; Das heißt, eine sententiale Form ist ein Mitglied von $oder$. Eine sententiale Form, die keine nicht terminalen Symbole enthält (d. H. Ist ein Mitglied von ${\ displaystyle \ sigma ^{*}}$) wird a genannt Satz.^[8]
• das Sprache von ${\ displayStyle g}$, bezeichnet als ${\ displayStyle {\ Boldsymbol {l}} (g)}$, ist definiert als die Sätze von Sätzen, die von erbaut wurden von ${\ displayStyle g}$.

Beachten Sie, dass die Grammatik ${\ displayStyle g = (n, \ sigma, p, s)}$ ist effektiv das Semi-Thue-System ${\ displayStyle (n \ cup \ sigma, p)}$Saiten genauso umschreiben; Der einzige Unterschied besteht darin, dass wir spezifisch unterscheiden nicht terminal Symbol ${\ displayStyle S}$ zu Strings ohne nicht terminale Symbole.

Beispiel

Für diese Beispiele werden formale Sprachen verwendet Set-Builder-Notation.

Betrachten Sie die Grammatik ${\ displayStyle g}$ wo ${\ displayStyle n = \ links \ {s, b \ rechts \}}$, ${\ displayStyle \ sigma = \ links \ {a, b, c \ rechts \}}$, ${\ displayStyle S}$ ist das Startsymbol und ${\ displayStyle p}$ besteht aus den folgenden Produktionsregeln:

1. ${\ displayStyle s \ rightarrow abc}$

2. ${\ displayStyle s \ rightarrow abc}$

3. ${\ displayStyle ba \ rightarrow ab}$

4. ${\ displayStyle bb \ rightarrow bb}$

Diese Grammatik definiert die Sprache $oder$ wo ${\ displayStyle a^{n}}$ bezeichnet eine Reihe von n aufeinanderfolgenden ${\ displayStyle a}$'s. Somit ist die Sprache die Reihe von Zeichenfolgen, die aus 1 oder mehr bestehen ${\ displayStyle a}$'s, gefolgt von der gleichen Anzahl von ${\ displayStyle B}$'s, gefolgt von der gleichen Anzahl von ${\ displayStyle c}$'s.

Einige Beispiele für die Ableitung von Strings in ${\ displayStyle l (g)}$ sind:

(Hinweis zur Notation: ${\ displayStyle p {\ unterstrich {i} {\ rightarrow}} q}$ liest "String P erzeugt String Q durch Produktion i", und der generierte Teil ist jedes Mal in fettem Typ angegeben.)

Die Chomsky -Hierarchie

Wann Noam Chomsky Erste formalisierte generative Grammatiken im Jahr 1956,^[4] Er klassifizierte sie in Typen, die jetzt als die bezeichnet werden Chomsky -Hierarchie. Der Unterschied zwischen diesen Typen besteht darin, dass sie zunehmend strengere Produktionsregeln haben und daher weniger formale Sprachen ausdrücken können. Zwei wichtige Typen sind Kontextfreie Grammatiken (Typ 2) und Regelmäßige Grammatiken (Typ 3). Die Sprachen, die mit einer solchen Grammatik beschrieben werden können Kontextfreie Sprachen und reguläre Sprachen, beziehungsweise. Obwohl viel weniger mächtig als uneingeschränkte Grammatiken (Typ 0), der tatsächlich jede Sprache ausdrücken kann, die von a akzeptiert werden kann Turing MaschineDiese beiden eingeschränkten Grammatikarten werden am häufigsten verwendet, da Parser für sie effizient implementiert werden können.^[9] Zum Beispiel können alle regulären Sprachen von a erkannt werden Finite-State-Maschineund für nützliche Untergruppen kontextfreier Grammatiken gibt es bekannte Algorithmen, um effizient zu erzeugen LL Parser und LR -Parser Um die entsprechenden Sprachen zu erkennen, erzeugen diese Grammatiken.

Kontextfreie Grammatiken

A Kontextfreie Grammatik ist eine Grammatik, in der die linke Seite jeder Produktionsregel nur aus einem einzigen nicht terminalen Symbol besteht. Diese Einschränkung ist nicht trivial; Nicht alle Sprachen können durch kontextfreie Grammatiken generiert werden. Diejenigen, die können, werden genannt Kontextfreie Sprachen.

Die Sprache $oder$ oben definiert ist keine kontextfreie Sprache, und dies kann streng mit dem nachgewiesen werden Lemma für kontextfreie Sprachen pumpen, aber zum Beispiel die Sprache $oder$ (mindestens 1 ${\ displayStyle a}$ gefolgt von der gleichen Anzahl von ${\ displayStyle B}$'s) ist kontextfrei, da es durch die Grammatik definiert werden kann ${\ displayStyle g_ {2}}$ mit ${\ displayStyle n = \ links \ {s \ rechts \}}$, ${\ displayStyle \ sigma = \ links \ {a, b \ rechts \}}$, ${\ displayStyle S}$ Das Startsymbol und die folgenden Produktionsregeln:

1. ${\ displayStyle s \ rightarrow asb}$

2. ${\ displayStyle s \ rightarrow ab}$

Eine kontextfreie Sprache kann in erkannt werden ${\ displayStyle o (n^{3})}$ Zeit (sehen Big O Notation) durch einen Algorithmus wie z. Earleys Erkenntnis. Das heißt, für jede kontextfreie Sprache kann eine Maschine erstellt werden, die eine Zeichenfolge als Eingabe aufnimmt und in feststellt ${\ displayStyle o (n^{3})}$ Zeit, ob die Zeichenfolge ein Mitglied der Sprache ist, wo ${\ displayStyle n}$ ist die Länge der Saite.^[10] Deterministische kontextfreie Sprachen ist eine Untergruppe kontextfreier Sprachen, die in der linearen Zeit erkannt werden können.^[11] Es gibt verschiedene Algorithmen, die entweder auf diesen Sprachen oder eine Teilmenge davon abzielen.

Regelmäßige Grammatiken

Im Regelmäßige GrammatikenDie linke Seite ist wieder nur ein einzelnes nicht terminales Symbol, aber jetzt ist die rechte Seite ebenfalls eingeschränkt. Die rechte Seite kann die leere Saite oder ein einzelnes Klemmensymbol oder ein einzelnes terminales Symbol sein, gefolgt von einem nicht terminalen Symbol, aber nichts anderes. (Manchmal wird eine breitere Definition verwendet: Man kann längere Strings von Terminals oder einzelne Nichtterminale ohne irgendetwas anderes zulassen, was Sprachen macht einfacher zu bezeichnen während immer noch die gleiche Klasse von Sprachen definiert.)

Die Sprache $oder$ oben definiert ist nicht regelmäßig, sondern die Sprache $oder$ (mindestens 1 ${\ displayStyle a}$ gefolgt von mindestens 1 ${\ displayStyle B}$, wo die Zahlen unterschiedlich sein können), wie sie durch die Grammatik definiert werden kann ${\ displayStyle g_ {3}}$ mit ${\ displayStyle n = \ links \ {s, a, b \ rechts \}}$, ${\ displayStyle \ sigma = \ links \ {a, b \ rechts \}}$, ${\ displayStyle S}$ Das Startsymbol und die folgenden Produktionsregeln:

1. ${\ displayStyle s \ rightarrow aa}$
2. ${\ displayStyle a \ rightarrow aa}$
3. ${\ displayStyle a \ rightarrow BB}$
4. ${\ displayStyle b \ rightarrow BB}$
5. ${\ displayStyle b \ rightarrow \ epsilon}$

Alle von einer regulären Grammatik generierten Sprachen können in erkannt werden ${\ displayStyle o (n)}$ Zeit von einer endlichen Zustandsmaschine. Obwohl in der Praxis regelmäßige Grammatiken häufig verwendet werden Reguläre AusdrückeEinige in der Praxis verwendete Formen des regelmäßigen Ausdrucks generieren die regulären Sprachen nicht strikt und zeigen aufgrund dieser Abweichungen keine lineare Erkennungsleistung.

Andere Formen generativer Grammatiken

Viele Erweiterungen und Variationen von Chomskys ursprünglicher Hierarchie formeller Grammatiken wurden sowohl von Linguisten als auch von Informatikern entwickelt, die normalerweise entweder ihre ausdrucksstarke Kraft oder die Analyse oder Analyse erleichtern. Einige Formen der entwickelten Grammatiken umfassen:

• Bree-Adjoining-Grammatiken Erhöhen Sie die Ausdruckskraft herkömmlicher generativer Grammatiken, indem Sie die Umschreibung von Regeln ermöglichen Bäume analysieren statt nur Strings.^[12]
• Betix -Grammatiken^[13] und Grammatiken zuschreiben^[14][15] Ermöglichen Sie, dass die Umschreiben von Regeln durch semantische Attribute und Operationen erweitert werden, sowohl nützlich für die Erhöhung der Grammatikausdruckskraft als auch für die Konstruktion praktischer Sprachübersetzungsinstrumente.

Rekursive Grammatiken

Eine rekursive Grammatik ist eine Grammatik, die Produktionsregeln enthält, die sind rekursiv. Zum Beispiel eine Grammatik für a Kontextfreie Sprache ist linksrekursiv Wenn es ein nicht terminales Symbol gibt A Das kann durch die Produktionsregeln gestellt werden, um eine Zeichenfolge mit A als das symbol links.^[16] Ein Beispiel für rekursive Grammatik ist eine Klausel innerhalb eines von zwei Kommas getrennten Satzes.^[17] Alle Arten von Grammatik in der Okoye -Hierarchie können rekursiv sein.

Analytische Grammatiken

Obwohl es einen enormen Körper der Literatur gibt Parsing -AlgorithmenDie meisten dieser Algorithmen gehen davon aus beschrieben mittels a generativ formelle Grammatik, und das Ziel ist es, diese generative Grammatik in einen funktionierenden Parser zu verwandeln. Streng genommen entspricht eine generative Grammatik in keiner Weise dem Algorithmus, mit dem eine Sprache analysiert wird, und verschiedene Algorithmen haben unterschiedliche Einschränkungen für die Form von Produktionsregeln, die als gut geformt angesehen werden.

Ein alternativer Ansatz besteht darin, die Sprache in erster Linie in Bezug auf eine analytische Grammatik zu formalisieren, die direkter der Struktur und Semantik eines Parsers für die Sprache entspricht. Beispiele für analytische Grammatikformalismen sind die folgenden:

• Die Sprachmaschine Implementiert uneingeschränkte analytische Grammatiken direkt. Substitutionsregeln werden verwendet, um einen Eingang zu transformieren, um Ausgaben und Verhalten zu erzeugen. Das System kann auch produzieren das LM-Diagramm, was zeigt, was passiert, wenn die Regeln einer uneingeschränkten analytischen Grammatik angewendet werden.
• Top-Down-Parsingsprache (TDPL): Ein hochminimalistischer analytischer Grammatikformalismus, der Anfang der 1970er Jahre entwickelt wurde, um das Verhalten von zu untersuchen Top-Down-Parser.^[18]
• Grammatiken verlinken: Eine Form der analytischen Grammatik für Linguistik, was die syntaktische Struktur ableitet, indem die Positionsbeziehungen zwischen Wörternpaaren untersucht werden.^[19][20]
• Ausdrucksgrammatiken analysieren (PEGS): Eine neuere Verallgemeinerung von TDPL, die um die Praktikum entwickelt wurden Ausdruckskraft Bedürfnissen Programmiersprache und Compiler Schriftsteller.^[21]

Siehe auch

Verweise

Externe Links