Wortvernetzung

"Disambiguation" leitet hier weiter. Informationen zur Disambiguation von Themennamen in Wikipedia finden Sie in Wikipedia: Disambiguation. Für andere Verwendungen siehe Disambiguation (disambiguation).

Wortvernetzung (WSD) ist der Prozess der Ermittlung, welche Sinn von a Wort ist in a gemeint Satz oder ein anderes Segment von Kontext. Im Menschen Sprachprozessierung und ErkenntnisEs ist normalerweise unbewusst/automatisch, kann aber oft kommen bewusst Achtung wann Mehrdeutigkeit Beeinträchtigung der Klarheit der Kommunikation angesichts des allgegenwärtigen Polysemie in Natürliche Sprache. Im Computerlinguistik, es ist ein Offenes Problem Das wirkt sich auf andere computerbezogene Schreiben aus, wie z. Diskurs, Verbesserung der Relevanz von Suchmaschinen, Anaphora -Lösung, Kohärenz, und Inferenz.

Angesichts der Tatsache, dass die natürliche Sprache die neurologische Realität widerspiegelt, wie die Fähigkeiten des Gehirns geprägt sind Neuronale NetzeDie Informatik hatte eine langfristige Herausforderung bei der Entwicklung der Fähigkeit in Computern, dies zu tun Verarbeitung natürlicher Sprache und maschinelles Lernen.

Es wurden viele Techniken erforscht, einschließlich von Wörterbuch basierende Methoden, die das in lexikalischen Ressourcen codierte Wissen verwenden. Überwachendes maschinelles Lernen Methoden, bei denen a Klassifikator wird für jedes eindeutige Wort auf einem Korpus von manuell sinnlich annotierten Beispielen und völlig unbeaufsichtigte Methoden geschult, die das Auftreten von Wörtern aufweisen, wodurch Wortgefühl induziert wird. Unter diesen waren beaufsichtigte Lernansätze die erfolgreichsten Algorithmen miteinander ausgehen.

Die Genauigkeit der aktuellen Algorithmen ist ohne eine Vielzahl von Einschränkungen schwer zu sagen. Auf Englisch, Genauigkeit am grobkörnigen (Homograph) Das Niveau liegt routinemäßig über 90% (ab 2009), wobei einige Methoden zu bestimmten Homographien über 96% erreichen. Bei feinkörnigen Sinnesunterschieden wurden in Bewertungsübungen (Semeval-2007, Senseval-2), bei denen die Grundgenauigkeit des einfachsten möglichen Algorithmus, immer den häufigsten Sinn, 51,4% betrug bzw. 57%.

Über die Anhäufung der Wortserie

Die Disambiguierung erfordert zwei strenge Eingaben: a Wörterbuch Um die Sinne zu spezifizieren, die austambigiert werden sollen und a Korpus von Sprache Daten, die sich (in einigen Methoden "(in einigen Methoden" (a Trainingskorpus von Sprachbeispielen ist ebenfalls erforderlich). Die WSD -Aufgabe verfügt über zwei Varianten: "lexikalische Probe" (das Vorkommen einer kleinen Stichprobe von Zielwörtern, die zuvor ausgewählt wurden) und "alle Wörter" aufgaben (Disambiguation aller Wörter in einem laufenden Text). Die Aufgabe "Alle Wörter" wird im Allgemeinen als realistischere Form der Bewertung angesehen, aber der Korpus ist teurer zu produzieren, da menschliche Annotatoren die Definitionen für jedes Wort in der Reihenfolge jedes Mal lesen müssen, wenn sie ein Tagging -Urteil fällen, anstatt einmal für einen Instanzenblock für dasselbe Zielwort.

Geschichte

WSD wurde in den frühen Tagen der maschinellen Übersetzung in den 1940er Jahren zuerst als eigenständige rechnerische Aufgabe formuliert, wodurch es zu einem der ältesten Probleme in der Computersprachlation ist. Warren Weaver Erste das Problem in einem rechnerischen Kontext in seinem 1949er Memorandum on Translation.[1] Später, Bar-Hillel (1960) argumentierten[2] dass WSD aufgrund der Notwendigkeit im Allgemeinen nicht von "elektronischer Computer" gelöst werden konnte, alle Weltwissen zu modellieren.

In den 1970er Jahren war die WSD eine Subtask von semantischen Interpretationssystemen, die im Bereich der künstlichen Intelligenz entwickelt wurden, beginnend mit Wilks'Präferenzsemantik. Da jedoch WSD-Systeme zu dieser Zeit weitgehend regelbasiert und handkodiert waren, waren sie anfällig für einen Engpass für Wissenserfassung.

In den 1980er Jahren groß angelegte lexikalische Ressourcen wie die Oxford Advanced Learners Dictionary of Current English (OALD), wurde verfügbar: Handcodierung wurde durch das Wissen automatisch aus diesen Ressourcen ersetzt, aber die Disambiguierung war immer noch wissensbasiert oder wörterbuchbasiert.

In den neunziger Jahren wurde die statistische Revolution fortgeschrittener Computersprachlieistik und WSD zu einem Paradigmenproblem, auf dem übersichtliche Techniken für maschinelles Lernen angewendet werden sollten.

In den 2000er Jahren erreichte überwachte Techniken ein Plateau in Genauigkeit, und so hat sich die Aufmerksamkeit auf grobkörnige Sinne verlagert. Domänenanpassung, semi-vorträgliche und unbeaufsichtigte korpusbasierte Systeme, Kombinationen verschiedener Methoden und die Rückgabe von wissensbasierten Systemen über graphbasierte Methoden. Trotzdem funktionieren überwachte Systeme weiterhin am besten.

Schwierigkeiten

Unterschiede zwischen Wörterbüchern

Ein Problem mit der Disambiguierung des Wortsinns ist die Entscheidung, was die Sinne sind, wie unterschiedlich Wörterbücher und Thesaurus wird unterschiedliche Wörterabteilungen in Sinne liefern. Einige Forscher haben vorgeschlagen, ein bestimmtes Wörterbuch auszuwählen und seine Sinne zu verwenden, um mit dieser Verwendung zu behandeln. Im Allgemeinen waren die Forschungsergebnisse jedoch viel besser als diejenigen, die schmale unterscheiden.[3][4] Die meisten Forscher arbeiten weiter daran feinkörnig WSD.

Die meisten Forschungen im Bereich der WSD werden durch Verwendung durchgeführt Wordnet als Referenz Sinnesbestand für Englisch. Wordnet ist ein Computer Lexikon das codiert Konzepte als Synonym Sets (z. B. das Konzept des Autos wird als {Auto, Auto, Automobil, Maschine, Motorrad} codiert. Andere Ressourcen, die für Disambiguierungszwecke verwendet werden Rogets Thesaurus[5] und Wikipedia.[6] In jüngerer Zeit, BabelnetEin mehrsprachiger enzyklopädischer Wörterbuch wurde für mehrsprachige WSD verwendet.[7]

SPEC-STAGGGING

In jedem wirklichen Test, SPEC-STAGGGING und Sense -Tagging, der sich als sehr eng mit jedem potenziellen Einschränkungen für den anderen erwiesen hat. Die Frage, ob diese Aufgaben zusammengehalten oder entkoppelt werden solltenSemeval Wettbewerbe Teile der Sprache werden als Input für den Text eingesetzt.

Beide WSM-SPEC-Tagging beinhalten das Disambiguieren oder Tagging mit Wörtern. Algorithmen, die für den einen verwendet werden . Die Erfolgsrate für Speech-Tagging-Algorithmen ist derzeit viel höher als für WSD, sodass die Kunst rund 96% liegt[8] Genauigkeit oder besser im Vergleich zu einer Genauigkeit von weniger als 75% in Bezug überwachtes Lernen. Diese Zahlen sind typisch für Englisch und können sich sehr von denen für andere Sprachen unterscheiden.

Inter-Richter-Varianz

Ein weiteres Problem ist Inter-Judge Varianz. WSD -Systeme werden normalerweise getestet, indem ihre Ergebnisse zu einer Aufgabe im Vergleich zu denen eines Menschen entstehen. Obwohl es relativ einfach ist, Teilen des Textes dem Text zuzuweisen, hat sich das Training von Personen zum Tag der Sinne als weitaus schwieriger erwiesen.[9] Während Benutzer alle möglichen Teile der Sprache auswendig lernen können, die ein Wort dauern kann, ist es für Einzelpersonen oft unmöglich, sich alle Sinne auswendig zu merken, die ein Wort aufnehmen kann. Darüber hinaus sind sich die Menschen nicht auf die jeweilige Aufgabe einig - geben Sie eine Liste von Sinnen und Sätzen, und Menschen werden sich nicht immer darauf einigen, welches Wort in welchem ​​Sinne gehört.[10]

Da die menschliche Leistung als Standard dient, ist es ein obere Grenze für Computerleistung. Die menschliche Leistung ist jedoch viel besser bei grobkörnig als feinkörnig Unterscheidungen, also wiederum ist dies der Grund, warum die Forschung zu groben Körnern Unterscheidungen erforscht[11][12] wurde in jüngsten WSD -Bewertungsübungen getestet.[3][4]

Pragmatik

Etwas Ai Forscher mögen Douglas Lenat argumentieren, dass man Bedeutungen ohne irgendeine Form von nicht aus Worten analysieren kann Common Sense Ontology. Dieses sprachliche Problem heißt Pragmatik. Wie von Forschern vereinbart, muss man, um Sinne von Wörtern ordnungsgemäß zu identifizieren, den gesunden Menschenverstand erkennen.[13] Darüber hinaus ist der gesunde Menschenverstand manchmal erforderlich, um solche Wörter wie Pronomen zu disambiguieren Anaphoras oder Catapheras im Text.

Sense Inventory und Algorithmen 'Aufgabenabhängigkeit

Ein aufgabenunabhängiger Sinnesbestand ist kein kohärentes Konzept:[14] Jede Aufgabe erfordert eine eigene Aufteilung der Wortbedeutung in Sinne, die für die Aufgabe relevant sind. Darüber hinaus können bei verschiedenen Anwendungen völlig unterschiedliche Algorithmen erforderlich sein. Bei der maschinellen Übersetzung hat das Problem die Form der Zielwortauswahl. Die "Sinne" sind Wörter in der Zielsprache, die häufig erheblichen Bedeutung in der Quellsprache entsprechen ("Bank" könnte das französische "Banque" übersetzen - das heißt 'Financial Bank' oder "Rive" - ​​das heißt,, 'Rand des Flusses'). Im Informationsabruf ist ein sinnvolles Inventar nicht unbedingt erforderlich, da es ausreicht, zu wissen, dass ein Wort in der Abfrage und einem abgerufenen Dokument im gleichen Sinne verwendet wird. Was für ein Gefühl ist das unwichtig.

Diskretion der Sinne

Schließlich der Begriff von "Wort Sinn"Ist rutschig und kontrovers. grobkörnig Homograph Stufe (z. B. Stift als Schreibinstrument oder Gehäuse), aber eine Ebene hinunter gehen, um feinkörnig Polysemieund Meinungsverschiedenheiten entstehen. Zum Beispiel stimmten menschliche Annotatoren im Senseval-2, bei dem feinkörnige Sinnesunterscheidungen verwendet wurden, nur 85% der Wortvorkommen zu.[15] Die Wortbedeutung ist im Prinzip unendlich variabel und kontextsensitiv. Es teilt sich nicht leicht in verschiedene oder diskrete Sub-Meanings auf.[16] Lexikographen Entdecken Sie häufig in korpora losen und überlappenden Wortbedeutungen sowie in Standard- oder konventionellen Bedeutungen, die auf eine verwirrende Arten erweitert, moduliert und ausgenutzt wurden. Die Kunst der Lexikographie besteht darin, vom Korpus auf Definitionen zu verallgemeinern, die den gesamten Sinn der Bedeutung eines Wortes hervorrufen und erklären, wodurch es semantisch gut verzeichnet wird. Es ist jedoch überhaupt nicht klar, ob die gleichen Bedeutung Unterscheidungen in anwendbar sind Computeranwendungen, wie die Entscheidungen von Lexikografen normalerweise von anderen Überlegungen angetrieben werden. Im Jahr 2009 eine Aufgabe - benannt lexikalische Substitution - wurde als mögliche Lösung für das Problem der Sensediskretheit vorgeschlagen.[17] Die Aufgabe besteht darin, einen Ersatz für ein Wort im Kontext bereitzustellen, das die Bedeutung des ursprünglichen Wortes bewahrt (potenziell können Ersatzstoffe aus dem vollständigen Lexikon der Zielsprache ausgewählt werden, wodurch die Diskretion überwunden wird).

Ansätze und Methoden

Es gibt zwei Hauptansätze für WSD - tiefe Ansätze und flache Ansätze.

Tiefe Ansätze nehmen Zugang zu einem umfassenden Teil von Weltwissen. Diese Ansätze gelten im Allgemeinen nicht als sehr erfolgreich in der Praxis, vor allem, weil ein solcher Wissen nicht in einem computerlesbaren Format existiert, außerhalb von sehr begrenzten Domänen.[18] Zusätzlich aufgrund der langen Tradition in ComputerlinguistikEs kann schwierig sein, solche Ansätze in Bezug auf das kodierte Wissen zu versuchen, und in einigen Fällen kann es schwierig sein, zwischen Wissen, das in sprachlichem oder weltweitem Wissen beteiligt ist, zu unterscheiden. Der erste Versuch war das von Margaret Masterman und ihre Kollegen auf der Cambridge Language Research Unit in England in den 1950er Jahren. Dieser Versuch verwendete als Daten eine Panzkartenversion von Rogets Thesaurus und seinen nummerierten "Köpfen", als Indikator für Themen und suchte nach Wiederholungen im Text unter Verwendung eines Set-Intersection-Algorithmus. Es war nicht sehr erfolgreich,[19] hatte jedoch starke Beziehungen zu späterer Arbeit, insbesondere Yarowskys maschinelles Lernenoptimierung einer Thesaurus -Methode in den neunziger Jahren.

Flache Ansätze versuchen nicht, den Text zu verstehen, sondern betrachten die umgebenden Wörter. Diese Regeln können automatisch vom Computer unter Verwendung eines Trainingskorpus von Wörtern abgeleitet werden, die mit ihren Wortsinns versehen sind. Dieser Ansatz gibt zwar theoretisch nicht so mächtig wie tiefe Ansätze, liefert aufgrund des begrenzten Weltwissens des Computers überlegene Ergebnisse in der Praxis.

Es gibt vier konventionelle Ansätze für WSD:

Fast alle diese Ansätze funktionieren durch Definieren eines Fensters von n Inhaltswörter rund um jedes Wort, die im Korpus disambiguiert werden sollen, und diese statistisch analysieren n umgebende Worte. Zwei flache Ansätze, die zum Training verwendet und dann disambiguieren, sind Naive Bayes -Klassifizierer und Entscheidungsbäume. In jüngsten Forschungen, Kernelbasierte Methoden wie zum Beispiel Support-Vektor-Maschinen haben überlegene Leistung in gezeigt in überwachtes Lernen. Graphbasierte Ansätze haben auch von der Forschungsgemeinschaft viel Aufmerksamkeit erregt und erzielen derzeit die Leistung in der Nähe des Standes der Kunst.

Wörterbuch- und wissensbasierte Methoden

Das Lesk -Algorithmus[20] ist die wegweisungsbasierte Methode. Es basiert auf der Hypothese, dass Wörter, die zusammen im Text verwendet werden, miteinander zusammenhängen und dass die Beziehung in den Definitionen der Wörter und ihrer Sinne beobachtet werden kann. Zwei (oder mehr) Wörter werden durch Finden des Paares von Wörterbuchsen mit dem größten Wort überlappend in ihren Wörterbuchdefinitionen ungezwungen. Wenn Sie beispielsweise die Wörter in "Kiefernkegel" (Pine -Kegel "(die geeigneten Sinne" (zumindest in einem Wörterbuch) einstellen, enthalten beide Wörter. Ein ähnlicher Ansatz[21] Suchen Sie nach dem kürzesten Weg zwischen zwei Wörtern: Das zweite Wort wird iterativ unter den Definitionen jeder semantischen Variante des ersten Wortes, dann unter den Definitionen jeder semantischen Variante jedes Wortes in den vorherigen Definitionen usw. gesucht. Schließlich wird das erste Wort durch Auswahl der semantischen Variante, die den Abstand von der ersten zum zweiten Wort minimiert, nicht eingestuft.

Eine Alternative zur Verwendung der Definitionen besteht darin, den allgemeinen Wortsinn zu betrachten Verwandtschaft und um das zu berechnen Semantische Ähnlichkeit von jedem Wortpaar erinnert auf einer bestimmten lexikalischen Wissensbasis wie z. Wordnet. Grafikbasiert Methoden erinnern an Aktivierung ausbreiten Die Erforschung der frühen Tage der KI -Forschung wurde mit einigen Erfolgszeiten angewendet. Es wurde gezeigt, dass komplexere graphbasierte Ansätze fast ebenso gut wie überwacht werden[22] oder übertreffen sie sogar in bestimmten Bereichen.[3][23] Vor kurzem wurde berichtet, dass einfach Graph -Konnektivitätsmaßnahmen, wie zum Beispiel GradFühren Sie in Gegenwart einer ausreichend reichhaltigen lexikalischen Wissensbasis modernste WSD-WSD durch.[24] Auch automatisch übertragen Wissen in Form von Semantische Beziehungen Von Wikipedia bis WordNet wurde gezeigt, dass sie einfache wissensbasierte Methoden fördert, sodass sie mit den besten überwachten Systemen mithalten und sie in einer domänenspezifischen Umgebung sogar übertreffen.[25]

Die Verwendung von Selektionspräferenzen (oder ausgewählten Einschränkungen) ist ebenfalls nützlich. Wenn man weiß, dass man normalerweise Lebensmittel kocht, kann man das Wort Bass in "Ich koche Bässe" (d. H. Es ist kein Musikinstrument).

Überwachte Methoden

Beaufsichtigt Methoden basieren auf der Annahme, dass der Kontext genügend Beweise für sich liefern kann, um Wörter zu disambiguieren (daher, gesunder Menschenverstand und Argumentation werden als unnötig angesehen). Wahrscheinlich wurde jeder maschinelle Lernalgorithmus auf WSD angewendet, einschließlich der damit verbundenen Techniken wie z. Merkmalsauswahl, Parameteroptimierung und Ensemble -Lernen. Support-Vektor-Maschinen und Gedächtnisbasiertes Lernen Es wurde gezeigt, dass sie bisher die erfolgreichsten Ansätze sind, wahrscheinlich weil sie mit der hohen Dimensionalität des Merkmalsraums fertig werden können. Diese überwachten Methoden unterliegen jedoch einem neuen Engpass für Wissenserwerb, da sie sich auf erhebliche Mengen an manuell sinngemachten Korpora für die Schulung verlassen, die mühsam und teuer zu schaffen sind.

Halbüberwachende Methoden

Aufgrund des Mangels an Trainingsdaten verwenden viele Algorithmen zur Disambiguation von Wörtern Sinn Semi-betriebliches Lernen, was sowohl gekennzeichnete als auch nicht markierte Daten ermöglicht. Das Yarowsky algorithm war ein frühes Beispiel für einen solchen Algorithmus.[26] Es verwendet den „One Sinn pro Kollokation“ und den „Ein Sinn pro Diskurs“ der Eigenschaften menschlicher Sprachen zur Disambiguation von Wort Sinn. Aus der Beobachtung neigen Wörter dazu, im meisten gegebenen Diskurs und in einer bestimmten Kollokation nur einen Sinn zu zeigen.[27]

Das Bootstrapping Der Ansatz beginnt mit einer kleinen Menge an Samendaten für jedes Wort: entweder manuell markierte Trainingsbeispiele oder eine kleine Anzahl todsicherer Entscheidungsregeln (z. B. "Spielen" im Kontext von "Bass" fast immer das Musikinstrument angibt). Die Samen werden verwendet, um eine Initiale zu trainieren Klassifikatormit jeder überwachten Methode. Dieser Klassifizierer wird dann auf dem nicht getagelten Teil des Korpus verwendet, um ein größeres Trainingssatz zu extrahieren, in dem nur die zuversichtlichsten Klassifikationen enthalten sind. Der Prozess wiederholt sich, wobei jeder neue Klassifizierer auf einem nacheinander größeren Trainingskorpus geschult wird, bis der gesamte Korpus verzehrt wird oder bis eine bestimmte maximale Anzahl von Iterationen erreicht ist.

Andere halbüberwachende Techniken verwenden große Mengen von nicht getagelten Korpora, um bereitzustellen Auftreten Informationen, die die markierten Korpora ergänzen. Diese Techniken haben das Potenzial, bei der Anpassung von überwachten Modellen an verschiedene Bereiche zu helfen.

Außerdem wird ein mehrdeutiges Wort in einer Sprache in einer zweiten Sprache oft in verschiedene Wörter übersetzt, abhängig vom Sinn des Wortes. Wortausrichtung zweisprachig Korpora wurden verwendet, um übersprachige Sinnesunterschiede zu schließen, eine Art halbübergreifendes System.

Unbeaufsichtigte Methoden

Hauptartikel: Word -Sinn -Induktion

Unbeaufsichtigtes Lernen ist die größte Herausforderung für WSD -Forscher. Die zugrunde liegende Annahme ist, dass ähnliche Sinne in ähnlichen Kontexten auftreten und daher Sinne aus dem Text durch induziert werden können Clustering Wortvorkommen mit einigen Maß für die Ähnlichkeit des Kontextes,[28] eine Aufgabe, die als bezeichnet wird Word -Sinn -Induktion oder Diskriminierung. Anschließend kann neue Ereignisse des Wortes in die engsten induzierten Cluster/Sinne eingeteilt werden. Die Leistung war niedriger als bei den oben beschriebenen Methoden, aber Vergleiche sind schwierig, da die induzierten Sinne einem bekannten Wörterbuch der Wortsinne zugeordnet werden müssen. Wenn ein Kartierung Zu einem Satz von Wörterbuchsen ist nicht erwünscht, clusterbasierte Bewertungen (einschließlich Messungen der Entropie und Reinheit) können durchgeführt werden. Alternativ können Methoden zur Induktion von Wort Sinnes in einer Anwendung getestet und verglichen werden. Beispielsweise wurde gezeigt, dass die Word -Sense -Induktion das Web -Suchergebnis -Clustering verbessert, indem die Qualität der Ergebniscluster und die Abschlussdiversifizierung der Ergebnislisten erhöht wird.[29][30] Es ist zu hoffen, dass das unbeaufsichtigte Lernen das überwinden wird Wissenserwerb Engpass, weil sie nicht von manuellen Anstrengungen abhängig sind.

Darstellung von Wörtern, die ihren Kontext durch feste Größenvektoren berücksichtigen (Vektoren mit fester Größen (Worteinbettungen) ist zu einem der grundlegendsten Blöcke in mehreren NLP -Systemen geworden.[31][32][33] Obwohl die meisten herkömmlichen Worteinbettungstechniken Wörter mit mehreren Bedeutungen in eine einzelne Vektordarstellung verbinden, können sie dennoch zur Verbesserung der WSD verwendet werden.[34] Zusätzlich zu Worteinbettungstechniken, lexikalischen Datenbanken (z. B.,,,,, Wordnet, Conceptnet, Babelnet) kann auch unbeaufsichtigte Systeme bei der Kartierung von Wörtern und ihren Sinnen als Wörterbücher unterstützen. Einige Techniken, die lexikalische Datenbanken und Worteinbettungen kombinieren[35][36] und am besten annotation (MSSA).[37] In autoextend,[36] Sie präsentieren eine Methode, die eine Objekteingabedarstellung in seine Eigenschaften wie Wörter und ihr Wortgefühl entzieht. AutoExtend verwendet eine Graph-Struktur, um Wörter (z. B. Text) und Nicht-Wort (z. Synsets in Wordnet) Objekte als Knoten und die Beziehung zwischen Knoten als Kanten. Die Beziehungen (Kanten) in autoextend können entweder die Zugabe oder die Ähnlichkeit zwischen seinen Knoten ausdrücken. Ersteres erfasst die Intuition hinter dem Offset Calcül,[31] während letzteres die Ähnlichkeit zwischen zwei Knoten definiert. In MSSA,[37] Ein unbeaufsichtigtes Disambiguierungssystem verwendet die Ähnlichkeit zwischen den Wortsinn in einem festen Kontextfenster, um den am besten geeigneten Wort Sinn mit einem vorgebliebenen Worteinbettungsmodell auszuwählen und Wordnet. Für jedes Kontextfenster berechnet MSSA die Schwerpunkt jeder Wortsinndefinition, indem er die Wortvektoren seiner Wörter in WordNet gemittelt hat Glosses (d. h. kurz definierende Glanz und ein oder mehrere Verwendungsbeispiele) unter Verwendung eines vorgebildeten Wortembettdings-Modells. Diese Schwerpunkte werden später verwendet, um den Wort Sinn mit der höchsten Ähnlichkeit eines Zielworts mit den unmittelbar benachbarten Nachbarn (d. H. Vorgänger- und Nachfolgerwörtern) auszuwählen. Nachdem alle Wörter kommentiert und disambiguiert sind, können sie als Trainingskorpus in jeder Standard -Worteinbettungstechnik verwendet werden. In seiner verbesserten Version kann MSSA die Einbettung von Wort Sinnes verwenden, um ihren Disambiguierungsprozess iterativ zu wiederholen.

Andere Ansätze

Andere Ansätze können in ihren Methoden unterschiedlich variieren:

Andere Sprachen

  • Hindi: Mangel an lexikalische Ressourcen In Hindi haben die Leistung beaufsichtigter WSD -Modelle behindert, während die unbeaufsichtigten Modelle unter umfangreicher Morphologie leiden. Eine mögliche Lösung für dieses Problem ist das Design eines WSD -Modells mittels von Parallele Korpora.[46][47] Die Erschaffung der Hindi Wordnet hat für mehrere beaufsichtigte Methoden geebnet, die nachweislich eine höhere Genauigkeit bei der Disambiguation von Substantiven hervorrufen.[48]

Lokale Hindernisse und Zusammenfassung

Der Engpass für Wissenserfassung ist möglicherweise das Haupthindernis für die Lösung des WSD -Problems. Unbeaufsichtigte Methoden Verlassen Sie sich auf Wissen über Wortsinn, die nur in Wörterbüchern und lexikalischen Datenbanken spärlich formuliert sind. Überwachte Methoden hängen entscheidend von der Existenz manuell annotierter Beispiele für jeden Wortsinn ab, eine Voraussetzung, die bisher bisher kann[wenn?] nur für eine Handvoll Wörter zu Testzwecken getroffen werden, wie es in der getan wird Senseval Übungen.

Einer der vielversprechendsten Trends in der WSD -Forschung ist die Verwendung des größten Korpus jemals zugänglich, die Weltweites Netz, um automatisch lexikalische Informationen zu erwerben.[49] WSD wurde traditionell als eine intermediäre Sprachentechnologie verstanden, die Anwendungen wie z. Informationsrückgewinnung (Ir). In diesem Fall ist jedoch auch das Gegenteil wahr: Web -Suchmaschinen Implementieren Sie einfache und robuste IR -Techniken, mit denen das Web erfolgreich abgebaut werden kann, um Informationen in WSD zu verwenden. Der historische Mangel an Trainingsdaten hat das Erscheinungsbild einiger neuer Algorithmen und Techniken hervorgerufen, wie in beschrieben Automatische Erwerb von Sinnesmarke.

Externe Wissensquellen

Wissen ist ein grundlegender Bestandteil der WSD. Wissensquellen liefern Daten, die für die Zusammenarbeit mit Wörtern unerlässlich sind. Sie können von Korpora von Texten variieren, die entweder nicht minesische oder mit Wortsinns kommentierte Wörterbücher, Thesauri, Glossare, Ontologien usw. sein können.[50][51] wie folgt klassifiziert:

Strukturiert:

  1. Maschinenlesbare Wörterbücher (MRDs)
  2. Ontologien
  3. Thesauri

Unstrukturiert:

  1. Kollokationsressourcen
  2. Andere Ressourcen (wie z. Wortfrequenzlisten, Stopplisten, Domain -Etiketten,[52] etc.)
  3. Korpora: rohe Korpora und Sinnesnotierte Korpora

Auswertung

Der Vergleich und Bewertung verschiedener WSD -Systeme ist aufgrund der unterschiedlichen Testsätze, Sinnesbestände und Wissensressourcen äußerst schwierig. Vor der Organisation spezifischer Bewertungskampagnen wurden die meisten Systeme auf intern bewertet, oft klein. Datensätze. Um den eigenen Algorithmus zu testen, sollten Entwickler ihre Zeit damit verbringen, alle Wortvorkommen zu kommentieren. Und der Vergleich von Methoden auch auf demselben Korpus ist nicht berechtigt, wenn es unterschiedliche Sinnesbestände gibt.

Um gemeinsame Bewertungsdatensätze und -verfahren zu definieren, wurden öffentliche Bewertungskampagnen organisiert. Senseval (Jetzt umbenannt Semeval) ist ein internationaler Wettbewerb zur Disambiguation von Wort Sinn, der seit 1998 alle drei Jahre stattfindet: Senseval-1 (1998),, Senseval-2 (2001), Senseval-3 (2004) und sein Nachfolger, Semeval (2007). Ziel des Wettbewerbs ist es, verschiedene Vorträge zu organisieren, Korpus für Testsysteme vorzubereiten und zu handanotieren , neue Aufgaben wie Semantische Rollenkennzeichnung, Gloss WSD, lexikalische Substitutionusw. Die zur Bewertung dieser Wettbewerbe eingereichten Systeme integrieren normalerweise unterschiedliche Techniken und kombinieren häufig überwachte und wissensbasierte Methoden (insbesondere zur Vermeidung einer schlechten Leistung bei mangelnden Trainingsbeispielen).

In den vergangenen Jahren 2007-2012Die Auswahl der WSD -Bewertungsaufgaben war gewachsen, und das Kriterium zur Bewertung von WSD hat sich je nach Variante der WSD -Bewertungsaufgabe drastisch geändert. Unten zählt die Vielfalt der WSD -Aufgaben auf:

Auswahl der Aufgabendesign

Während sich die Technologie entwickelt, wächst die Aufgaben des Wort Sinnes Disambiguation (WSD) in verschiedenen Geschmacksrichtungen in Bezug auf verschiedene Forschungsrichtungen und für weitere Sprachen:

  • Klassische einsprachige WSD Bewertungsaufgaben verwenden WordNet als Sense -Inventar und basieren weitgehend auf beaufsichtigt/semi-valviertes Klassifizierung mit der manuell sinnlichen kommentierten Korpora:[53]
    • Klassische englische WSD verwendet die Princeton Wordnet Da es das Inventar und die primäre Klassifizierungseingabe spüren, basiert normalerweise auf dem Semcor Korpus.
    • Die klassische WSD für andere Sprachen verwendet ihr jeweiliges WordNet als Sinnesbestände und Sinnes, die in ihren jeweiligen Sprachen versehen sind. Oft werden die Forscher auch auf den Semcor Corpus abgebildet und mit Englisch als ITS ausgerichtet Ausgangssprache
  • Kreuzsprachiger WSD Die Bewertungsaufgabe konzentriert sich auch auf WSD über zwei oder mehr Sprachen gleichzeitig. Im Gegensatz zu den mehrsprachigen WSD-Aufgaben wird das Sinnesbestand auf der Grundlage paralleler Korpora aufgebaut, z. Europarl Corpus.[54]
  • Mehrsprachiger WSD Evaluierungsaufgaben konzentrierten sich auf WSD über zwei oder mehr Sprachen gleichzeitig, wobei ihre jeweiligen Wortnetze als Sinnesbestände verwendet werden oder Babelnet als mehrsprachiger Sinnesbestand.[55] Es entwickelte sich aus den Übersetzungs-WSD-Bewertungsaufgaben, die in Senseval-2 stattfanden. Ein populärer Ansatz ist die Durchführung von monolingualem WSD und dann die Quellsprache zu den entsprechenden Ziel -Wort -Übersetzungen zuzuordnen.[56]
  • Word -Sinn -Induktions- und Disambigierungsaufgabe ist eine kombinierte Aufgabenbewertung, bei der das Sense -Inventar zuerst ist induziert von einem festen Trainingsset Daten, bestehend aus polysemischen Wörtern und dem Satz, in dem sie aufgetreten sind, wird WSD an einem anderen durchgeführt Datensatz testen.[57]

Software

  • Babelfy,[58] Ein einheitliches hochmodernes System für die mehrsprachige Disambiguation und Entitätsverbindung für mehrsprachige Wort Sinn
  • Babelnet -API,[59] Eine Java-API für wissensbasiertes mehrsprachiges Wort Sinnesambiguation in 6 verschiedenen Sprachen mit dem Babelnet Semantisches Netzwerk
  • Wordnet :: Senserelate,[60] Ein Projekt, das freie Open -Source -Systeme zur Disambiguierung von Word -Sense und Disambiguation für lexikalische Stichproben umfasst
  • UKB: Graph Base WSD,[61] Eine Sammlung von Programmen zur Durchführung von diagnungsbasiertem Word-Sinn-Disambiguieren und lexikalischer Ähnlichkeit/Verwandtschaft unter Verwendung einer bereits bestehenden lexikalischen Wissensbasis[62]
  • pywsd,[63] Python -Implementierungen von Word Sense Disambiguation (WSD) Technologien

Siehe auch

Verweise

  1. ^ Weaver 1949.
  2. ^ Bar-Hillel 1964, S. 174–179.
  3. ^ a b c Navigli, Littkowski & Hargraves 2007, S. 30–35.
  4. ^ a b Pradhan et al. 2007, S. 87–92.
  5. ^ Yarowsky 1992, S. 454–460.
  6. ^ Mihalcea 2007.
  7. ^ A. Moro, A. Raganato, R. Navigli. Entitätsverbinden trifft die Disambiguation von Wort Sinn: ein einheitlicher Ansatz Archiviert 2014-08-08 bei der Wayback -Maschine. Transaktionen der Assoziation für Computer -Linguistik (TaCl), 2, S. 231-244, 2014.
  8. ^ Martinez, Angel R. (Januar 2012). "Teil des Speech-Tagging: Teil des Speech-Tagging". Wiley Interdisziplinäre Bewertungen: Computerstatistik. 4 (1): 107–113. doi:10.1002/wics.195.
  9. ^ Fellbaum 1997.
  10. ^ Snyder & Palmer 2004, S. 41–43.
  11. ^ Navigli 2006, S. 105–112.
  12. ^ Snow et al. 2007, S. 1005–1014.
  13. ^ Lenat.
  14. ^ Palmer, Babko-Malaya & Dang 2004, S. 49–56.
  15. ^ Edmonds 2000.
  16. ^ Kilgarrif 1997, S. 91–113.
  17. ^ McCarthy & Navigli 2009, S. 139–159.
  18. ^ Lenat & Guha 1989.
  19. ^ Wilks, Slator & Guthrie 1996.
  20. ^ Lesk 1986, S. 24–26.
  21. ^ Diamantini, C.; Mircoli, a.; Potena, D.; Storti, E. (2015-06-01). "Semantische Disambiguierung in einem System für soziale Informationen". 2015 Internationale Konferenz zu Zusammenarbeitstechnologien und Systemen (CTS): 326–333. doi:10.1109/CTS.2015.7210442. ISBN 978-1-4673-7647-1. S2CID 13260353.
  22. ^ Navigli & Velardi 2005, S. 1063–1074.
  23. ^ Agirre, Lopez de Lacalle & Soroa 2009, S. 1501–1506.
  24. ^ Navigli & Lapata 2010, S. 678–692.
  25. ^ Ponzetto & Navigli 2010, S. 1522–1531.
  26. ^ Yarowsky 1995, S. 189–196.
  27. ^ Mitkov, Ruslan (2004). "13.5.3 Zwei Ansprüche über Sinne". Das Oxford -Handbuch der Computer -Linguistik. OUP. p. 257. ISBN 978-0-19-927634-9.
  28. ^ Schütze 1998, S. 97–123.
  29. ^ Navigli & Crisafulli 2010.
  30. ^ Dimarco & Navigli 2013.
  31. ^ a b Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013-01-16). "Effiziente Schätzung von Wortdarstellungen im Vektorraum". Arxiv:1301.3781 [cs.cl].
  32. ^ Pennington, Jeffrey; Socker, Richard; Manning, Christopher (2014). "Handschuh: Globale Vektoren für Wortrepräsentation". Verfahren der Konferenz 2014 über empirische Methoden in der Verarbeitung natürlicher Sprache (EMNLP). Stroudsburg, PA, USA: Assoziation für Computer -Linguistik: 1532–1543. doi:10.3115/v1/d14-1162. S2CID 1957433.
  33. ^ Bojanowski, Piotr; Grab, Edouard; Joulin, Armand; Mikolov, Tomas (Dezember 2017). "Anreicherung von Wortvektoren mit Subwordinformationen". Transaktionen des Assoziation für Computer -Linguistik. 5: 135–146. doi:10.1162/tacl_a_00051. ISSN 2307-387X.
  34. ^ Iacobacci, Ignacio; Pilehvar, Mohammad Taher; Navigli, Roberto (2016). "Einbettung für Wortgefühl Disambiguation: Eine Bewertungsstudie". Verfahren der 54. Jahrestagung des Vereins für Computer -Linguistik (Band 1: Lange Papiere). Berlin, Deutschland: Verband für Computer -Linguistik: 897–907. doi:10.18653/v1/p16-1085.
  35. ^ Rothe, Sascha; Schütze, Hinrich (2015). "Autoextend: Erweiterung von Wortbettendings auf Einbettung für Synsets und Lexeme". Proceedings der 53. Jahrestagung des Vereins für Computational Linguistics und der 7. Internationalen gemeinsamen Konferenz zur Verarbeitung natürlicher Sprache (Band 1: Long Papers). Stroudsburg, PA, USA: Assoziation für Computer -Linguistik: 1793–1803. Arxiv:1507.01127. Bibcode:2015ArXIV150701127R. doi:10.3115/v1/p15-1173. S2CID 15687295.
  36. ^ a b Rothe, Sascha; Schütze, Hinrich (September 2017). "Autoextend: Kombinieren von Wortbettendings mit semantischen Ressourcen". Computerlinguistik. 43 (3): 593–617. doi:10.1162/coli_a_00294. ISSN 0891-2017.
  37. ^ a b Ruas, Terry; Grosky, William; Aizawa, Akiko (Dezember 2019). "Multi-Sinse-Einbettungen durch einen Wortverdünnungsprozess" Wort Sinn ". Expertensysteme mit Anwendungen. 136: 288–303. Arxiv:2101.08700. doi:10.1016/j.eswa.2019.06.026. HDL:2027.42/145475. S2CID 52225306.
  38. ^ Gliozzo, Magnini & Strapparava 2004, S. 380–387.
  39. ^ Buitelaar et al. 2006, S. 275–298.
  40. ^ McCarthy et al. 2007, S. 553–590.
  41. ^ Mohammad & Hirst 2006, S. 121–128.
  42. ^ Lapata & Keller 2007, S. 348–355.
  43. ^ Ide, Erjavec & Tufis 2002, S. 54–60.
  44. ^ Chan & Ng 2005, S. 1037–1042.
  45. ^ Stuart M. Shieber (1992). Einschränkende Grammatikformalismen: Parsen und Typinferenz für natürliche und Computersprachen. MIT Press. ISBN 978-0-262-19324-5.
  46. ^ Bhattacharya, Indrajit, Lise Getoor und Yoshua Bengio. Unbeaufsichtigte Sense -Disambiguation unter Verwendung von zweisprachigen probabilistischen Modellen. Proceedings der 42. Jahrestagung zum Verband für Computer -Linguistik. Association for Computational Linguistics, 2004.
  47. ^ Diab, Mona und Philip Resnik. Eine unbeaufsichtigte Methode zum Wort Sinnes -Tagging mit paralleler Korpora. Proceedings der 40. Jahrestagung zum Verband für Computational Linguistics. Association for Computational Linguistics, 2002.
  48. ^ Manish Sinha, Mahesh Kumar, Prabhakar Pande, Laxmi Kashyap und Pushpak Bhattacharyya. Hindi -Wort Sinn -Disambiguierung. Im Internationalen Symposium über maschinelle Übersetzung, Verarbeitung und Übersetzungsunterstützungssysteme für maschinelle Übersetzungen, Delhi, Indien, 2004.
  49. ^ Kilgarrif & Grefenstette 2003, S. 333–347.
  50. ^ Litkowski 2005, S. 753–761.
  51. ^ Agirre & Stevenson 2006, S. 217–251.
  52. ^ Magnini & Cavaglià 2000, S. 1413–1418.
  53. ^ Lucia Specia, Maria Das Gracas Volpe Nunes, Gabriela Castelo Branco Ribeiro und Mark Stevenson. Mehrsprachiger versus einsprachiger WSD Archiviert 2012-04-10 bei der Wayback -Maschine. In EACL-2006 Workshop zum Sinn für Sinn: Psycholinguistik und rechnerische Linguistik, Seiten 33–40, Trento, Italien, April 2006.
  54. ^ Els Lefever und Veronique Hoste. Semeval-2010 Aufgabe 3: bringliches Wort Sinn-Disambiguation. Proceedings of the Workshop zu semantischen Bewertungen: jüngste Erfolge und zukünftige Richtungen. 04.04.04, 2009, Boulder, Colorado
  55. ^ R. Navigli, D. A. Jurgens, D. Vannella. SEMEVAL-2013 Aufgabe 12: Mehrsprachige Wörter Sinnesverdünnung. Proc. des siebten internationalen Workshops für semantische Bewertung (Semeval) in der zweiten gemeinsamen Konferenz über lexikalische und rechnerische Semantik (*SEM 2013), Atlanta, USA, 14.-15. Juni 2013, S. 222-231.
  56. ^ Lucia Specia, Maria Das Gracas Volpe Nunes, Gabriela Castelo Branco Ribeiro und Mark Stevenson. Mehrsprachiger versus einsprachiger WSD Archiviert 2012-04-10 bei der Wayback -Maschine. In EACL-2006 Workshop zum Sinn für Sinn: Psycholinguistik und rechnerische Linguistik zusammenbringen, Seiten 33–40, Trento, Italien, April 2006
  57. ^ Eneko Agirre und Aitor Soroa. Semeval-2007 Aufgabe 02: Bewertung von Word-Sinn-Induktions- und Diskriminierungssystemen. Proceedings des 4. Internationalen Workshops über semantische Bewertungen, S. 7-12, 23. bis 24. Juni 2007, Prag, Tschechische Republik
  58. ^ "Babelfy". Babelfy. Abgerufen 2018-03-22.
  59. ^ "Babelnet API". Babelnet.org. Abgerufen 2018-03-22.
  60. ^ "Wordnet :: Senserelate". Senserelate.sourceforge.net. Abgerufen 2018-03-22.
  61. ^ "UKB: Graph Base WSD". Ixa2.si.ehu.es. Abgerufen 2018-03-22.
  62. ^ "Lexikalische Wissensbasis (LKB)". Moin.delph-in.net. 2018-02-05. Abgerufen 2018-03-22.
  63. ^ Alvationen. "Pywsd". Github.com. Abgerufen 2018-03-22.

Werke zitiert

Externe Links und vorgeschlagene Lesen

  • Computerlinguistik Sonderausgabe zur Disambiguierung von Wort Sinn (1998)
  • Bewertungsübungen für Wortverlust -Disambiguation Die De -facto -Standard -Benchmarks für WSD -Systeme.
  • Roberto Navigli. Disambiguation von Wort Sinn: Eine Umfrage, ACM Computing Surveys, 41 (2), 2009, S. 1–69. Ein aktueller Stand der Kunst des Feldes.
  • Wortgefühl Disambiguation wie in Scholarpedia definiert
  • Disambiguation des Wortes Sinn: Der Stand der Technik (PDF) Ein umfassender Überblick von Prof. Nancy Ide & Jean Véronis (1998).
  • Tutorial für Wort Sinneserbigierungsmodellevon Rada Mihalcea und Ted Pedersen (2005).
  • Nun, na ja, ... Wortsinn Disambiguation mit Google N-Gramms, von Craig Trim (2013).
  • Disambiguation von Wort Sinn: Algorithmen und Anwendungen, herausgegeben von Eneko Agirre und Philip Edmonds (2006), Springer. Deckt das gesamte Feld mit den Kapiteln der führenden Forscher ab. www.wsdbook.org Site des Buches
  • Bar-Hillel, Yehoshua. 1964. Sprache und Informationen. New York: Addison-Wesley.
  • Edmonds, Philip & Adam Kilgarriff. 2002. Einführung in die Sonderausgabe zur Bewertung von Word -Sense -Disambiguationssystemen. Journal of Natural Language Engineering, 8 (4): 279-291.
  • Edmonds, Philip. 2005. lexikalische Disambiguierung. Die Elsevier -Enzyklopädie der Sprach- und Linguistik, 2. Aufl., Hrsg. von Keith Brown, 607–23. Oxford: Elsevier.
  • IDE, Nancy & Jean Véronis. 1998. DISKAMBIGUIGUNG: Der Stand der Technik. Computerlinguistik, 24 (1): 1-40.
  • Jurafsky, Daniel & James H. Martin. 2000. Sprach- und Sprachverarbeitung. New Jersey, USA: Prentice Hall.
  • Litkowski, K. C. 2005. Computerlexonen und Wörterbücher. In Encyclopaedia of Language and Linguistics (2. Aufl.), K. R. Brown, hrsg. Elsevier Publishers, Oxford, UK, 753–761.
  • Manning, Christopher D. & Hinrich Schütze. 1999. Grundlagen der statistischen Verarbeitung natürlicher Sprache. Cambridge, MA: MIT Press. Grundlagen der statistischen Verarbeitung natürlicher Sprache
  • Mihalcea, Rada. 2007. Word -Sinn -Disambiguierung. Enzyklopädie des maschinellen Lernens. Springer-Verlag.
  • Resnik, Philip und David Yarowsky. 2000. Unterscheidung von Systemen und Unterscheidungspunkten: Neue Bewertungsmethoden zur Disambiguation von Wort Sinn, natürlicher Sprache, 5 (2): 113-133. [1]
  • Yarowsky, David. 2001. Word -Sinn -Disambiguierung. Handbuch der natürlichen Sprachverarbeitung, hrsg. von Dale et al., 629–654. New York: Marcel Dekker.