Frage Beantwortung

Für andere Verwendungen siehe Frage und Antworten.

Frage Antwort (QA) ist eine Informatik -Disziplin in den Feldern von Informationsrückgewinnung und Verarbeitung natürlicher Sprache (NLP), was sich mit Gebäudesystemen befasst, die automatisch Fragen beantworten, die von Menschen in a stellt Natürliche Sprache.[1]

Überblick

Eine Frage zur Beantwortung der Implementierung, normalerweise ein Computerprogramm, kann ihre Antworten konstruieren, indem ein strukturierter Abfragen abfragt Datenbank von Wissen oder Informationen, normalerweise a Wissensbasis. In der Regel können Fragenbeantwortungssysteme Antworten aus einer unstrukturierten Sammlung natürlicher Sprachdokumente ziehen.

Einige Beispiele für natürliche Sprachdokumentsammlungen, die für Fragen Antwortsysteme verwendet werden, sind:

  • Eine lokale Sammlung von Referenztexten
  • Interne Organisationsdokumente und Webseiten
  • zusammengestellt Newswire Berichte
  • eine Menge von Wikipedia Seiten
  • eine Teilmenge von Weltweites Netz Seiten

Fragen zur Beantwortung von Forschungsversuchen, mit einer Vielzahl von Fragetypen umzugehen, darunter: Fakt, Liste, Definition, Wie, Warum, hypothetische, semantisch eingeschränkte und bringliche Fragen.

  • Geschlossene Domäne Fragen zur Beantwortung von Fragen befasst sich mit Fragen unter einer bestimmten Domäne (z. B. Medizin oder Automobilwartung) und kann domänenspezifisches Wissen ausnutzen Ontologien. Alternative, geschlossene Domäne könnte sich auf eine Situation beziehen, in der nur eine begrenzte Art von Fragen akzeptiert werden, z. B. Fragen stellen beschreibend statt prozedural Information. Fragen Antwortsysteme im Zusammenhang mit Maschinenlesungsanwendungen wurden auch im medizinischen Bereich konstruiert, beispielsweise im Zusammenhang mit Alzheimer -Krankheit.[2]
  • Open-Domain Fragen zur Beantwortung von Fragen zu Fragen zu fast allem und können sich nur auf allgemeine Ontologien und Weltwissen verlassen. Andererseits haben diese Systeme normalerweise viel mehr Daten zur Verfügung, aus denen die Antwort extrahiert werden kann.

Geschichte

Zwei frühe Fragen Antwortsysteme waren Baseball[3] und Mond.[4] Baseball beantwortete Fragen zur Major League Baseball League über einen Zeitraum von einem Jahr. Lunar beantwortete wiederum Fragen zur geologischen Analyse von Gesteinen, die von den Apollo Moon -Missionen zurückgegeben wurden. Beide Fragen Antwortsysteme waren in ihren gewählten Domänen sehr effektiv. Tatsächlich wurde Lunar 1971 auf einem Mondwissenschaftskonvent gezeigt, und es konnte 90% der Fragen in seiner Domäne beantworten, die von Menschen auf dem System untrainiert wurden. In den folgenden Jahren wurden weitere Fragen zur Beantwortungssysteme für die Beantwortung von Fragen zur Beantwortung von Fragen entwickelt. Das gemeinsame Merkmal all dieser Systeme ist, dass sie eine Kerndatenbank oder ein Wissenssystem hatten, das von Experten der ausgewählten Domäne handgeschrieben wurde. Die Sprachfähigkeiten von Baseball und Mond verwendeten Techniken ähnlich wie Eliza und ARZT, Der Erste Chatterbot Programme.

Shrdlu war ein sehr erfolgreiches Fragen-Answerprogramm, das von entwickelt wurde von Terry Winograd In den späten 1960er und frühen 1970er Jahren. Es simulierte den Betrieb eines Roboters in einer Spielzeugwelt (der "Welt der" Blöcke ") und bot die Möglichkeit, den Roboterfragen über den Zustand der Welt zu stellen. Wiederum war die Stärke dieses Systems die Wahl eines ganz bestimmten Bereichs und einer sehr einfachen Welt mit Regeln der Physik, die in einem Computerprogramm leicht zu kodieren waren.

In den 1970ern, Wissensbasis wurden entwickelt, die schmalere Wissensbereiche zielten. Die Frage beantwortete Systeme entwickelt, die entwickelt wurden, um diese mit diesen zu verbinden Expertensysteme produzierte wiederholbarere und gültige Antworten auf Fragen innerhalb eines Wissensbereichs. Diese Expertensysteme sehr ähnlich modernen Fragen zur Beantwortung von Fragen, außer in ihrer internen Architektur. Expertensysteme stützen sich stark auf vom Experten konstruierte und organisierte und organisierte WissensbasisWährend viele moderne Fragen zur Beantwortung von Fragen auf die statistische Verarbeitung eines großen, unstrukturierten, natürlichen Sprachtextkorpus beruhen.

In den 1970er und 1980er Jahren wurden umfassende Theorien entwickelt in Computerlinguistik, was zur Entwicklung von ehrgeizigen Projekten im Textverständnis und der Beantwortung von Fragen führte. Ein Beispiel für ein solches System war der UNIX -Berater (UC), der von entwickelt wurde von Robert Wilensky bei U.C. Berkeley In den späten 1980er Jahren. Das System beantwortete Fragen zum Thema der Unix Betriebssystem. Es hatte eine umfassende handgefertigte Wissensbasis seiner Domäne und zielte darauf ab, die Antwort zu formulieren, um verschiedene Arten von Benutzern aufzunehmen. Ein weiteres Projekt war Lilog, a Textverständnis System, das auf dem Bereich der Tourismusinformationen in einer deutschen Stadt operierte. Die Systeme, die in den UC- und Lilog -Projekten entwickelt wurden, gingen nie über die Phase der einfachen Demonstrationen hinaus, aber sie halfen der Entwicklung von Theorien über die Computersprachen- und Argumentation.

Es wurden spezielle Fragen zur Beantwortungssysteme für natürliche Sprache entwickelt, wie Eaggli für Gesundheits- und Lebenswissenschaftler.[5]

Die Architektur

Ab 2001 enthielt Fragen Beantwortungssysteme in der Regel a Frageklassifizierer Modul, das die Art der Frage und die Art der Antwort bestimmt.[6]

Frage Beantwortungsmethoden

Die Beantwortung der Frage hängt sehr von einer guten Suche ab Korpus- Für Dokumente, die die Antwort enthalten, kann es kaum Fragen beantworten. Es ist daher sinnvoll, dass größere Sammlungsgrößen im Allgemeinen gut für eine bessere Frage zur Beantwortung der Leistung eignen, es sei denn, die Fragedomäne ist orthogonal für die Sammlung. Der Begriff von Daten Redundanz In massiven Sammlungen wie dem Web bedeutet Nuggets von Informationen wahrscheinlich auf vielfältige Weise in unterschiedlichen Kontexten und Dokumenten formuliert.[7] was zu zwei Vorteilen führt:

  1. Wenn die richtigen Informationen in vielen Formen angezeigt werden, wird die Belastung des Frage -Beantwortungssystems für komplexe NLP -Techniken zur Verständnis des Textes verringert.
  2. Richtige Antworten können gefiltert werden Fehlalarm Durch die richtige Antwort auf die richtige Antwort in den Dokumenten als Fälle von falschen.

Einige Fragen Antwortsysteme verlassen sich stark auf automatisierte Argumentation.[8][9]

Beantwortung der Domain -Frage öffnen

Im InformationsrückgewinnungEin offenes Domain -Frage -Antwortsystem zielt darauf ab, eine Antwort als Antwort auf die Frage des Benutzers zurückzugeben. Die zurückgegebene Antwort erfolgt eher in Form von kurzen Texten als in einer Liste relevanter Dokumente.[10] Das System verwendet eine Kombination von Techniken aus Computerlinguistik, Informationsrückgewinnung und Wissensrepräsentation zum Suche nach Antworten.

Das System nimmt a Natürliche Sprache Frage als Eingabe und nicht als eine Reihe von Schlüsselwörtern, zum Beispiel: "Wann ist der Nationaltag Chinas?" Der Satz wird dann in eine Abfrage durch seine verwandelt logische Form. Durch die Eingabe in Form einer natürlichen Sprachfrage wird das System benutzerfreundlicher, aber schwieriger zu implementieren, da es verschiedene Fragetypen gibt und das System die richtige identifizieren muss, um eine vernünftige Antwort zu geben. Das Zuweisen eines Fragetyps der Frage ist eine entscheidende Aufgabe, der gesamte Antwortextraktionsprozess hängt davon ab, den richtigen Fragetyp und daher den richtigen Antworttyp zu finden.

Stichwort Extraktion ist der erste Schritt zum Identifizieren des Eingabestyps.[11] In einigen Fällen gibt es klare Wörter, die den Fragetyp direkt angeben, d. H. "Wer", "wo" oder "Wie viele" sagen diese Wörter dem System, dass die Antworten vom Typ "Person", "Ort" sein sollten, und bzw. "number". Im obigen Beispiel zeigt das Wort "wenn" angibt, dass die Antwort vom Typ "Datum" sein sollte. POS (Teil der Sprache) Tagging und syntaktische Parsing -Techniken können auch verwendet werden, um den Antworttyp zu bestimmen. In diesem Fall ist das Thema "chinesischer Nationalfeiertag", das Prädikat ist "ist" und der Adverbialmodifikator lautet "wenn", daher ist der Antworttyp "Datum". Leider wie einige fragende Wörter wie "was", "was" oder "wie" keine klaren Antworttypen geben. Jedes dieser Wörter kann mehr als einen Typ darstellen. In solchen Situationen müssen andere Wörter in der Frage berücksichtigt werden. Das erste, was Sie tun müssen, ist die Wörter zu finden, die die Bedeutung der Frage anzeigen können. Ein lexikalisches Wörterbuch wie z. Wordnet kann dann zum Verständnis des Kontextes verwendet werden.

Sobald der Fragetyp identifiziert wurde, ist eine Informationsrückgewinnung Das System wird verwendet, um eine Reihe von Dokumenten zu finden, die die richtigen Schlüsselwörter enthalten. EIN Tagger und NP/Verb Group Chunker Kann verwendet werden, um zu überprüfen, ob die richtigen Entitäten und Beziehungen in den gefundenen Dokumenten erwähnt werden. Für Fragen wie "wer" oder "wo", a Erkenntnis der genannten Inde wird verwendet, um relevante "Person" und "Ort" -Namen aus den abgerufenen Dokumenten zu finden. Nur die relevanten Absätze werden für das Ranking ausgewählt.

A Vektorraummodell Kann als Strategie zur Klassifizierung der Kandidatenantworten verwendet werden. Überprüfen Sie, ob die Antwort vom richtigen Typ ist, wie in der Fragetyp -Analysephase ermittelt. Eine Inferenztechnik kann auch verwendet werden, um die Kandidatenantworten zu validieren. Anschließend wird jedem dieser Kandidaten eine Punktzahl gemäß der Anzahl der enthaltenden Fragewörter gegeben und wie nahe diese Wörter dem Kandidaten sind, desto immer näher desto besser. Die Antwort wird dann durch Parsen in eine kompakte und aussagekräftige Darstellung übersetzt. Im vorherigen Beispiel lautet die erwartete Ausgabeantwort "1. Oktober".

Mathematische Frage Beantwortung

Ein Open-Source-Mathematik-Fragen-Beantwortungssystem basierend auf Ask Platypus und Wikidata wurde 2018 veröffentlicht.[12] Das System nimmt eine englische oder hindi natürliche Sprache als Eingabe und gibt eine mathematische Formel zurück, die aus Wikidata als prägnante Antwort abgerufen wird. Die resultierende Formel wird in ein berechnbares Formular übersetzt, sodass der Benutzer Werte für die Variablen einfügen kann. Namen und Werte von Variablen und gemeinsamen Konstanten werden aus Wikidata abgerufen, falls verfügbar. Es wird behauptet, dass das System eine kommerzielle rechnerische mathematische Wissensmaschine in einem Testsatz übertrifft. Mathqa wird von Wikimedia unter https://mathqa.wmflabs.org/ gehostet. Im Jahr 2022 wurde es erweitert, um 15 mathematische Fragetypen zu beantworten.[13]

MATHQA -Methoden müssen natürliche und Formelsprache kombinieren. Ein möglicher Ansatz ist die Durchführung einer beaufsichtigten Annotation über eine Entitätsverbindung. Die "Arqmath -Aufgabe" bei Clef 2020[14] wurde gestartet, um das Problem der Verknüpfung neu veröffentlichter Fragen von der Plattform Math Stack Exchange (MSE) mit vorhandenen, die bereits von der Community beantwortet wurden.[15] Das Labor war durch die Tatsache motiviert, dass Mansouri et al. entdeckte, dass 20% der mathematischen Abfragen im Allgemeinen als Suchmaschinen als gut geformte Fragen ausgedrückt werden.[16] Es enthielt zwei separate Unteraufgaben. Aufgabe 1: "Abrufen antworten" übereinstimmende Antworten auf neu gestellte Fragen und Aufgabe 2: "Formel -Abruf" -Anpassende alte Postformeln auf neue Fragen. Beginnend mit dem Bereich der Mathematik, die Formelsprache beinhaltet, ist das Ziel, die Aufgabe später auf andere Bereiche (z. B. Stammdisziplinen wie Chemie, Biologie usw.) zu erweitern, die andere Arten von besonderer Notation verwenden (z. B. Chemikalie Formeln).[14][15]

Fortschritt

Fragen Antwortsysteme wurden in den letzten Jahren erweitert, um zusätzliche Wissensbereiche zu umfassen[17] Zum Beispiel wurden Systeme entwickelt, um automatisch zeitliche und geospatiale Fragen, Definition und Terminologie, biografische Fragen, mehrsprachige Fragen und Fragen zum Inhalt von Audio, Bildern, biografische Fragen, mehrsprachige Fragen und Fragen zu beantworten.[18] und Video.[19] Aktuelle Fragen zur Beantwortung von Forschungsthemen umfassen:

In 2011, Watson, eine Frage, mit der Computersystem beantwortet wurde, die von entwickelt wurde von IBM, nahm an zwei Ausstellungsspielen teil von Gefahr! gegen Brad Rutter und Ken Jenningsmit einem erheblichen Vorsprung.[30] Facebook -Forschung hat ihr DRQA -System gemacht[31] Verfügbar unter An Open Source -Lizenz. Dieses System wurde für die Beantwortung von offenen Domänenfragebeständen verwendet Wikipedia als Wissensquelle.[32]

Verweise

  1. ^ Philipp Cimiano; Christina Unger; John McCrae (1. März 2014). Ontologie-basierte Interpretation der natürlichen Sprache. Morgan & Claypool Publishers. ISBN 978-1-60845-990-2.
  2. ^ Roser Morante, Martin Krallinger, Alfonso Valencia und Walter Daelemans. Maschinenlesung von biomedizinischen Texten über Alzheimer -Krankheit. Clef 2012 Evaluation Labs und Workshop. 17. September 2012
  3. ^ Green JR, Bert F; et al. (1961). "Baseball: Eine automatische Frage-Antwort" (PDF). Western Joint Ire-Aiee-ACM-Computerkonferenz: 219–224.
  4. ^ Woods, William A; Kaplan, R. (1977). "Mondgesteine ​​in natürlicher Englisch: Erkundung in der Beantwortung von Fragen der natürlichen Sprache". Linguistische Strukturen Verarbeitung 5. 5: 521–569.
  5. ^ "EAGLI -Plattform - Frage zur Beantwortung von Medline". candy.hesge.ch. Abgerufen 2021-12-02.
  6. ^ Hirschman, L. & Gaizauskas, R. (2001) Beantwortung der natürlichen Sprache Frage. Die Aussicht von hier aus. Natural Language Engineering (2001), 7: 4: 275-300 Cambridge University Press.
  7. ^ Lin, J. (2002). Das Web als Ressource zur Beantwortung von Fragen: Perspektiven und Herausforderungen. In Proceedings der dritten internationalen Konferenz über Sprachressourcen und Bewertung (LREC 2002).
  8. ^ Moldawien, Dan, et al. "Cogex: Ein logischer Prover für die Beantwortung der Frage.
  9. ^ Furbach, Ulrich, Ingo Glöckner und Björn Pelzer. "Eine Anwendung automatisierter Argumentation in der Beantwortung der Fragen der natürlichen Sprache. "AI Communications 23.2-3 (2010): 241-265.
  10. ^ Sonne, Haitianer; Dhingra, Bhuwan; Zaheer, Manzil; Mazaitis, Kathryn; Salakhutdinov, Ruslan; Cohen, William (2018). "Öffnen Sie die Domain -Frage, bei der die Beantwortung der frühen Fusion von Wissensbasen und Text beantwortet wird.". Verfahren der Konferenz 2018 über empirische Methoden in der Verarbeitung natürlicher Sprache. Brüssel, Belgien. S. 4231–4242. Arxiv:1809.00782. doi:10.18653/v1/d18-1455. S2CID 52154304.
  11. ^ Harabagiu, Sanda; Hickl, Andrew (2006). "Methoden zur Verwendung von Textbeschaffenung in der Beantwortung von Fragen im Freien". Proceedings der 21. Internationalen Konferenz über Computerlinguistik und die 44. Jahrestagung des ACL - ACL '06. S. 905–912. doi:10.3115/1220175.1220289.
  12. ^ Moritz Schubotz; Philipp Scharpf; et al. (12. September 2018). "Einführung in Mathqa: Ein mathematisches Fragen Antwortsystem". Informationsbedeckung und Lieferung. Emerald Publishing Limited. 46 (4): 214–224. Arxiv:1907.01642. doi:10.1108/IDD-06-2018-0022.
  13. ^ Scharpf, P. Schubotz, M. Gipp, B.Mathematische Bergbaudokumente zur Beantwortung von Fragen zur Beantwortung von unbeaufsichtigten Formelkennzeichnung ACM/IEEE Joint Conference über digitale Bibliotheken, 2022.
  14. ^ a b Zanibbi, Richard; Oard, Douglas W.; Agarwal, Anurag; Mansouri, Behrooz (2020), "Überblick über ARQMath 2020: Clef -Labor zum Abrufen von Antwort für Fragen zur Mathematik", Vorlesungsnotizen in Informatik, Cham: Springer International Publishing, S. 169–193, doi:10.1007/978-3-030-58219-7_15, ISBN 978-3-030-58218-0, abgerufen 2021-06-09
  15. ^ a b Scharpf; et al. (2020-12-04). ARQMATH LAB: Ein Inkubator für semantische Formel -Suche in ZBMath Open?. OCLC 1228449497.
  16. ^ Mansouri, Behrooz; Zanibbi, Richard; Oard, Douglas W. (Juni 2019). "Charakterisierung der Suche nach mathematischen Konzepten". 2019 ACM/IEEE Joint Conference über digitale Bibliotheken (JCDL). IEEE: 57–66. doi:10.1109/jcdl.2019.00019. ISBN 978-1-7281-1547-4. S2CID 198972305.
  17. ^ Paşca, Marius (2005). "Buchrezension Neu Anweisungen in Frage Beantwortung Mark T. Maybury (Herausgeber) (Miter Corporation) Menlo Park, CA: AAAI Press und Cambridge, MA: The MIT Press, 2004, xi+336 Seiten; Paperbound, ISBN 0-262-63304-3, 40,00 USD, £ 25,95 ". Computerlinguistik. 31 (3): 413–417. doi:10.1162/089120105774321055. S2CID 12705839.
  18. ^ a b Anderson, Peter et al. "Bottom-up- und Top-Down-Aufmerksamkeit für Bildunterschriften und visuelle Beantwortung der visuellen Frage. "Proceedings der IEEE -Konferenz über Computer Vision und Mustererkennung.
  19. ^ Zhu, Linchao et al. "Aufdeckung des zeitlichen Kontextes für die Beantwortung von Videofragen. "International Journal of Computer Vision 124.3 (2017): 409-421.
  20. ^ Quarteroni, Silvia und Suresh Manandhar. "Entwerfen eines interaktiven Fragen Antwortsystems für offene Domänen. "[Dead Link] Natural Language Engineering 15.1 (2009): 73-95.
  21. ^ Light, Marc et al. "In Frage zur Beantwortung von Fragen wiederverwenden: Eine vorläufige Studie. "Neue Anweisungen in Frage Beantwortung. 2003.
  22. ^ Yih, Wen-Tau, Xiaodong He und Christopher Meek. "Semantische Parsen für die Beantwortung von Fragen zur Einbeziehung.
  23. ^ Perera, R., Nand, P. und Naeem, A. 2017. Verwendung typisierter Abhängigkeits -Subtree -Muster für die in Frage beantwortete Systeme für Antwortsatz.
  24. ^ De Salvo Braz, Rodrigo et al. "Ein Inferenzmodell für die semantische Einbeziehung in der natürlichen Sprache. "Maschinellern Herausforderungen Workshop. Springer, Berlin, Heidelberg, 2005.
  25. ^ "Bitcrawl von Hobson Lane". Archiviert vom Original am 27. Oktober 2012. Abgerufen 2012-05-29.{{}}: CS1 Wartung: Bot: Original -URL -Status unbekannt (Link)
  26. ^ Perera, R. und Perera, U. 2012. Auf dem Weg zu einem thematischen rollenbasierten Zielidentifikationsmodell für die Beantwortung von Fragen.
  27. ^ Bahadorreza Ofoghi; John Yearwood & Liping MA (2008). Der Einfluss der Semantikklassenidentifikation und der semantischen Rollenkennzeichnung auf die Antwort der natürlichen Sprache. Die 30. Europäische Konferenz über Informationsabruf (Ecir'08). Springer Berlin Heidelberg. S. 430–437. doi:10.1007/978-3-540-78646-7_40.
  28. ^ Bahadorreza Ofoghi; John Yearwood & Liping MA (2009). "Der Einfluss von semantischen Annotationsniveaus der Rahmen, Rahmenausrichtungstechniken und Fusionsmethoden auf die Verarbeitung von Faktoid -Antwort". Zeitschrift der American Society for Information Science und Technologie. 60 (2): 247–263. doi:10.1002/ASI.20989.
  29. ^ DAS, Abhishek, et al. "Verkörperte Frage zur Beantwortung von Fragen. "Proceedings der IEEE -Konferenz über Computer Vision und Mustererkennung.
  30. ^ Markoff, John (2011-02-16). "Auf 'Gefahr!' Watson -Sieg ist alles andere als trivial ". Die New York Times.
  31. ^ "DRQA".
  32. ^ Chen, Danqi; Fisch, Adam; Weston, Jason; Bordes, Antoine (2017). "Lesen Sie Wikipedia, um Fragen offen zu beantworten". Arxiv:1704.00051 [cs.cl].

Weitere Lektüre

Externe Links