Verstärkungslernen

Verstärkungslernen (Rl) ist ein Bereich von maschinelles Lernen besorgt mit wie intelligente Agenten sollte nehmen Aktionen in einer Umgebung, um den Begriff der kumulativen Belohnung zu maximieren. Das Verstärkungslernen ist neben drei grundlegenden Paradigmen für maschinelles Lernen zusammen mit überwachtes Lernen und unbeaufsichtigtes Lernen.

Das Verstärkungslernen unterscheidet sich vom überwachten Lernen, wenn keine markierten Eingangs-/Ausgangspaare vorgestellt werden müssen, und dass keine suboptimalen Aktionen erforderlich sind, um explizit zu korrigieren. Stattdessen liegt der Fokus darauf, ein Gleichgewicht zwischen Erkundung (von Uncharted Territory) und Ausbeutung (des aktuellen Wissens) zu finden.^[1] Teilweise beaufsichtigte RL -Algorithmen können die Vorteile von überwachten und RL -Algorithmen kombinieren.^[2]

Die Umgebung wird typischerweise in Form von a angegeben Markov -Entscheidungsprozess (MDP), weil viele Verstärkungslernalgorithmen für diesen Kontext verwenden Dynamische Programmierung Techniken.^[3] Der Hauptunterschied zwischen den klassischen dynamischen Programmiermethoden und der Verstärkungslernen -Algorithmen besteht darin, dass letztere keine Kenntnis eines exakten mathematischen Modells des MDP annehmen und auf große MDPs abzielen, bei denen genaue Methoden nicht realisierbar werden.

Einführung

Das typische Rahmen eines RL -Szenarios (Verstärkung Learning): Ein Agent nimmt Maßnahmen in einer Umgebung aus, die in eine Belohnung und eine Darstellung des Staates interpretiert wird, die in den Agenten zurückgeführt werden.

Aufgrund seiner Allgemeinheit wird das Verstärkungslernen in vielen Disziplinen untersucht, wie z. Spieltheorie, Kontrolltheorie, Unternehmensforschung, Informationstheorie, Simulationsbasierte Optimierung, Multi-Agent-Systeme, Schwarmintelligenz, und Statistiken. In der Operations -Forschungs- und Kontrollliteratur wird das Verstärkungslernen genannt ungefähre dynamische Programmierung, oder Neuro-dynamische Programmierung. Die Probleme des Interesses am Verstärkungslernen wurden auch in der untersucht Theorie der optimalen Kontrolle, was sich hauptsächlich mit der Existenz und Charakterisierung optimaler Lösungen und Algorithmen für ihre genaue Berechnung befasst, und weniger mit Lernen oder Annäherung, insbesondere in Abwesenheit eines mathematischen Modells der Umwelt. Im Wirtschaft und SpieltheorieDas Verstärkungslernen kann verwendet werden, um zu erklären, wie das Gleichgewicht ergeben kann begrenzte Rationalität.

Grundlegendes Verstärkungslernen wird als modelliert als Markov Entscheidungsprozess (MDP):

• eine Reihe von Umwelt- und Agentenstaaten, S;
• eine Reihe von Aktionen, Ades Agenten;
• ${\ displayStyle p_ {a} (s, s ') = \ pr (s_ {t+1} = s' \ mid s_ {t} = s, a_ {t} = a)}$ ist die Übergangswahrscheinlichkeit (zum Zeitpunkt ${\ displayStyle t}$) aus dem Staat ${\ displayStyle S}$ zu sagen ${\ displayStyle S '}$ unter handeln ${\ displayStyle a}$.
• ${\ displayStyle r_ {a} (s, s ')}$ ist die sofortige Belohnung nach dem Übergang von ${\ displayStyle S}$ zu ${\ displayStyle S '}$ mit Aktion ${\ displayStyle a}$.

Der Zweck des Verstärkungslernens besteht darin, dass der Agent eine optimale oder nahezu optimale Richtlinie lernt, die die "Belohnungsfunktion" oder ein anderes vom Benutzer bereitgestellter Verstärkungssignal maximiert, das sich aus den unmittelbaren Belohnungen ansammelt. Dies ähnelt den Prozessen, die in der Tierpsychologie auftreten. Zum Beispiel sind biologische Gehirne fest verdrahtet, um Signale wie Schmerz und Hunger als negative Verstärkung zu interpretieren und die Aufnahme von Vergnügen und Nahrung als positive Verstärkung zu interpretieren. Unter bestimmten Umständen können Tiere lernen, sich an Verhaltensweisen zu beteiligen, die diese Belohnungen optimieren. Dies deutet darauf hin, dass Tiere in der Lage sind, das Lernen zu verstärken.^[4][5]

Ein grundlegender Verstärkungslernagent -Agent ist in diskreten Zeitschritten mit seiner Umgebung interagiert. Zu jedem Mal t, der Agent erhält den aktuellen Zustand ${\ displayStyle s_ {t}}$ und Belohnung ${\ displayStyle r_ {t}}$. Es wählt dann eine Aktion aus ${\ displayStyle a_ {t}}$ aus den verfügbaren Aktionen, die anschließend an die Umgebung gesendet werden. Die Umwelt bewegt sich in einen neuen Staat ${\ displayStyle s_ {t+1}}$ und die Belohnung ${\ displayStyle r_ {t+1}}$ in Verbindung mit Überleitung ${\ displayStyle (s_ {t}, a_ {t}, s_ {t+1})}$ festgestellt wird. Das Ziel eines Verstärkungslernagenten ist es, a zu lernen Politik: ${\ displaystyle \ pi: a \ times s \ rightarrow [0,1]}$, ${\ displayStyle \ pi (a, s) = \ pr (a_ {t} = a \ mid s_ {t} = s)}$ was die erwartete kumulative Belohnung maximiert.

Die Formulierung des Problems als MDP geht davon aus, dass der Agent den aktuellen Umgebungszustand direkt beobachtet. In diesem Fall soll das Problem haben volle Beobachtbarkeit. Wenn der Agent nur Zugang zu einer Teilmenge von Zuständen hat oder wenn die beobachteten Zustände durch Lärm korrupt sind, soll der Agent bezeichnet werden teilweise Beobachtbarkeitund formell muss das Problem als formuliert werden Teilweise beobachtbarer Markov -Entscheidungsprozess. In beiden Fällen kann die für den Agenten verfügbare Aktionen eingeschränkt werden. Zum Beispiel könnte der Zustand eines Kontostands auf positiv beschränkt werden. Wenn der aktuelle Wert des Staates 3 beträgt und der Statusübergang versucht, den Wert um 4 zu verringern, ist der Übergang nicht zulässig.

Wenn die Leistung des Agenten mit der eines Agenten verglichen wird, der optimal wirkt, führt der Leistungsunterschied zu dem Begriff von Reue. Um optimal zu handeln, muss der Agent über die langfristigen Konsequenzen seiner Handlungen (d. H. Maximieren Sie das zukünftige Einkommen), obwohl die damit verbundene sofortige Belohnung negativ sein könnte.

Daher ist das Verstärkungslernen besonders gut für Probleme geeignet, die einen langfristigen Kompromiss für kurzfristige Belohnungen umfassen. Es wurde erfolgreich auf verschiedene Probleme angewendet, einschließlich Roboterkontrolle,^[6] Aufzugsplanung, Telekommunikation, Backgammon, Dame^[7] und gehen (Alphago).

Zwei Elemente machen Verstärkungslernen leistungsfähig: Die Verwendung von Proben zur Optimierung der Leistung und die Verwendung von Funktionsnäherung für große Umgebungen. Dank dieser beiden Schlüsselkomponenten kann das Verstärkungslernen in großen Umgebungen in den folgenden Situationen verwendet werden:

• Ein Modell der Umgebung ist bekannt, aber ein Analytische Lösung ist nicht verfügbar;
• Es wird nur ein Simulationsmodell der Umgebung angegeben (das Thema von Simulationsbasierte Optimierung);^[8]
• Die einzige Möglichkeit, Informationen über die Umgebung zu sammeln, besteht darin, mit ihr zu interagieren.

Die ersten beiden dieser Probleme könnten als Planungsprobleme in Betracht gezogen werden (da irgendeine Form des Modells verfügbar ist), während der letzte als echtes Lernproblem angesehen werden könnte. Das Verstärkungslernen wandelt jedoch beide Planungsprobleme in die maschinelles Lernen Probleme.

Erkundung

Die Exploration vs. Exploitation-Kompromisse wurde am gründlichsten durch die untersucht Mehr bewaffneter Bandit Problem und für Finite -State -Raum -MDPs in Burnetas und Katehakis (1997).^[9]

Das Verstärkungslernen erfordert clevere Erkundungsmechanismen. Die zufällig ausgewählte Auswahl von Aktionen ohne Bezugnahme auf eine geschätzte Wahrscheinlichkeitsverteilung zeigt eine schlechte Leistung. Der Fall von (kleinen) endlichen MDPs ist relativ gut verstanden. Aufgrund des Mangels an Algorithmen, die sich gut mit der Anzahl der Zustände (oder der Skala zu Problemen mit unendlichen Zustandsräumen) skalieren, sind einfache Erkundungsmethoden die praktischsten.

Eine solche Methode ist ${\ displayStyle \ varepsilon}$-Greedy, wo ${\ displayStyle 0 <\ varepsilon <1}$ ist ein Parameter, der die Explorationsmenge im Vergleich zu Nutzung steuert. Mit Wahrscheinlichkeit ${\ displayStyle 1- \ varepsilon}}$Es wird eine Ausbeutung ausgewählt, und der Agent wählt die Aktion, von der er glaubt, dass sie den besten langfristigen Effekt hat (die Verbindungen zwischen Aktionen werden zufällig einheitlich unterbrochen). Alternativ mit Wahrscheinlichkeit ${\ displayStyle \ varepsilon}$Es wird die Erkundung ausgewählt und die Aktion gleichmäßig zufällig ausgewählt. ${\ displayStyle \ varepsilon}$ ist normalerweise ein fester Parameter, kann aber entweder gemäß einem Zeitplan angepasst werden (was den Agenten zunehmend weniger erforscht) oder anpassungsfähig auf der Grundlage von Heuristiken.^[10]

Algorithmen für das Kontrolle von Kontrolle

Selbst wenn das Problem der Exploration nicht berücksichtigt wird und selbst wenn der Staat beobachtbar war (im Folgenden angenommen), bleibt das Problem weiterhin, um herauszufinden, welche Maßnahmen zu höheren kumulativen Belohnungen führen.

Kriterium der Optimalität

Politik

Die Aktionsauswahl des Agenten wird als Karte namens modelliert Politik:

${\ displaystyle \ pi: a \ times s \ rightarrow [0,1]}$

${\ displayStyle \ pi (a, s) = \ pr (a_ {t} = a \ mid s_ {t} = s)}$

Die Richtlinienkarte gibt die Wahrscheinlichkeit, Maßnahmen zu ergreifen ${\ displayStyle a}$ wenn im Zustand ${\ displayStyle S}$.^{[11]: 61} Es gibt auch deterministische Richtlinien.

Zustandswertfunktion

Die Wertfunktion ${\ displayStyle v _ {\ pi} (s)}$ ist definiert als die erwartete Rückkehr Beginnend mit Staat ${\ displayStyle S}$, d.h. ${\ displayStyle s_ {0} = s}$und nacheinander die Politik folgen ${\ displayStyle \ pi}$. Grob gesagt schätzt die Wertfunktion "Wie gut", in einem bestimmten Zustand zu sein.^{[11]: 60}

$oder \ gamma ^{t} r_ {t} \ mid s_ {0} = s \ rechts],},},},},},},},},},},},},},},},},},},}$

wo die zufällige Variable ${\ displayStyle r}$ bezeichnet die Rückkehrund ist definiert als die Summe der zukünftigen reduzierten Belohnungen:

$oder$

wo ${\ displayStyle r_ {t}}$ ist die Belohnung im Schritt ${\ displayStyle t}$, ${\ displayStyle \ gamma \ in [0,1)}$ ist der Diskontsatz. Gamma ist weniger als 1, daher werden Ereignisse in der fernen Zukunft in unmittelbarer Zukunft weniger gewichtet als Ereignisse.

Der Algorithmus muss eine Richtlinie mit maximaler erwarteter Rendite finden. Aus der Theorie der MDPs ist bekannt, dass die Suche ohne Verlust der Allgemeinheit auf den Satz von sogenannten Einrichtungen beschränkt werden kann stationär Richtlinien. Eine Richtlinie ist stationär Wenn die von IT zurückgegebene Aktionsverteilung nur vom letzten besuchten Staat abhängt (von der Anamnese des Beobachtungsagenten). Die Suche kann weiter beschränkt werden deterministisch Stationäre Richtlinien. EIN deterministisch stationär Die Richtlinie wählt die auf dem aktuellen Status basierende Aktionen bestimmt. Da eine solche Richtlinie mit einer Zuordnung von den Staaten zu den Aktionen identifiziert werden kann, können diese Richtlinien mit solchen Zuordnungen ohne Verlust der Allgemeinheit identifiziert werden.

Rohe Gewalt

Das rohe Gewalt Ansatz beinhaltet zwei Schritte:

• Für jede mögliche Richtlinie kehrt die Stichprobe zurück, während sie folgen
• Wählen Sie die Richtlinie mit der größten erwarteten Rendite

Ein Problem dabei ist, dass die Anzahl der Richtlinien groß oder sogar unendlich sein kann. Eine andere ist, dass die Varianz der Renditen groß sein kann, wodurch viele Stichproben die Rückgabe jeder Richtlinie genau abschätzen müssen.

Diese Probleme können verbessert werden, wenn wir eine gewisse Struktur annehmen und Proben aus einer Richtlinie ermöglichen, um die Schätzungen für andere zu beeinflussen. Die beiden Hauptansätze, um dies zu erreichen Wertungsfunktionsschätzung und Direkte Richtliniensuche.

Wertfunktion

Wertfunktionsansätze versuchen, eine Richtlinie zu finden, die die Rendite maximiert, indem eine Reihe von Schätzungen der erwarteten Renditen für eine Richtlinie (normalerweise entweder "aktuell" [On-Policy] oder die optimale [Off-Policy]) beibehalten werden.

Diese Methoden stützen sich auf die Theorie von Markov-Entscheidungsprozessen, bei denen die Optimalität in gewissem Sinne definiert ist irgendein Der Anfangszustand (d. H. Erstverteilungen spielen in dieser Definition keine Rolle). Auch hier kann immer eine optimale Politik unter stationären Richtlinien gefunden werden.

Optimalität formell zu definieren, den Wert einer Richtlinie zu definieren ${\ displayStyle \ pi}$ durch

${\ displaystyle v^{\ pi} (s) = e [r \ mid s, \ pi],},},}$

wo ${\ displayStyle r}$ steht für die Rückkehr, die mit folgendem zugeordnet ist ${\ displayStyle \ pi}$ aus dem Anfangszustand ${\ displayStyle S}$. Definition ${\ displayStyle v^{*} (s)}$ als maximal möglicher Wert von ${\ displaystyle v^{\ pi} (s)}$, wo ${\ displayStyle \ pi}$ darf sich ändern,

${\ displaystyle v^{*} (s) = \ max _ {\ pi} v^{\ pi} (s).}$

Eine Richtlinie, die diese optimalen Werte in jedem Zustand erreicht optimal. Eine Politik, die in diesem starken Sinne optimal ist ${\ displaystyle \ rho ^{\ pi}}$, seit ${\ displaystyle \ rho ^{\ pi} = e [v ^{\ pi} (s)]}$, wo ${\ displayStyle S}$ ist ein Zustand, der zufällig aus der Verteilung abgetastet wurde ${\ displayStyle \ mu}$ von Anfangszuständen (also ${\ displayStyle \ mu (s) = \ pr (s_ {0} = s)}$).

Obwohl staatliche Werte ausreichen, um die Optimalität zu definieren, ist es nützlich, Aktionswerte zu definieren. Einen Staat gegeben ${\ displayStyle S}$, eine Handlung ${\ displayStyle a}$ und eine Politik ${\ displayStyle \ pi}$, der Aktionswert des Paares ${\ displayStyle (s, a)}$ unter ${\ displayStyle \ pi}$ wird definiert von

${\ displayStyle q^{\ pi} (s, a) = \ operatorname {e} [r \ mid s, a, \ pi], \,}$

wo ${\ displayStyle r}$ steht nun für die zufällige Rendite, die mit dem ersten Maßnahme um Maßnahmen verbunden ist ${\ displayStyle a}$ im Zustand ${\ displayStyle S}$ und folgen ${\ displayStyle \ pi}$, danach.

Die Theorie von MDPs gibt an, dass wenn ${\ displaystyle \ pi ^{*}}$ ist eine optimale Richtlinie, wir handeln optimal (ergreifen die optimale Maßnahmen), indem wir die Aktion aus auswählen ${\ displayStyle q ^{\ pi ^{*}} (s, \ cdot)}$ mit dem höchsten Wert bei jedem Zustand,, ${\ displayStyle S}$. Das Aktionswertfunktion einer solch optimalen Politik (${\ displayStyle q ^{\ pi ^{*}}}$) wird das genannt Optimale Aktionswertfunktion und wird allgemein bezeichnet durch ${\ displayStyle q^{*}}$. Zusammenfassend lässt sich sagen, dass die Kenntnis der optimalen Aktionswertfunktion allein ausreicht, um optimal zu handeln.

Unter der Annahme des MDP-Kenntnisses sind die beiden grundlegenden Ansätze zur Berechnung der optimalen Aktionswertfunktion Wert -Iteration und Richtlinien -Iteration. Beide Algorithmen berechnen eine Abfolge von Funktionen ${\ displayStyle q_ {k}}$ (${\ displayStyle k = 0,1,2, \ ldots}$) {\ displayStyle k = 0,1,2, \ ldots}, die zu konvergieren ${\ displayStyle q^{*}}$. Das Berechnen dieser Funktionen beinhaltet die Berechnung der Erwartungen über den gesamten Zustandsraum, was für alle bis auf die kleinsten (endlichen) MDPs unpraktisch ist. Bei Verstärkungslernmethoden werden die Erwartungen durch Mittelung über Proben und die Verwendung von Funktionsnäherungstechniken angenähert, um die Notwendigkeit zu bewältigen, Wertfunktionen über große Zustandsbereiche darzustellen.

Monte -Carlo -Methoden

Monte -Carlo -Methoden Kann in einem Algorithmus verwendet werden, der die Richtlinien -Iteration nachahmt. Die politische Iteration besteht aus zwei Schritten: Richtlinienbewertung und Politikverbesserung.

Monte Carlo wird im Richtlinienbewertungsschritt verwendet. In diesem Schritt bei einer stationären, deterministischen Richtlinie ${\ displayStyle \ pi}$Ziel ist es, die Funktionswerte zu berechnen ${\ displayStyle q^{\ pi} (s, a)}$ (oder eine gute Annäherung an sie) für alle State-Action-Paare ${\ displayStyle (s, a)}$. Angenommen (zur Einfachheit), dass der MDP endlich ist, dass ausreichend Speicher zur Verfügung steht, um die Aktionswerte aufzunehmen, und dass das Problem episodisch ist und nach jeder Episode eine neue aus einem zufälligen Ausgangszustand startet. Dann die Schätzung des Wertes eines bestimmten Status-Action-Paares ${\ displayStyle (s, a)}$ kann berechnet werden, indem die abgetasteten Renditen gemittelt werden, die stammten ${\ displayStyle (s, a)}$ im Laufe der Zeit. Bei ausreichender Zeit kann dieses Verfahren somit eine genaue Schätzung erstellen ${\ displayStyle q}$ der Aktionswertfunktion ${\ displayStyle q^{\ pi}}$. Dadurch wird die Beschreibung des Richtlinienbewertungsschritts beendet.

Im Schritt der Richtlinienverbesserung wird die nächste Richtlinie durch Berechnung a erhalten gierig Politik in Bezug auf ${\ displayStyle q}$: Einen Staat gegeben ${\ displayStyle S}$Diese neue Richtlinie gibt eine Aktion zurück, die maximiert ${\ displayStyle q (s, \ cdot)}$. In der Praxis faule Bewertung Kann die Berechnung der Maximierungsaktionen auf verschieben, wenn sie benötigt werden.

Zu den Problemen mit diesem Verfahren gehören:

1. Das Verfahren kann zu viel Zeit damit verbringen, eine suboptimale Richtlinie zu bewerten.

2. Es verwendet Proben ineffizient, da eine lange Flugbahn nur die Schätzung der Schätzung verbessert Single State-Action-Paar, das die Flugbahn begann.

3. Wenn die Rückgaben entlang der Flugbahnen haben hohe Varianz, Konvergenz ist langsam.

4. Es funktioniert in episodische Probleme nur.

5. Es funktioniert nur in kleinen, endlichen MDPs.

Zeitliche Differenzmethoden

Das erste Problem wird behoben, indem das Verfahren die Richtlinie (in einigen oder allen Zuständen) ändern kann, bevor sich die Werte regeln. Auch dies kann problematisch sein, da es Konvergenz verhindern kann. Die meisten aktuellen Algorithmen tun dies und führen zu der Klasse von Verallgemeinerte politische Iteration Algorithmen. Viele Schauspieler-Kritiker Methoden gehören zu dieser Kategorie.

Das zweite Problem kann korrigiert werden, indem Trajektorien zu jedem State-Action-Paar beitragen können. Dies kann auch in gewissem Maße beim dritten Problem helfen, obwohl eine bessere Lösung bei hoher Varianz von Sutton's ist zeitlicher Unterschied (TD) Methoden, die auf der rekursiven Basis basieren Bellman -Gleichung.^[12][13] Die Berechnung in TD -Methoden kann inkrementell sein (wenn nach jedem Übergang der Speicher geändert und der Übergang weggeworfen wird) oder Stapel (wenn die Übergänge angegeben sind und die Schätzungen einmal basierend auf der Charge berechnet werden). Batch-Methoden wie die zeitliche Differenzmethode mit kleinster Quadrat,^[14] Kann die Informationen in den Proben besser verwenden, während inkrementelle Methoden die einzige Wahl sind, wenn Stapelmethoden aufgrund ihrer hohen Rechen- oder Speicherkomplexität nicht realisierbar sind. Einige Methoden versuchen, die beiden Ansätze zu kombinieren. Methoden, die auf zeitlichen Unterschieden basieren, überwinden auch das vierte Problem.

Ein weiteres Problem, das für TD spezifisch ist, beruht auf der Abhängigkeit von der rekursiven Bellman -Gleichung. Die meisten TD-Methoden haben eine sogenannte ${\ displayStyle \ lambda}$ Parameter ${\ displayStyle (0 \ leq \ lambda \ leq 1)}$ Dies kann kontinuierlich zwischen Monte -Carlo -Methoden interpolieren, die sich nicht auf den Bellman -Gleichungen beruhen, und den grundlegenden TD -Methoden, die sich ausschließlich auf den Bellman -Gleichungen verlassen. Dies kann wirksam sein, um dieses Problem zu lindern.

Funktionsnäherungsmethoden

Um das fünfte Problem anzugehen, Funktionsnäherungsmethoden werden verwendet. Lineare Funktionsnäherung beginnt mit einem Mapping ${\ displayStyle \ phi}$ Das weist jedem Zustands-Aktionspaar einen endlichdimensionalen Vektor zu. Dann die Aktionswerte eines Zustands-Aktionspaars ${\ displayStyle (s, a)}$ werden erhalten, indem die Komponenten linear kombiniert werden ${\ displayStyle \ phi (s, a)}$ mit etwas Gewichte ${\ displayStyle \ theta}$:

${\ displayStyle q (s, a) = \ sum _ {i = 1}^{d} \ theta _ {i} \ phi _ {i} (s, a).}$

Die Algorithmen passen dann die Gewichte an, anstatt die mit den individuellen Zustandsaktionspaaren verbundenen Werte anzupassen. Methoden basierend auf Ideen von Nichtparametrische Statistiken (Es wurden gesehen, dass sie ihre eigenen Merkmale konstruieren) wurden untersucht.

Die Wert -Iteration kann auch als Ausgangspunkt verwendet werden, wodurch der entsteht Q-Learning Algorithmus und seine vielen Varianten.^[15]

Das Problem bei der Verwendung von Aktionswerten besteht darin, dass sie möglicherweise sehr genaue Schätzungen der konkurrierenden Aktionswerte benötigen, die bei der Lautstärke schwer zu erzielen sind, obwohl dieses Problem durch zeitliche Differenzmethoden in gewissem Maße gemindert wird. Die Verwendung der sogenannten kompatiblen Funktionsnäherungsmethode beeinträchtigt die Allgemeinheit und Effizienz.

Direkte Richtliniensuche

Eine alternative Methode besteht darin, direkt in (eine Teilmenge von) im Richtlinienraum zu suchen. In diesem Fall wird das Problem zu einem Fall von Stochastische Optimierung. Die beiden verfügbaren Ansätze sind gradientenbasierte und gradientenfreie Methoden.

Gradient-basierte Methoden (Richtliniengradientenmethoden) Beginnen Sie mit einer Zuordnung von einem endlich-dimensionalen (Parameter-) Raum zum Richtlinienraum: gegebener Parametervektor ${\ displayStyle \ theta}$, Lassen ${\ displaystyle \ pi _ {\ theta}}$ bezeichnen die mit der Richtlinie verbundene Richtlinie ${\ displayStyle \ theta}$. Definieren der Leistungsfunktion durch

${\ displayStyle \ rho (\ theta) = \ rho ^{\ pi _ {\ theta}},}$

Unter leichten Bedingungen ist diese Funktion als Funktion des Parametervektors differenzierbar ${\ displayStyle \ theta}$. Wenn der Gradient von ${\ displayStyle \ rho}$ war bekannt, man konnte gebrauchen Gradientenaufstieg. Da ein analytischer Ausdruck für den Gradienten nicht verfügbar ist, ist nur eine laute Schätzung verfügbar. Eine solche Schätzung kann in vielerlei Hinsicht konstruiert werden, was zu Algorithmen wie Williams 'Verstärkungsmethode führt^[16] (die als die Wahrscheinlichkeitsverhältnis -Methode in der bekannt ist Simulationsbasierte Optimierung Literatur).^[17] Richtliniensuchmethoden wurden in der verwendet Robotik Kontext.^[18] Viele politische Suchmethoden können in lokaler Optima stecken bleiben (wie sie basieren auf lokale Suche).

Eine große Klasse von Methoden vermeidet es, sich auf Gradienteninformationen zu verlassen. Diese beinhalten simuliertes Glühen, Cross-Entropy-Suche oder Methoden von Evolutionsberechnung. Viele gradientenfreie Methoden können (theoretisch und in der Grenze) ein globales Optimum erreichen.

Richtliniensuchmethoden können langsam angegebene Daten konvergieren. Dies geschieht beispielsweise bei episodischen Problemen, wenn die Flugbahnen lang sind und die Varianz der Renditen groß ist. Wertfunktionsbasierte Methoden, die auf zeitliche Unterschiede beruhen, können in diesem Fall helfen. In den vergangenen Jahren, Schauspieler -kritische Methoden wurden bei verschiedenen Problemen gut vorgeschlagen und gut ausgeführt.^[19]

Modellbasierte Algorithmen

Schließlich können alle oben genannten Methoden mit Algorithmen kombiniert werden, die zuerst ein Modell lernen. Zum Beispiel der Dyna -Algorithmus^[20] Lernt ein Modell aus Erfahrung und verwendet, um zusätzlich zu den tatsächlichen Übergängen modelliertere Übergänge für eine Wertfunktion zu bieten. Solche Methoden können manchmal auf nicht parametrische Modelle ausgeweitet werden, z.^[21] zum Lernalgorithmus.

Es gibt andere Möglichkeiten, Modelle zu verwenden, als eine Wertfunktion zu aktualisieren.^[22] Zum Beispiel in Modellvorhersagekontrolle Das Modell wird verwendet, um das Verhalten direkt zu aktualisieren.

Theorie

Sowohl das asymptotische als auch die endliche Verhaltensweisen der meisten Algorithmen sind gut verstanden. Algorithmen mit nachweislich guter Online -Leistung (die sich mit dem Explorationsproblem befassen) sind bekannt.

In Burnetas und Katehakis (1997) wird eine effiziente Erforschung von MDPs angegeben.^[9] Finite-Tite-Leistungsgrenzen sind auch für viele Algorithmen aufgetreten, aber es wird erwartet, dass diese Grenzen eher locker sind und daher mehr Arbeit erforderlich ist, um die relativen Vorteile und Einschränkungen besser zu verstehen.

Für inkrementelle Algorithmen wurden asymptotische Konvergenzprobleme beigelegt^{[Klarstellung erforderlich]}. Temporal-differenzbasierte Algorithmen konvergieren unter einem breiteren Satz von Bedingungen als bisher möglich (z. B. bei der Verwendung mit willkürlicher, glatte Funktionsnäherung).

Forschung

Forschungsthemen umfassen

• Adaptive Methoden, die unter einer großen Anzahl von Bedingungen mit weniger (oder NO) Parametern funktionieren
• Behandeln des Explorationsproblems in großen MDPs
• Kombinationen mit logischbasierten Frameworks^[23]
• Große empirische Bewertungen
• Lernen und Handeln unter Teilinformationen (z. B. verwendet Prädiktivzustandsrepräsentation)
• modulares und hierarchisches Verstärkungslernen^[24]
• Verbesserung der bestehenden Mehrwertfunktions- und Richtliniensuchmethoden
• Algorithmen, die gut mit großen (oder kontinuierlichen) Aktionsräumen funktionieren
• Transferlernen^[25]
• lebenslanges Lernen
• effiziente probsbasierte Planung (z. B. basierend auf Monte Carlo Tree Search).
• Fehlererkennung in Softwareprojekten^[26]
• Intrinsische Motivation Dies unterscheidet (typisch) das Verhalten von Informationssuchungen, Verhaltensweisen vom Typ Curiosity-Typ aus aufgabenabhängigen zielgerichteten Verhaltensweisen durch Einführung einer Belohnungsfunktion, die auf Maximierung neuer Informationen basiert^[27][28][29]
• Mehrfach oder verteiltes Verstärkungslernen ist ein Thema von Interesse. Anwendungen erweitern.^[30]
• Schauspieler-kritischer Verstärkung
• Verstärkungslernenalgorithmen wie TD -Lernen werden als Modell für untersucht Dopamin-Lernen im Gehirn. In diesem Modell die Dopaminerge Projektionen aus dem Substantia Nigra zum Basalganglien Funktion als Vorhersagefehler.
• Verstärkungslernen wurde als Teil des Modells für das Lernen menschlicher Fähigkeiten verwendet, insbesondere in Bezug auf die Interaktion zwischen implizitem und explizitem Lernen beim Erwerb von Fähigkeiten (die erste Veröffentlichung dieser Anwendung war 1995–1996).
• Insassen-zentrierte Kontrolle
• Algorithmischer Handel und optimale Ausführung^[31]
• Optimierung der Computerressourcen^[32][33][34]

Vergleich von Verstärkungslernenalgorithmen

Assoziatives Verstärkungslernen

Assoziative Verstärkungslernaufgaben kombinieren Facetten stochastischer Lernautomatenaufgaben und überwachte Lernmusterklassifizierungsaufgaben. Bei assoziativen Lernaufgaben der Verstärkung interagiert das Lernsystem in einer geschlossenen Schleife mit seiner Umgebung.^[35]

Tiefes Verstärkungslernen

Dieser Ansatz erweitert das Verstärkungslernen durch die Verwendung eines tiefen neuronalen Netzwerks und ohne explizit den staatlichen Raum.^[36] Die Arbeit zum Erlernen von Atari -Spielen durch Google Deepmind verstärkte Aufmerksamkeit auf Tiefes Verstärkungslernen oder End-to-End-Verstärkungslernen.^[37]

Kontroveres Lernen von tiefer Verstärkung

Das kontroverse Erlernen von Tiefverstärkung ist ein aktives Forschungsbereich in der Verstärkung, das sich auf Schwachstellen erlernter Richtlinien konzentriert. In diesem Forschungsgebiet zeigten einige Studien zunächst, dass die Richtlinien für Verstärkungslernen anfällig für nicht wahrnehmbare kontroverse Manipulationen sind.^[38][39][40] Während einige Methoden vorgeschlagen wurden, um diese Anfälligkeiten zu überwinden, wurde in den jüngsten Studien gezeigt, dass diese vorgeschlagenen Lösungen weit davon entfernt sind, eine genaue Darstellung aktueller Schwachstellen für die Richtlinien für das Lernen von Verstärkung zu ermitteln.^[41]

Fuzzy -Verstärkungslernen

Durch Einführung Fuzzy Inferenz in RL,^[42] approximieren die Funktion der Status-Action-Wert mit Fuzzy -Regeln im kontinuierlichen Raum wird möglich. Die if - dann Form der Fuzzy -Regeln macht diesen Ansatz geeignet, um die Ergebnisse in einer Form der natürlichen Sprache auszudrücken. FRL mit Fuzzy -Regel -Interpolation erweitern ^[43] Ermöglicht die Verwendung von spärlichen Fuzzy-Regelbasen mit reduzierter Größe, um die Kardinalregeln (wichtigste Zustands-Action-Werte) zu betonen.

Inverse Verstärkungslernen

Beim Inverse -Verstärkungslernen (IRL) wird keine Belohnungsfunktion gegeben. Stattdessen wird die Belohnungsfunktion angesichts eines beobachteten Verhaltens eines Experten abgeleitet. Die Idee ist, das beobachtete Verhalten nachzuahmen, das oft optimal oder nahezu optimal ist.^[44]

Sicheres Verstärkungslernen

Safe Verstärkungslernen (SRL) kann als der Prozess der Lernrichtlinien definiert werden, die die Erwartung der Rückkehr bei Problemen maximieren, bei denen es wichtig ist, eine angemessene Systemleistung zu gewährleisten und/oder Sicherheitsbeschränkungen während des Lernens und/oder Bereitstellungen zu respektieren.^[45]

Teilweise beaufsichtigte Verstärkungslernen (PSRL)

In PSRL -Algorithmen werden die Vorteile von beaufsichtigten und RL -basierten Ansätzen synergistisch kombiniert. Zum Beispiel kann die Kontrollrichtlinie, die durch einen inversen Ann -basierten Ansatz zur Steuerung eines nichtlinearen Systems gelernt wurde, mithilfe von RL verfeinert werden, wodurch die Rechenkosten vermieden werden, die durch eine zufällige Richtlinie in der traditionellen RL entstanden sind. Teilweise beaufsichtigte Ansätze können die Notwendigkeit umfassender Trainingsdaten im überwachten Lernen lindern und gleichzeitig die Notwendigkeit einer kostspieligen, umfassenden zufälligen Exploration in reinem RL verringern.^[2]

Siehe auch

Verweise

Weitere Lektüre

• Auer, Peter; Jaksch, Thomas; Ortner, Ronald (2010). "Nahezu optimales Bedauern für Verstärkungslernen". Journal of Machine Learning Research. 11: 1563–1600.
• Busoniu, Lucian; Babuska, Robert; De Schutter, Bart; Ernst, Damien (2010). Verstärkungslernen und dynamische Programmierung unter Verwendung von Funktionsanbietern. Taylor & Francis CRC Press. ISBN 978-1-4398-2108-4.
• François-Lavet, Vincent; Henderson, Peter; Islam, Rishat; Bellemare, Marc G.; Pineau, Joelle (2018). "Eine Einführung in das tiefe Verstärkungslernen". Grundlagen und Trends im maschinellen Lernen. 11 (3–4): 219–354. Arxiv:1811.12560. Bibcode:2018ArXIV181112560f. doi:10.1561/2200000071. S2CID 54434537.
• Powell, Warren (2011). Ungefähre dynamische Programmierung: Lösen der Flüche der Dimensionalität. Wiley-Interscience.
• Sutton, Richard S.; Barto, Andrew G. (2018). Verstärkungslernen: Eine Einführung (2 ed.). MIT Press. ISBN 978-0-262-03924-6.
• Sutton, Richard S. (1988). "Lernen, nach der Methode zeitlicher Unterschiede vorherzusagen". Maschinelles Lernen. 3: 9–44. doi:10.1007/bf00115009.
• Szita, Istvan; Szepesvari, Csaba (2010). "Modellbasiertes Verstärkungslernen mit nahezu engen Explorationskomplexitätsgrenzen" (PDF). ICML 2010. Omnipress. S. 1031–1038. Archiviert von das Original (PDF) Am 2010-07-14.

Externe Links

• Verstärkungslernrepository
• Verstärkungslernen und künstliche Intelligenz (RLAI, Rich Suttons Labor am Universität von Alberta)
• Autonomes Lernlabor (Alle, Andrew Bartos Labor am Amherst der Universität von Massachusetts)
• Real-World-Verstärkungslernexperimente bei Delft University of Technology
• Andrew Ng Vortrag der Stanford University über Verstärkungslernen
• Verstärkungslernen analysieren Serie von Blog -Beitrag auf RL mit Python -Code
• Ein (langer) Blick in Verstärkungslernen