Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer...

75
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Transcript of Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer...

Page 1: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Universität Potsdam Institut für Informatik

Lehrstuhl Maschinelles Lernen

Reinforcement Learning 2 Uwe Dick

Page 2: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Inhalt

Erinnerung: Bellman-Gleichungen, Bellman-Operatoren Policy Iteration

Sehr große oder kontinuierliche Zustandsräume Monte-Carlo Sampling, UCT Diskretisierung Approximate Policy Iteration

Bellman Residual Minimization Least Squares Temporal Difference

Page 3: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Literatur

Reinforcement Learning. An Introduction. von Richard S. Sutton und Andrew G. Barto http://www.cse.iitm.ac.in/~cs670/book/the-book.html

Tutorials auf videolectures.net z.B. von Csaba Szepesvari oder Satinder Singh

http://www.cse.iitm.ac.in/~cs670/book/the-book.html�
Page 4: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Lernen aus Interaktionen

Umgebung

Agent Controller

Aktionen •Reward •Beobachtung

Page 5: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Markov Decision Processes Markov-Entscheidungsprozess (S,A,R,P)

S : endliche Zustandsmenge

A : endliche Aktionsmenge

P : Übergangswahrscheinlichkeiten

R : Erwarteter Reward. Beschreibt den sofort erzielten Gewinn.

Discount factor .

Page 6: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Startzustand Zielzustand

Beispiel: Gridworld

ss S∈

zs S∈

Page 7: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Aktionsmenge A

A=(links, rechts, oben, unten)

Beispiel: Gridworld

Page 8: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit

P P((1,2)|(1,1), rechts) = 1

Beispiel: Gridworld

Page 9: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit

P Erwarter Reward R

R((1,1),rechts) = 0

Beispiel: Gridworld

Page 10: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit

P Erwarter Reward R

R((4,5),unten) = 1

Beispiel: Gridworld

Page 11: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Markov Decision Processes Markov-Entscheidungsprozess (S,A,R,P)

S : endliche Zustandsmenge

A : endliche Aktionsmenge

P : Übergangswahrscheinlichkeiten

R : Erwarteter Reward. Beschreibt den sofort erzielten Gewinn.

Discount factor .

Page 12: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

MDP

Eine deterministische stationäre Policy bildet Zustände auf Aktionen ab.

Stochastische Policy: Funktion von Zuständen auf eine Verteilung von Aktionen.

Ziel: Finde Policy ¼, die den erwarteten kumulativen (discounted) Gewinn maximieren.

Page 13: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit P Erwarter Reward R Discountfaktor Policy

Gute Policy Erwarteter discounted Reward

Beispiel: Gridworld

2ππ

0,9γ =

7, 0

0( , ( )) | 0,9t

P t t st

E R s s s sπ γ π∞

=

∑ = =

Page 14: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

1ππ

0,9γ =

23, 0

0( , ( )) | 0,9t

P t t st

E R s s s sπ γ π∞

=

∑ = =

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit P Erwarter Reward R Discountfaktor Policy

Schlechte Policy Erwarteter discounted Reward

Page 15: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Markov-Eigenschaft

Markov-Eigenschaft:

Aus Sequenz von Beobachtungen und Aktionen wird Zustand.

Markov-Eigenschaft in Realität selten genau erfüllt.

Page 16: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Value Functions – Bewertungsfunktionen Value function V¼(s) für einen Zustand s und Policy ¼

beschreibt den erwarteten kumulativen Gewinn der von diesem Zustand aus erreicht wird.

Bewertungsfunktion für Zustand-Aktions-Paar:

Page 17: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

1 3,

0( ) ( , ( )) 0,9k

t P t k t kk

V s E R s sππ γ π

∞

+ +=

= ∑ =

Zustandsraum S Aktionsmenge A Übergangswahrscheinlichkeit P Erwarter Reward R Discountfaktor Policy

Gute Policy Erwarteter discounted Reward

2ππ

0,9γ =

Page 18: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Gleichungen

Für Bewertungsfunktionen gelten die Bellman-Gleichungen (durch Markov-Eigenschaft):

Zustand-Aktions-Bewertungsfunktion:

Page 19: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Operatoren

In (linearer) Operatorschreibweise:

Mit linearem Operator T¼:

Q¼ ist ein Fixpunkt des Bellman-Operators T¼ .

Iteration:

Page 20: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Gleichungen

Optimale Value Function:

Optimale Policy:

Rekursive Beziehung:

Page 21: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Optimalitätsgleichungen

Bellman-Gleichungen für das Kontrollproblem.

Rekursive Beziehungen der optimalen Value Functions.

Page 22: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Policy Iteration

Allgemeines Verfahren zum Bestimmen der optimalen Policy.

Iteriere: Policy Evaluation:

Gegeben Policy ¼k, bestimme

Policy Improvement: Inferiere verbesserte Policy ¼k+1 aus z.B. greedy Policy:

Page 23: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Value Iteration für Policy Evaluation

Iteratives Verfahren zur Berechnung von V¼

bzw. Q¼

Konvergiert gegen V¼ bzw. Q¼ für k→1

Page 24: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

1V π

kV

Page 25: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

1V π

kV

0V

Page 26: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 1 1

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

1V π

kV

1V

Page 27: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0.9 1 1

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

1V π

kV

2V

Page 28: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

0 0 0 0 0

0 0 0 0 0

0.. 0.. 0.. 0.. 0..

0.66 0.59 0.53 0.48 0.43

0.73 0.81 0.9 1 1

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

1V π

kV

nV

Page 29: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Beispiel: Gridworld

0 0 0 0 0

0 0 0 0 0

0.. 0.. 0.. 0.. 0..

0.66 0.59 0.53 0.48 0.43

0.73 0.81 0.9 1 1

1π

0,9γ = Discountfaktor Start Policy

Policy Iteration:

Berechne durch Folge von Approximationen

Policy Improvement: Berechne greedy Policy

1V π

kV

1V π

2π

Page 30: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Value Iteration

Value Iteration für das Kontrollproblem. Für V *:

für Q* :

Konvergiert gegen V* bzw. Q* für k→1

Page 31: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

TD(¸ )

Updateregel:

TD(¸ ) Update:

0· ¸ · 1 interpoliert zwischen 1-step und MC.

Page 32: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Eligibility Traces

Algorithmische Sicht auf TD(¸ ) Einführung eines zusätzlichen Speichers e(s) für

jeden Zustand s2S. Nach Beobachtung <st,at,Rt,st+1>, berechne

Update für alle Zustände

Page 33: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Problemstellungen

Lernen einer optimalen Policy. Oder bestmögliche Approximation.

Optimales Lernen: Möglichst wenige Fehler

während des Lernen. Exploration / Exploitation Problem.

Page 34: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Exploration / Exploitation Problem

Tradeoff zwischen

Verfolgen der derzeit besten Policy, um den (greedy) Gewinn zu maximieren. (Exploitation)

und Erkunden derzeit suboptimaler Aktionen, über deren Wert noch Unsicherheit besteht, um eine potentiell bessere Policy zu finden. (Exploration)

Page 35: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bandit Problem

n-armed bandit Problem: n Aktionen (Hebel) . Jede Aktion anderen erwarteten Gewinn. Erwartete Gewinne unbekannt. Problem: Finde beste Aktion durch Ausprobieren,

ohne dabei zuviel zu verlieren.

Erwarteter Gewinn für Aktion a ist Q*(a). Schätzung des erwarteten Gewinns nach t

Versuchen:

Page 36: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Greedy und ²-greedy Policies

Greedy:

²-greedy

²-greedy lässt zufällige Explorationsschritte zu.

Page 37: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

²-greedy Policies

10-armed bandit 2000 Wiederholungen Zufälliges Ziehen von

Q*(a) für alle a:

Rewards werden gezogen aus

Page 38: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Stochastische Policy: Softmax ¼ stochastische Policy. Schätzungen sollen Einfluss auf

Auswahlwahrscheinlichkeit haben. → Softmax

Beispiel: Gibbs-Verteilung:

¿t ist Temperaturparameter.

Page 39: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Optimismus bei Unsicherheit

Ein Prinzip zur Auflösung des Exploration/Exploitation Dilemmas ist „Optimismus bei Unsicherheit“.

Existieren auch Umgebungen, in denen Performance schlecht ist.

Implementierbar z.B. über sehr hohe Initialisierungswerte von Q.

Page 40: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Optimismus bei Unsicherheit

Upper Confidence Bound (UCB): [Auer et al. 02 ] Angenommen, Rewards sind in [0,1].

Für stationäre Umgebungen und iid Rewards sehr gute Ergebnisse.

Page 41: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Problemstellungen P,R bekannt. P(s‘|s,a) können abgefragt werden.

P,R nicht explizit bekannt. Aber aus den Verteilungen P(s‘|s,a) kann gesamplet werden. Annahme: Generatives Modell von P und R.

P,R nicht oder teilweise bekannt. Es kann Erfahrung gesammelt werden durch Interaktion mit der Umgebung. → Reinforcement Learning.

Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden.

Page 42: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Große und unendliche Zustandsräume

In realistischen Anwendungen sind Zustandsräume i.A. sehr groß bzw. kontinuierlich.

Bisherige Annahme: tabellarische Repräsentation der Value Function.

Mögliche Lösungen: Planen:

Monte-Carlo Sampling Diskretisierung und anschließend z.B. Value Iteration

Approximation der Value Function durch Funktionsapproximationsmethoden.

Direktes Lernen der Policy.

Page 43: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Approximation

Arten von Approximation Repräsentation, z.B.

Value Function Policy

Sampling Online Lernen durch Interaktion Samplen aus generativem Modell der Umgebung

Maximierung Finden der besten Aktion in einem Zustand

ˆ ( , ; ) ( , )TQ s a s aθ φ θ=( , ; ) ( ( , ) )Ts a h s aπ θ φ θ= ⋅

Page 44: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Monte-Carlo Sampling Angenommen, S sehr groß Ziel: Finde Q, so dass ||Q-Q*||1 <².

Sparse Lookahead Trees:

[Kearns et al. 02] Monte-Carlo: Samplen eines sparsen

Aktions-Zustands-Baums. Tiefe des Baums: Effektiver Horizont

H(²) = O( 1/(1-° ) log(1/²(1-° )) ) MC unabhängig von |S| Aber exponentiell in H(²):

min. Größe des Baums

Page 45: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Sparse Lookahead Trees

Page 46: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Upper Confidence Bounds for Trees

Besser: Nur solche Teilbäume genauer untersuchen, die vielversprechend sind.

Optimismus bei Unsicherheit! Nutze das gleiche Prinzip wie bei Bandit Problem. UCT: UCB for Trees.

[Kocsis & Szepesvári 06]

Page 47: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

UCT Performance: Go

Sehr gute Resultate in Go. 9x9 & 19x19

Computer Olympiade 2007 - 2009: 2007 & 2008: 1.-3. Platz verwenden Varianten von

UCT.

Im Allgemeinen: Monte-Carlo Search Trees (MCST).

2009: Mindestens 2. und 3. verwenden Varianten von UCT.

Page 48: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Diskretisierung Kontinuierlicher Zustandsraum S. Random Discretization Method: [Rust 97]

Sampling von Zuständen S‘ nach uniformer Verteilung über den Zustandsraum.

Value Iteration. Kontinuierliche Value Iteration:

Diskretisierung: Weighted Importance Sampling

Page 49: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Diskretisierung Berechnen der Value Function V(s) für Zustände,

die nicht in der Samplingmenge S‘ sind: Bellman-Update –Schritt

Garantierte Performance: [Rust97] Annahme: S=[0,1]d

Page 50: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Funktionsapproximation

Darstellen der Value Function als parametrisierte Funktion aus dem Funktionsraum F mit Parametervektor µ.

Vorhersageproblem: Finde Parametervektor µ, so dass V¼, bzw. Q¼ am besten approximiert wird.

Page 51: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Funktionsapproximation

Generatives Modell Annahme: Es kann jederzeit aus P und R gesamplet

werden. Nicht aber P(s‘|s,a) abgefragt werden.

Das Reinforcement Learning Problem:

Beispiele <st, at, Rt, st+1> aus Interaktion mit der Umgebung.

Mögliche Annahme: Interaktion folgt der zu lernenden Policy On-policy-Verteilung von Zuständen ¹ (s).

Page 52: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning Online Updates: Anpassen von µt nach jeder

Interaktion <st, at, Rt, st+1>.

Gradientenabstieg:

ˆ ( ; )tQ Qπθ⋅ →

*ˆ ( ; )tQ Qθ⋅ →

t → ∞

t → ∞

Page 53: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning

Spezialfall: lineare Methoden.

Gradientenabstieg:

ˆ ( ; ) TtQ θ φ θ⋅ =

2

11 ˆ( , ) ( , ; )2

ˆ ˆ( , ) ( , ; ) ( , ; )

ˆ( , ) ( , ; ) ( , )

t t t t t t t t

t t t t t t t t t

t t t t t t t t

Q s a Q s a

Q s a Q s a Q s a

Q s a Q s a s a

πθ

πθ

π

θ θ α θ

θ α θ θ

θ α θ φ

+ = − ∇ −

= + − ∇ = + −

Page 54: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning Value Function V¼ unbekannt. Ersetze mit

Schätzung.

Monte-Carlo: Erwartungstreue Schätzung von V¼. Konvergenz zu lokalem Optimum.

(Unter Bedingungen für ®t)

Temporal Difference (TD(0)): Gebiaste Schätzung. keine Konvergenz zu lokalem Optimum beweisbar.

Page 55: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Approximatives Q-Learning

Lineare Parametrisierung der Q-Funktion

Iterationsschritt: 2*

1

1

1

1 ˆ( , ) ( , ; )2

ˆ ˆ ˆ( , ) max ( , ; ) ( , ; ) ( , ; )

( , ) max ( , ) ( , ) ( , )

t t t t t t t t

t t t t t t t t t t t ta

T Tt t t t t t t t t t t

a

Q s a Q s a

R s a Q s a Q s a Q s a

R s a s a s a s a

θ

θ

θ θ α θ

θ α γ θ θ θ

θ α γ φ θ φ θ φ

+

+

+

= − ∇ −

= + + − ∇ = + + −

Page 56: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Eligibility Traces

Algorithmische Sicht auf TD(¸ ) Einführung eines zusätzlichen Speichers e(s) für

jeden Zustand s2S. Nach Beobachtung <st,at,Rt,st+1>, berechne

Update für alle Zustände

Page 57: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

FA für Reinforcement Learning TD(¸ )

Eligibility traces:

Lineare Methode: Konvergenzgarantie nur für on-policy.

Fehlerabschätzung:

Page 58: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

SARSA(¸ ) Kontrollproblem: SARSA(¸ ) (On-Policy)

Off-policy kann divergieren.

Page 59: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

SARSA(¸ )

Page 60: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

SARSA(¸ )

Page 61: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Fitted Value Iteration mit Samples

[Szepesvári & Munos 05] V = 0. Ziehe N Zustände s aus ¹ (s). Für jedes s und a2A, Ziehe M Nachfolgezustände

s‘ aus P(¢|s,a) und Rewards R(s,a). Iteriere:

Mit diesen Samples <s, a, R, s‘> wird ein Bellman-Update-Schritt durchgeführt:

Dann least-squares Fitting:

Page 62: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Fehlerabschätzung

Page 63: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Approximate Policy Iteration

Im Folgenden: lineares Modell.

Approximate Policy Evaluation: Lernen der optimalen state-action value function

von Interaktion fester Trainingsmenge

Policy Improvement

Page 64: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Fitted Policy Evaluation mit Samples

Q = 0. Ziehe N Samples s,a aus ¹ (s),p(a). Ziehe R und

Nachfolgezustand s‘ entsprechend Modell. Iteriere:

Mit diesen Samples <s, a , R , s ‘> wird ein Bellman-Update-Schritt durchgeführt:

Dann least-squares Fitting:

11

( , ) ( , ) ( ', ( '))M

k ki

Q s a R s a Q s sγ π+=

← +∑

1 11

ˆ ( , ) arg min ( , ) ( , )M

k k i i i if iQ s a Q s a f s a+ +∈ℑ

=

← −∑

Page 65: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Approximate Policy Iteration

Falls Samples von Q¼(s,a) bekannt, lerne Q¼ vom Trainingssample mit Hilfe einer überwachten Regressionsmethode.

Problem: Oft off-policy, d.h. Trainingsbeispiele werden beobachtet während einer Verhaltenspolicy gefolgt wird. Sample Selection Bias (Unterschiedliche Training-

und Testverteilungen p(s,a))

Page 66: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Temporal Difference Methode.

Bellman-Gleichung als Fixpunkt-Gleichung.

Linke Seite als Fehler interpretieren: Bellman Residuum. ¹ stationäre Verteilung von Zuständen.

Empirisch:

Page 67: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Problem: Schätzer nicht erwartungstreu.

Denn

Es folgt:

Page 68: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Aber für gilt:

Es gilt aber für Erwartungswerte über Zufallsvariablen X :

Page 69: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Residuen-Minimierung

Anwendung auf inneren Erwartungswert:

Der Varianzterm wirkt ähnlich wie ein Regularisierer → Bias.

Page 70: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

BRM

Vorschlag: [Antos et. al. 07] Erwartungstreue durch Einführung einer Hilfsfunktion h2F.

Page 71: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Least-Squares Temporal Difference Q ist aus Funktionsraum F. T¼Q aber nicht notwendigerweise. LSTD minimiert den quadratischen Abstand

zwischen Q und der Projektion von T¼Q auf F.

Unbiased. LSTD oft bessere Ergebnisse.

Page 72: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Operatoren

In (linearer) Operatorschreibweise:

Mit linearem Operator T¼:

Q¼ ist ein Fixpunkt des Bellman-Operators T¼ .

Iteration:

Page 73: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Bellman-Operator

Neuer Operator für Featurevektoren

( )( )T fπ πθ θ= Π

Page 74: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Batch Reinforcement Learning Episode gesamplet nach ¼b

Zum Trainingszeitpunkt nur Zugang zu dieser einen Episode.

Page 75: Reinforcement Learning 2 - Universität Potsdam · Batch Reinforcement Learning: Es muss von einer fixen Menge von Beispielepisoden gelernt werden. Scheffer/Sawade/Dick, Maschinelles

Scheffer/S

awade/D

ick, Maschinelles Lernen 2

Literatur [Auer et al. 02 ]: P.Auer, N.Cesa-Bianchi and P.Fischer: Finite time analysis of

the multiarmed bandit problem. Machine Learning 47, 2002. [Kearns et al. 02]: M.J. Kearns, Y. Mansour, A.Y. Ng: A sparse sampling

algorithm for near-optimal planning in large Markov decision processes. Machine Learning 49: 2002.

[Kocsis & Szepesvári 06]: L. Kocsis and Cs. Szepesvári: Bandit based Monte-Carlo planning. ECML, 2006.

[Rust 97]: J. Rust, 1997, Using randomization to break the curse of dimensionality, Econometrica, 65:487—516, 1997.

[Szepesvári & Munos 05]: Cs. Szepesvári and R. Munos: Finite time bounds for sampling based fitted value iteration, ICML, 2005.

[Antos et. al. 07]: A. Antos, Cs. Szepesvari and R. Munos: Learning near-optimal policies with Bellman-residual minimization based fitted policy iteration and a single sample path, Machine Learning Journal, 2007


1 Einführung in das Reinforcement Learning DFG-Forschungsprojekt Einführung in das Reinforcement- Learning.

1 Einführung in das Reinforcement Learning DFG-Forschungsprojekt Einführung in das Reinforcement- Learning.

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Michael Schwind EUS-Übung Yield Management und Reinforcement- Learning.

Entscheidungsunterstützungssysteme IWI Frankfurt 2004 Michael Schwind EUS-Übung Yield Management und Reinforcement- Learning.

Self-Propagating Malware Containment via Reinforcement ...

Self-Propagating Malware Containment via Reinforcement ...

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick.

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick.

PROSEMINAR ROBOTIK SEMINAR ... - cs.uni-potsdam.de · PROSEMINAR ROBOTIK SEMINAR REINFORCEMENT LEARNING OBERSEMINAR ADAPTIVE ROBOTERSTEUERUNG Organisation, Überblick, Themen Organisatorisches

PROSEMINAR ROBOTIK SEMINAR ... - cs.uni-potsdam.de · PROSEMINAR ROBOTIK SEMINAR REINFORCEMENT LEARNING OBERSEMINAR ADAPTIVE ROBOTERSTEUERUNG Organisation, Überblick, Themen Organisatorisches

SRM450v2 Active Sound Reinforcement SPEAKER ...€¦ · Sound-Reinforcement-Lautsprecher zu bauen mit: 1. großer Präzision, hoher Ausgangsleistung und akkurater Wiedergabe. 2. sehr

SRM450v2 Active Sound Reinforcement SPEAKER ...€¦ · Sound-Reinforcement-Lautsprecher zu bauen mit: 1. großer Präzision, hoher Ausgangsleistung und akkurater Wiedergabe. 2. sehr

Reinforcement Learning Das Reinforcement Learning-Problem Alexander Schmid.

Reinforcement Learning Das Reinforcement Learning-Problem Alexander Schmid.

Vortrag von: Fabien Lapok Betreuer: Prof. Dr. Meiselubicomp/...• Deep Reinforcement Learning als Ansatz zum Bewältigen von großen Zustandsräumen • Paper: Mastering the Game

Vortrag von: Fabien Lapok Betreuer: Prof. Dr. Meiselubicomp/...• Deep Reinforcement Learning als Ansatz zum Bewältigen von großen Zustandsräumen • Paper: Mastering the Game

Reinforcement Learning · Reinforcement Learning Friedhelm Schwenker Institut für Neuroinformatik • Vorlesung/Übung: (V) Di 14-16 Uhr, (Ü) Do 12.30-14.00 jeweils im Raum O27/121

Reinforcement Learning · Reinforcement Learning Friedhelm Schwenker Institut für Neuroinformatik • Vorlesung/Übung: (V) Di 14-16 Uhr, (Ü) Do 12.30-14.00 jeweils im Raum O27/121

Reinforcement Learning Lecture Model-Based Reinforcement ......2013/12/06  · Wolfgang Kohler (1917)¨ Intelligenzprufungen am¨ Menschenaffen The Mentality of Apes [movie] Goal-directed

Reinforcement Learning Lecture Model-Based Reinforcement ......2013/12/06  · Wolfgang Kohler (1917)¨ Intelligenzprufungen am¨ Menschenaffen The Mentality of Apes [movie] Goal-directed

SOFiSTiK Reinforcement Detailing · SOFiSTiK Reinforcement Detailing beschleunigt die Erstellung von 2D Bewehrungsplänen aus der 3D Bewehrung eines Revit Modelles ent-

SOFiSTiK Reinforcement Detailing · SOFiSTiK Reinforcement Detailing beschleunigt die Erstellung von 2D Bewehrungsplänen aus der 3D Bewehrung eines Revit Modelles ent-

Reinforcement Learning zum maschinellen Erlernen von ...konen/Diplom+Projekte/PaperPDF/DiplomSchwenck08.pdf · sogenannten MonteCarlo-Methode und der „temporal difference“-Lösung

Reinforcement Learning zum maschinellen Erlernen von ...konen/Diplom+Projekte/PaperPDF/DiplomSchwenck08.pdf · sogenannten MonteCarlo-Methode und der „temporal difference“-Lösung

Autograft Reinforcement to Preserve Autograft Function ... · Aus der Klinik für Herzchirurgie Der Universität zu Lübeck Direktor: Prof. Dr. med. H.-H. Sievers Autograft Reinforcement

Autograft Reinforcement to Preserve Autograft Function ... · Aus der Klinik für Herzchirurgie Der Universität zu Lübeck Direktor: Prof. Dr. med. H.-H. Sievers Autograft Reinforcement

Learning a State Representation for a Game Agent’s ... · Agent’s Reactive Behaviour ... In reinforcement learning, an agent interacts with its environment by taking actions and

Learning a State Representation for a Game Agent’s ... · Agent’s Reactive Behaviour ... In reinforcement learning, an agent interacts with its environment by taking actions and

Bayessches Lernen (3) - cs.uni-potsdam.de · Sawade/Landwehr/Scheffer Maschinelles Lernen Überblick Wahrscheinlichkeiten, Erwartungswerte, Varianz Grundkonzepte des Bayesschen Lernens

Bayessches Lernen (3) - cs.uni-potsdam.de · Sawade/Landwehr/Scheffer Maschinelles Lernen Überblick Wahrscheinlichkeiten, Erwartungswerte, Varianz Grundkonzepte des Bayesschen Lernens

Community Reinforcement Approach (CRA) - suchthilfe.de · Community Reinforcement Approach (CRA) Dr.med.Christiane Rasmus BUSS-Jahrestagung Berlin 2010. Konzept CRA ist ein umfassendes

Community Reinforcement Approach (CRA) - suchthilfe.de · Community Reinforcement Approach (CRA) Dr.med.Christiane Rasmus BUSS-Jahrestagung Berlin 2010. Konzept CRA ist ein umfassendes

Reinforcement Learning Kurvendurchfahrtxubicomp/projekte/master08... · Thema Einsatz von Reinforcement Learning in der Modellfahrzeugnavigation Konkreter Anwendungsfall: Einführung

Reinforcement Learning Kurvendurchfahrtxubicomp/projekte/master08... · Thema Einsatz von Reinforcement Learning in der Modellfahrzeugnavigation Konkreter Anwendungsfall: Einführung

Reinforcement Learning in der Schachprogrammierung Marco Block... n x x x o oo x xx x o x oo d4c4 a5a6 30%50% 40%20%

Reinforcement Learning in der Schachprogrammierung Marco Block... n x x x o oo x xx x o x oo d4c4 a5a6 30%50% 40%20%

Deep Reinforcement Learning of Volume-Guided …openaccess.thecvf.com/content_CVPR_2019/papers/Han_Deep...Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for

Deep Reinforcement Learning of Volume-Guided …openaccess.thecvf.com/content_CVPR_2019/papers/Han_Deep...Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for

Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick

Reinforcement Learning 2 - cs.uni-potsdam.de · Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick