Loading...
【論文紹介】 Bridging the Gap Between Value and Policy Based Reinforcement Learning
Nachum et al. 2017
https://arxiv.org/abs/1702.08892
【注】この資料はv1時点でのものです。
貢献
(i)
ソフトマックス
価値関数と
割引
エントロピー正則化の定義とそれらの関係性の発見
最適ベルマン方程式（ハードマックスなベルマン方程式）を拡張する、
ソフトマックス
なベルマン方程式の提案（3.1節）
割引
エントロピー正則化付きの（方策勾配法の）目的関数 の提案（3.2節）
そしてそれらの解の間に成り立つ非自明な関係(Theorem 1.とCorollary 2.)を示した。この関係から
方策ベースの手法から得られる最適方策もベルマン方程式の解を使って理解できるようなった（Corollary 2.）
(ii) PCLの提案
上記の関係をエピソード内の軌跡に帰納的に拡張した関係（Corollary 3.）を成り立たせるよう最適化を行う強化学習アルゴリズムPCL（Path Consistency Learning）を提案・評価した（3.4, 4.5節、5節）
Motivating Example
問題設定
状態
s
0
s_0
s
0
の価値と次の1stepだけの行動を決める方策
π
\pi
π
を何らかの目的関数に従って求める。
現在の状態:
s
0
s_0
s
0
s
0
s_0
s
0
での行動の候補:
{
a
1
,
…
,
a
n
}
\{a_1, \ldots, a_n\}
{
a
1
,
…
,
a
n
}
s
0
s_0
s
0
の次の状態の候補:
{
s
1
,
…
,
s
n
}
\{s_1, \ldots, s_n\}
{
s
1
,
…
,
s
n
}
{
s
1
,
…
,
s
n
}
\{ s_1, \ldots, s_n \}
{
s
1
,
…
,
s
n
}
で 得られる価値:
{
v
1
,
…
,
v
n
}
\{v_1, \ldots, v_n \}
{
v
1
,
…
,
v
n
}
目的関数が
O
M
R
O_{MR}
O
M
R
のとき
（MRはMaximum Reward?）
次のような目的関数を考える（式(7)）:
v
i
∘
v^{\circ}_i
v
i
∘
はそれぞれ、
s
1
,
…
,
s
n
s_1, \ldots, s_n
s
1
,
…
,
s
n
で、上と同じ目的関数を最大化する価値が得られているとして、その値である。
もちろん
π
\pi
π
は one-hot で
r
i
+
γ
v
i
∘
r_i + \gamma v_i ^{\circ}
r
i
+
γ
v
i
∘
が最大の行動でだけ
1
1
1
他の場合には
0
0
0
を取り、
もちろん結果としてのような目的関数とベルマン方程式になるが（式(8)）、ここではそうした
π
\pi
π
が上の目的関数の最適化の結果として得られるとして考えている。
目的関数が
O
E
N
T
O_{ENT}
O
E
N
T
のとき
次のような目的関数を考える（式(9)）:
この目的関数を最大にする方策は次のようになる（式(11)）:
これを
O
E
N
T
O_{ENT}
O
E
N
T
に戻すと、求める状態価値は次のようになる
これは
O
E
N
T
O_{ENT}
O
E
N
T
の最大化が
π
\pi
π
と
π
∗
\pi^{\ast}
π
∗
の間のKLの最小化と等しい（スケールと定数シフトを除いて）ことを使うと示せる（付録に手書き証明）。式(11)を両辺対数をとって変形するとと式(12)が得られる
O
M
R
O_{MR}
O
M
R
の場合と比べると、max を取る代わりに、
log
π
\log \pi
lo
g
π
でバイアスを加えているような感じになっている。
O
M
R
O_{MR}
O
M
R
の場合と違って、 max に対応する以外の状態についても先に続いていく（打ち切られない）ので、複数ステップへの自然な拡張が出来るとしている。実際、このベルマン方程式っぽいものを軌跡に沿って延ばしたものを使って提案手法PCLを開発している。
この論文で新しく定義している概念
最適価値関数を一般化した
(1)
ソフトマックス価値関数（及びベルマン方程式）と、(2) 割引エントロピー正則化 の二つの概念を導入し、それらの間に非自明な関係が成り立つことを示している。
3.1. ソフトマックス価値関数
ソフトマックス価値関数
Q
∗
Q^{\ast}
Q
∗
（式(4)）が次のソフトマックスなベルマン方程式の解として定義される:
これは
τ
→
0
\tau \to 0
τ
→
0
で最適価値関数の定義
Q
∘
=
r
(
s
,
a
)
+
max
a
′
Q
∘
(
s
′
,
a
′
)
Q^{\circ} = r(s, a) + \max_{a'} Q^{\circ}(s', a')
Q
∘
=
r
(
s
,
a
)
+
max
a
′
Q
∘
(
s
′
,
a
′
)
と一致する。
ソフトマックス状態価値関数
V
∗
V^{\ast}
V
∗
（式(13)）
結果として、Vに関するソフトマックスなベルマン方程式（式(14)）:
Please turn on JavaScript to use Paper in all of its awesomeness. ^_^
貢献
(i) ソフトマックス価値関数と割引エントロピー正則化の定義とそれらの関係性の発見
(ii) PCLの提案
Motivating Example
問題設定
目的関数が OMR のとき
目的関数が OENT のとき
この論文で新しく定義している概念
3.1. ソフトマックス価値関数