​​20170614 第63回 強化学習勉強会メモ 
​​教科書: p.45-p.50 4節の制御から
​​担当: STRatANG
​​

​​4.2.1

​​失敗確率 (failure probability) ？

  • ​​ohto [8:08 PM] 
  • ​​Auer et al. 2002 UCB1とか
​​
 
User-uploaded image: image.png

​​UCB-V

​​Rの上限を分散で置き換える話
​​
  • ​​sotetsuk [8:19 PM] 
​​
​​3？↓
​​
​​Theorem. 1
​​
 
User-uploaded image: image.png

​​ベイズ的アプローチ

​​
 
User-uploaded image: image.png
​​選択したところでのα、β（だけ）が変わる、という意味で考えると、前に訪れたところだけ考えれば逐次的に計算できるので、MDPっぽい

​​Gittins Index

​​A Short Proof of the Gittins Index Theorem
​​http://www.mit.edu/~jnt/Papers/J048-94-jnt-gittins.pdf
​​

​​4.2.2

​​Unimprovable?

​​
​​
 
User-uploaded image: image.png
​​Dar et al. 2002 https://pdfs.semanticscholar.org/27d4/8fd1367b0c08c7bd3a8f8e79b7bfef0bc81d.pdf
​​Tsitsiklis and Mannor http://www.jmlr.org/papers/volume5/mannor04b/mannor04b.pdf
​​Mnih et al. 2008 http://www.machinelearning.org/archive/icml2008/papers/523.pdf
​​
​​