[DL輪読会]Stochastic Neural Networks for Hierarchical Reinforcement Learning

>100 Views

February 22, 17

スライド概要

2017/2/22
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

STOCHASTIC NEURAL NETWORKS FOR HIERARCHICAL REINFORCEMENT LEARNING Carlos Florensa† , Yan Duan†‡, Pieter Abbeel†‡ 2017/2/10 発表者:金子貴輝

2.

階層的強化学習 • 報酬を得るまでが長いタスクを分割したい • 従来法の問題 – タスクの分割に固有の知識を必要とする – タスク間で知識を共有せずサンプル効率が低い 2

3.

問題設定 • 事前学習ができる • 状態空間が(共通,タスク固有)に分かれて 相互作用が少ない – 例:把持タスクにおける対象物の位置 3

4.

提案手法 • 確率的ニューラルネット – 同じ状況でも異なる行動を取れるので, 状況の変化に対応できる • 相互情報量基準での正規化 – 新しい場所に行けば報酬になるらしい • タスク特徴の挿げ替えによる階層的RL – タスクを表す特徴で条件付けて事前学習 • 報酬は疎のままでいい – 固定ステップごとにone hotなタスク特徴を 自作する上位のニューラルネット 4