[DL輪読会]Deep Direct Reinforcement Learning for Financial Signal Representation and Trading

DEEP LEARNING JP [DL Papers] Deep Direct Reinforcement Learning for Financial Signal Representation and Trading Kunihiro Miyazaki, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

)7$ • タイトル – Deep Direct Reinforcement Learning for Financial Signal Representation and Trading • ジャーナル – IEEE transactions on neural networks and learning systems – IF: 6.108 as of 2016 • Date of Publication – 15 February 2016 • 引用数 – 13 • 著者 – Yue Deng, Feng Bao, Youyong Kong, Zhiquan Ren and Qionghai Dai – ¨Â}~
 • 一言で – DLRL8IM7*K.016B)Y 2017/6/2 2

( : 
• 元々金融系の研究をしている • DLによる金融時系列情報からの特徴量抽出 • RLによる金融商品トレーディング – OÊ2ÚÃeØ?58&
_·‘Å)´& • まだDLでトレーディングを試みている論文は少ない 2017/6/2 3

'19?<4-+

3@

• 金融における機械学習応用は様々
1.
2.
3.
4.
5.

ÚÙºg%¬ŒÙ’d
G6MHä\Þ
ÛÄåÁk¸
VɚÕnLI0M8Í"p&
AM/58I@M8ÁkY
=5.7M4)®»©”¤Rª etc
• æt
N°à



• 効率的市場仮説
–

z[¢ay½&Ò!(&
ƒžRª

UÌ

• ÐÏe('

– U
2017/6/2

zRªqÀ


(#

z;+2|

• ÜÔ~¾
6-:,HeŸ
¯^ǟT41-Ô
• =>DL%Rª 'ç

4

0. • • • • • 問題設定 提案手法 実験と結果 考察 感想 2017/6/2 5

=5! • 2つの問題設定 – ÚÙºg%¬ŒÙ’d – 8IM9€Äk±c­ • 以下の二つを統合した、 • Direct Reinforcement Learningによる金融トレードシステムを 提案 – Fuzzy Learning)„` – Task-aware BPTT 2017/6/2 RNN 6

Direct Reinforcement Learning • • • • • R: 時間t毎の利得 δ: ポジション {1,0,-1} c: 決済のコスト z: 前の時刻からのリターン u: ポジション変更のコスト • • • g: NNのマッピング a: 前の層からのインプット o: ある層のアウトプット 7

Fuzzy Learning • 株価にはその会社の本質の価値だけでなく、 マーケットのセンチメントや会社の噂など、 数多くのファクターで成り立っている • メンバーシップ関数を用いることで、より ロバストな学習が可能 – Sw
k=3䈥
‡¥
:EM8FHåC K<M05>j&•' • v: メンバーシップ関数 R→[0,1] 8

Task-aware BPTT • Fuzzy Learningは、実装する上で膨大な 潜在変数に対処しきれない – hœ]ËTask-aware BPTT‚c • 初期値の設定 – DNN PartAutoEncoderZ® • Task-aware BPTT – Rewardݗ%³–BPTTtime stack äÑF+Kå • 2017/6/2 BP)Ä ($&
Rewardݗ%m×)rstack '  ' W 9

Task-aware BPTT,6 • Task-aware BPTTを用いるとロバストな学習ができる 10

">2* - /#; • 使用したデータ – 185-+K75-1_«äIFå • O§OX300¡+K75-1 • QxÚÃvuš#¦kŽã_« – vu_« • ÛäAGå • µ¹äSUå TC: 決済コスト – bã¦kŽ • 特徴量 – Óo45m
3h
5h
1d
3d
10d[¢{n • 約1年のデータをtrainとtestに分割 11

">2* -  2* • DLを用い、最初に Fuzzy_learningを用い る程結果は良くなる – 7M4L358# s£ È 12

">2* - • S&Pのデータで実験 – Qx7M4s£¼  ,6 ‹%( 13

">2* –   ,6 • パラメータを変更した結果 – ;M9—I+DM—¼ P – τ— !‰á 2017/6/2 14

28&% • 結論 – ¬»©”¤)`(
7M4"k i²)‹'ÆÒ")‹ • €ß8IM7*K.€l)¿( ˆn~¾8IM7*K.  – Fuzzy Leaning)®' 
ÚÙºg#J<18~¾ ¶  – Õf~¾œÜ)ÖSŠÎâ ' ) • 感想 – DL)®(ÚìŒ)’d ' ¶ ( – DLAM/58)~¾ ' †›“'Ϙ 2017/6/2 15

 2017/6/2   16