[DL輪読会]Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics

DEEP LEARNING JP [DL Papers] “Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics (NeurIPS2019)” Naoki Nonaka http://deeplearning.jp/ 1

• http://deeplearning.jp/

目次 p p p p 2

書誌情報 • G • 1 9 I 9 + ) . 1 1 (9 9 1 . 2 90 SP N B B M 3

背景 hht-1 t ht ht-1 ht cv tanh Xt cv tanh Xt ht n 2 n 4

データセットとモデル p ,( n ,( n n 0 8 B Y Y ei 0B I: : D 5 0 Sd B p 0, ) 1 1 RLR UTV G Nag ) agb S f M h 5

分析 R p N p n n 1 n p p 8

分析: 学習済みRNNの隠れ状態の観察 C ht % n 9 n P 2 n P ht 3 h 0 n ht t 9 1 9

分析: 不動点の算出 2 1 . : 2 = 11

分析: 不動点の分析 ht 12

分析: 入力xによる隠れ状態の変化 n n 19

分析: 非線形のRNNを線形に近似 0 n n % 0 % 0 1 1 01 21

分析: 異なるデータ・セルでの分析 22

まとめ p 1 p p / RN 1 23