[DL輪読会]Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics

>100 Views

October 25, 19

スライド概要

2019/10/25
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] “Reverse engineering recurrent networks for sentiment classification reveals line attractor dynamics (NeurIPS2019)” Naoki Nonaka http://deeplearning.jp/ 1

2.

目次 p p p p 2

3.

書誌情報 • G • 1 9 I 9 + ) . 1 1 (9 9 1 . 2 90 SP N B B M 3

4.

背景 hht-1 t ht ht-1 ht cv tanh Xt cv tanh Xt ht n 2 n 4

5.

データセットとモデル p ,( n ,( n n 0 8 B Y Y ei 0B I: : D 5 0 Sd B p 0, ) 1 1 RLR UTV G Nag ) agb S f M h 5

6.

分析 R p N p n n 1 n p p 8

7.

分析: 学習済みRNNの隠れ状態の観察 C ht % n 9 n P 2 n P ht 3 h 0 n ht t 9 1 9

8.

分析: 不動点の算出 2 1 . : 2 = 11

9.

分析: 不動点の分析 ht 12

10.

分析: 入力xによる隠れ状態の変化 n n 19

11.

分析: 非線形のRNNを線形に近似 0 n n % 0 % 0 1 1 01 21

12.

分析: 異なるデータ・セルでの分析 22

13.

まとめ p 1 p p / RN 1 23