[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization

DEEP LEARNING JP [DL Papers] ”Learning Generalize: Meta-Learning for Domain Generalization” (AAAI2018) Yusuke Iwasawa, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • AAAI2018 accepted • Da Li, Yongxin Yang, Yi-Zhe Song, Timothy M. Hospedales (CMU) • 概要 – MAMLをベースにしたメタ学習によるドメイン汎化手法の提案 • 選定理由： – メタ学習に興味が出てきた – MAMLがなんか流行ってる • “Meta-Learning And Universarity”（本当はこっちも読みたかったが時間なく断念） – 不変な特徴を学習する、というアプローチのドメイン汎化には限界を感じて いる 2

アウトライン 1. 2. 3. 4. 5. ドメイン汎化 MAML：Model Agnostic Meta Learning 提案法：Meta Learning Domain Generalization (MLDG) 結果 おまけ 3

研究背景：ドメインバイアス w/oドメインバイアス 訓練 データ テスト データ P(X) 同じ真の分布から サンプルされたデータ w/ドメインバイアス 訓練 データ テスト データ P(X) P’(X ) ≒ 異なる真の分布から サンプルされたデータ • DL含む多くの検証・一般的な学習理論は左を前提 • 一部の機械学習タスクはドメインバイアスがある（つまり右） – 訓練時と異なるユーザを対象とする，ユーザの行動が変化するなど – ドメインバイアスを無視すると，テストに対して精度が悪化 4

研究背景：ドメイン汎化 [Blanchard, 2011] ドメイン汎化：未知ドメインに有用な知識を関連ドメイン群から獲得する ユーザ1 データ ユーザ2 データ ユーザ3 データ 学習 未知 ユーザ テスト … P1(X ) ≒ P2(X ) ≒ P3(X ) 任意の数の関連ドメインの観測データ （例：学習時にいるユーザ） … ≒ P’(X ) 未知のドメインのデータ （例：未知のユーザ） • ドメインシフト有 + 未知ドメインのラベルデータを得にくい場合に重要 – 加速度センサによる行動認識，医療（フローサイトメトリー [Blanchard, 2011]） 5

ドメイン汎化の具体例 1：画像認識 (PACS Dataset) ”Deeper, Broader and Artier Domain Generalization” 6

ドメイン汎化の具体例 2：強化学習 ”Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World” 7

関連研究：ドメイン適応 • ドメイン適応：ある対象ドメインのデータが観測された元で 関連ドメインのデータから有用な知識を獲得 • 類似点：未知ドメインに有効（不変な）表現の獲得で対策可能 – Domain Adversarial Neural Networks [Ajakan, 2014] – Deep Domain Adaptation [Long, 2015] • 相違点（ドメイン適応/ドメイン汎化） – 対象ドメインのデータが観測される/されない – （通常は）関連ドメインが1つ/関連ドメインが複数 8

研究背景：ドメイン汎化への既存アプローチ • 各訓練ドメインごとに予測器+テスト時には近い分類器を選ぶ – [Xu et al., 2014] “Exploiting low-rank structure from latent domains for domain generalization” • ドメイン固有部分と、特定部分を分けて学習する – [Khola et al., 2012] “Undoing the Damage of Dataset Bias” – [Li et al., 2017] ”Deeper, Broader and Artier Domain Generalization” • ドメイン不変な特徴空間に飛ばす – [Ghifary et al, 2015] Multi-view autoencoders – [Ganin et al., 2015] Domain Adversarial Training 今回は新しい アプローチ 9

[Khola et al., 2012] “Undoing the Damage of Dataset Bias” 10

アウトライン 1. 2. 3. 4. 5. ドメイン汎化 MAML：Model Agnostic Meta Learning 提案法：Meta Learning Domain Generalization (MLDG) 結果 おまけ 11

書誌情報 • ICML2017 accepted • Chelsea Finn, Pieter Abbeel, Sergey Levine • 概要 – メタ学習（Learning to Learn）の新しい方法を提案 12

メタ学習とは？ • “ある決まったバイアス，すなわち仮説空間の中から，事例 に応じて，適切な仮説を獲得する普通の学習器をベース学習 器という．その上位で，学習対象のタスクやドメインに応じ て，学習器のバイアスを決定するためのメタ知識を獲得する のがメタ学習 (meta learning)．” よくわからない 13

• http://ibisforest.org/index.php?メタ学習
• http://ibisforest.org/index.php?meta learning

メタ学習の具体例：画像認識の例 14

メタ学習の問題設定の定式化 • Tをタスク（X, Y, x*)とする – X、Yは学習用のデータセット – x*は予測したい対象 • 学習時には、タスクの集合が与えられる • テスト時には、未知のタスクが来る – これを解けるかを競う 15

NNでメタ学習：代表的な方法 "META-LEARNING AND UNIVERSALITY”参照 • タスクを継続的に解くRNNないしメモリを持つネットワーク • タスクTの訓練データセットを入力に該当タスクを解くため のパラメータを出力する 16

MAML - Few Shot Recognitionの問題の手法（たぶん） - Few Shotでどのタスクにも良い解にたどり着くような初期θを探している - RNNを使う代わりに、勾配法を使ってメタ学習していると解釈できる - パラメータが増えない - Omniglot やMiniImageNet、強化学習のタスク（よく読んでない）でよい性能 17

MAML：結果 - その他強化学習の設定などで検証 18

アウトライン 1. 2. 3. 4. 5. ドメイン汎化 MAML：Model Agnostic Meta Learning 提案法：Meta Learning Domain Generalization (MLDG) 結果 おまけ 19

MLDG基本形：教師あり学習の場合 Meta-Train: S-Vで訓練 Meta-Test: Fで更新されたθ’での損失 20

MLDGでの勾配への制約 • MLDGの最適化 • 2項目をx’のまわりでテーラー展開すると • X=θ-αF(θ)、x’をθとすると 2つのドメイン集合に対する勾配のドット積 =>勾配が同じ方向を向く制約 21

MLDGの分析 • 普通の損失に、二つのドメイン集合S-VとVで勾配が同じ方向 を向くような制約を付け加えたものとみなせる – 普通にSで学習するだけだとこうはならない 普通に2つの集合での損失 勾配のドット積 = 勾配が同じ方向を向く制約 22

アウトライン 1. 2. 3. 4. 5. ドメイン汎化 MAML：Model Agnostic Meta Learning 提案法：Meta Learning Domain Generalization (MLDG) 結果 おまけ 23

実験：疑似データ • 上の9個のドメインで学習 した超平面がどうなるか • 左から順に、MLP、MLDG、 MLDG-GC、MLDG-GN • MLPは過学習している 24

実験：物体認識 25

強化学習：Cart-Pole RL 26

強化学習：Mountain Car 27

MLDGのまとめ • MAMLを素直にドメイン汎化に適用 • 既存法よりよい精度 – 比較元が自分の研究なので妥当なのかはよくわからない • テーラー展開による分析は面白いが、それだけじゃ説明でき ない何かがありそう 28

アウトライン 1. 2. 3. 4. 5. ドメイン汎化 MAML：Model Agnostic Meta Learning 提案法：Meta Learning Domain Generalization (MLDG) 結果 おまけ 29

MAMLは何を近似できるのだろうか？ • RNNベースのメタ学習は、Universal learning procedure approximatorであることがわかっている – そもそもRNNはチューリング完全なので、当然といえば当然 • MAMLは勾配法によるメタ学習 – 勾配法はRNNで近似できるから、MAMLによるメタ学習がRNNで 近似できることは自明 • MAMLは、どのような関数を近似できるだろうか？ 30

- ICLR2018 Accepted (7, 6, 6) - MAMLがUniversal learning procedure approximatorであることを証明 （損失の形とかに制約はあるらしい） 31

おわり 32