[DL輪読会]representation learning via invariant causal mechanisms

>100 Views

September 10, 21

スライド概要

2021/09/10
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP Representation Learning via Invariant Causal Mechanisms [DL Papers] XIN ZHANG, Matsuo Lab http://deeplearning.jp/

2.

書誌情報 ● Representation Learning via Invariant Causal Mechanisms ● 著者:Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles Blundell ● 研究機関:DeepMind, Oct 2020(Arxiv) ● 概要 ○ Contrastive Learning(CL)が上手くいっている理由を因果論で解釈する論文 ○ データ拡張に注目して、画像のStyleがdowntasksに影響しないため(仮説のもとで)、 事前学習のTaskにおいても影響しないようにすれば良い ○ CLのLoss関数に、Styleによる影響を抑える制限を加える ○ 学習した表現の良さは、Baselineと同等だが、ロバスト性や汎化性が優れている 2

3.

Introduction:Representation Learning

4.

Representation Learning via Invariant Causal Mechanisms

5.

Representation Learning via Invariant Causal Mechanisms Target Network BYOL

6.

Reprensentation(Self-supervised) learningはMIだけでは解釈でき ない [DL輪読会]相互情報量最大化による表現学習、岩澤先生より

7.

Representation Learning via Invariant Causal Mechanisms Alignment and Uniformity on the Hypersphere

8.

Proposed method:RELIC

9.

Representation Learning via Invariant Causal Mechanisms Assumptions: 1. 画像(X)はコンテンツ(C)とスタイル(S)から生 成される 2. Cのみが下流タスク(Y_1...)に影響する 3. CとSはお互いに独立 議論:仮説に異論はあるかもだが、(自分は)納得 できる

10.

Representation Learning via Invariant Causal Mechanisms 事前学習のタスク(Y^R)で表現f(X)を学習する。 Y^RはInstance Classification(入力画像と他の画像 と区別する)。 理論上:Instance Classificationは最も難しいタス クであり、これさえできれば、下流のどんなタス クに対しても解けるはず。(証明付き) 自分の理解:個々の分類よりも細かい分類がない

11.

Representation Learning via Invariant Causal Mechanisms Y^Rでf(X)で事前学習する際に、Sの変化による影 響を無くすように制限をかける。

12.

Relationship between RELIC and other methods.

13.

EXPERIMENTS

14.

Linear evalution:線形分類のしやすさで表現の良さを評価 Fischer’s linear discriminant ratio(Friedman et al., 2009) 大きければ大きいほど、線形分離しやすい。 SimCLRより良いことがわかる。

15.

Linear evalution:ImageNetで線形評価を行う(スタンダード) 2種類のArchitectureで、それぞれSOTAと同等程度な精度 - ただし、InfoMin AugとSwAVはより強力データ拡張を使 った。(5%ほど精度上げられるもの) 議論:より強力データ拡張を使った結果は気になる

16.

Robustness and Generalization ImageNet-R:ImageNetの画像を拡張したデータセット。 Top-1 Error%がSimCLRより低く、Supervisedより高い。

17.

Robustness and Generalization ImageNet-C:ImageNetの画像に異なる程度な異なるノイズを 加えたデータセット。 複数のError率では、SimCLRとBYOLより低い(良い)。

18.

Reinforcement Learning R2D2の入力画像に対する拡張で精度を比較。 (R2D2:RNN+DQN+Tricksで大幅当時のSOTAを超えた。) 感想:RLは普段しない実験で新鮮。CURLよりも良かった。

19.

Conclusion

20.

Related Work ContentがStyleに影響する!を仮定する A causal view of compositional zero-shot recognition(NIPS 2020) Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style(Jun 2021)

21.

まとめ: - Self-supervised learning(Contrastive Learning)を因果の枠組みで解釈してみた研究。 - 特徴は、RELIC Lossが必要であることをを因果論?の数式で証明した(Appendixを参考)。 感想: - Contrastive Learningの新しい手法がどんどん提案されているに対して、その理論解析の研究が少な い(追いついていない)。 - 実装公開してほしい。