[DL輪読会]In Search of Lost Domain Generalization

DEEP LEARNING JP 論文紹介 [DL Papers] In Search of Lost Domain Generalization Ryosuke Ohashi, bestat inc. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 https://iclr.cc/virtual/2021/poster/2998  選定理由  仕事で Domain Adaptation 手法を試しており，それより難しい条件設定の Domain Generalization って今どんな感じなの？と気になったため 2

• https://iclr.cc/virtual/2021/poster/2998

概要  問題   手法   ドメイン汎化がさかんに研究されているが，実験設定がまばらで結果の比較 がなされていない 最近のDG手法いくつかを共通の実験設定で比較 結果  ERM(vanilla)とSOTA手法とでテスト性能に大差出なかった 3

OpenReviewでの著者コメント（意訳）  一定の実験条件下でのネガティブな結果にすぎないことには留意してほしい  再現可能・公正な実験コードをオープン公開したので，DGの研究に活用してほ しい💪 4

背景：OODへの汎化問題 Torralba, Efros. Unbiased Look at Dataset Bias.  AIが訓練データ分布外で気まぐれに挙動してしまう  信頼性の求められる応用には使えない😐 5

背景：ドメイン汎化 Muandet et al. Domain Generalization via Invariant Feature Representation. DomainNet dataset from Peng et al. Moment Matching for Multi-Source Domain Adaptation  複数の環境でモデルを訓練し，未知環境にも上手く汎化させたい  未知環境にも通用する「共通ルール」をモデルに学習させられないか？ 6

問題：ドメイン汎化研究結果の乱立  近年DG手法がさかんに研究・発表されている  CORAL (Sun & Saenko)  DANN (Ganin et al.)  MLDG (Li et al.)  IRM (Arjovsky et al.)  Etc...  論文により扱っているデータセット，モデル設計・選択基準，訓練テクニックが 異なる  再現可能・公正な比較がなされていない  研究・応用時に困る😭 7

手法：再現可能・公正な比較実験  DG手法の再現可能・公正な比較実験を実施  実装をDomainBedプロジェクトとしてオープン公開🧪   https://github.com/facebookresearch/DomainBed 特徴  14つのDG手法  7つのデータセット  3つのモデル選択基準  モデルはResNet-50 pretrained on ImageNet 8

• https://github.com/facebookresearch/DomainBed

結果：ERM(vanilla)がcompetitive 9

まとめ，感想  まとめ  DG手法の再現可能・公正な比較実験を実施  ERMとSOTA手法でテスト精度に大差出なかった    あくまでも一定条件下でのネガティブな結果にすぎないことには留意 今後の発展に向け，実験コード(DomainBed)をオープン公開 感想  上手くDGさせるために欠けているものは何か？を考える良いきっかけになっ た 10

雑感：Adaptationとの比較  論文の結果に比べると，Domain Adaptation手法は多少上手くいく印象がある  テストドメイン上での特徴抽出器の挙動を躾けられるから？  DGの問題設定だと，テストドメインに似た訓練ドメインを人海戦術で用意 しまくるしかない？  ラベル付けできなくてもUnsupervised Domain Adaptationを使える  メタな知識や生成モデルを使ってテストドメインに似た訓練ドメインを仮想 的に作れる？  人間がメタ知識を明示的に訓練に入れ込んだり，生成モデルを作り込む ことになる  Online Adaptation路線を進むのが良い？  一番「知的生命体」っぽい👶  Adaptationしつつメタ知識や生成モデルを形成・成長させていくような 機構があるとよい？ 11

雑感：モデル設計，データ拡張  大きなネットワークのほうが汎化力も上がる，という定説（？）はDGの文脈でも成り 立っていそう   特徴抽出器のテストドメイン上での気まぐれさが減る？？ データ拡張はドメイン汎化力にプラスになることもあればマイナスになることもある  Consistency/Contrastive Learningを使うとDGの文脈でも大きなプラスにならない か？ 12

雑感：モデル選択  「テストドメイン上でvalidation > 訓練ドメイン上でvalidation」は分かる  「訓練ドメイン上でvalidation > 訓練ドメイン間でcross-validation」は何故？  あるfoldでvalidation用に取り除いた訓練ドメインが，training用に残した訓練 ドメインのいずれとも類似性が低いと，最適なハイパラが乱れてしまう？ 13