[DL輪読会]An Adversarial Perturbation Oriented Domain AdaptationApproach for Semantic Segmentation

DEEP LEARNING JP [DL Papers] An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

• http://deeplearning.jp/

書籍情報 • 著者： – Jihan Yang, Ruijia Xu, Ruiyu Li, Xiaojuan Qi, Xiaoyong Shen, Guanbin Li, Liang Lin – このチームはUDAについて、ICCV2019 Best Paper Nominationsされた • AAAI2020に採択

概要 • 目的： UDA(Unsupervised Domain Adaptation) for semantic segmentation • 提案手法のポイント Pointwise adversarial perturbationsで特徴マップを摂動する ClassifierとDiscriminatorにアタックすることで、性能を向上する

既往研究 • Semantic segmentationにおけるUDA  GANの前には、Maximum Mean Discrepancy (MMD)などで距離をはかる  Feature/pixel-level adversarial alignmentが提案された(Hoffman et al., 2016)  ASNは、出力空間（output space）で適用することを提案(Tsai et al., 2018)  CycleGANを使ってpixel-levelでDA（Hoffman et al., 2017; Zhang et al., 2018） Hoffman et al., 2016 Tsai et al., 2018

既往研究 • Adversarial Training  入力を摂動することで、モデルが誤認識する  摂動したデータを学習データにすることで、モデルのロバスト性を向上  Liu et al., 2019は、生成したサンプルでdomain gapを埋めることを提案し、画像分類 におけるUDAの性能を向上した Liu et al., 2019

課題 • 従来のsemantic segmentationにおけるUDAの効果は、カテゴリーによる  Adversarial alignmentは、discriminatorでsource domainかtarget domainかを分類す ることで、DAを実現  この方法は、カテゴリーレベルに分類していないため、割合の多くを占めるカテゴリー (head category)に引っ張られ、tail categoryが課題になる

提案手法の概要 • 特徴マップを摂動（アタック）することでDA • 具体的は  sourceとtargetサンプルの特徴マップを摂動する  摂動は、ClassifierとDiscriminatorへのアタックにより（loss勾配)生成する  Iterative Fast Gradient Sign Preposed Method (I-FGSPM)を提案し、摂動を動的に生成  特徴マップ全体に対する摂動のため、全てのカテゴリーをカバー。特に、tail categoryの性能も向 上できる  摂動サンプルがdomain gapを埋める  提案手法は、active learning/hard sample miningとも言える

提案手法のフレームワーク • Step1: sourceのみでG&Fをpre-train（普通のsemantic segmentation) • Step2: 摂動（adversarial feature)をI-FGSPMにより生成 • Step3: adversarial featureで学習。Gを固定し、step2&3を繰り返す

Generation of Adversarial Sample • 摂動は特徴マップへの外挿となり、domain-invariant特徴を特定できれば、Discriminator は判別できなくなる。 Ladvの勾配に従っていれば、特定できる • また、classifierのロバスト性の向上には、tail categoryの性能を向上する必要がある。 Lov´asz-Softmax (Berman et al., 2018) を用いてLsegの勾配を計算する • 摂動が変にならないように、摂動前後のL2距離で制約をかける。 • 3つLossの勾配をそのまま使用する場合(Liu et al., 2019)は、勾配消失課題がある • Iterative Fast Gradient Sign Method (I-FGSM) (Kurakin et al., 2016)は動的に摂動を生 成するが、タスク難易度が異なるため、loss間にギャップが生じる

I-FGSPM • I-FGSMにより、sign関数を前置きすることで、loss間のギャップを解消する • ハイパラは増えたが。。。 • sourceとtargetに複数回適用する

Training with Adversarial Features • targetは教師がないため、学習に制限をかける必要がある  ①摂動をかけた前後のtargetの出力は大きく変化しないこと  一方、Pt*は不確実性が高いため、他の制限も必要  entropy minimization techniqueを用いた自己教師あり学習（soft-assignment variant of the pseudo-label cross entropy loss）(Vu et al. 2019) • 全体Loss Step1: Step2: Step3:

実験 • • • • • • Semantic segmentation手法： DeepLab-V2 Discriminator: DCGAN, w/o BatchNorm Classifier: ASPP(Atrous Spatial Pyramid Pooling) Network architecture: VGG16/ResNet101 Dataset: GTA5 → Cityscapes, SYNTHIA → Cityscapes ハイパラの設定：  k=3  ε1=0.01, ε2=0.002, ε3=0.011  α1=0.2, α2=0.002, α3=0.0005

実験結果 • 既存SOTAより精度が高い • tail categoryの精度を向上 できた • 既存手法にtail categoryに 注目した改善法（weighted cross entropy/ Lov´aszSoftmax）だけを加えても効 果は確認できず

実験結果

Ablation Study • 摂動方法  FGSPMは、提案のI-FGSPMと同様だが、摂動は1回のみ  MI-FGSPMは、I-FGSMにmomentumを導入 • 摂動するレイヤ  深いほど、効果が大きくなる  activation of hidden units can be unbounded and very large • Component analysis  上段：摂動手法(I-FGSPM)、 Lov´asz-Softmax、 entropy minimizationに関する検証  下段：pre-train(step1)に関する検証

まとめ • 動的に特徴マップをlossの勾配に従って摂動することでUDAを実現 • tail categoryの改善に向け、特徴マップに対する摂動・ Lov´asz-Softmax・ entropy minimizationを用いることで実現 • オリジナルな部分はI-FGSPMのみ（？）だが、他のパーツとうまく組み合わ せた • ハイパラの調整が大変そう • Gを固定して、D＆Fを学習するため、Gが抽出できない特徴はどう扱うか？