【DL輪読会】Where do Models go Wrong? Parameter-Space Saliency Maps for Explainability

DEEP LEARNING JP [DL Papers] “Where do Models go Wrong? Parameter-Space Saliency Maps for Explainability” Naoki Nonaka http://deeplearning.jp/ 2021/8/26 1

• http://deeplearning.jp/

書誌情報 • 会議：Arxiv投稿 • 著者： 2021/8/26 2

概要 p 深層学習モデルの解釈性の問題に取り組んだ研究 p 誤分類に影響したパラメータを分析するアプローチ p 誤分類への影響の大きいパラメータを補正することで性能改善 できることを示した 2021/8/26 3

背景: モデルの説明性とSaliency Saliency map: ラベルの予測に寄与する要素を特定する手法 → 代表的な手法としてGrad-CAM（下図） 入力 GradCAM ［紹介論文のAppendixより］ モデルの説明性が求められる領域は多い 2021/8/26 4

背景 従来手法 入力の要素（ピクセル） に注目 2021/8/26 提案手法 モデルのパラメータ に注目 5

提案手法: Saliency profile 1. 各モデルパラメータについての損失関数の勾配の大きさ 2. CNNではフィルタごとに平均値を算出 3. 全サンプルでの平均μ・標準偏差σで標準化 2021/8/26 6

フィルタごとの勾配 / Saliency profileの比較 Shallow Deep p 勾配（上段）：浅い層のSaliencyが大きい p 提案手法（下段）：層間でのSaliencyの違いが小さい 2021/8/26 7

分類の正誤とSaliency Shallow Deep p 正解例（上段）：Saliencyは -0.3 ~ 0.0 p 誤答例（下段）：Saliencyは 0 ~ 6 → スケールが大きい 不具合の原因のフィルタを特定できる可能性 2021/8/26 8

Saliency profileによる入力の重み付け Saliency profileを元に誤分類に影響する入力のピクセルを特定する 1. 最もSalientなフィルタ群を選択 2. 選択したフィルタ群への入力を増やし，boosted saliency profile ! ! を得る 3. ! ! / !間のコサイン距離を計算し，その勾配の絶対値を算出する = 各ピクセルが選択したフィルタFのSaliencyに影響を与える度合い 2021/8/26 9

Saliency profile 小括 p モデルのパラメータに着目して分類に影響する素性を特定する手法 p 各層のSaliencyの値を算出して，層の総数に相当する次元のベクトルで表現 p 単に勾配を使用するのと比較して，層の深さによる影響が小さい p 誤分類したサンプルにおいてはSaliencyの値が大きくなる p saliency profileに影響するピクセルを特定可能 2021/8/26 10

実験・分析 p Salientフィルタの除去 p Saliency profileでの近傍サンプルの分析 p Salientフィルタの再学習 p フィルタの不具合を生じる入力特徴の分析 2021/8/26 11

Salient filterの除去 以下の3つの規則に従ってフィルタを除去 n Most salient n Random n Least salient 元のモデルで誤分類されたサンプルについて以下を算出 n 誤分類されたクラスの確信度 n 真のクラスの確信度 n 正しく分類されるようになったサンプルの割合 2021/8/26 12

Salient filterの除去 Most salientなフィルタを除いた場合， p 左図：誤分類されたクラスの確信度は大きく低下 p 中央図：真のクラスの確信度が向上（Pruning数20程度まで） p 右図：正しく分類されるサンプルが増加 2021/8/26 13

Saliency profileでの近傍サンプルの分析 Saliency profileの類似度が高いサンプルを表示 p 画像は類似している p 誤分類されるクラスのペアは同一 2021/8/26 14

Salient filterの再学習 以下の3つの規則に従ってフィルタを選択し再学習 n Most salient n Random n Least salient 元のモデルで誤分類されたサンプルについて以下を算出 n 正しく分類されるようになったサンプルの割合 n 正しく分類されるようになった近傍サンプルの割合 n 近傍サンプルにおける真のラベルの確信度の変化 2021/8/26 15

Salientフィルタの再学習 Most salientなフィルタを除いた場合， p 左図：正しく分類されるようになるサンプル割合が多い p 中央図：正しく分類される近傍サンプルが増加 p 右図：近傍サンプルの確信度が向上 2021/8/26 16

フィルタの不具合を生じる入力特徴の分析 n 予測ラベル：「シャチ」 n 真のラベル：「ホオジロザメ」 2021/8/26 17

フィルタの不具合を生じる入力特徴の分析 p Saliencyの大きい領域を順番にMask 正解ラベル の確信度 2021/8/26 18

まとめ p Saliencyを分析において，ネットワークのパラメータに着目 p Saliency profileを評価・補正することで， 誤分類されたサンプルを正しく分類できることを実験的に示した p Saliencyの大きい領域をmaskすることで誤分類を改善できる 場合があることを示した 2021/8/26 19