Non Local Spatial Propagation Network for Depth Completion

>100 Views

November 24, 20

スライド概要

https://techblog.morphoinc.com/entry/2020/11/24/102829

モルフォ

スライド一覧

モルフォは“画像処理×AI技術”の研究開発型企業として、ソフトウェア事業をグローバルに展開しています。テックブログにて画像処理・AIに関する情報をお届けしています。・コーポレートサイト：https://www.morphoinc.com/ ・テックブログ：https://techblog.morphoinc.com/

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

JDLA主催CVPR2024技術報告会ーコンピュータビジョン技術の最前線ー

cvpr ai deep learning gaussian splatting 基盤モデル学会報告

モルフォ 20.7K

Deep Unrolling ~Learned ISTA (LISTA)~

モルフォ 3.3K

紹介論文_S. H. Chan, X. Wang, and O. A.Elgendy, ”Plug and Play ADMM for Image RestorationFixed Point Convergence and Applications”

画像復元

モルフォ 1.3K

HiPPO/S4解説

モルフォ 866

紹介論文_S. Baker & T.Kanade (2020)“Limits on Super Resolution and How to Break them”

超解像

モルフォ 813

論文紹介_エッジ保存系の画像フィルタ

モルフォ 671

各ページのテキスト

Non-Local Spatial Propagation 概要 RGB画像とsparse depth mapからdense depth mapを直接推論同時に出力した３枚の特徴マップでrefinement の2段階構成をend-to-endに学習する • 各ピクセルの「近傍系」を選択的に学習 • Refinement時の重みの無駄な正規化を抑制 • Confidenceのrefinementへの組み込みにより11月現在おそらく最高性能を達成（2020/7/20に投稿） Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する 1. 各ピクセルの「近傍系」を選択的に学習 2. Refinement時の重みの無駄な正規化を抑制 3. Confidenceのrefinementへの組み込み Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する 1. 各ピクセルの「近傍系」を選択的に学習 2. Refinement時の重みの無駄な正規化を抑制 3. Confidenceのrefinementへの組み込みが、その前にrefinementについて先に概説する Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

Non-Local Spatial Propagation 手法 Refinementは下式を繰り返し適用することで行われる： 𝑡 𝑐 𝑡−1 𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛 ෍ 𝑖,𝑗 𝑡−1 𝑤𝑚,𝑛 𝑥𝑖,𝑗 𝑖,𝑗 ∈𝑁𝑚,𝑛 • • • 𝑥𝑚,𝑛 ：depth mapの(m, n)座標におけるdepth値 𝑖,𝑗 𝑤𝑚,𝑛 ：ピクセル𝑥𝑖,𝑗 が𝑥𝑚,𝑛 にもたらす重み 𝑁𝑚,𝑛 ：座標(m, n)の近傍 𝑖,𝑗 で、𝑤𝑚,𝑛 + σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 𝑤𝑚,𝑛 = 1 とする。𝑡はイテレータ Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

Non-Local Spatial Propagation 手法 Refinementは下式を繰り返し適用することで行われる： 𝑡 𝑐 𝑡−1 𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛 ෍ 𝑖,𝑗 𝑡−1 𝑤𝑚,𝑛 𝑥𝑖,𝑗 𝑖,𝑗 ∈𝑁𝑚,𝑛 • • • 𝑥𝑚,𝑛 ：depth mapの(m, n)座標におけるdepth値 𝑖,𝑗 𝑤𝑚,𝑛 ：ピクセル𝑥𝑖,𝑗 が𝑥𝑚,𝑛 にもたらす重み 𝑁𝑚,𝑛 ：座標(m, n)の近傍この２つをrefinement前に 𝑖,𝑗 で、𝑤𝑚,𝑛 + σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 𝑤𝑚,𝑛 = 1 とする。𝑡はイテレータ。学習で求める Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

10.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する 1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ） 𝑖,𝑗 2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ） 3. Confidenceのrefinementへの組み込み Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

11.

12.

Non-Local Spatial Propagation 手法従来のrefinement手法では近傍画素の配置を固定にすると境界付近で不要なピクセル情報を拾ってしまうそこで、近傍系の形を適応的に変形することを考える ([1] Fig.3.) Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

13.

Non-Local Spatial Propagation 手法座標(m, n)の近傍は以下で定める： 𝑁𝐿 𝑁𝑚,𝑛 = {𝑥𝑚+𝑝,𝑛+𝑞 | 𝑝, 𝑞 ∈ 𝑓φ 𝑰, 𝑫, 𝑚, 𝑛 , 𝑝, 𝑞 ∈ 𝑹} φをパラメータとする「(m, n) のK個の近傍」を返す関数これを学習により求める注目すべき点として、p, qは実数値 →サブピクセル精度で近傍探索が行われる！ Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

14.

15.

Non-Local Spatial Propagation 手法実はCNNの場合には元ネタが存在（[2], [3]） • Deformable Convolutional Networks ([2] Fig.1.) • Deformable ConvNets v2: More Deformable, Better Results （上の論文のインターン生による改良版）これら2つの論文では、convolutionのカーネルの形を動的に変形（長方形でなく）することで物体形状の変化にロバストに対応させることを提案しているこれをカーネルではなくrefinementに援用したのがミソ Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

16.

Non-Local Spatial Propagation 手法実際に𝑓𝜑 がどう定義されるかの記述は存在しなかったが、前述の論文を見る限りおそらく次の通り Inputの注目画素 (m,n)を中心に普通のconv.を 2N枚かける 2枚かけるごとに(m,n)の近傍としてoffset vector (p,q)が1つ定まる得られたN個の近傍でrefinementを実行 ([2] Fig.2.) Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

17.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する 1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ） 𝒊,𝒋 2. Refinement時の重みの無駄な正規化を抑制（ 𝒘𝒎,𝒏 ） 3. Confidenceのrefinementへの組み込み Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

18.

Non-Local Spatial Propagation 手法 Refinement時の重みについて以下の事実が知られている（[4] Theorem 3） ⚫ Refinementが収束する十分条件は 𝑖,𝑗 σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | ≤ 1 ここでrefinementの式を思い出しておく 𝑡 𝑐 𝑡−1 𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛 ෍ 𝑖,𝑗 ∈𝑁𝑚,𝑛 Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. 𝑖,𝑗 𝑡−1 𝑤𝑚,𝑛 𝑥𝑖,𝑗

19.

Non-Local Spatial Propagation 手法 𝑖,𝑗 なので|𝑤𝑚,𝑛 |の合計が１を上回る場合には正規化処理が必要しかし単純に以下のように合計値で割るのは問題がある 𝑖,𝑗 𝑤 ෝ𝑚,𝑛 𝑖,𝑗 𝑤𝑚,𝑛 = 𝑖,𝑗 σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤 ෝ𝑚,𝑛 | 𝑁𝑚,𝑛 = 2としてその理由を示す 𝑡 𝑐 𝑡−1 𝑥𝑚,𝑛 = 𝑤𝑚,𝑛 𝑥𝑚,𝑛 ෍ 𝑖,𝑗 ∈𝑁𝑚,𝑛 Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. 𝑖,𝑗 𝑡−1 𝑤𝑚,𝑛 𝑥𝑖,𝑗

20.

Non-Local Spatial Propagation 手法 𝑤1 , 𝑤2 の𝐿1 ノルムによる正規化した結果を図示すると、 ( [1] Fig.4.) このように枠線上に 𝑤1 , 𝑤2 が集中してしまい 𝑤1 , 𝑤2 の自由度（＝モデルの表現力）が減ってしまう Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

21.

Non-Local Spatial Propagation 手法では𝐿1 ノルムが１を超えた時だけ正規化したらどうなのか？ →これも実は失敗する正規化が発生する頻度がどの程度かを考えればよいが、 𝑤1 , 𝑤2 が独立に標準正規分布に従うとして同じく図示すると、 Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

22.

23.

Non-Local Spatial Propagation 手法正規化しても自由度が減らないようスケール変換したい →本論文では以下で解決 𝑖,𝑗 𝑖,𝑗 𝑤𝑚,𝑛 = tanh(𝑤 ෝ𝑚,𝑛 )/𝐶 , ここでKは変数の個数 𝑖,𝑗 これならσ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | ≤ 1 は常に成立するが果たして自由度は？ Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. 𝐶≥𝐾

24.

25.

26.

Non-Local Spatial Propagation 手法 𝑖,𝑗 そこで σ 𝑖,𝑗 ∈𝑁𝑚,𝑛 |𝑤𝑚,𝑛 | が１を超えたときのみtanhによる正規化を行うことで表現力をできる限り高める結果： ( [1] Fig.4.) Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

27.

Non-Local Spatial Propagation 手法一覧すると以下の通り右端のグラフは 𝑤1, , 𝑤2 を複数生成したときに正規化されるものの割合を示したもの（青が単純な割り算、黄がtanhを使う方法） Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. ( [1] Fig.4.)

28.

Non-Local Spatial Propagation 手法ところでtanhを使う場合には 𝑖,𝑗 𝑖,𝑗 𝑤𝑚,𝑛 = tanh(𝑤 ෝ𝑚,𝑛 )/𝐶 よりCを決める必要があった →Cも学習で自動的に決定されるようにする Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

29.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する。 1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ） 𝑖,𝑗 2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ） 3. Confidenceのrefinementへの組み込み Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

30.

Non-Local Spatial Propagation 手法考察１，２では入力depthの誤測定が加味できていないそこでinitial depth mapと同時にconfidence mapも推論させる Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. ( [1] Fig.5.)

31.

Non-Local Spatial Propagation 手法 𝑖,𝑗 𝑖,𝑗 取得したconfidence、𝑐 ∈ [0, 1]はrefinement時の重み𝑤𝑚,𝑛 を弱めるのに用いる 𝑖,𝑗 𝑖,𝑗 𝑖,𝑗 𝑤𝑚,𝑛 = 𝑐 ⋅ tanh(𝑤 ෝ𝑚,𝑛 )/𝛾 Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved. ( [1] Fig.5.)

32.

33.

Non-Local Spatial Propagation 手法以下３つのポイントを順に解説する 1. 各ピクセルの「近傍系」を選択的に学習（ 𝑁𝑚,𝑛 ） 𝑖,𝑗 2. Refinement時の重みの無駄な正規化を抑制（ 𝑤𝑚,𝑛 ） 3. Confidenceのrefinementへの組み込み最後に実際のネットワーク構造を確認する Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

34.

35.

Non-Local Spatial Propagation 手法ロスは単純に入力時点でdepthが観測されたピクセルの集合 Vに対してここでρ = 1,2のどちらでもよいが、ρ = 1の方が一般にエッジのキレが良いらしいその他の中間出力に対してロスは定めない（データ取得が困難） Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

36.

Non-Local Spatial Propagation 考察 ⚫ Initial estimation → refinementは効果が出る ⚫ Deformable convolutionがエッジ保存の肝か ⚫ Weight normalizationの効果は如何ほどか疑問 ⚫ Confidence mapが実測できている場合には、ロスに組み込めばさらに精度向上する？（スケール合わせが問題？）  正規化の定数Cは学習データの傾向によって変動する模様  使う環境が不定の場合は中々最適に決まらなそう  入力がearly fusionなのは改善の余地ありか？ Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

37.

https://github.com/zzangjinsun/NLSPN_ECCV20

38.

Non-Local Spatial Propagation 参考文献 [1] J. Park, K. Joo, Z. Hu, C.-K. Liu, and I. S. Kweon.: Nonlocal spatial propagation network for depth completion. In: Proc. Of European Conference on Computer Vision (ECCV), 2020 [2] J. Dai, H. Qi, Y. Xiong, Y. Li, G. Zhang, H. Hu, and Y. Wei. Deformable convolutional networks. In ICCV, 2017. [3] Zhu, X., Hu, H., Lin, S., & Dai, J. (2019). Deformable convnets V2: More deformable, better results. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2019-June, 9300–9308. https://doi.org/10.1109/CVPR.2019.00953 [4] Liu, S., De Mello, S., Gu, J., Zhong, G., Yang, M.H., Kautz, J.: Learning affinity via spatial propagation networks. In: Proc. of Advances in Neural Information Processing Systems (2017) Copyright AllAll Rights Reserved. Copyright © ©2020 2019Morpho, Morpho,Inc. Inc. Rights Reserved.

https://doi.org/10.1109/CVPR.2019.00953