【DL輪読会】Zero-Shot Dual-Lens Super-Resolution

DEEP LEARNING JP [DL Papers] Zero-Shot Dual-Lens Super-Resolution Presenter: Kazutoshi Akita (Toyota Technological Institute, Intelligent Information Media Lab) http://deeplearning.jp/ 1

• http://deeplearning.jp/

論文情報 • 論文名：Zero-Shot Dual-Lens Super-Resolution (CVPR2023) • 著者：Ruikang Xu, Mingde Yao, Zhiwei Xiong University of Science and Technology of China • URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Xu_Zero-Shot_Dual-Lens_Super-Resolution_CVPR_2023_paper.pdf ※本資料の図は，言及がなければ自作あるいは上記論文からの引用 2

• https://openaccess.thecvf.com/content/CVPR2023/papers/Xu_Zero-Shot_Dual-Lens_Super-Resolution_CVPR_2023_paper.pdf

前提知識 • 超解像（Super Resolution, SR） – 画像を綺麗に拡大する技術 超解像 (SRNet) 低解像画像 （LR画像） 超解像画像 （SR画像） 3

前提知識 • 超解像は大きく分けて2種類 – Non-Blind Super-Resolution – Blind Super-Resolution (≒ Real Image Super-Resolution) 4

前提知識 • Non-Blind Super-Resolution – 劣化過程が既知（or 事前定義）の問題設定 – 学習に使用した劣化においては非常によい性能を示す 5

前提知識 • Blind Super-Resolution – 劣化過程が未知の問題設定 – 様々な手法が提案されているが，Non-Blindと比べると当然性能は劣る 6

前提知識 • 超解像は大きく分けて2種類 – Non-Blind Super-Resolution • 劣化過程が既知の問題設定 • 学習に使用した劣化においては非常によい性能を示す – Blind Super-Resolution (≒ Real Image Super-Resolution) • 劣化過程が未知 • 様々な手法が提案されているが，Non-Blindと比べると当然性能は劣る 7

Dual-lens Super-Resolution • 近年，焦点距離（=画角）の異なる複数カメラを搭載したスマホが主流に – 望遠カメラ＆広角カメラ（＆超広角カメラ） – 主目的は薄型化 • この複数カメラを用いた新たな応用が考えられている – 前景・背景の分離による画像加工 – Dual-lens Super-Resolution 8

Dual-lens Super-Resolution • Dual-lens Super-Resolution – 広角カメラ画像と望遠カメラ画像のペアを用いて，広角カメラ画像の解像度を上げる – 望遠カメラ画像が広角カメラ画像の中心領域が高解像度化されたものとして見なせる • 高解像画像と低解像画像のペアが得られているので，Non-Blind Super-Resolutionとして解ける 広角カメラ画像 (wide-angle) 望遠カメラ画像 (telephoto) 9

概要 • Dual-lens Super-ResolutionのためのZero-shot learning手法を提案 – 従来手法と異なり，1つのテストデータに適合 • デバイス毎・画像毎に異なるカメラパラメータに対しても適合可能 10

手法 • ベースの考え方 – 広角カメラ画像と望遠カメラ画像の対応領域でSRNetをfine-tune 広角カメラ画像 望遠カメラ画像 Center crop Loss (L2) 超解像画像 クロップ画像 SRNet 11

手法 • CenterCropでは位置ずれがある 望遠カメラ画像 クロップ画像 クロップ画像を適切に位置合わせ（Alignment）する必要がある 12

手法 • Alignment 広角カメラ画像 望遠カメラ画像 Center crop Down scaling Alignment Network Loss (L2) 13

手法 • Alignment – L2損失によるAlignment Networkの最適化では， LRが持っていた劣化情報（ブラーカーネル）が変化してしまう Frequency – SRNet学習用のペアを作成するという目的には不適 Image • 特に周波数空間において顕著に変化が見て取れる 14

手法 • Degradation-invariant Alignment 𝑓 𝑠 – ℒ 𝑎𝑑𝑣 , ℒ 𝑎𝑑𝑣 : Alignment前後での変化がなくなるように敵対的学習 – ℒ 𝑐𝑙 : Alignment前後の特徴は近づけ，Alignment後とHRの特徴は遠ざける 15

手法 • Degradation-aware Training – Alignmentが適切に行われているであろう領域で優先的に学習したい – Degradation-invariant Alignmentで利用した識別器の出力で学習に使うパッチを選択 16

実験 • 以下2つの設定で実験 – Synthetic Data • 低解像化・劣化を人工的に付与し，Dual-lensの設定を疑似的に再現したデータ – HCI new ：ライトフィールドカメラのデータセット．2つの画像を選択し片方を劣化させる – Middlebury2021 ：ステレオカメラのデータセット．片方を劣化させる • PSNR，SSIM（再構成誤差）で評価 – Real Data • 実際にDual-lensカメラを持つスマートフォンで撮影したデータ • GTが存在しないためUser studyで評価 17

実験 • Synthetic Data – Non-blind SRの手法との比較 18

実験 • Synthetic Data – Blind-SRの手法との比較 19

実験 • Synthetic Data 20

実験 • Synthetic Data – Ablation Study 21

実験 • Synthetic Data – Ablation Study 22

実験 • Synthetic Data – Ablation Study 23

実験 • Real Data – 提案手法の結果と比較して，どちらが綺麗かを30人で評価 24

実験 • Real Data 25

まとめ • Dual-lens Super-ResolutionをZero-shotで解く手法を提案 – テストデータ毎に適合するためデバイス特性やカメラパラメータなどに依らずに動作 26