【SCI'23】四元数を用いたカラー画像補完における物体深度の活用

四元数を用いた カラー画像補完における 物体深度の活用 大阪大学基礎工学研究科 ○辰巳俊貴，早川諒，飯國洋二 2023.5.19 第67回システム制御情報学会 研究発表講演会

1. 研究背景｜画像復元とは 2/18 画像復元 ブレやノイズ，欠損で劣化した画像をきれいな画像に復元 医療，生体工学，天文などの分野で活用 火星表面の画像に対するノイズ除去[1] CT画像に対するインペインティング[2] [1]新井康平,“宇宙通信における雑音処理技術”,BME, vol.2, no. 6, pp. 394-400, 1988 [2] K. Armanious, Y. Mecky, S. Gatidis and B. Yang, "Adversarial Inpainting of Medical Image Modalities," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Brighton, UK, 2019, pp. 3267-3271

1. 研究背景｜画像補完問題 3/18 画像補完問題（画像復元の一種） 欠損した画素を再構成して元画像を復元する問題 今回はバイナリマスク（0：欠損，1：変化なし） 原画像𝑿𝟎 ∈ ℝ 𝑚×𝑛×3 マスク𝑩 ∈ ℝ𝑚×𝑛 (各成分0 or 1) 復元 観測画像𝑻 ∈ ℝ𝑚×𝑛×3

1. 研究背景｜画像補完問題の観測画像 バイナリマスクで画素が欠損した観測画像 𝑻 = 𝑃(𝑿𝟎 ) 𝑿𝟎 ：原画像，𝑻：観測画像 Pは行列に対してマスクをかける線形写像 (𝑃(𝑨))𝑚,𝑛 = ቐ 𝑨𝑚,𝑛 𝑩𝑚,𝑛 = 1 0 𝑩𝑚,𝑛 = 0 4/18

1. 研究背景｜行列補完の最適化モデル 5/18 実数行列補完問題の最適化モデル min 𝐹(𝑿) 𝑿 自然画像にある 低ランク性を促進 subject to 𝑃 𝑿 − 𝑻 = 𝟎 𝑿：出力行列，𝑻：観測行列 ！ カラー画像は実数行列一つで表現できず 色同士の相関を活用できない

1. 研究背景｜四元数とは 6/18

2. 関連研究｜四元数領域での画像補完[3] 7/18 Low-Rank Quaternion Matrix Completion(LRQMC)[3] = 𝑿ሷ ∈ ℍ𝑀×𝑁 + 0 𝑖+ 𝑿𝒓 ∈ ℝ𝑀×𝑁 𝑗+ 𝑿𝒈 ∈ ℝ𝑀×𝑁 𝑿𝒃 ∈ ℝ𝑀×𝑁 一つの四元数行列でカラー画像を表現 色の相関を活用して画像補完 ！ 𝑘 実部が復元に活用されない [3]Jifei Miao, Kit Ian Kou, “Color Image Recovery Using Low-Rank Quaternion Matrix Completion Algorithm,” IEEE Transactions on Image Processing, vol.31, pp. 190-201, 2021

8/18 3. 提案手法 従来の四元数カラー画像表現 + 𝑖+ 𝑗+ 𝑘 + 𝑖+ 𝑗+ 𝑘 提案手法 実部に深度（カメラからの距離） 入れて画像補完

補足｜単眼深度推定モデルLeReS[4] 9/18 LeReS カラー画像に対する単眼深度推定モデル 一枚の画像から深度マップを推定 [4] W. Yin, J. Zhang, O. Wang, S. Niklaus, L. Mai, S. Chen, and C. Shen,“Learning to recover 3D scene shape from a single image,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), June 2021, pp. 204–213.

3. 提案手法｜流れのイメージ 10/18 + 虚部(観測画像) 実部(0) 画像補完 [3] 従来手法の出力𝑿ሷ 𝒄 深度推定[4] + 新たな観測画像 𝑻ሷ 𝒅 実部(推定深度𝑫 ) 虚部(観測画像) 画像補完 [3] 提案手法の出力𝑿ሷ [3]Jifei Miao, Kit Ian Kou, “Color Image Recovery Using Low-Rank Quaternion Matrix Completion Algorithm,” IEEE Transactions on Image Processing, vol.31, pp. 190-201, 2021 [4] W. Yin, J. Zhang, O. Wang, S. Niklaus, L. Mai, S. Chen, and C. Shen,“Learning to recover 3D scene shape from a single image,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), June 2021, pp. 204–213. 𝒅

4. 実験｜実験内容 • • • • • Berkeley Segmentation Dataset[5]より100枚 ランダムに30%，50%の画素を欠損 提案手法と従来手法(LRQMC)[3]の結果を評価 PSNR(Peak Signal to Noise Ratio)と SSIM(Structual SIMilarity)で評価 （どちらも大きいほど良い） PSNR, SSIMの差を𝑺𝐏𝐒𝐍𝐑 , 𝑺𝐒𝐒𝐈𝐌 とし， 提案手法による改善度合いを表す 𝑆PSNR = PSNR prop − PSNR prev 𝑆SSIM = SSIMprop − SSIMprev [3]Jifei Miao, Kit Ian Kou, “Color Image Recovery Using Low-Rank Quaternion Matrix Completion Algorithm,” IEEE Transactions on Image Processing, vol.31, pp. 190-201, 2021 [5]https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/ 11/18

4. 実験｜実験結果（欠損30%） 提案手法で多くの画像の復元精度向上 12/18

4. 実験｜実験結果（欠損50%） 提案手法で多くの画像の復元精度向上 13/18

4. 実験｜結果画像(IMAGE83, 30%) 原画像 従来手法 観測画像 提案手法 14/18

4. 実験｜結果画像(IMAGE83, 30%) 従来手法 提案手法 15/18

4. 実験｜結果画像(IMAGE49, 50%) 原画像 従来手法 観測画像 提案手法 16/18

4. 実験｜結果画像(IMAGE49, 50%) 従来手法 提案手法 17/18

5. まとめ・今後の展望 まとめ • 実部に深度を取り入れた 四元数カラー画像補完手法を提案 • 多くの画像に対して提案手法で精度向上 • 大きく精度が低下する画像もある 今後の展望 • 精度低下の原因を考察 • ノイズの種類を変える（欠損率，色ごと） • 深度推定手法の考察 18/18

付録｜LRQMC[1]のモデル Low-Rank Quaternion Matrix Completion[1] 1 min 𝑼ሷ 𝑽ሷ − 𝑿ሷ 𝑼,ሷ 𝑽,ሷ 𝑿ሷ 2 低ランク 行列分解 𝜆 + 𝑭 2 2 𝑼ሷ 2 ሷ + 𝑽 𝑭 2 𝑭 核ノルム 最小化 subject to 𝑃Ω 𝑿ሷ − 𝑻ሷ = 𝟎 𝑼ሷ ∈ ℍ𝑀×𝐾 ,𝑽ሷ ∈ ℍ𝐾×𝑁 ,𝑿ሷ ∈ ℍ𝑀×𝑁 [1]Jifei Miao, Kit Ian Kou, “Color Image Recovery Using Low-Rank Quaternion Matrix Completion Algorithm,” IEEE Transactions on Image Processing, vol.31, pp. 190-201, 2021

付録｜提案手法のアイデア 自然画像は色と深度に相関があると予想 各色と深度の相関係数(𝑟𝑅 , 𝑟𝐺 , 𝑟𝐵 ) 画像番号 𝒓𝑹 𝒓𝑮 𝒓𝑩 42 -0.698 -0.743 -0.769 62 0.866 0.871 0.871 83 -0.675 -0.745 -0.856 90 -0.524 -0.659 -0.092