深層展開に基づく画像処理アルゴリズムのパラメータ学習

20 2 5/ 11/17 画 像符号 化 シ ンポ ジウム/ 映 像 メ ディア処理シンポジウム 2025 深 層 展 開 に基 づ く 画 像 処 理 アル ゴ リズ ムのパラメータ学習 東 京農工 大 学 大学 院 工 学 研 究 院 准教授 早川 諒

1/28 自己紹 介 ✦ 早川 諒 （はやかわ りょう） 「信 号 処 理の理 論と応用」 「 最 適 化と機械学習技術の融合」などを研究 2 0 20 年 3月 2 02 0年 4月 2 0 23 年 1 0月 京大 阪大 （ 〜博 士 課 程 ）（ 助 教 ） 農工 大 （准 教授 ） 近 似メッセージ伝 搬法 M I MO 信号検出 スパース信 号 処理 画 像復 元 圧 縮センシング 無線 信号 処理 凸/ 非凸最 適化 画像 処理

2/28 本日の内容 深層展開 （d eep unf ol d i ng/ d ee p u n r o l l i n g） || モデルベースな反 復アルゴリズムの パラメータをデータから学習するアプローチ

3/28 深 層 展 開に関する論 文などの数 first chart. Check & Describe  Visualize  Publish & Embed 2G oogl 3 4 e S c ho l arで “ de e p u n f o ld in g ” と検索してヒットした件数 1,750 r website for free. he embed code for mbed your chart. 件数 eate account 1501,500 0 1,250 1001,000 0 750 50 0500 250 基本 的アイデアの提 案 【K . Gr eg or +, ICML, 2 0 1 0 】 201 0 2010 2011 2012 2013 Get the data • Created with Datawrapper 2015 2014 2015 dee p u nf ol din gと 呼ばれ始める 2016 2017 年 2018 2020 2019 2020 2021 2022 2023 2025 2024 2025 さまざまな問 題に応用

深 層 展 開が有 効そうなケース 4/28 ① できるだけブラックボックスでない手法が望ましい ② 明 確な物 理 的モデルがあり、それを手法に反映させたい ③ モデルベースのアルゴリズムにパラメータがいくつかあり、 パラメータの値によって大きく性 能が変わる ④ アルゴリズムの処 理はパラメータに関して（数値的に）微分可能 ⑤ 大 量のデータはないが、ある程 度はデータを用意できる

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース信 号復元とその課題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース信 号復元とその課題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

画像復元問題とそのためのアプローチ 5/28 画像復元 ✓ 未知の原画像 x* ∈ ℝN を 劣化画像 or 観測データ y = Ax* + v ∈ ℝM から復元 劣 化 or 観 測 過 程（ぶれ，欠 損 ，… ） y = A x* + v 原画 像 雑音 劣化 画 像 復 元 画 像 x̂ 例： ✦ ノイズ除 去 ✦ ぶれ除去 ✦ 超解 像 ✦ MR I/C T画像 再構 成

画像復元問題とそのためのアプローチ 6/28 信 号 復 元のためのアプローチ ①数 理最適化を用いた モデルベース手 法 ② 機 械 学習を用いた データ駆 動 型 手 法 （目的関 数を設 計・最小 化 ） （ 観 測 値→ 復 元結 果の変 換を学習） 観 測値 観測 値 復 元 結果 復元 結果 透明性 ◯ 汎用性◯ 復元 精度△ 透 明 性△ 汎用性△ 復 元 精度 ◯

画像復元問題とそのためのアプローチ 6/28 信 号 復 元のためのアプローチ ①数 理最適化を用いた モデルベース手 法 ② 機 械 学習を用いた データ駆 動 型 手 法 （目的関 数を設 計・最小 化 ） （ 観 測 値→ 復 元結 果の変 換を学習） 観 測値 観測 値 復 元 結果 復元 結果 透明性 ◯ 汎用性◯ 復元 精度△ 融合 深層展開 P l u g an d p l ay ⁝ 透 明 性△ 汎用性△ 復 元 精度 ◯

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース信 号復元とその課 題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

モデルベース信号復元とその課題 7/28 最 適 化 問 題の基 本形 N M 目的：原画像 を観測 から復元 x* ∈ ℝ y = Ax* + v ∈ ℝ ✓ ✓ 方針：観測モデルの情報と信号に関する事前知識をどちらも活用 基本 的な形 正則 化パラメータ 1 x̂ = arg min ∥y − Ax∥22 + λ g(x) } x∈ℝN { 2 データ忠 実 項 観測モデル y = Ax* + v の 情報を活用 1 ∥y − Ax∥22 + λ g(x) 2 x* x̂ x 正則 化項 x* に関する事 前知 識を活用 例 ✦ 画像の滑らかさ ✦ 低周波数 帯への集中 ✦ 低ランク性 課 題 ①：正 則 化項をうまく設計する必 要がある

モデルベース信号復元とその課題 8/28 最 適 化アルゴリズム ✓ 最適解は一般には解析的に求まらないため、 最適化アルゴリズムに基づく反復計算によって求める f(x) 最適 化問 題の形に応じて さまざまなアルゴリズムが存在 例：勾 配 降下 法（ 最急 降下 法） x (k+1) = x − γk ∇f(x ) (k) (k) x (k) x (k+1) x̂ x ステップサイズパラメータ 大きすぎる → 収束しない可 能性がある 小さすぎる → 反復回数が多く必 要になる 課 題②：パラメータの値をうまく設定する必要がある

モデルベース信号復元とその課題 9/28 復 元 手 法 設計への機 械学習技術の応用 ①正 則化の関数をどう設 計するか？ ②パラメータの値をどう設 定するか？ 1 ∥y − Ax∥22 + λ g(x) minimize x∈ℝN {2 } x (k+1) = x (k)− γk ∇f(x (k)) Pl ug an d Pl a y （ Pn P） 深層 展開 入力 学習済み ネットワーク 最 適化プロセス y, A パラメータ … 損失 関数 1 N ∥x̂ − x*∥22 学習

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース画 像復元とその課題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

深層展開 10/28 深 層 展 開の概要 ✓ 反復アルゴリズムの処理をニューラルネットワークに見立て、 誤差逆伝播法などの技術を用いてアルゴリズムのパラメータを学習 ✦ LISTA（Learned ISTA）[1]をはじめとして、さまざまな問題に応用 処理 A 処理 B 入 力 A B C … A B C 処理 C 反復アルゴリズム 展開後のネットワーク [1] K. Gregor and Y. LeCun, “Learning fast approximations of sparse coding,” in Proc. the 27th ICML, Jun. 2010, pp. 399–406. 損 失 関 数

深層展開 深 層 展 開の特徴 11/28 メリット ✦ データに基づいてパラメータを学習できる ✤ アルゴリズムの出力結果や収束速度を改善可能 ✦ アルゴリズムの構造を反映したネットワークを構築できる ✦ 学習パラメータが比較的少ないので学習が楽＋結果を視覚的に見やすい ✤ 新たな発見があるかも？ 学習率，初期値 ，ミニバッチサイズ，.. . デメリット（？） ✦ 学習時のハイパーパラメータの調整は必要 ✤ Optuna [2]などのツールによってある程度自動的な探索は可能 ✦ 基本的には、問題設定に合わせてその都度学習が必要 [2] T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A next-generation hyperparameter optimization framework,” in Proc. 25th ACM SIGKDD Int. Conf. Knowl. Discov. Data Min., Jul. 2019, pp. 2623–2631.

深層展開 深 層 展 開での検討事項（1/5） 元となるモデルベースアルゴリズムの選 択 ✦ どのような最適 化問 題をスタート地点にするか ✦ どのようなアルゴリズムを使うか ✤ 反 復ごとの計 算量 ✤ 収 束 速度 などに影 響 ✦ 最適化アルゴリズム以 外の手 法にも適用可能 12/28

深層展開 深 層 展 開での検討事項（2/5） 13/28 学習パラメータの埋め込み方 ✦ どのパラメータを学習させるか ✦ そのパラメータに関して（ 数 値 的に）微 分可能か ✦ どこまで元のアルゴリズムに忠実にするか ✤ 思 想やセンスが出るところ ✤ 学習時 間・最 終 的な復 元 精 度などに影 響 例： L IS TA [ 1 ] アルゴリズム中の観 測行 列の部分もパラメータと思って学習 T IST A [ 3] 観 測行 列はそのまま（学習せず）使い、ステップサイズなどのみ学習 [1] K. Gregor and Y. LeCun, “Learning fast approximations of sparse coding,” in Proc. the 27th ICML, Jun. 2010, pp. 399–406. [3] D. Ito, S. Takabe, and T. Wadayama, “Trainable ISTA for sparse signal recovery,” IEEE Trans. Signal Process., vol. 67, no. 12, pp. 3113–3125, Jun. 2019.

深層展開 14/28 深 層 展 開での検討事項（3/5） 学習方 法 ✦ 学習アルゴリズムの選 択 確 率 的勾 配降 下法 ✤ RM S Pr o p ✤ A da m ⁝ ✦ インクリメンタル学習の有 無 入力 損失 関数 学習 ✤ 入力 … 学習対象となる層の数を 少しずつ増やしながら学習 （ 勾配 消 失 対 策） 損失 関数 入力 … 損失 関数

深層展開 深 層 展 開での検討事項（4 /5） 15/28 損 失関数の設 計 ✦ 問 題 設定に合わせて学習時の損 失関 数を設計 ✤ たとえば信 号復元であれば、基本的には平 均 二 乗 誤 差 復元誤差 MSE 10°1 ISTA (Æt = 1/L) ISTA (Æt = 2.1 £ 1/L) supervised-ISTA unsupervised-ISTA 損失 関数の違いによる 学習結果の違いの調査 [4] 10°2 学習しない場合 10°3 0 20 40 60 80 number of iterations t 100 アルゴリズムの反復回数 教師なし 学習 教師あり 120 学習 損失：元の最 適化 問題の 目的関 数 損失：平 均二 乗誤 差 [4] K. Nagahisa, R. Hayakawa, Y. Iiguni, “Comparison between supervised and unsupervised learning in deep unfolded sparse signal recovery,” arXiv, 2025.

深層展開 深 層 展 開での検討事項（5/5） 16/28 学習・テスト用データの作 成 ✦ 基 本 的にはデータを用意 ✦ もしデータの分 布が既 知or仮 定できるならその分 布に従って生 成 ✤ 無 線 通信の信 号検出などでは、 送 信 側もある程度 設計できるので分布を既知とできる場合もある Im QPSK （ Q u ad r atu r e P h as e Sh if t Key i ng） Re 1 1, 0 1, 00 , 1 0というビット列をそれぞれ 1 + j, − 1 + j, − 1 − j, 1 − j に変 調して送信

深層展開 実 装について 17/28 ✦ PyT o rc h（ P y t ho n ）やf l u x（ J u lia ）など、 自動 微分フレームワークが整 備された ライブラリを使えば比較 的 容易に実装可 能 ✤ 基 本 的には、勾 配 計 算 時の逆 伝播の計算は実装不要 （ lo ss. b a c kw ar d ()などに任せられる） 基本的な流れ（PyTorchの場合） 1. 学習対 象のアルゴリズム（ネットワーク）に対応する c l as s を定義 2. そのネットワークを用いて損 失関 数の値 l os s を計算 3. l o ss. b ac kw ar d( ) で勾 配 計算 反復 4. opt . ste p ( ) で勾 配を用いてパラメータ更新 （o pt：学習アルゴリズム）

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース信 号復元とその課題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

深層展開の応用例 深 層 展 開の応用 18/28 ✓ 多くの反復アルゴリズムに適用可能であることから、 さまざまな応用がされている ✦ M RI画 像 再 構 成 ✦ CT 画 像 再 構 成 ✦ ハイパースペクトル画 像の異常 検知 ✦ 赤 外線 画 像からの小目標 検出 ✦ 動 画の圧 縮イメージング 画像 処理以 外にも、無 線 通 信・符 号理 論・制御工学などへも応用

深層展開の応用例 MR I 画 像 再構 成 19/28 Y. Y an g , J. S un, H. Li, a nd Z . X u, “D ee p A D MM- Net fo r c o mpr essi ve s e ns i n g M RI ,” i n Proc. NeurIPS, 201 6 . ✦ 目的：M R Iの画 像を観 測データから再構 成 ✦ 学習対 象：AD M M（ 交 互 方 向 乗 数 法 ）に基づく構造をもつ ネットワークに含まれるフィルタ行列や非線形変換 ✦ 損 失 関数：原 画像との復 元 誤 差

深層展開の応用例 CT 画 像 再 構成 20/28 J. A dl e r a nd O. Öktem, “Lea rn ed Pr im a l - D ua l R e c o nst r uc t i o n,” IEEE Tr a n s. M ed. I m agi ng, v ol. 37, n o. 6, pp. 1 3 2 2 ‒ 1 3 3 2 , J un. 2 0 1 8 . ✦ 目的：C T（ C o mpu ted Tom ogr aphy）の画 像を観 測データから再 構 成 ✦ 学習対 象：PD H G（ P r i m al - Du al Hy brid Gra die nt）法に基づく ネットワークに含まれるC NN ✦ 損 失 関数：原 画像との復 元 誤 差

深層展開の応用例 ハイパースペクトル画像の異常検知 21/28 C . L i, B . Zhang, D. Hong, J. Yao, and J. Chanu ssot, “LRR-n et: An in ter p reta ble deep unf olding netwo rk for h yperspectral anomaly d etect ion ,” IEEE Trans. Geosci. Remo te S ens., vol. 61, pp. 1‒12, 2023. ✦ 目的：ハイパースペクトル画 像のうち、 「スペクトル的 特 徴が他の部分と異なる領域」を背景領域と分離 ✦ 学習対 象：A D M Mに基づく構 造をもつネットワークに含まれる 線 形 変 換やしきい値 処理のパラメータ ✦ 損失関 数：元の画 像を分 離 結 果から再 構成したときの誤差

深層展開の応用例 赤 外 線 画 像からの小目標検出 22/28 F . Wu , T. Zhang , L. Li, Y. Hua ng, a n d Z . Peng, “R PCA N et : D eep un fol di ng RP C A b ased inf ra red sm a ll t a r get d et ec t i o n,” i n Pr o c . I E E E/ CV F WAC V , 2024, pp. 4797‒4 80 6 . ✦ 目的：赤 外 線 画 像に含まれる小さい物体を検出 ✦ 学習対 象：ロバスト主 成 分 分 析のアルゴリズムに基づく ネットワークに含まれるCNNなど ✦ 損失関 数：元の画 像を分 離 結 果から再 構成したときの誤差 ＋検出領 域に関する損 失

深層展開の応用例 動 画の圧 縮イメージング（1/2） 23/28 T. Mat sud a, R. Ha ya ka wa , a nd Y. Iig uni , “D eep unfo l d i ng- a i d e d p ar a met er tuni ng for plu g-a nd -pla y - b a sed vi d eo sna psho t co m pr es s i ve i m agin g,” IEEE Access, vo l . 1 3 , pp. 2 4 8 6 7 ‒ 2 4 8 7 9 , 2 0 2 5 . 圧 縮された画 像（ 2 次 元データ）から再 構 成 変 調マスク 撮 影対 象 （ 高フレームレート） 時 間 ✦ 目的：高フレームレートの動 画（ 3 次元データ）を カメラ （低フレームレート） 再構成 アルゴリズム 観測 画像

深層展開の応用例 動 画の圧 縮イメージング（2/2） 24/28 T. Mat sud a, R. Ha ya ka wa , a nd Y. Iig uni , “D eep unfo l d i ng- a i d e d p ar a met er tuni ng for plu g-a nd -pla y - b a sed vi d eo sna psho t co m pr es s i ve i m agin g,” IEEE Access, vo l . 1 3 , pp. 2 4 8 6 7 ‒ 2 4 8 7 9 , 2 0 2 5 . ✦ 学習対 象：P n Pに基づく手 法のノイズ除去の強さ ✦ 損失 関数：原 動 画との復 元 誤 差 従来の パラメータ 原動画 観測 学習後の パラメータ

目次 ✦ 画 像 復 元問題とそのためのアプローチ ✦ モデルベース信 号復元とその課題 ✦ 深層展開 ✦ 深 層 展 開の応用例 ✦ おわりに

おわりに 25/28 個人的所感 ✦ 学 習 時の 設 定 （学 習率 ・ ミニ バッチ サイズなど）によって け っ こう 結 果 が 変 わ る た め そ こ まで単 純ではない ✤ 順 伝 播の 計算 によ って は 逆 伝 播でI nf やNaNが出る場合も あ る ため 注意 が必 要（ など ） ✦ あ ま りに も 学 習可 能パ ラメ ー タ を増や してしまうと、 い わ ゆる 深 層 学習 の話 と あ ま り変 わ らない ✤ 「 解 釈性 」が 高い 、と い っ た表現 が よくあるが… ✦ 学 習 結果 を 見 て何 かし ら の 知 見が 得 られるのが理想 ✦ モデル ベース な アル ゴ リズ ム 開 発で 得られた知見・理論的成果 を ど う 反映 す る かが ポイ ン ト

おわりに 深 層 展 開が有 効そうなケース（再掲） 26/28 ① できるだけブラックボックスでない手法が望ましい ② 明 確な物 理 的モデルがあり、それを手法に反映させたい ③ モデルベースのアルゴリズムにパラメータがいくつかあり、 パラメータの値によって大きく性 能が変わる ④ アルゴリズムの処 理はパラメータに関して（数値的に）微分可能 ⑤ 大 量のデータはないが、ある程 度はデータを用意できる

おわりに 参考文献 27/28 ✦ 和田山 正 , 高 邉 賢史, “深 層展 開に基づく信 号処理アルゴリズムの設計,” 電 子 情 報通 信 学 会 基 礎・境界ソサイエティ Funda me nta ls Review, 2020. ✦ V . M o ng a, Y . L i, and Y. C. El dar, “Al gorithm unrolling: I n te r p r e t ab le, e f f ic ie nt dee p l ea rni ng for signa l a nd ima ge pr o c e ss i n g , ” I EEE S i gna l P r oce ssing M a ga zine, 2021. ✦ 和田山 正 , “モデルベース深 層学習と深 層展 開,” 森北出版, 2023. ✦ 高 邉 賢 史, “深 層 展 開の基礎と展望, ” システム／制御／情報, vol. 68, n o . 1 1 , p p . 4 2 2 ‒4 2 7 , Nov . 2 0 2 4.

おわりに 28/28 まとめ ✓ 深 層 展開：反 復アルゴリズムのパラメータ学習 → 透 明 性や汎用性をある程 度 保ちつつ，アルゴリズムの性能を改善 ✦ モデルベース/データ駆 動融合 型の有 望なアプローチの1つ ✦ 信号 処 理・画 像 処 理・通 信 工 学・制 御工学など、 さまざまな分 野へ応用 処理 A 処理 B 入 力 A B C … A B 処理 C 反復アルゴリズム 展開後のネットワーク C 損 失 関 数