ディリクレ分布に基づく正則化付き非負値行列因子分解と打楽器スペクトル表現への適用

香川高等専門学校 電気情報工学科 卒業研究発表会 2025年2月27日 ディリクレ分布に基づく正則化付き 非負値行列因子分解と 打楽器スペクトル表現への適用 7番 小川遼（北村研究室）

研究背景（1/2） 2 • 非負値行列因子分解（nonnegative matrix factorization: NMF） – 観測した非負行列 を非負行列 – 音響信号の適用例 基 非負値観測行列 , で低ランク近似 行列 行列 – 顧客の購買データの適用例 商品X 商品Y 商品Z 顧客A 顧客B 顧客C 顧客D 顧客E 1 1 0 2 3 0 0 1 3 0 2 5 1 2 3 特徴に応じた 購買パターン 商品の特徴パターン 0.5 0 2 5 0 0 2 0.6 0.3 0 0 4 7 4 0 0.7

研究背景（2/2） • 正則化付きNMF – NMFにより得られる結果をより望ましい結果に誘導する手法 正則化なし NMF 正則化付き NMF メリハリがつく（スパース） – 特に重要な正則化：スパース性，スムース性 – スパース性・スムース性を統一的に扱える理論が望ましい 本研究 の目的 スパース性とスムース性を統一的に扱える 新しい正則化付きNMFの理論を構築 3

非負値行列因子分解（1/2） 4 • 非負値行列因子分解（nonnegative matrix factorization: NMF） – 非負行列を非負低ランク行列で近似する手法 – 次元を削減し特徴を抽出することが可能 非負値観測行列 基 行列 基 行列 近似行列 アクティベーション • ヘッダやフッタ等はページ番号だけを右上に配置 – 実際は と の誤差を最小化する最適化問題である 更新 乱 による初期化 コスト関 値 4

非負値行列因子分解（2/2） • 一般化Kullback-Leibler（KL）擬距離に基づくNMF – と の距離をコストとし変 について最小化 – 反復更新による最適化アルゴリズム • 補助関 法に基づく乗算型更新式 5

データの構造（1/2） 6 • スパース性 ス パ ー ス – 多くの要素がゼロ値である状態 – 下記図は様々な方向にスパースな構造 を持っている 例：音の時間周波 構造 時 間 方 向 に 沿 っ て ス パ ー ス

データの構造（1/2） 7 • スパース性 ス パ ー ス – 多くの要素がゼロ値である状態 – 下記図は様々な方向にスパースな構造 を持っている 例：音の時間周波 構造 周 波 方 向 に 沿 っ て ス パ ー ス

データの構造（2/2） 8 • スムース性 ス ム ー ス – 要素が滑らかで急激な変化が少ない状態 – 下記図は様々な方向にスムースな構造 を持っている 例：音の時間周波 構造 時 間 方 向 に 沿 っ て ス ム ー ス

データの構造（2/2） 9 • スムース性 ス ム ー ス – 要素が滑らかで急激な変化が少ない状態 – 下記図は様々な方向にスムースな構造 を持っている 例：音の時間周波 構造 周 波 方 向 に 沿 っ て ス ム ー ス

正則化付きNMF • 既存の正則化付きNMF – スパース正則化 – スムース正則化 正則化項 正則化項 • 正則化付きNMF – 正則化項に事前分布を仮定することで事前情報を反映 正則化項 提案手法 事前分布としてディリクレ分布を仮定する 10

ディリクレ分布（1/2） • 確率変 11 ベクトル 3次元ベクトルの場合 2次元標準単体の場合 ス ム ー ス • 標準単体 – 2次元標準単体は スパースなベクトル ス 3点を頂点に持つ パ 3次元空間中の正三角形 ー ス – 三角形の中心付近は スムースなベクトル ス パ ー ス ス パ ー ス

ディリクレ分布（1/2） • 確率変 12 ベクトル 3次元ベクトルの場合 2次元標準単体の場合 ス ム ー ス • 標準単体 – 2次元標準単体は スパースなベクトル ス 3点を頂点に持つ パ 3次元空間中の正三角形 ー ス – 三角形の中心付近は スムースなベクトル ス パ ー ス ス パ ー ス

ディリクレ分布（2/2） ス ム ー ス • ディリクレ分布 – 標準単体上の確率密度関 ：多変量ベータ関 13 ス パ ー ス ス パ ー ス – パラメータ により確率密度の 各頂点への集中度を調整することが可能 ス パ ー ス

ディリクレNMF • ディリクレNMF – ディリクレ分布を事前分布に仮定 – ディリクレ分布の母 に よりスパース正則化及び スムース正則化を統一的 かつ連続的に扱える – 上式は基 ベクトル が独立 にディリクレ分布従うと仮定 14

ディリクレNMFの反復更新式 • 補助関 法に基づく更新式の導出 – 目的関 の形では最小化の式が解けないため補助関 適用し，ラグランジュの未定乗 法を用いて解く – 目的関 の単調減少が保証された最適化手法 • ディリクレNMFの反復更新式 – 15 は求めるべき更新後の を表す 法を

16 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 正解の基 ス パ ー ス 行列擬似乱 行列 を持つ基 行列 非負値観測行列 擬似乱 の行列積 スムース を作成 基 行列 行列

17 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 を持つ基 非負の乱 から非負乱 行列 行列 を作成を作成 正解の基 ス パ ー ス 行列擬似乱 行列 非負値観測行列 擬似乱 の行列積 スムース 基 行列 行列

18 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 を持つ基 と の行列積より非負観測行列 を作成を作成 非負の乱 から非負乱 行列 行列 を作成 正解の基 ス パ ー ス 行列擬似乱 行列 非負値観測行列 擬似乱 の行列積 スムース 基 行列 行列

19 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 を持つ基 行列 と NMFを適用し基 の行列積より非負観測行列 行列と を作成を作成 非負の乱 から非負乱 行列 行列を得る を作成 正解の基 ス パ ー ス 行列擬似乱 行列 非負値観測行列 擬似乱 の行列積 スムース 基 行列 行列

20 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 を持つ基 行列 と NMFを適用し基 の行列積より非負観測行列 行列と を作成を作成 スパース・スムース度に応じてパラメータを設定 非負の乱 から非負乱 行列 行列を得る を作成 正解の基 ス パ ー ス 行列擬似乱 行列 非負値観測行列 擬似乱 の行列積 スムース 基 行列 行列

21 評価実験（1/2） • 実験の目的 – ディリクレNMFによる正則化の効果の確認 • 実験の条件 スパース・スムースな基 を持つ基 行列 と NMFを適用し基 の行列積より非負観測行列 行列と を作成を作成 スパース・スムース度に応じてパラメータを設定 非負の乱 から非負乱 行列 行列を得る を作成 正解の基 ス パ ー ス ディリクレNMFのパラメータによって 非負値観測行列 行列擬似乱 基 行列 行列 正解の基 行列をどれほど精度よく 推定されているか比較 擬似乱 の行列積 スムース 行列

22 評価実験（2/2） • 正則化の効果の確認 – ディリクレNMFと通常のNMFを適用し，正解の基 されたそれぞれの基 行列を比較 – 適切なパラメータ設定により完全に推定された ス ム ー ス ス パ ー ス 正解の基 行列の 行列と推定 ス ム ー ス ス パ ー ス 通常のNMFの ディリクレNMFの

打楽器スペクトル表現への適用（1/2） 23 • 実験の目的 – NMFの持つ初期値依存性の問題の解決 • 実験の条件 – バスドラム（BD），スネアドラム（SN），ハイハット（HH）から成る 音響信号にディリクレNMF及び通常のNMFを適用 観測行列 基 行列 行列

打楽器スペクトル表現への適用（1/2） 24 • 実験の目的 基 行列が取りうるパターン – NMFの持つ初期値依存性の問題の解決 • 実験の条件 – バスドラム（BD），スネアドラム（SN），ハイハット（HH）から成る 音響信号にディリクレNMF及び通常のNMFを適用 観測行列 基 行列 行列

打楽器スペクトル表現への適用（1/2） 25 • 実験の目的 – NMFの持つ初期値依存性の問題の解決 • 実験の条件 – バスドラム（BD），スネアドラム（SN），ハイハット（HH）から成る 音響信号にディリクレNMF及び通常のNMFを適用 観測行列 基 行列 行列

打楽器スペクトル表現への適用（1/2） 26 • 実験の目的 基 行列が取りうるパターン – NMFの持つ初期値依存性の問題の解決 • 実験の条件 – バスドラム（BD），スネアドラム（SN），ハイハット（HH）から成る 音響信号にディリクレNMF及び通常のNMFを適用 観測行列 基 行列 の順番に パラメータによって狙った基 行列 推定を行えることを確認

打楽器スペクトル表現への適用（2/2） 27 • 実験結果 – 通常のNMFの場合，基 が意図した順番となったのは1000種 類の乱 初期値のうち176種類→約18% – ディリクレNMFの場合，基 が意図した順番となったのは1000 種類の乱 初期値のうち934種類→約93%

28 まとめ • 目的 – スパース性・スムース性と統一的に扱える正則化手法の提案 • 提案手法 – ディリクレ分布を事前分布に仮定する正則化手法 – ディリクレ分布のパラメータによりスパース性及びスムース性を 統一的に扱うことが可能 – 実験によって，提案手法の正則化の効果及び乱 する頑強性が確認できた 初期値に対 • 今後の課題 – スパース・スムースな時間周波 構造を持つ音響信号の表現 とその応用 – パラメータを活用した教師ありNMFへの援用