Optimal divergence diversity for superresolution-based nonnegative matrix factorization (in Japanese)

2014 ASJ Spring meeting 第二会場 電気音響 アレー信号処理 3-2-9 Optimal divergence diversity for superresolutionbased nonnegative matrix factorization 超解像型教師あり非負値行列因子分解における 最適なダイバージェンスのダイバーシチ 北村大地, 猿渡洋, 中村哲, (奈良先端科学技術大学院大学) 高橋祐, 近藤多伸 (ヤマハ株式会社) 亀岡弘和 (東京大学/NTT)

研究背景 • 音楽信号分離技術の研究が盛ん 応用例 • 自動採譜技術の前段処理 • 音ARシステムへの応用 等 信号分離 • 非負値行列因子分解(NMF)を用いた手法が高い注目を 集めいている • 教師ありNMF(SNMF)は高精度な信号分離が可能だが， 非目的音源が増加すると精度が劣化 ステレオ信号を対象とした新しいハイブリッド信 号分離手法が提案されている 2

研究背景 • ハイブリッド手法 入力ステレオ信号 L R 音源の空間情報による分離 (方位クラスタリング) 教師あり手法による分離 (超解像型SNMF) 分離目的信号 3

研究背景 • 後段の超解像型SNMFにおける最適な距離規範(ダイ バージェンス)は入力信号中の音源の空間配置に依存 – 音源の空間情報の違い • 本発表の目的 いかなる空間配置においても最適なダイバージェンス を用いて高精度で目的音源を分離できる一般化ハイ ブリッド手法を提案する 4

NMF [Lee, 2001] • NMF – スパース分解表現手法 – スペクトログラム中の有意な特徴量を抽出可能 Frequency Time Amplitude Time 基底 アクティベーション行列 (各基底の時間変化) Amplitude 基底行列 (頻出スペクトル) Frequency 観測行列 (スペクトログラム) Ω: 周波数ビン数 𝑇: 時間フレーム数 𝐾: 分解基底数 5

NMFの変数最適化 • 分解行列(変数) は観測データ と分解表現デー タ の距離(ダイバージェンス)の最小化で求める コスト関数: : 行列 の要素 • 特にユークリッド距離とKLダイバージェンスが用いられる • 振幅ドメインでのSNMFでは，KLダイバージェンスのコス ト関数が高精度に分離できる [FitzGerald, 2012], [Kitamura, 2013] – 音楽信号のスペクトログラムの持つスパース性に起因 6

SNMF [Smaragdis, 2007] • 分離目的音源の教師情報を用いる – 教師スペクトル基底 を作成(目的音のスペクトルの辞書) – 観測スペクトログラム を目的成分とそれ以外の成分に分離 学習ステージ 目的音の音階情報 目的音源の サンプル音 教師基底行列 (目的音源のスペクトル辞書) 最適化 分離ステージ 混合信号 目的音源成分 固定 その他の音源成分 7

SNMFの問題 • 目的音源以外の干渉成分が増加すると分離精度が劣化 2音源の場合 SNMF 5音源の場合 SNMF 残留成分 8

方位クラスタリング [Araki, 2007], [Miyabe, 2009] • チャネル間の振幅差を用いてクラスタリング • スペクトログラムドメインでのバイナリマスキング 要素毎の積 入力ステレオ信号 Right C C C C C C L C R C C L C R C R L C L C Time L R L R R L C バイナリマスク R R R L C Frequency 混合信号 Frequency Left Center 分離信号 1 1 1 1 1 1 0 1 0 1 1 0 1 0 1 0 0 1 0 1 0 0 0 0 1 Center 0 0 0 0 1 Time 方位クラスタリング L R • 問題点 – 同一方位の複数音源の分離は不可能 – バイナリマスキングによる人工歪みの発生 9

ハイブリッド手法 [Kitamura, 2013] • 方位クラスタリングの後に超解像型SNMFを適用するハ イブリッド手法が提案された ハイブリッド手法 空間分離 L スペクトル 分離 R 方位クラス タリング 超解像型SNMF 10

超解像型SNMF • 方位クラスタリングによって生じる人工歪み(スペクトログ ラム上での穴)を教師基底から外挿して復元 Time 方位クラス タリング 分離目的クラスタ 復元目的信号 Frequency 非目的 方位成分 目的 方位成分 Frequency Frequency 入力スペクトログラム : 欠落 Time Time 超解像型SNMF 11

超解像型SNMF • 方位クラスタリングによって生じる歪み 欠落 Frequency 分離されたクラスタ : 欠落 Time 教師スペクトル基底 欠落成分をコスト 関数から除外 フィットする 基底を外挿 … 12

超解像型SNMFに最適なダイバージェンス • 従来のSNMFではKLダイバージェンスが高精度 KL-divergence EUC-distance 一方 • 超解像型SNMFの最適ダイバージェンスはスペク トログラムの欠落数に依存 KL-divergence ? EUC-distance – 方位クラスタリングの結果(音源の空間配置)に依存 13

超解像型SNMFに最適なダイバージェンス • 超解像型SNMFは2つのタスクがある 目的音源 分離 超解像型SNMF 基底外挿 (超解像) • 分離能力と外挿能力はトレードオフになる [Kitamura, 2013] 一般化距離関数(b -divergence) 性能 ハイブリッド手法の総合性能 分離能力 0 IS 1 外挿能力 2 KL EUC 3 4 14

多重ダイバージェンスに基づくSNMF • スペクトルの欠落と最適なダイバージェンス – 多いフレームはユークリッド距離 (外挿重視) – 少ないフレームはKLダイバージェンス (分離重視) バイナリ マスク Frequency 観測スペクト ログラム 欠落が少ないフレーム KLダイバージェンス で測る 欠落が多いフレーム ユークリッド距離 で測る Time 番目のフレームにお ける穴の密度 と閾値 で距離規範を決定 15

Frequency 提案手法: フロー図 Time Calculation of rate ofCalculation chasms of rate ofCalculation chasms of rate (EUC) Yesof chasmsNo (EUC) Yes No (EUC) Yes No (KL)Calculation (KL) of chasms (KL) (EUC) Yes EUC-distanceKL-divergenceEUC-distanceKL-divergencebased cost function based cost function EUC-distanceKL-divergencebased cost function based cost function based cost function basedEUC-distancecost function based cost function of rate No (KL) KL-divergencebased cost function Superresolution-based SNMF 16

提案手法: コスト関数 • 多重ダイバージェンスに基づく超解像型SNMFのコスト 関数 : 各フレームにおける穴の密度 17

提案手法: 更新式 • 多重ダイバージェンスに基づく超解像型SNMFの更新式 – アクティベーション行列の更新式はフレーム毎に独立している 為，直接場合分けされる 18

提案手法: 更新式 • 多重ダイバージェンスに基づく超解像型SNMFの更新式 – その他の基底の更新式はフレームに関する総和の中に場合分 けが起きる 19

実験条件 • 4つのメロディからなるステレオの混合音源を作成 • 中央に2つ，左右 °に1つずつ音源を配置 • 3種の楽器編成のMIDI信号を用意，計36パターンの平均評価値 Left Dataset No. 1 No. 2 No. 3 Melody 1 Oboe Trumpet Horn Melody 2 Midrange Bass Flute Piano Trombone Violin Harpsichord Fagotto Clarinet Piano Cello Center ２ ４ １ 目的音源 Right ３ 教師用 音源信号 目的音源の音域をカバーする2オクターブの24音階 20

実験条件 • 音源の空間配置の異なる4種類の入力データを作成 • SP1は欠落が少なく，SP4は欠落が多い • 閾値 t = 0.2 Spatial condition SP1 SP2 SP3 SP4 Left Measure 1 2 3 Center 4 ２ ４ １ 目的音源 Right ３ 21

実験結果 Good 14 SDR [dB] 12 Bad Hybrid method (KL-divergence) Hybrid method (EUC-distance) Hybrid method based on multi-divergence 10 SNMF (KL) 8 SNMF (EUC) 6 4 2 0 SP1 SP2 SP3 SP4 Spatial patterns 少ない 穴の数 多い 22

まとめ • いかなる音源の空間配置にも対応した多重ダイ バージェンスに基づく超解像型SNMFを提案 • ダイバージェンスはスペクトログラムの各フレーム の欠落密度によって閾値処理され，決定される – ダイバージェンスのダイバーシチ • 音源の空間配置を変化させた信号を用いて，提 案手法の有効性を確認 23