ハモリパート練習支援システムのための音響信号を対象とした​ 副旋律生成の検討

ハモリパート練習支援システムの ための音響信号を対象とした 副旋律生成の検討 北原研究室B4 福田康太

ハモリとは • ハーモニーのことで、２つの音が調 和して美しく響いて聴こえること。 • デュエットなどで多く用いられる。 (点描の歌・WINDING ROADなど)

背景 • 近年、カラオケは多くの人に親しまれている。 • 主旋律を担当するユーザとハモリを担当する ユーザが協力してハーモニーを奏でる楽しみ 方も存在する。 • ただし、ハモリのみの音源や参考となる資料 は非常に限られている。

ハモリの練習の現状 ・Youtubeで上がっているハモリ単体のパー トを見て練習する。 (問題点)自分の練習したい曲が必ずある わけではない。 ・(問題点)メロディ単体の曲は練習できない。 →本研究ではこの問題に重点を置く

関連研究 • 白石らの研究 （2018, 情報処理学会 第80回全国大会講演論文集, vol.2018） o MIDIデータを用いてハモリパートを自動生成する • 山崎らの研究 （2023, 映像情報メディア学会誌, vol.77, No.1, pp135--140） o 深層学習を用いて「単調ではない和音」を自動生成する。 • Nichols らの研究（2020, Interna tional Computer Music Conference,） o ニューラル機械翻訳を用いてバロック時代の二声対位法をモデル化する新しいシステムを 提案している。 →どの研究でもMIDIファイルを対象としておりWAVファイルを対 象としていなかった 2025/2/5 5

ハモリ音源として満たすべき条件 ①主旋律との一貫性 特にロングトーン部分の安定 ②伴奏のコード進行との適合 安定していないとこうなる： ③不協和音の回避 特に半音でぶつからないように ④曲の調性（キー）との適合

ハモリの自動生成手順 WAV形式の音源 （主旋律＋伴奏） 前処理 ・音源分離 ・主旋律の音高推定 ・伴奏のクロマグラム作成 隠れマルコフ モデル（HMM） WAV形式の音源 （ハモリパート） ・最適なハモリの音高を決定する ・決めた音高で音響信号を作成する 2025/2/5 7

伴奏のクロマグラムの作成 • クロマグラム：各音名に対応している12次元 ベクトル（横軸：時間 縦軸：音名） • クロマグラムの値が大きい →その音が伴奏と不協和音にならない • 後の出力確率の導出に用いる クロマグラム

ハモリの音高決定の手順 ① ② ③ ハモリ音高の ２つの確率から 候補音の選定 主旋律から 長三度・短三度・ 状態遷移確率と 各フレームごとに 出力確率を定義 最適な候補音高を HMMを用いて求める 完全4度の音とする 2025/2/5 11

状態遷移確率の定義 • ロングトーン部分の精度向上のために導入 • 現在と直前の音高が同一であるかそうでないかで異なる遷移確 率を用いる 2025/2/5 同一音高の遷移確率 異なる音高の遷移確率 12

出力確率の定義 • ①音高がコードの主要構成音である可能性が高い時 →伴奏のコード進行との適合のために導入 • ②コード構成音と半音でぶつかる可能性が低い時 →不協和音の回避のために導入 • ③楽曲のキーのスケール構成音である可能性が高い時 →曲の調性（キー）との適合 2025/2/5 13

①音高がコードの主要構成音である可能 性が高い時 • クロマベクトルの値が大きい →候補音として採用されやすくなる • 上記の処理を各フレームごとに行う あるフレームにおけるクロマベクトル 2025/2/5 15

②コード構成音と半音でぶつかる可能性 が低い時 • 不協和音の回避のために導入 • 伴奏と半音でぶつからない音を 優先的に採用する あるフレームにおけるクロマベクトル 2025/2/5 17

③楽曲のキーのスケール構成音の可能 性が高い時 • クロマベクトルの平均を用いる • 曲全体でどの音高が使われているかを求め てその音を優先的に採用する クロマベクトルの平均 2025/2/5 19

最適な候補音高をHMMを用いて求める • 前述の状態遷移確率と出力確率3つを 用いて、その確率が最大である候補音 を求める。 • また、それぞれの出力の影響を重みづ けによって管理する • 記号 o α・β・γ：重みづけの定数 2025/2/5 20

生成した副旋律の音高を音響信号として 取得する • 前のページで求めたハモリの音高を元に音響信号を作成する • その後、伴奏や主旋律と合成する • 生成例：晩餐歌 2025/2/5 21

実験 • 対象曲の1番までについて提案手法含 めた4つの手法でハモリ生成を行う。 • 対象曲：DAMカラオケランキングの各 ジャンルTOP20から4曲ずつ o ジャンル：Jポップ・演歌・ボカロ • 正解データを用意して生成した音源と 比較し、一致率を集計する。 o 正解データは音楽活動経験のある大学生に 作成してもらった。 2025/2/5 22

結果 • どの曲においても提案手法の 一致率が最も高かった。 • Jポップ・演歌と比べてボーカロ イド楽曲の一致率が悪かった。 ドライフラワー（提案手法）： KING（手法B）： 2025/2/5 23

考察 • 音源分離の精度の差がハモリ生成の精度の差に表れているの ではないか 晩餐歌（Jポップ）のクロマグラム 2025/2/5 天ノ弱（ボカロ）のクロマグラム 24

考察 • 音源分離の精度の差がハモリ生成の精度の差に表れているのでは ないか 晩餐歌（Jポップ）のクロマベクトル の平均値 天ノ弱（ボカロ）のクロマベクトル 2025/2/5 の平均値 25

今後の課題 • 現在のシステムでは、楽曲の転調に対応できない • 楽曲の音源分離精度の向上 2025/2/5 26