聴衆の知覚音量バランス推定と可視化によるドラム練習支援手法

聴衆の知覚音量バランス推定と可視化による ドラム練習支援手法 明治大学大学院 M2 細谷美月 中村聡史（明治大学） 森勢将雅（明治大学） 吉井和佳（京都大学） 1

研究概要 個人練習が難しいドラムの音量バランス練習を 聴衆の知覚音量バランスリアルタイム可視化システムで支援 2

システムイメージ 3

研究概要 • プロトタイプシステムを実装、評価実験を行い改善点を明らかに*1,2 • フィードバックをふまえ、システムを改善 …聴衆の知覚を加味した音量バランス推定手法を提案 …可視化手法を改善 • 改善後のシステムで評価実験を行い、有用性を検証 *1…細谷 美月, 中村 聡史, 森勢 将雅, 吉井 和佳. ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化 システムの提案, 情報処理学会 研究報告エンタテインメントコンピューティング（EC）, Vol.2021-EC-59, No.27, pp.1-8, 2021. *2…Mitsuki Hosoya, Masanori Morise, Satoshi Nakamura, Kazuyoshi Yoshii. A Real-time Drum-wise Volume Visualization System for Learning Volume-Balanced Drum Performance, 20th IFIP TC14 International Conference on Entertainment Computing (IFIP ICEC 2021), Vol.LNCS 13056, pp.154-166, 2021. 4

背景：ドラム上達に必要なこと ドラム上達において、 リズム・音色・音量など様々な技術の習得が重要 リズム 音色 複雑なリズムの 習得 様々な種類の 音色の叩き分け 複数楽器間の 音量バランス 音色を安定させる 音量に差をつけて 演奏する テンポ（速さ）を 一定に保つ 音量

背景：ドラム上達に必要なこと ドラムは手軽に・見様見真似で演奏でき、自力で練習する人が多い ドラムスティックがあれば 始められる 演奏してみたや、 教則の動画で学べる

背景：ドラム上達に必要なこと 自身の演奏を自分で評価できない音量バランスは個人練習が難しく、 ドラマーはつまずきがち・練習を後回しにしがち リズム 音色 複雑なリズムの 習得 様々な種類の 音色の叩き分け 複数楽器間の 音量バランス 音色を安定させる 音量に差をつけて 演奏する テンポ（速さ）を 一定に保つ 音量

背景：ドラム上達に必要なこと 自身の演奏を自分で評価できない音量バランスは個人練習が難しく、 ドラマーはつまずきがち・練習を後回しにしがち リズム 音色 音量 様々な種類の 複数楽器間の 複雑なリズムの 音色の叩き分け 音量バランス 習得 音量バランスの練習支援に着目 テンポ（速さ）を 一定に保つ 音色を安定させる 音量に差をつけて 演奏する

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 中 大 10

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 中 大 11

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 まとまりのある いい演奏だ！ 中 大 12

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 まとまりのある いい演奏だ！ 中 大 13

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 まとまりのある いい演奏だ！ 中 大 14

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ハイハット （HI） スネアドラム （SD） バスドラム （BD） 小 まとまりのある いい演奏だ！ 中 大 15

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる ロックやメタル ジャズ BD=SD>HI HI>SD>BD 16

背景：音量バランスとは • 基本リズムにおける HI・SD・BD の音量の大小関係 • BD>SD>HIに“聴衆が知覚するように”演奏する が理想 • 曲やジャンル、好みによって目標とする音量バランスは異なる それぞれ目標の音量バランスを目指して練習するが、 ロックやメタル ジャズ 音量バランスを個人で練習することは難しい BD=SD>HI HI>SD>BD 17

背景：個人での音量バランス練習は難しい 理由①：聴衆が知覚する音量バランスをドラマーは把握できない • ドラマーと聴衆で、音の聴こえ方が異なる • 演奏するリズムによって、音量バランスの聴こえ方が異なる 聴衆 ドラマー 知覚する 音量バランスの差 18

背景：個人での音量バランス練習は難しい 理由①：聴衆が知覚する音量バランスをドラマーは把握できない • ドラマーと聴衆で、音の聴こえ方が異なる • 演奏するリズムによって、音量バランスの聴こえ方が異なる 8ビート HI SD BD 16ビート HI SD BD BD＞SD＞HI BD＞SD＞HI いい感じ！ HIが大きい 19

背景：個人での音量バランス練習は難しい 理由②：演奏を録音し確認する方法は、時間や手間がかかる 各楽器にマイクを設置し、 収録された波形を見ながら演奏 スマートフォンなどで 演奏を録音→聴く→反省→演奏… BD 大きくしよう 20

関連研究 ドラム練習支援の研究は様々あるが、 音量バランスに着目したものは少ない • Kinectを利用した演奏動作検出によるドラム練習支援システム[越智 2017] • 聴覚フィードバックでスネアのタイミングやストロークを制御し 演奏動作を矯正するシステム[池之上 2012] • 両手首足首に装着したデバイスからの触覚フィードバックで 複雑なリズムパターンを習得するシステム[Simon 2010] 21

目的 ドラマー個人での音量バランス練習を 容易で効率的にできるよう支援する 22

どうすれば支援できる？ ドラマー個人での音量バランス練習を 容易で効率的にできるよう支援する 演奏に対して聴衆が知覚する音量バランスを ドラマーが演奏しながらリアルタイムに確認できる 23

提案システム １本のマイクで入力したドラム演奏から 聴衆が知覚する音量バランスをリアルタイム推定し 可視化してドラマーへフィードバックするシステム 24

システム実現に向けた問題 マイク入力した演奏を ３楽器に分離 各楽器の音源から 聴衆が知覚する 音量バランスを推定 音量バランスを 可視化して提示 25

プロトタイプシステム ：音源分離 [EC59] 聴衆の知覚 音量バランス推定 演奏を３楽器に分離 マイク入力した ドラム演奏データ 音量バランスの 可視化 音源分離 H HI I SSNMF （非負値行列因子分解） S SD D 各楽器の叩打音を基底とし 音源分離が可能 B BD D 26

プロトタイプシステム [EC59] 音声特徴量 聴衆が知覚する 音量バランス 推定 H HI I RMS 0.14 S SD D RMS 0.02 B BD D 音量バランスの 可視化 聴衆の知覚 音量バランス推定 演奏を３楽器に分離 音源分離 ：推定 音量 RMS 0.03 RMSを聴衆の知覚へ 筆者の主観で チューニング （HI 5倍・SD 1倍・BD 0.8倍） 27

プロトタイプシステム [EC59] 聴衆の知覚 音量バランス推定 演奏を３楽器に分離 聴衆が知覚する 音量バランス ：可視化 音量バランスの 可視化 結果の可視化 割合へ 0.25 19％ 0.47 34% 0.67 47% 28

プロトタイプシステム [EC59] ：評価実験 フィードバックを目的とし評価実験を行った結果… 改善点① 改善点② 音量バランス推定精度が低い 結果可視化方法がわかりづらい BDほとんど 音出してないのに おかしいな… どこの演奏に 対する結果？ HI下げて BD上げる？ SD上げて BDさらに上げる？ 29

プロトタイプシステム ：問題 [EC59] 演奏を３楽器に分離 聴衆の知覚 音量バランス推定 聴衆の知覚が 加味されていなかった 音量バランスの 可視化 割合表示や 結果更新頻度が 適切でなかった 30

プロトタイプシステム ：問題 [EC59] 演奏を３楽器に分離 聴衆の知覚 音量バランス推定 音量バランスの 可視化 聴衆の知覚が 加味されていなかった 割合表示や 結果更新頻度が 適切でなかった 聴衆の知覚を加味した 音量バランス推定手法を提案 可視化方法を 改善 31

プロトタイプシステム ：問題 [EC59] 演奏を３楽器に分離 聴衆の知覚 音量バランス推定 音量バランスの 可視化 聴衆の知覚が 加味されていなかった 割合表示や 結果更新頻度が 適切でなかった 聴衆の知覚を加味した 音量バランス推定手法を提案 可視化方法を 改善 32

聴衆の知覚を加味した音量バランス推定手法 ドラム演奏の各楽器の音源から得られる4種類の特徴量から 音量評価値（聴衆が知覚する音量）を推定可能とする回帰式 分離音源 音声特徴量 音量評価値 H I RMS 振幅 ゼロ 交差数 スペクトル 重心 0.51 S D RMS 振幅 ゼロ 交差数 スペクトル 重心 1.23 振幅 ゼロ 交差数 スペクトル 重心 1.97 B D 音量 RMS 33

聴衆の知覚を加味した音量バランス推定手法 ドラム演奏の各楽器の音源から得られる4種類の特徴量から 音量評価値（聴衆が知覚する音量）を推定可能とする回帰式 分離音源 音声特徴量 音量評価値 H I RMS 振幅 ゼロ 交差数 S D RMS 振幅 ゼロ スペクトル 無声区間か 交差数 重心音の明るさ 1.23 ゼロ 交差数 1.97 B D 音量 RMS 音の大きさ 振幅 有声区間か スペクトル 重心 （周波数） スペクトル 重心 0.51 34

聴衆の知覚音量バランスの正解データセット構築 様々なリズム・音量バランスで作成した 256パターンのドラム演奏音源の音量バランス評価によって 聴衆の知覚音量バランスの正解データセット構築を行った 協力者： ドラムorDTM（MIX）経験者の 大学生〜大学院生12名 35

聴衆の知覚音量バランスの正解データセット構築 ：評価方法 • ドラム音源を聴取し音量が小さい順に3楽器の順序を回答 • 音源はランダムな順番で提示 HI SD BD 評価式 例： • BD>SD>HIの場合 →HI=1 SD=2 BD=3 • BD=SD>HIの場合 →HI=1 SD=2 BD=2 1 1 1 1 1 1 2 2 2 2 2 3 3 1 1 2 2 2 3 1 1 1 2 3 1 2 1 2 1 2 3 2 1 2 3 1 1 2 1 HI=SD=BD BD>HI=SD SD>HI=BD SD=BD>HI BD>SD>HI SD>BD>HI HI>SD=BD HI=BD>SD BD>HI>SD HI=SD>BD SD>HI>BD HI>BD>SD HI>SD>BD 36

聴衆の知覚音量バランスの正解データセット構築 ：結果 • 全256パターンの音源へ対する音量バランス評価データが 6セット分（1人128パターン評価×12人分）得られた • 評価にかかった時間は1時間〜1時間15分 データセット C D A B 1 HI=SD=BD HI=BD>SD HI>SD=BD HI=SD=BD BD>HI>SD HI=BD>SD 2 BD>HI=SD BD>HI=SD BD>HI=SD BD>HI>SD BD>HI>SD BD>HI>SD … … … … F … E … … 音源 番号 255 HI=SD=BD HI=SD=BD HI=SD>BD SD=BD>HI SD>HI=BD HI=SD=BD 256 HI>SD=BD HI=SD>BD HI=SD=BD HI=SD=BD SD>HI>BD HI>SD>BD 37

聴衆の知覚音量バランスの正解データセット構築 ：正解データの定義 詳しくは論文を ご覧ください HI … 255 256 SD 0.37 0.31 0.29 0.33 1.20 … 0.58 0.44 0.46 0.42 0.40 BD 1.85 2.40 0.55 1.50 2.25 3.00 0.50 … 音源番号 1 2 3 4 5 … 256パターンの音源の各楽器について 音量評価値（聴衆が知覚する音量）の正解データを定義 2.30 2.15 1.39 1.45 38

聴衆の知覚を加味した音量バランス推定手法 ドラム演奏の各楽器の音源から得られる4種類の特徴量から 音量評価値（聴衆が知覚する音量）を推定可能とする回帰式 分離音源 音声特徴量 音量評価値 H I RMS 振幅 ゼロ 交差数 スペクトル 重心 0.51 S D RMS 振幅 ゼロ 交差数 スペクトル 重心 1.23 振幅 ゼロ 交差数 スペクトル 重心 1.97 B D RMS 39

聴衆の知覚を加味した音量バランス推定手法 ドラム演奏の各楽器の音源から得られる4種類の特徴量から 音量評価値（聴衆が知覚する音量）を推定可能とする回帰式 分離音源 音声特徴量 音量評価値 H I RMS 振幅 ゼロ 交差数 スペクトル 重心 0.51 S D RMS 振幅 ゼロ 交差数 スペクトル 重心 1.23 振幅 ゼロ 交差数 スペクトル 重心 1.97 B D RMS 40

聴衆の知覚を加味した音量バランス推定手法 システムで使用する音源分離は完全でない 分離音源 ドラム演奏 分離 H I S D B D →完璧な分離ができた状態を想定し回帰式定義する必要あり 41

聴衆の知覚を加味した音量バランス推定手法 完璧な分離ができた状態を想定し回帰式定義する必要あり →ピュアデータ（ドラム演奏音源のMIX前の3楽器の音源）を 正解データとし、重回帰分析によって 音声特徴量から音量評価値を推定可能な回帰式を定義 音量評価値𝑯𝑰 ＝423.431 × 𝑅𝑀𝑆𝐻𝐼 + 2.521 × 𝐴𝑚𝑝𝑇𝐻𝐼 − 0.001 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝐻𝐼 + 0.000 × 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝐻𝐼 + 6.323 音量評価値𝑺𝑫 ＝117.051 × 𝑅𝑀𝑆𝑆𝐷 + 0.281 × 𝐴𝑚𝑝𝑇𝑆𝐷 − 0.281 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝑆𝐷 − 0.006 × 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝑆𝐷 + 9.566 音量評価値𝑩𝑫 ＝28.619 × 𝑅𝑀𝑆𝐵𝐷 + 6.857 × 𝐴𝑚𝑝𝑇𝐵𝐷 + 0.000 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝐵𝐷 + 0.000 × 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝐵𝐷 − 0.678 42

聴衆の知覚を加味した音量バランス推定手法：精度 詳しくは論文を ご覧ください 正解データにおいて、 2楽器ずつの組み合わせ（HIとSD・SDとBD・HIとBD）の間に 音量の差があると聴衆が知覚しているものについて、 回帰式でも同様にその組み合わせを推定できているかで評価 →ピュアデータをテストデータとした結果、 87.4%の精度で聴衆の知覚音量バランスを推定可能！ →音源分離後のデータをテストデータとした結果、 47.0％と低い精度 43

聴衆の知覚を加味した音量バランス推定手法 ：システム版 システム実装にあたり 分離後の各楽器の音源を用いて再度回帰式の定義を行った • プロトタイプシステムと同様、音源分離はSSNMFを使用 • 回帰式算出後、 影響が少ないかつ計算に時間がかかる特徴量について削除 音量評価値𝐻𝐼 ＝843.896 × 𝑅𝑀𝑆𝐻𝐼 − 0.149 音量評価値𝑆𝐷 ＝349.734 × 𝑅𝑀𝑆𝑆𝐷 + 0.001 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝑆𝐷 − 2.899 音量評価値𝐵𝐷 ＝70.811 × 𝑅𝑀𝑆𝐵𝐷 + 10.930 × 𝐴𝑚𝑝𝑇𝐵𝐷 − 0.088 44

プロトタイプシステムの問題 演奏を３楽器に分離 聴衆の知覚 音量バランス推定 音量バランスの 可視化 聴衆の知覚が 加味されていなかった 割合表示や 結果更新頻度が 適切でなかった 聴衆の知覚を加味した 音量バランス推定手法を提案 可視化方法を 改善 45

改善：結果の可視化方法（表示形式） 聴衆が知覚する各楽器の音量（音量評価値）を可視化 46

改善：結果の可視化方法（更新頻度） 更新頻度低：システムA いつの演奏の結果か わかりやすい 更新頻度高：システムB 演奏の変化が わかりやすい 47

システム評価実験 システムを使用しながら音量バランス練習する実験 指定したリズムで指定した目標の音量バランスを目指し演奏し、 目標に到達したと判断した後4小節演奏して演奏を終了するタスクを 複数回行ってもらう タスク終了後に演奏の終盤の録音を聴きアンケートに回答 • 練習環境条件： 結果更新頻度の低いシステムA・高いシステムB・システムなし • 実験協力者：ドラム経験者6名 48

システム評価実験：アンケート Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 内容 システムor自分は聴衆が知覚する音量バランスを推定できていたと思うか 自身の演奏の音量バランスの可視化を見ながら演奏することで 音量バランス練習はしやすかったか 結果が切り替わる頻度は適切だったか 結果表示方法はわかりやすかったか 音量バランスを変化させたとき システムにその結果が反映されていた感じがしたか 今後このシステムを使って練習したいか 自分の音量バランスに自信をもって練習できたか システムA・B・システムなしについて 練習しやすかった順に1〜3の番号を回答してください システムや実験についての感想 49

システム評価実験：アンケート Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 内容 システムor自分は聴衆が知覚する音量バランスを推定できていたと思うか 自身の演奏の音量バランスの可視化を見ながら演奏することで 音量バランス練習はしやすかったか 結果が切り替わる頻度は適切だったか 各練習環境条件において、 結果表示方法はわかりやすかったか 音量バランスを変化させたとき 練習しやすさ・可視化のわかりやすさ・ システムにその結果が反映されていた感じがしたか 音量バランス推定精度などを評価 今後このシステムを使って練習したいか 自分の音量バランスに自信をもって練習できたか システムA・B・システムなしについて 練習しやすかった順に1〜3の番号を回答してください システムや実験についての感想 50

システム評価実験：明らかにしたいこと • システムが音量バランス練習を支援できるか →システムあり・システムなしを比較 • 結果更新頻度の違いによる練習のしやすさ →結果更新頻度が低いシステムA・頻度が高いシステムBを比較 • 音量バランス推定手法の精度 51

考察：提案手法による音量バランス練習支援効果 システムあり条件の方が練習しやすさの評価が高かった システムなし「自分の感覚で叩いていたので，不安が多かった」 システムあり「自身の演奏を客観的に確認することを実現でき良い」 →聴衆が知覚する音量バランスを確認しながらの練習により 納得感をもって練習できる 提案システムによって音量バランス練習を支援可能 52

考察：推定結果の更新頻度による練習しやすさ 可視化方法や練習しやすさに関する質問に対する評価が 実験協力者によって様々であった 更新頻度の低いシステムは「曲の一部分の練習」 更新頻度の高いシステムは「一定の音量バランスを保つ練習」 に使用したいといった意見も 人や状況によって結果の更新頻度を切り替えることで、 さらに音量バランス練習を支援できる 53

考察：聴衆の知覚する音量バランス推定精度 SDにBDの結果が混同しているといった回答が多かった →周波数帯域が似ているため、 音源分離の際にSDにBDの音が競合してしまった ドラム演奏 HI 分離 SD BD 54

考察：聴衆の知覚する音量バランス推定精度 SDにBDの結果が混同しているといった回答が多かった →周波数帯域が似ているため、 音源分離の際にSDにBDの音が競合してしまった 音源分離の精度を高める必要がある （他の分離手法の検討・SSNMFの適切な学習回数をみつける 等） 55

結果まとめ • 聴衆が知覚する音量バランスを確認しながら演奏することによって 音量バランス練習を支援可能 • 人や状況によって結果の更新頻度を切り替えることでさらに支援 • 音量バランス推定精度を高めるため、音源分離の精度の改善が必要 56

展望 • 音量バランス推定手法について、精度向上・幅広い演奏へ対応 • 練習したい内容によって 音量バランス推定の可視化方法を切り替える機能を追加 より容易で効率的な音量バランス練習を支援可能に 57

まとめ 背景：個人での音量バランス練習難しい 目的：個人での音量バランス練習を容易・効率的にしたい 提案システム： マイク入力した演奏から聴衆の知覚音量バランスを推定し可視化 音量バランス推定手法： 音源分離し、各楽器の特徴量から聴衆が知覚する音量バランスを推定 システム評価実験の結果： システムにより音量バランス練習を支援可能 結果の更新頻度を変化させることで様々な練習を支援できる可能性 58