練習意欲維持のためのスケール楽譜生成システム

練習意欲維持のための スケール楽譜生成システム 北原研究室 B4 大川真由子

Q:スケールって何？ • 別名：音階 • 特徴：音が規則的に並んでいる • 目的： • 指をスムーズに動かす • 指の幅を覚える • 調についての理解を深める など… 2

背景 基礎練習は飽きやすい傾向にある • バリエーションが少ない • 楽譜が単調である 3

考え 自分の好きな曲で練習ができるようになれば、 練習意欲維持につながるのではないか 4

関連研究 ⚫ “楽器の練習意欲維持のために練習曲を他楽曲の伴奏に編曲するシステム” ◆ 村井孝明, 西本一志.情報処理学会研究報告(2015) ◆ 練習意欲維持のために練習曲を演奏者の好む曲の伴奏に編曲する ⚫ “深層学習を用いたコルトー式ピアノ練習パターン自動生成システム手法と実 装「Artificial Cortot」” ◆ 加藤綾規, 陶山晴南, 廣瀬友亮, 堀之内陽介, 久野文菜, 濱川礼. 情報処理学会研究報告(2020) ◆ 曲の1部分を練習用楽譜に変換する ⚫ “Guitar Training Wheel: 減算的な演奏補助で練習継続意欲を保つ ギター演奏習得補助システム” ◆ 米田圭志, 横山裕基, 小倉加奈代, 西本一志.情報処理学会研究報告(2013) ◆ 楽譜の難易度分けを行うシステム 5

提案システム 自分の好きな曲のMIDIファイルを読 み込むことで、その楽曲に合うスケー ル楽譜を生成するシステム 生成された楽譜の例 6

使用例 ※楽曲はTWICEの 『 kura kura 』を使用 7

Q:ただ曲に合わせてスケールの楽譜を弾けばよくない？ 楽曲に合わないスケールを弾いた場合、不協和音になってしまう （キー：G♭ スケール：Bm） 8

Q:ただ曲に合わせてスケールの楽譜を弾けばよくない？ 楽曲に合わないスケールを弾いた場合、不協和音になってしまう （キー：G♭ スケール：Bm） 不協和音にならないように、コードとキーからスケールを決める （＋小節の頭はコード音になるように設定） 9

システム詳細 コード推定部分 鳴っている音 推定コード スケール生成部分 音符列の決定 Cメジャー ソ ミ ド 10

システム詳細 クロマグラム（クロマベクトルの集合） ↓ 【コード推定部分】 クロマベクトルを使用 11

システム詳細 【スケール生成部分】 Ｑ：なぜ確率モデル？ 確率を変えることで、スケールの進行パター ンを複数作成したり、難易度分けをしたり、 条件を付けることが比較的容易 〇確率モデルを使用 →推定コード、出力スケール、進行パターンに基づいてうまく確 率を設定することで音符列を生成する 12

システム詳細 【スケール生成部分】 〇２重マルコフモデル ♪＋ ♪ → ♪ 2つ前の音 1つ前の音 現在の音 13

システム詳細 進行パターン 順次進行 跳躍進行 14

評価実験 目的：生成された楽譜が難しすぎることはないかどうかを調査する 実験者数：8名（ピアノ経験者、歴問わず） 15

評価実験 実験参加者から好きなポピュラー楽曲を3曲ずつ調査する（曲A, 曲B, 曲Cとする）。それぞれの曲のサビを練習したい範囲に設定し、 8小節分のスケール楽譜を作成する。 16

評価実験 【実験参加者の手順】 1. 曲A用のスケール楽譜を10分間練習してもらう。伴奏はいつでも再 生でき、 伴奏の使用は自由とする。 テンポの設定も自由。 2. 練習終了後、あらためて伴奏に合わせて演奏する。 3. 曲B, 曲Cに関しても 1.～2.を同様に行う。 4. 演奏終了後, アンケートに回答してもらう。 17

正しい楽譜 評価実験 【分析方法①】 通し演奏における挿入・欠落・置換の音数を求める 挿入 欠落 置換 18

評価実験 【分析方法②】 楽譜によってミスの回数に影響があるかを調べるため、黒鍵の数・調 号の数・調と一致しないスケールの数とミスの回数に相関があるかを 調べる 19

結果・生成した楽譜の例 ヒロイン/back number KING/Kanaria

結果・考察 • 被験者A, B, D, H…間違えた音数はほぼ（全く）ない • 被験者F, G…間違えた音数は多め 挿入・欠落・置換の音数 進行 パターン 曲A挿入 被験者 A B C D E F G H 順次 跳躍 跳躍 順次 跳躍 跳躍 順次 順次 曲A欠落 0 0 4 0 2 1 0 0 0 0 9 0 2 21 0 0 曲A置換 2 1 8 0 6 10 0 0 曲B挿入 曲B欠落 0 0 1 0 0 1 3 0 曲B置換 0 0 1 0 0 5 3 0 曲C挿入 1 0 5 0 0 6 17 0 曲C欠落 0 0 0 0 0 4 2 0 曲C置換 0 0 0 0 0 3 5 0 0 0 6 0 1 8 7 0

結果・考察 • Q6「楽譜の内容が自分の技術的に難しい」では、簡単だ と感じる人が多かったが、難しいと感じる人もいた Q1 Q2 Q3 Q4 Q5 Q6 Q7 7段階評価 7:非常にあてはまる、1:全くあてはまらない A C B 5 6 6 7 5 2 2 7 6 7 7 1 1 1 D 7 6 5 7 6 2 2 E 2 4 3 4 1 1 1 F 7 7 5 6 4 1 1 G 6 3 3 5 7 6 1 H 6 5 7 5 7 5 1 6 7 7 7 5 1 1 Q1 譜読みの練習になる Q2 Q3 従来のスケール練習を同等もしくはそれ以上 の効果が得られそう 練習に対するモチベーションが上がった Q4 伴奏と合わせるのが楽しい Q5 調号や記譜法が複雑で練習しづらい Q6 楽譜の内容が自分の技術的に難しい Q7 伴奏と合わせることが難しい

結果・考察 【結論】 挿入・欠落・置換された音数とアンケート結果から、基礎練 習として成り立つ程度の難易度である Q1 Q2 Q3 Q4 Q5 Q6 Q7 7段階評価 7:非常にあてはまる、1:全くあてはまらない A C B 5 6 6 7 5 2 2 7 6 7 7 1 1 1 D 7 6 5 7 6 2 2 E 2 4 3 4 1 1 1 F 7 7 5 6 4 1 1 G 6 3 3 5 7 6 1 H 6 5 7 5 7 5 1 6 7 7 7 5 1 1 Q1 譜読みの練習になる Q2 Q3 従来のスケール練習を同等もしくはそれ以上 の効果が得られそう 練習に対するモチベーションが上がった Q4 伴奏と合わせるのが楽しい Q5 調号や記譜法が複雑で練習しづらい Q6 楽譜の内容が自分の技術的に難しい Q7 伴奏と合わせることが難しい

結果・考察 • Q4「伴奏と合わせるのが楽しい」では高い評価を得ることができた →本システムの有用性が示唆された • Q1「譜読みの練習になる」でも高い評価を得ることができた →譜読み練習としても活用できるのでは Q1 Q2 Q3 Q4 Q5 Q6 Q7 7段階評価 7:非常にあてはまる、1:全くあてはまらない A C B 5 6 6 7 5 2 2 7 6 7 7 1 1 1 D 7 6 5 7 6 2 2 E 2 4 3 4 1 1 1 F 7 7 5 6 4 1 1 G 6 3 3 5 7 6 1 H 6 5 7 5 7 5 1 6 7 7 7 5 1 1 Q1 譜読みの練習になる Q2 Q3 従来のスケール練習を同等もしくはそれ以上 の効果が得られそう 練習に対するモチベーションが上がった Q4 伴奏と合わせるのが楽しい Q5 調号や記譜法が複雑で練習しづらい Q6 楽譜の内容が自分の技術的に難しい Q7 伴奏と合わせることが難しい

結果・考察 • 難易度が低すぎた（被験者D）、難易度が高すぎた（被験者F）と思 われる人にとっては、楽しさ（Q3）やモチベーション（Q4）の点で、いま ひとつの結果 Q1 Q2 Q3 Q4 Q5 Q6 Q7 7段階評価 7:非常にあてはまる、1:全くあてはまらない A C B 5 6 6 7 5 2 2 7 6 7 7 1 1 1 D 7 6 5 7 6 2 2 E 2 4 3 4 1 1 1 F 7 7 5 6 4 1 1 G 6 3 3 5 7 6 1 H 6 5 7 5 7 5 1 6 7 7 7 5 1 1 Q1 譜読みの練習になる Q2 Q3 従来のスケール練習を同等もしくはそれ以上 の効果が得られそう 練習に対するモチベーションが上がった Q4 伴奏と合わせるのが楽しい Q5 調号や記譜法が複雑で練習しづらい Q6 楽譜の内容が自分の技術的に難しい Q7 伴奏と合わせることが難しい

結果・考察 • 調号の数、黒鍵数、キーと一致しないスケー ルの数とミスの回数の相関は見受けられな かった（相関係数 0<ri<0.15） →他の要素がミスの回数に影響を与えている

結果・生成した楽譜の失敗例 シュガーソングとビターステップ/UNISON SQUARE GARDEN キー：G♭ C♭がB♮で表現され ているため、読みづらい 楽譜になっている

結果・生成した楽譜の失敗例 キー：Ｂ（サビ前はＡ） 正しいキーが反映されていない →決定されたスケールが間違っている 原因 テンポから計算した小節の頭の秒数に若干の誤差が生まれることを考慮していなかった ケセラセラ /Mrs. GREEN APPLE

まとめ • 入力したMIDIファイルからコード推定を行い、楽曲に合うスケール楽 譜を出力することができた • 評価実験より、本システムを使うことで練習がより楽しめるようになる ことが示唆された また、譜読み練習としての活用可能性も示された 29

まとめ • 期待しない挙動の改善 • 対象者拡大のために難易度分けを実装 • “不協和音っぽくなる部分があったのが気になった”と実験のアンケー トで回答してくれた人がいたため、より不協和感がない楽譜を目指す 30

おわり 31