譜面への書き込みによる視認性低下の改善を目的とした筆記情報を用いた重要度設定手法の提案

譜面への書き込みによる視認性低下の改善を目的とした 筆記情報を用いた重要度設定手法の提案 津田紗宮良 中村聡史（明治大学）

背景 中高の部活動における吹奏楽や管弦楽では… アドバイスや課題点を記録するために 譜面へ書き込みを行う 練習を重ねていくと書き込みも増加 視認性の低下が起きる 譜面への書き込み例 本人にとって必要な情報が記録できない＆適切に情報が得られなくなる 1

研究目的 一般に使用されているのは紙の譜面だがデジタルの譜面も徐々に普及 デジタル譜面アプリ(例：nkoda *1 , forScore *2) での書き込みの整理方法は、主に色やレイヤー 時間的な制約がある合奏中において、メニュー操作は大変 演奏者の負荷を抑えながら実用性と視認性に優れた デジタル譜面環境の構築を目指す *1 nkoda: https://www.nkoda.com/ *2 forScore: https://forscore.co/ 2

• https://www.nkoda.com/
• https://forscore.co/

提案手法 筆圧や重ね書きといった筆記情報をもとに 書き込みの重要度を設定 重要度が低いものは時間経過とともに濃度 を下げ、段階的に書き込み量を低減 演奏者自身にとって必要な書き込みのみを残すことができる 3

初期検討 ｰ 譜面への書き込みに関する基礎調査 現役吹奏楽部員を対象としたアンケート調査 「練習時間の経過に伴って書き込み内容は変化するのか」 ｰ 提案システムの利用可能性についての検討 プロトタイプシステムのユーザ評価実験 「筆圧による重要度の書き分けは可能なのか」 4

初期検討 ｰ 譜面への書き込みに関する基礎調査 現役吹奏楽部員を対象としたアンケート調査 「練習時間の経過に伴って書き込み内容は変化するのか」 ｰ 提案システムの利用可能性についての検討 プロトタイプシステムのユーザ評価実験 「筆圧による重要度の書き分けは可能なのか」 5

譜面への書き込み行動についてのアンケート調査 吹奏楽部員34名 (高校生14名、中学生20名) アンケート内容 カテゴリ 楽譜の補助 ｰ 本番までの練習段階（序盤・中盤・終盤） における書き込み内容の変化について ｰ 各練習段階において5つのカテゴリの 書き込みをよく書くか/見るかについて 5段階評価 演奏方法 表現 他との関係性 心構え 例 音楽用語の意味 吹き方 曲のイメージ 和音 その他意識すべきこと 6

アンケート結果 5段階評価の平均が4以上のものに着目 よく行われる書き込みが楽譜の補助から 表現や他との関係性へと変化 5段階評価平均(書き込みを行う) カテゴリ 序盤 中盤 終盤 楽譜の補助 4.06 2.97 2.56 表現 3.06 4.38 4.53 他との関係性 2.88 3.88 4.00 5段階評価平均(書き込みを見る) よく見られる書き込みが楽譜の補助から 演奏方法や表現、他との関係性へと変化 カテゴリ 序盤 中盤 終盤 楽譜の補助 4.21 3.29 2.41 演奏方法 3.79 4.06 3.76 表現 3.09 4.41 4.50 他との関係性 2.68 3.85 4.15 7

アンケート結果 カテゴリごとに練習段階を比較して検定* 楽譜の補助 序盤に比べて中盤や終盤に書き込みが減少し、時間経過に伴って見なくなる 表現・他との関係性・心構え 序盤に比べて中盤や終盤に書き込みが増加し、よく見るようになる 練習の段階に伴って重要視される書き込みが 譜面理解から音楽表現へ *Friedman検定で比較し、5%水準で有意であった場合にNemenyi検定による多重比較を実施 8

アンケート結果 書き込む際の工夫について ｰ 重要なことを特に濃く・大きく書く ｰ 文字を省略したり記号に落とし込む 重ね書きについて ｰ 複数回指摘されたものを強調するため ｰ ほかの書き込みに埋もれて見にくくなったものを分かりやすくするため 日頃から自身の譜面の視認性向上のために書き方を意識 9

初期検討 ｰ 譜面への書き込みに関する基礎調査 現役吹奏楽部員を対象としたアンケート調査 「練習時間の経過に伴って書き込み内容は変化するのか」 ｰ 提案システムの利用可能性についての検討 プロトタイプシステムのユーザ評価実験 「筆圧による重要度の書き分けは可能なのか」 10

プロトタイプシステム ｰ PDFの譜面をアップロード ｰ 表示された譜面の上から書き込む ｰ 使用できる色は黒のみ ｰ 筆圧に応じて濃さ・太さが変化 11

プロトタイプシステム ｰ スライダーを用いて、時間経過による 書き込みの濃度変化を模擬的に再現 ｰ 時間と距離の近さをもとにストローク をグルーピング ｰ ストローク群の筆圧平均を算出 ｰ 筆圧平均値の低いストローク群から順 に書き込みが薄くなっていく 12

実験 著者が指導者側となって一対一の指導環境を再現しタブレット上に書き込む 書き込みを残したい期間 「数週間」「数か月」「本番まで」 実験参加者 サックスパート10名（高校生4名、中学生6名） 実験環境 13

実験手順 実験説明 書き込み 意図の記入 インタビュー 14

実験手順 実験説明 書き込み 意図の記入 インタビュー ｰ 練習曲を事前に練習 ｰ 筆圧により重要度を設定するシステムであることを説明 ｰ 実際の指導を再現し、自由にタブレット上に書き込む ｰ 3段階の重要度を意識しながら筆圧で書き分ける 15

実験手順 実験説明 書き込み 意図の記入 インタビュー ｰ どの重要度を意識して書いたか実験参加者自身の意図を記入 ｰ スライダーを操作して将来的なシステムのイメージを理解 ｰ インタビュー形式のアンケートを実施 16

結果：筆圧と重要度 実験時にデータの不備が確認された実験参加者3名を除外 実験参加者の意図と筆圧データをもとにした認識の分類確率は最大で0.67 重要度の認識はストローク群の平均筆圧を低い順に3分割したもの 重要度の分類確率の平均 認識した重要度 意図した 低 中 高 低 0.67 0.16 0.18 中 0.44 0.35 0.21 高 0.21 0.29 0.50 重要度 17

結果：インタビュー システムが提示した書き込みが消えるイメージと実験参加者の意図との一致度 評価3以上が10人中9人（ 1:全く意思通りでない ～ 5:非常に意思通り） 主観的な評価では、ある程度自身の意図にシステムの挙動があっている 5 人数(人) 4 3 2 1 0 評価1 評価2 評価3 評価4 評価5 18

結果：インタビュー システムで書き込みをする際に筆圧をかけることへの負担 5 評価1と評価3以上に意見が分かれた 紙の譜面でそこまで筆圧を意識して いなかったためやや負担 人数(人) （1:全く負担ではない ～ 5:非常に負担） 4 3 2 1 0 評価1 評価2 評価3 評価4 評価5 普段から紙の譜面に筆圧をかけることがあるため あまり負担ではない 19

考察：傾斜のある譜面台上で筆記を行うことによる影響 データの不備で除外された3名の実験参加者について重要度を意識しながら 筆記を再現してもらった 実験中に書き込みを行うよりも実験後に筆記を再現した方が一致率が高い 重要度の分類確率の平均(実験中) 重要度の分類確率の平均(実験後) 認識した重要度 認識した重要度 低 意図した 中 低 中 高 0.67 0.16 0.18 0.44 0.35 0.21 重要度 意図した 低 中 高 低 0.86 0.13 0.02 中 0.31 0.53 0.16 高 0.12 0.19 0.69 重要度 高 0.21 0.29 0.50 20

考察：傾斜のある譜面台上で筆記を行うことによる影響 筆圧のコントロールが難しい要因 ｰ 傾斜のある状況下ではなく、時間が限られている状況下による 影響が大きい可能性 ｰ 実際に、「早く書くことで全体的に筆圧が弱くなった」という 意見も得られた 21

考察：重要度を考えてから筆記を行うことによる影響 そもそも自分のなかで重要度が定まっていない 重要度を考えながら書くのは大変だが、意識をすることで 演奏技術の向上にいい影響がありそう 書き込み時に重要度を考えて筆圧に反映させるには慣れが必要だが 重要度を意識することに対して前向きな意見も得られた 22

考察：重ね書きについて 音量に関する記号を何度も囲ったりなぞったりしていた 例 p (ピアノ)や f (フォルテ)、 (クレッシェンド) クレッシェンドの重要度を高くする傾向はあったものの、 ほかの音量記号を囲んだものについては重要度に一貫性は みられなかった 記号や音符を囲う行為は重要度とは関係なく習慣化している可能性 23

考察：重ね書きについて 音量記号についての書き込み 五線や音符の上から重ねて書き込むため、重要度にかかわらず その書き込み自体が譜面に埋もれないように工夫した可能性 文字自体を囲ったり下線を引くような書き込み 自身が書いた書き込みを再度強調するためのものであると考えられる 記号ではなく文字に対しての追加の書き込みは 重要度設定に利用できる可能性 24

考察・展望 楽器が邪魔で筆圧をかけにくかった 大型楽器は小型楽器に比べて筆圧をかけにくい可能性があるため、 楽器による書き込む際の姿勢の違いの影響について今後考慮していく必要 25

展望 ｰ 複数回の指導などより継続的な実験 ｰ 使用する色や実験参加者の楽器や学年の幅を広げたうえでの実験 ｰ 筆圧に加えて重ね書きや書き込み内容などの複数の指標を組み合わせた 書き込みの重要度設定手法の検討 26

まとめ 背景：譜面への書き込みが増えると視認性が低下する 目的：実用性と視認性に優れたデジタル譜面環境の構築 手法：筆記情報をもとに設定した重要度に応じて表示濃度を下げる 調査：練習段階とともに重要視される書き込みが譜面理解から音楽表現へ 実験：一対一の指導環境を再現しタブレット上に書き込む 結果：筆圧による書き分けはある程度可能 展望：複数の指標を組み合わせた重要度設定手法の検討 27