メロ字ィ: 手書き練習における お手本と手書きのずれを考慮したメロディ提示手法

メロ字ィ: 手書き練習における お手本と手書きのずれを考慮した メロディ提示手法 明治大学 B3 鳩貝怜央 松田さゆり 渡邉健斗 中村 聡史 株式会社ワコム 掛晃幸 1

はじめに 音階を使って文字練習をするシステム「メロ字ィ」の改良 https://melogy.net/ 2

• https://melogy.net/

背景 文字練習において，繰り返し書く練習方法が一般的 問題点：退屈になりがち 3

関連研究：音により文字練習の支援 エクスカキバー • 点，直線，曲線にビジュアルサウンド エフェクトを加える [中川ら 2022] 中川久倫, 伊藤弘大, 藤田和之, 岸楓馬, 福島力 也, 伊藤雄一, “エクスカキバー:ビ ジュアル・サ ウンドエフェクトを用いた筆記支援, ”インタラ クション 2022 論 文集, pp.641-644, 2022. i文鎮 • 「トメ」，「ハネ」，「ハライ」に対応した 効果音を再生 [牟田ら 2014] 牟田将史, 石川優, 里井大輝, 星野准一, “i 文鎮: 書くことを楽しくする文 4 鎮, ”情報処理学会研究 報告, pp.1-5, 2014.

これまでの研究「メロ字ィ」 手書き軌跡に応じてメロディが鳴る文字練習システム [松田ら 2023] 音が鳴ると楽しい 練習回数増える メロ字ィのシステム画面 松田 さゆり, 渡邉 健斗, 横山 幸大, 青木 由樹乃, 青木 柊八, 中村 聡史, 掛 晃幸, 石丸 築. メロ字ィ: ペンの位置に応じた音 階の音提示による手書き文字練習システムの提案, 信学技報 ヒューマンコミュニケーション基礎研究会（HCS）, 2023. 5

これまでの研究「メロ字ィ」 実験結果 • メロ字ィを使用すると練習回数が多くなることを 明らかにした • 問題点： キャンバス上のどこを書いても音が鳴ってしまう 音を楽しまれ，文字練習から外れる可能性がある 6

目的&アプローチ 目的 楽しく丁寧に文字練習を行ってもらう アプローチ お手本からずれないよう誘導する音提示 7

提案手法 手書きのストロークとお手本との距離が一定以下のときに のみメロディ音が鳴る仕組み 今回の設定 20ピクセル離れると音が鳴らなくなる 8

先行研究： お手本から離れても音が鳴る 9

今回のシステム： お手本から離れると音が鳴らない 10

仮説 手書きストロークがお手本のストロークから一定以上 離れると音が鳴らないようにすると， 先行研究と比べて丁寧になぞろうとする 11

実験 使用する文字「梵字」 日本人にとって馴染みのない文字 16個の梵字 実験協力者36名を3群に分類 音無し群(12名)：音提示を行わない 旧メロ字ィ群(12名) ：先行研究と同じ 新メロ字ィ群(12名) ：本提案手法 12

実験 5分休憩 練習 テスト 練習 いずれかの手法で梵字16文字を5回ずつなぞる 13

実験 テスト • 全群統一で音提示なし • 3回ずつお手本なしで書いてもらう テスト画面 14

結果：なぞる速度（練習） 新メロ字ィ群において文字をなぞる速度が遅くなる ＊ ＊ 1ピクセル書くのにかかった時間（ms） 15

結果：お手本とのユークリッド距離（練習） • 総和は旧メロ字ィ群が長くなっている 手書きの点群 お手本の点群 最短ユークリッド距離 お手本となぞった文字の平均ユークリッド距離 16

結果：無音区間の割合（練習） 該当する文字の割合 お手本から20ピクセルを超えた割合が5%以下では 新メロ字ィ群が最も多い 音が鳴ってない距離の割合 17

結果：書く速度（テスト） 1ピクセル書くのにかかった時間（ms） 18

考察：なぞる速度（練習） 新メロ字ィ群の書く速度が有意に遅くなった • お手本からずれたときに音が鳴らない 音が常に鳴るように注意して書くようになる • 新メロ字ィは手書き練習を丁寧に取り組むことを 誘導する 19

考察：お手本とのユークリッド距離（練習） 平均ユークリッド距離の差が少なかった 直線で差は少ない 曲線に着目する 新メロ字ィ群は音が鳴ってない区間が 5%以下の文字の数が多かった 音が鳴る幅の制約が効果的に機能している 20

考察：書く速度（テスト） • テストにおける書く速度に差は見られなかった 音の制限がなくなった 書く速度が元に戻った • 文字の大きさがバラバラ 綺麗さを分析できなかった 21

今後 • より文字練習に集中させる手法についての検討 • 練習回数を増加させたときの検証 • 小学生や日本語の学習者の漢字練習を対象に検証 22

まとめ • 背景：本来の目的である文字練習から離れてしまう • 目的：より丁寧に練習を行ってもらう • 手法：一定以上お手本から離れると音が鳴らなくなる • 実験：3群に分けて練習したのちテスト • 結果：速度は遅くなったが距離は変わらない • 考察：幅の制約が効果的に機能している • 今後：条件を変えて検証 23