メロ字ィ: 手書き軌跡に連動したメロディ提示による手書き文字練習システム

h"ps://melogy.net/ メロ字ィ: ⼿書き軌跡に連動したメロディ提⽰による ⼿書き⽂字練習システム HCS 2023/05/16 ＠沖縄産業⽀援センター 渡邉健⽃ 明治⼤学 松⽥さゆり 横⼭幸⼤ ⻘⽊由樹乃 ⻘⽊柊⼋ 株式会社ワコム 掛晃幸 ⽯丸築 中村聡史

はじめに ⾳階を使って⽂字練習をするシステム「メロ字ィ」 h"ps://melogy.net/ 1

背景 現代でも⼿書きをする機会は存在する 繰り返し書く練習法が⼀般的 2

漢字学習の好き嫌い 70 60 50 40 ％ すき まあまあすき 30 きらい 20 10 0 2年⽣ 4年⽣ 6年⽣ 島村直⼰, “児童の漢字学習:アンケート調査の結果から, ” 国⽴国語研究所研究報告集, no.10, pp.133-172, Mar.1989. 3

背景 繰り返し書く 4

背景 繰り返し書く 退屈になりがち 5

⽬的 退屈な⼿書き⽂字の繰り返し練習を 楽しく効果的なものにする 6

⼿書き⽂字練習を⽀援する研究 Mojivator ⼿書き⽂字とお⼿本⽂字を融合させることで、 ⾃⾝の⽂字を美化して提⽰するシステム [久保⽥ら2016] 書きたい⽂章と対象から、 適切な⽂字位置と⼤きさを プロジェクションマッピングで映し出すシステム [中村ら2016] 7

⽂字練習のやる気を出すためのサービス 8

⽂字練習のやる気を出すための研究 エクスカキバー 点・直線・曲線にビジュアルサウンド エフェクトを付与 [中川ら2022] i⽂鎮 トメ、ハネ、ハライに対応した効果⾳ [牟⽥ら2014] 9

⽂字練習のやる気を出すための研究 エクスカキバー 点・直線・曲線にビジュアルサウンド エフェクトを付与 ⽂字練習 × ⾳ [中川ら2022] i⽂鎮 トメ、ハネ、ハライに対応した効果⾳ [牟⽥ら2014] 10

アプローチ ⽂字練習 × ⾳ 動作による⾳階変化 11

提案⼿法：メロ字ィ ペンが動いた位置に応じた⾳階の⾳が鳴る⽂字練習システム 使⽤⾳階 メジャーペンタトニックスケール 不快な⾳にならない Mojivator機能 書いた⽂字とお⼿本とを融合した⽂字を表⽰ 12

実験 メロ字ィ群は、⾮メロ字ィ群より ⽂字練習を楽しく感じ、練習回数が多くなる 13

実験デザイン はじめて学ぶ⽂字を習得する場⾯ 指⽰回数以上に練習した回数で⽐較 14

実験 梵字の練習 16個の梵字 15

実験 梵字の練習 16個の梵字 1⽂字につき3回以上練習してください 16

実験 梵字の練習 16個の梵字 1⽂字につき3回以上練習してください 楽しければ必要回数以上練習する その超過回数を⽐較 17

実験 ⽂字練習 1⽇⽬ ⽂字練習 2⽇⽬ 練習回数の⽐較 ⽂字練習 3⽇⽬ アンケート 終了 主観評価の⽐較 18

プロトタイプシステム 19

結果（3⽇間の総練習回数） 総練習回数総練習回数 800 800 800 700 700 700 500 500 400 400 300 300 200 200 100 100 00 総練習回数 600 600 600 500 400 300 200 100 メロ字ィ群 メロ字ィ群（iPad） メロ字ィ群（iPad） ⾮メロ字ィ群 ⾮メロ字ィ群（iPad） ⾮メロ字ィ群（iPad） メロ字ィ群（スマホ ） ） メロ字ィ群（スマホ ⾮メロ字ィ群（スマホ ） ） ⾮メロ字ィ群（スマホ 0 メロ字ィ群のほうが練習回数が多い 20

結果（3⽇間の総練習回数と主観評価） 21

結果（3⽇間の総練習回数と主観評価） 22

結果（3⽇間の総練習回数と主観評価） メロ字ィ群では主観評価が⾼い⼈ほど練習回数が多い 23

感想 👍 リズムにのって操作する⾳楽ゲームのような感覚があり、 積極的に繰り返し練習を⾏うことが出来た 👍 ⾳が鳴ることでモチベーションが上がっている気がした 😓 気が散った 😓 短い線の時は⾳が⼼地よかったが、⻑い線だと少し邪魔に感じた 24

考察（ 練習回数・主観評価） メロ字ィ群のほうが練習回数が多い メロ字ィ群では主観評価が⾼い⼈ほど練習回数が多い メロ字ィを使⽤すると練習回数が増加 楽しい→練習回数が増加 繰り返し⽂字練習をする意欲につながるかは個⼈差がある 25

考察（練習回数・主観評価） メロ字ィ群のほうが練習回数が多い メロ字ィ群では主観評価が⾼い⼈ほど練習回数が多い メロ字ィを使⽤すると練習回数が増加 楽しい→練習回数が増加 繰り返し⽂字練習をする意欲につながるかは個⼈差がある 適当に遊ぶように書いただけでは？ 26

ユークリッド距離 考察（お⼿本と書いた⽂字のユークリッド距離） 総練習回数 総練習回数 ユークリッド距離 メロ字ィ群（iPad） メロ字ィ群（iPad） ⾮メロ字ィ群（iPad） ⾮メロ字ィ群（iPad） メロ字ィ群（スマホ ） メロ字ィを使⽤する⽅が、お⼿本に近い⽂字を書く傾向 メロ字ィ群（スマホ ） ⾮メロ字ィ群（スマホ ） 27

考察（お⼿本と書いた⽂字のユークリッド距離） メロ字ィを使⽤する⽅が、お⼿本に近い⽂字を書く傾向 練習回数増加による上達 適当に書いたら異なるメロディになってしまうため、 丁寧に書こうと意識 28

考察（お⼿本と書いた⽂字のユークリッド距離） メロ字ィを使⽤する⽅が、お⼿本に近い⽂字を書く傾向 練習回数増加による上達 適当に書いたら異なるメロディになってしまうため、 丁寧に書こうと意識 ⾳によって⽂字を記憶、区別することが可能なのか 29

⽂字当てテスト ⾳から⽂字を当てる 30

考察（⽂字当てテスト） 3画（難易度が⾼）でも正解率が⾼い⽂字があった 形が特徴的 → ⾳も特徴的 31

考察（⽂字当てテスト） 3画（難易度が⾼）でも正解率が⾼い⽂字があった 形が特徴的 → ⾳も特徴的 32

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 33

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 34

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 35

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 36

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 37

考察（⽂字当てテスト） 相互に誤答が多かった⽂字 形が似た⽂字は混同してしまう 38

今後 ⽂字練習⾃体に注⼒しやすいような⾳のデザイン 似た⽂字の区別をしやすくするための効果⾳の付与 幼稚園児や⼩学⽣を対象に実験を実施 39

まとめ ⽬的：退屈な⽂字練習を楽しく効果的なものにする ⼿法：⼿書きの軌跡に応じて⾳階の⾳が鳴るメロ字ィ 仮説：より⽂字練習を楽しく感じ、練習回数が多くなる 実験：1⽂字あたり3回以上の⽂字練習を3⽇間 結果：メロ字ィ群の⽅が、総練習回数が多い 考察：練習を繰り返すかどうかには個⼈差がある 今後：⼩学⽣、幼稚園児に使ってもらう 40