オフライン手書き文字数式化手法の提案と大規模平均文字の比較

新納  真次郎郎、⻫斉藤  絢基、久保⽥田夏美 中村  聡史、  鈴鈴⽊木  正明 （明治⼤大学  総合数理理学部  先端メディアサイエンス学科） 第101回グループウェアとネットワークサービス研究発表会

 背景 #1 •⼿手書きを利利⽤用する機会は今現在でも多い！   •⽂文化庁の世論論調査によると⼿手書きを利利⽤用する機会が ! 26$ 「ある」と答えた⼈人は73% ⽇日常⽣生活において， ⽂文字を⼿手書きする機会があるか？   平成  26  年年度度「国語に関する世論論調査」   27% はい 73%73%

背景 #2 •ペンタブレットなどが普及し、 コンピュータ上でも⼿手書きが⾏行行える機会が増加   オンライン⼿手書き •しかし、紙とペンによる⼿手書きも未だに⼀一般的！ オフライン⼿手書き

 背景 #2 •ペンタブレットなどが普及し、 コンピュータ上でも⼿手書きが⾏行行える機会が増加   オンライン⼿手書き これらの⼿手書きを⽀支援する   •しかし、紙とペンによる⼿手書きも未だに⼀一般的！ 研究は数多く存在する オフライン⼿手書き

 背景（関連研究） •dePENd  [⼭山岡  2013]   -‐‑‒ #3 ⼿手書きにおける正確な描画を磁⼒力力によって⽀支援

 背景（関連研究） •⾳音声ペン  [栗栗原  2005]   -‐‑‒ ⾳音声認識識によって関連した予測変換を提⽰示 #4

 背景（関連研究） #5 •平均⽂文字は美しい  [中村  2014] 中村，鈴木，小松! 平均文字は美しい，EC2014! みんなが書いた   オンライン⼿手書き⽂文字 平均⽂文字

 背景（関連研究） #5 •平均⽂文字は美しい  [中村  2014] ⼿手書きの1画1画（ストローク）を 中村，鈴木，小松! 数式化することで実現している 平均文字は美しい，EC2014! みんなが書いた   オンライン⼿手書き⽂文字 平均⽂文字

 ⼿手書きストロークの数式化 #6 •フーリエ級数展開によるストロークの数式化 272.08cos(0t)  +  0sin(0t)  +  16.62cos(1t)  +  -‐‑‒0.09sin(1t)  +  29.81cos(2t)  +  -‐‑‒0.32sin(2t)  +   -‐‑‒2.91cos(3t)  +  0.05sin(3t)  +  -‐‑‒37.67cos(4t)  +  0.8sin(4t)  +  18.93cos(5t)  +  -‐‑‒0.5sin(5t)  +   3.17cos(6t)  +  -‐‑‒0.1sin(6t)  +  8.71cos(7t)  +  -‐‑‒0.33sin(7t)  +  -‐‑‒0.03cos(8t)  +  0sin(8t)  +  ・・・ != 229.95cos(0t)  +  0sin(0t)  +  42.82cos(1t)  +  -‐‑‒0.23sin(1t)  +  4.75cos(2t)  +  -‐‑‒0.05sin(2t)  +   44.24cos(3t)  +  -‐‑‒0.7sin(3t)  +  16.89cos(4t)  +  -‐‑‒0.36sin(4t)  +  -‐‑‒2.51cos(5t)  +  0.07sin(5t)  +   3.11cos(6t)  +  -‐‑‒0.1sin(6t)  +  0.71cos(7t)  +  -‐‑‒0.03sin(7t)  +  0.6cos(8t)  +  -‐‑‒0.03sin(8t)  +  ・・・ 𝑦 𝑥 http://satoken.nkmr.io/2015/Char2Fourier/convert.html

• http://satoken.nkmr.io/2015/Char2Fourier/convert.html

 ⼿手書きを応⽤用した研究 平均化による⼿手書きの美化 #7 ⼿手書きの上達⽀支援 中村，鈴木，小松! 平均文字は美しい，EC2014!  [中村  2014]  [新納  2015] ⼿手書きのアニメーション表現  [佐藤  2015]  [久保⽥田  2016] ⼿手書きの認知科学的解明  [斎藤  2016]

 ⼿手書きを応⽤用した研究 平均化による⼿手書きの美化 #7 ⼿手書きの上達⽀支援 しかし、これまではオンライン⼊入⼒力力された ⼿手書きに対してしか数式化できなかった 中村，鈴木，小松! 平均文字は美しい，EC2014!  [中村  2014]  [新納  2015] ⼿手書きのアニメーション表現  [久保⽥田  2016] ⼿手書きの認知科学的解明 オフライン⼿手書き⽂文字を数式化することで ⼿手書きをより様々なことに応⽤用！！  [佐藤  2015]  [斎藤  2016]

オンラインとオフラインと違い •オンライン：筆順情報を持っている   •オフライン：筆順情報を持っていない #8

オンラインとオフラインと違い •オンライン：筆順情報を持っている   ストロークの筆順を復復元し   •オフライン：筆順情報を持っていない それらを数式化する！！ #8

 本研究の⽬目的 #9 画像から⼿手書き⽂文字を数式化し 様々な応⽤用を！ •今回対象とするのはひらがなに限定   •応⽤用の1つとして⼤大規模なオフライン⼿手書き⽂文字の 平均化に応⽤用 平均化 ？

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #10

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #10

 オフライン数式化⼿手法  1 #11 •サンプルデータの構築 オンライン⼊入⼒力力されたサンプルデータの構築によって 始点・終点やストローク情報をある程度度把握する

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #12

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理 ⼤大津展之:  判別および最⼩小2乗規準に基づく⾃自動しきい値選定法 電⼦子情報通信学会論論⽂文誌,  pp.  349–356,  1980.

 オフライン数式化⼿手法  2 #13 •ストロークの中⼼心線を抽出するため画像処理理 オリジナル   画像 ⼤大津の2値化処理理 グレイスケール処理理 細線化   画像 Zhang  Suenの細線化処理理 T.  Y.  ZHANG  and  C.  Y.  SUENA.  Fast  Parallel  Algorithm  for  Thinning  Digital  Patterns Communications  of  the  ACM  CACM  Homepage,  1984.

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #14

 オフライン数式化⼿手法  3 •始点・終点の抽出 細線化画像 #15 端点集合 端点 P1 P2 P3 P4 P5 8近傍に点が1つのみの箇所を 端点とし、端点集合を作成 P6

 オフライン数式化⼿手法  3 •始点・終点の抽出 端点集合 P1 P2 P3 P4 P5 #16 サンプルデータ ⼤大きさや位置を揃える P6 サンプルデータと⽐比較するため ⼤大きさと位置を正規化する

 オフライン数式化⼿手法  3 •始点・終点の抽出 P2 P1 P3 P4 P5 P6 順列列 #17 1画⽬目の   始点：P2   終点：P3 2画⽬目の   始点：P1   終点：P5 3画⽬目の   始点：P4   終点：P6 得られた端点とサンプルデータの始点・終点が   最⼩小距離離になるようなパターンを選出

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #18

 オフライン数式化⼿手法  4 • ストロークの抽出 例例)  3画⽬目：P4  →  P6 P1 P2 P3 P4 P5 P6 始点から終点まで 始点から終点まで 点列列を辿っていく 点列を辿っていく #19 パ   タ   ｜   ン A パ   タ   ｜   ン B 分岐が⽣生じた場合は   分岐が生じた場合は 複数経路路を辿る 複数経路を辿る

 オフライン数式化⼿手法  4 #20 •ストロークの抽出 複数の候補ストローク 　 サンプルデータ 候補ストロークの中からサンプルストロークと もっとも距離離が近いものを選抜

 オフライン数式化⼿手法 1 サンプルデータの構築 2 画像処理理によって中⼼心線抽出 3 始点・終点抽出 4 ストローク抽出 5 ストローク数式化 #21

 オフライン数式化⼿手法  5 •ストロークの数式化 得られたストロークを 得られたストロークを フーリエ級数展開によって数式化 フーリエ級数展開によって数式化 #22

 評価実験 #23 本提案⼿手法によってどの程度度の精度度で 正しく数式化が⾏行行えるかを評価する •評価に関しては我々の主観によって⾏行行う 評価システム

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) 3(回） 計690 （データ） ⾹香蘭⼥女女学校の中・⾼高⽣生から協⼒力力者を集め 5⼈人を無作為に選定

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) ランダムな順に指定された ⽂文字をプリントに記⼊入 3(回） 計690 （データ）

 データセット構築 #24 •オフライン⼿手書き⽂文字データセットを構築 = 5(⼈人) ひらがな46(語) 3(回） ボールペンやえんぴつなどで 3試⾏行行繰り返し書いてもらった 計690 （データ）

 各ひらがなの評価結果 #25 •平均70%の精度度で数式化 をすること可能としていた   •上⼿手くいっていた例例 •失敗していた例例 のセルは10%以下のもの のセルは80%以上のもの

 結果に対する考察   #26 •特に精度度が悪かった「あ・ぬ・む・め」について   -‐‑‒ 交差点を多く含み、間違った経路路を辿ってしまう   -‐‑‒ ストローク集合からもっともらしいストロークを 選抜する際に、点列列の距離離だけでなく曲率率率なども サンプルと⽐比較することによって改善できる？ Curving 候補ストローク サンプルストローク t

 結果と考察   #27 •ユーザごとの精度度の違い   サンプル •「き」「さ」「そ」「ふ」などの書き⼿手によって 書き⽅方が変わるものについては複数のサンプルを⽤用 意することによって改善

#28  ⼤大規模平均⽂文字をつくってみた • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ！   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析 「う」 「け」 「さ」 「せ」

#28 #28  ⼤大規模平均⽂文字をつくってみた • 精度度が⾼高かった⽂文字について平均⽂文字を⽣生成   -‐‑‒ ⾹香蘭⼥女女学校の中⾼高⽣生の約200⼈人の⽂文字   -‐‑‒ 3試⾏行行分を使⽤用し、総データ数は約600データ！   -‐‑‒ 学年年ごとの平均⽂文字や平均⽂文字の収束性を分析 「う」 「け」 「さ」 「せ」

 ⼿手書き⽂文字の分析(1) • 学年年ごとの平均⽂文字の推移 #29  　 　 　 　 　 　（各学年年  約40⼈人分のデータを使⽤用） 学年年 中1 中2 中3 ⾼高1 ⾼高2

 ⼿手書き⽂文字の分析(1) #29 • 学年年ごとの平均⽂文字の推移  　 　 　 　 　 　（各学年年  約40⼈人分のデータを使⽤用） 学年年中学1年年⽣生は⼩小学⽣生時代の⼿手書き練習に よって⽂文字を⼤大きく書いてしまっている？ 中1 中2 中3 ⾼高1 ⾼高2 ⾼高校⽣生で⼩小さくなるのは試験の解答⽤用紙に ⼩小さく書かなければならないため？

 ⼿手書き⽂文字の分析(2) •平均⽂文字の収束性   -‐‑‒ 100⼈人分（無作為に選定）のグループごとの 平均⽂文字の⽐比較 グループAの  　平均⽂文字 グループBの    　平均⽂文字 #30

 ⼿手書き⽂文字の分析(2) •平均⽂文字の収束性   -‐‑‒ 100⼈人分（無作為に選定）のグループごとの 平均⽂文字の⽐比較 グループAの  　平均⽂文字 グループBの    　平均⽂文字 #30

 ⼿手書き⽂文字の分析(2) #30 •平均⽂文字の収束性   -‐‑‒ 100⼈人分（無作為に選定）のグループごとの 平均⽂文字の⽐比較 グループAの  　平均⽂文字 100⼈人もの⼿手書き⽂文字データを集めれば， その平均⽂文字は収束する！！ グループBの    　平均⽂文字

 本研究の応⽤用可能性 平均化による⼿手書きの美化 #31 ⼿手書きの上達⽀支援 中村，鈴木，小松! 平均文字は美しい，EC2014! SCAN 例例）⼿手書きを⾃自動に綺麗麗にしてくれるスキャナ ⼿手書きのアニメーション表現 例例）スマホ撮影によるお⼿手本サンプリング ⼿手書きの認知科学的解明 = 例例）拡張現実による⽂文字アニメーション表現 例例）オンラインで書いても オフラインで書いても平均⽂文字は⼀一緒？

 まとめ •紙上の⼿手書きの平均化や⼿手書きアニメーションを #32 実現するため、紙上の⼿手書き⽂文字の数式化⼿手法を提案   •数式化の精度度は今のところ約70%   •オフライン⼿手書き⽂文字を平均化に応⽤用    [今後の課題]   •数式化の精度度の向上   •600⼈人のデータを利利⽤用した平均⽂文字の特徴分析   •ひらがなだけではなく漢字やイラストに応⽤用