1.9K Views
February 23, 19
スライド概要
ひとの文字の捉え方を�考慮した手書き類似度評価手法の提案と応用
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
≒ ひとの文字の捉え方を 考慮した手書き類似度評価 手法の提案と応用 新納真次郎 (先端メディアサイエンス専攻 2722172004 中村聡史研究室) 2019.02.01 修士論文発表会
本研究の貢献 l どちらが “似ている” 文字だと思いますか? A B
本研究の貢献 l どちらが “似ている” 文字だと思いますか? A 本研究では このような ひとが思う文字の “似ている” B の定量化を可能にしました!
背景 - 手書き研究の取り組み l 手書きをよりよくするために特性の解明や 支援を行う研究は多くある 例1)手書きの美麗性の評価 [Park 2005][小林 2016] 例2)手書きの美麗化 [Matayoshi 2018]
背景 - 手書き研究の取り組み l 平均文字は綺麗 [中村 2014] ひとの文字を平均化すると綺麗であると評価される いろいろなひとの文字を平均化するとさらに綺麗であ ると評価される 平均 平均文字
これまでの取り組み❶ l 平均図形も綺麗 [Niino 2017] 図形においても平均化すると綺麗であると評価される 平均化してブレを無くせば,非利き手で書いたものも 利き手で書いたものに似ていくことを明らかに!
主観による類似性評価 8人の利き手・非利き手の平均図形の類似性を調査する評価実験
主観評価のコストの問題 l 書き手の人数が20人に増えると…? l ひらがな文字50音において同じことを検証す ると…? l 何回で十分に類似するかを検証すると…? こういったものを全て人手で行うと 非常にコストがかかる!
これまでの取り組み❷ l 定量的な評価による利き手・非利き手の 平均文字の類似性の検証 [佐藤 2017] 点列のユークリッド距離を計算することで類似性を検証 ひらがな50音について調査 Dist = 13.78px
座標の近さ=類似度? l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった
座標の近さ=類似度? l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった
本研究の目的 新たにひとの手書き文字の捉え方を 考慮した類似度評価手法の提案 l いくつか類似に関する特徴量を用意して、 ひとはどの特徴に重みを置いているのかを調査 l これまでの平均手書きに関する分析研究に適用
提案手法 l 主観的な類似度といくつかの指標に基づい た定量的な類似度を照らし合わせて、ひと が感じる文字の類似度を定式化!
提案手法 – 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出
提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出
提案手法 - ❶類似度データセットの構築 l 似ている文字と似ていない文字を集める 形容詞対 全く 似ていない 似ていない あまり 似ていない 少し 似ている 似ている 非常に 似ている 評価値 −5 −3 −1 +1 +3 +5
提案手法 - ❶類似度データセットの構築 l 比較に使う文字 10名の10回ずつ書いてもらったひらがなデータを使用 ひらがな50音のうち20文字を選定 あるユーザの4回目とあるユーザの5回目の文字を比較 A B A J 4 5
提案手法 - ❶類似度データセットの構築 l 1文字につき18名以上の評価データを収集 -5(低い) 4 A B C D E F G H I J A 3.29 -0.33 2.14 -1.00 -0.05 1.29 -1.76 -0.24 -0.52 -2.62 B 0.33 3.38 1.10 2.71 -0.91 1.76 -2.33 -0.24 -1.10 -2.71 C 1.38 0.14 3.76 0.24 1.19 2.81 -1.19 -0.05 -0.24 -2.71 D -1.57 0.81 -1.76 3.86 -2.33 -1.67 -2.52 -3.10 -1.95 -3.67 5 E 1.00 0.43 0.52 -1.00 2.20 0.52 -2.05 0.43 -0.52 -2.14 F -0.05 1.10 3.10 -0.43 -2.14 3.67 -2.71 -0.91 -0.24 -3.29 G -1.86 -3.00 -1.57 -2.14 -2.14 -2.43 3.38 -1.57 -0.14 -3.19 H -0.14 0.91 0.33 -2.24 -0.81 2.52 -1.95 3.38 -1.19 -2.81 類似度 I 0.05 -2.14 -1.19 -1.29 -2.52 -1.76 -1.29 -1.95 1.29 -2.14 +5(高い) J -3.48 -3.76 -3.67 -3.76 -3.76 -4.05 -3.29 -3.67 -3.76 4.14
提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素: 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比 0.8 1.2 1 1
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離・バランス
提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか? 各ストロークの要素:ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素:縦横比・重心の距離・バランス
提案手法 - ❷あらゆる要素の類似度算出 !"#$%& :
ユークリッド距離
!1'/,$&2 :
重心座標の距離
!%#'()"#$%& :
ストロークごとの
ユークリッド距離
!/3"-*& :
縦横比の類似度
!*+',- :
!./0/%*- :
曲率グラフの差
!3&'#4-)/3"-*& :
ストロークごとの
縦横比の類似度
バランスの類似度
!0-%1&5 :
!/'-/ :
ストロークの
面積の類似度
ストロークの
長さの類似度
67
!0-%1&5 = 67 /68
68
提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出
提案手法 - ❸類似度評価式の導出 l 以下の重回帰分析を行なう
目的変数:人手によって構築された
類似度評価値の平均値
従属変数:定量的に算出された各指標の類似度
l 重み !" ~!$ と切片%にあたる部分を求める
&'(')*+',- &./+0 = 23 ×56/'7, + 29 ×57/+(:6/'7, + 2; ×5.<+=0
+ 2> ×5)07?,@ + 2A ×5*+0* + 2B ×5?+*=',- +
+ 2C ×5*D60., + 2E ×5D,+/F0:*D60., + 2G ×5H*)*7.0 + H
類似度評価式の導出結果
l 1画の場合:
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'
l 2画以上の場合:
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'
−0. 0;<×46*&#B5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*C+B%A5+)' − 0. 7-/×4D%$%6)+
評価式の当てはまり具合
l 1画の場合:
決定係数 RC = 0.76
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'
l 2画以上の場合: 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'
−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+
評価式の当てはまり具合
l 1画の場合:
決定係数 RC = 0.76
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'
l 2画以上の場合: 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'
−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+
類似度評価の算出例 A 84% B 37%
手書き特性の再検証 今回の類似度評価手法を用いて以下の 平均手書き文字の特性を再検証 ❶平均文字の収束性 ❷利き手・非利き手平均文字の類似性 l 図形においても適用してみる
❶平均文字の収束性 l 一定数平均を取ればある形に収束するという 仮説を検証 l つまり10回書かれた文字があった場合、 偶数回目に書かれた5回分の文字の平均 =奇数回目に書かれた5回分の文字の平均 になるはず l ユーザごとに偶数平均文字と奇数平均文字の 類似度を比較することで検証
-5 +5
結果:❶平均文字の収束性 l ひらがな全てにおいて、平均99.5%という 高精度で自身の偶数平均文字と奇数平均文字 が一致していた l 一致していなかったものも書き順の違いなど による影響だった l 平均文字は収束することが明らかになり、 5回ほどでも十分に収束することがわかった
❷利き手・非利き手平均文字の類似性 l利き手と非利き手の平均文字は類似す るかを検証 lユーザごとの利き手平均文字と非利き 手平均文字の類似度を比較する
-5 +5
結果:❷利き手・非利き手平均文字の類似性 l ひらがな全てにおいて、平均51.4%という 精度で自身の利き手平均文字と非利き平均 文字が一致していた ランダムに選択した時の一致率:10% l ランダムに選択した際の一致率よりはかなり 高いがそれほどいい精度ではなかった
考察 l 文字における利き手平均と非利き手平均の 一致率が低かったことに対する考察 利き手と非利き手で書く文字はすこし傾きが違う? 今回の手法ではその傾きが考慮できていなかった
-5 +5
-5 +5 12 93.1% 6
まとめ 背景 手書き文字を定量的に扱うことで 手書きをよりよくする研究が存在 目的 ひとの手書き文字の捉え方を考慮した類似度 評価手法の提案をし、手書きの特性解明に応用! 提案手法 主観的な類似度といくつかの指標に基づいた 定量的な類似度を照らし合わせて、ひとが感じる 文字の類似度を定式化 手書きの特性 解明への適用 平均文字の収束性や 利き手・非利き手平均文字の類似性を明らかに! 今後の課題 l 類似度評価データセットの改善や傾きなどの他の 指標の追加による精度の向上 l 精度評価実験の実施
各要素の類似度の重要度
評価データセット構築の工夫
応用可能性❶ l お手本との違いを明示する 手書き練習システム お手本と異なる部分を客観視 日々の上達度合いも可視化可能 l 自動筆跡鑑定 どのユーザのサンプル文字(ある いは平均文字)と最も類似するか 似ている文字でソートすることも可 80%
今後の課題 l 有用性を示すための精度検証 提案手法による類似度評価が、本当にひとの 評価と一致したものになっているか?の検証 (交差検定などで精度評価の実施予定) ベースライン手法であるユークリッド距離による 評価との比較実験の実施 l精度の向上 傾きなどの他の類似要素の追加 類似度評価データの改善