微細な筆圧変化を用いたシート判別手法の提案

微細な筆圧変化を用いた シート判別手法の提案 明治大学 瀬崎夕陽，関口祐豊，中村聡史 1

はじめに ペン先を変えたい アンチエイリアス？ 幅広い表現が可能 しかし 記号意味を認識し 正しく選択する必要がある このボタン何？ 2

はじめに なぞるとその色で書けるようになるパレット 意味の認識を容易にする 3

はじめに 実世界の物理インタフェース 背景の色変えたい 今レイヤーどこ？ DigitalDesk DataTiles TUIC PenShaft ステッカーって？ 幅広い表現が可能 Wellner, P.: The DigitalDesk calculator: tangible manipulation on a desk top display, Proceedings of the 4th Annual ACM Symposium on User Interface Software and Technology, UIST ’91, New York, NY, USA, Association for Computing Machinery, p. 27–33 (1991). しかし Rekimoto, J., Ullmer, B. and Oba, H.: DataTiles: a modular platform for mixed physical and graphical interactions, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’01, New York, NY, USA, Association for Computing Machinery, p. 269 –276 (2001). 記号意味を認識し 正しく選択する必要がある Yu, N.-H., Chan, L.-W., Lau, S. Y., Tsai, S.-S., Hsiao, I.-C., Tsai, D.-J., Hsiao, F.-I., Cheng, L.-P., Chen, M., Huang, P. et al.: TUIC: enabling tangible interaction on capacitive multi-touch displays, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 2995–3004 (2011). Sun, J., Foley, M., Xu, Q., Li, C., Li, J., Irani, P. and Li, W.: PenShaft: Enabling Pen Shaft Detection and Interaction for Touchscreens, 12th Augmented Human 4 International Conference, pp. 1–9 (2021).

関連研究 DataTiles [Rekimotoら,2001] 透明なタイルに埋め込まれた無線タグを用いて、 物理的な操作と視覚的なインターフェースを融合 DigitalDesk [Wellnerら,1991] 外部カメラとプロジェクタを用いて、 机に電子プロパティを与えて操作可能な電卓を実現 TUIC [Yuら,2011] アクティブ変調回路を用いて、 タブレット上の位置をつたえ、視覚的な分かり易いインターフェース 追加デバイスを不要にし，他分野での利用を期待 5

筆記対象物が筆圧に及ぼす影響 筆記対象物の凹凸に引っかかると、 微細な筆圧変化が生じる ザラザラな表面では小刻みな変化 滑らかな表面では少ない変化 筆圧変化をシステムへの入力に用いる 仮説 「浅い溝を有するシートのテクスチャごとに、ペン先が受ける 微細な筆圧変化にもとづいてシートの識別が可能となる」 6

提案手法 タブレットのディスプレイ上に規則的な溝のあるシートを敷き その上で筆記する際に生じる微小な筆圧変化を利用したシート識別手法 筆記対象物：規則的な溝のあるシート 判別規準：一定距離での筆圧変化回数、間隔の規則性 例）溝間隔幅1.0mmのシートでは、1.0mmごとに特徴的な筆圧変化 が発生する 検出方法：筆圧の微分値が正から負に変化する地点をピークとみなす ピーク 特徴量：ストローク中のピーク回数 x軸方向におけるピーク間隔幅の頻度 筆圧変化の標準偏差 7

シートの試作 この機械は適してますか？ 作成方法：光学レイザ(Trotec300)をアクリル板に照射 溝の形状：格子、斜め線、円、直線 1軸方向に限定できる単純な縦線を選択 溝の間隔幅：等間隔での比較を行った ・0.5mm以下の場合筆圧変化が生じにくい ・3.0mm以上ではデータの取得が不安定 1.0mm~2.0mmに絞り込んだ 1.0mmと1.5mmなど 間隔の異なる溝を交互配置 溝間隔の異なる 6つのシートを用いる 8

データセット構築 システム JavaScriptを用いて実装 シート 1.0mm～2.0mmの6つ （等幅3つ，交互3つ） 筆記条件 筆記形状：横直線 筆記サイズ：2往復 筆記回数：各シート60回 9

分類方法 推定方法 ランダムフォレストを用いた分類 特徴量5つ： ・筆圧の標準偏差 ・ピーク回数 ・1.0mmに相当するX軸方向のピクセル間距離のピーク回数 ・1.5mmに相当するX軸方向のピクセル間距離のピーク回数 ・2.0mmに相当するX軸方向のピクセル間距離のピーク回数 データ数 全体で360件（各シート60件） →ランダムに8割を学習データ、2割をテストデータとして分割し 5分割交差検証を行った 10

結果と考察 正しく判別された割合 全データ 正解率：0.74 最大：0.85 最低：0.58 F値：0.74 本当は2だけど1と判別された 本当は6だけど5と判別された すべてのシートにおいて0.58以上の精度 一定の精度でシートの予測を行うことが出来ていると考えられる 11

結果と考察 正しく判別された割合 全データ 正解率：0.74 最大：0.85 最低：0.58 F値：0.74 すべてのシートにおいて0.58以上の精度 一定の精度でシートの予測を行うことが出来ていると考えられる シート1と2、シート5と6が誤って検出されやすい 精度を下げているシートの組み合わせがある可能性 12

結果と考察 対象とするシートの組み合わせ別の正解率（4組以上） 上位 下位 順位 組み合わせ 正解率 順位 組み合わせ 正解率 1 (1,3,4,6) 0.90 18 (1,2,5,6) 0.76 2 (1,3,4,5) 0.89 19 (1,2,4,6) 0.76 3 (2,3,4,6) 0.87 20 (1,2,4,5,6) 0.75 4 (1,3,5,6) 0.87 21 (1,2,3,4,5,6) 0.74 5 (2,3,4,5) 0.87 22 (1,2,3,4) 0.73 ・上位の組み合わせでは0.90以上，下位の組み合わせでは0.70程度 組み合わせによって正解率に差がある ・1と2や5と6の組み合わせは精度を下げる要因になっている →1(1.0mm幅)，2(1.5mm幅)，5(1.0mmと2.0mm交互)，6(1.5mmと2.0mm交互) 13 1.0mm幅と1.5mm幅が共存する場合に判別が難しくなる

考察と展望 3組だと最大0.98 組み合わせ 正解率 (1,3,5) 0.98 (1,3,6) 0.98 (3,4,5) 0.96 (3,4,6) 0.94 (2,3,5) 0.92 シート ・適切な組み合わせが存在するので、組み合わせを考慮する ・円状などの様々なパターンで検証 実験方法 ・筆記距離で正解率が変わったので、さらに長くした場合も検証する ・横線のみに限らず、多彩な筆記形状も提案 推定方法 ・データ数の不足が懸念されたので、ネイティブアプリケーションによる 描画点取得数の増加 応用方法 ・筆圧変化をシステムへの入力として用いる新たなソフトウェア操作 14

まとめ はじめに 複雑な記号意味を持ったインタフェースが混在している 目的 追加デバイスを必要としない認識容易なインタフェースの実現 実験 6種類のシートを用いて直線の筆記を筆圧変化により分類 結果 全体平均0.74、4シートの組み合わせでは最大0.90の正解率を出した 展望 点取得頻度の向上およびシートや推定方法の改善 15