[DEIM2019]スマートフォンの位置変化の影響を考慮した両足ジェスチャ認識手法

スマートフォンの位置変化の影響を 考慮した両足ジェスチャ認識手法 田村柾優紀（明治大学大学院 先端数理科学研究科） 中村聡史（明治大学）

提案手法 (デモ動画)

背景 (デバイスの主な操作方法) • 環境にあるデバイスを操作する際には主に 手による操作と、音声による操作が考えられる • 音声による操作は手が使えない状況や使いたく ない状況で主に使用される

背景 (デバイスの主な操作方法) • 環境にあるデバイスを操作する際には主に 短期間に何度も行わない 手による操作と、音声による操作が考えられる 操作には便利 • 音声による操作は手が使えない状況や使いたく ない状況で主に使用される

背景 (デバイスの主な操作方法) • 環境にあるデバイスを操作する際には主に 短期間に何度も行わない 手による操作と、音声による操作が考えられる 操作には便利 • 音声による操作は手が使えない状況や使いたく ない状況で主に使用される 何度も同じ操作をするのは 手間が大きい

音声タンギングによる操作 Voice as Sound: Using Non-verbal Voice Input for Interactive Control[2015 Igarashi] 一度に操作が必要な場合における 手間の問題を解決

背景 1ページ読み終わってから ページ遷移させたい状況 ザッピング 一度に操作するわけではないが 同じような操作が何回も必要となる時には 音声認識での操作は手間

背景 (音声認識) 楽譜を見ながら 大きな音が出て 子供を寝かし 楽器を演奏 しまうような料理中 つけてる時 音声認識による操作が向かない状況

関連研究 (足によるジェスチャ) • ShoeSoleSense: Proof of Concept for a Wearable Foot Interface for Virtual and Real Environments[2013 Matthies] 靴のソールに圧力センサを取り付け足のジェス チャを認識 • Exploring Subtle Foot Plantar-based Gestures with Sock-placed Pressure Sensors[2015 Fukahori] 靴下に圧力センサを取り付け足のジェスチャを 認識

関連研究 (足によるジェスチャ) • ShoeSoleSense: Proof of Concept for a Wearable Foot Interface for Virtual and Real Environments[2013 Matthies] 靴のソールに圧力センサを取り付け足のジェス 新たにデバイスを取り付けるのは チャを認識 手間がかかる • Exploring Subtle Foot Plantar-based Gestures with Sock-placed Pressure Sensors[2015 Fukahori] 靴下に圧力センサを取り付け足のジェスチャを 認識

関連研究 (足によるジェスチャ) • Sensing Foot Gestures from the Pocket [J.Scott 2010] • ズボンのポケット内のスマートフォンによる ジェスチャ認識 • 片足のみ • 加速度センサのみ

関連研究 (足によるジェスチャ) • Sensing Foot Gestures from the Pocket [J.Scott 2010] • ズボンのポケット内のスマートフォンによる ジェスチャ認識 前ポケットでの認識精度が低い • 片足のみ • 加速度センサのみ

関連研究 (足によるジェスチャ) • Sensing Foot Gestures from the Pocket [J.Scott 2010] • ズボンのポケット内のスマートフォンによる ジェスチャ認識 前ポケットでの認識精度が低い • 片足のみ • 加速度センサのみ 入れる向きや位置による 認識精度への影響が未考慮

背景 (両足ジェスチャ) 左右同じシンプルなジェスチャで 前後移動的な操作が可能

これまでの取り組みまとめ ポケット内のスマートフォンによる両足ジェスチャ 認識手法の提案と分析 [田村 2017] 1. 両足ジェスチャにおけるセンサデータの データセットを構築 →データセット構築手法に問題があった 2. 加速度・角速度・マイクセンサを用いた提案手法の 両足ジェスチャの認識精度を評価 →提案手法における精度が十分ではなかった 3. 精度評価の結果をもとに実環境での使用実験 →認識時間が長く、評価が低かった →スマホの向きに制限があった

本研究の目的 ポケット内のスマートフォンを 利用した日常的に利用可能な 両足ジェスチャ操作手法の確立

本研究のアプローチ 1 2 データセット作成手法の改善 特徴量と分類器の再検討 特徴量を増やすよ 3 4 認識時間の短縮 様々な向きのスマホの向きに対応

従来のデータセットの問題 • 切り替わりのタイミングが把握し辛い • センシング周波数が30[Hz]で、センシング回数が少ない ジェスチャ開始タイミングのぶれを改善した データセット構築システムを新たに提案

データセット構築システム • 音楽ゲームのプレイ中のUIを参考に以下の 様なタスク提示システムを実装 • スマホのセンシング周波数を50[Hz]に変更

本研究のアプローチ 1 データセット作成手法の改善 2 特徴量と分類器の再検討 特徴量を増やすよ 3 4 認識時間の短縮 様々な向きのスマホの向きに対応

精度改善のため認識手法の再検討 ジェスチャ開始地点 [m/s^2] [フレーム]

精度改善のため認識手法の再検討 ジェスチャ開始地点 最大値 [m/s^2] 最小値 [フレーム]

精度改善のため認識手法の再検討 ジェスチャ開始地点 最大値 中央値 平均値 [m/s^2] 最小値 [フレーム]

精度改善のため認識手法の再検討 • これまでの研究における認識 • 特徴量：最大値・最小値 • 分類器：SVM • センシング周波数：30[Hz] • 本研究における認識 • 特徴量：最大値・最小値・平均値・中央値 • 分類器：Random Forest • センシング周波数：50[Hz]

データセット再構築 • 実験協力者：20歳～24歳の15人 • ジェスチャ回数 • 左右の足による踵の上げ下げをランダムに200回 • 使用センサ • 加速度センサ・角速度センサ・マイク • センシング周波数：【今回】約50[Hz]

精度改善のため認識手法の再検討 これまでの研究 本研究 F-measure 0.933 0.986 特徴量と分類器、サンプリング周波数 を変更したことにより認識精度が改善

本研究のアプローチ 1 データセット作成手法の改善 2 特徴量と分類器の再検討 特徴量を増やすよ 3 4 認識時間の短縮 様々な向きのスマホの向きに対応

望ましいシステム応答時間 [Miller 1968]の研究を参考に、ユーザがジェスチャを開始 してから200[ms]（10フレーム）以内にジェスチャを認識 ジェスチャ開始地点 [m/s^2] [フレーム]

望ましいシステム応答時間 [Miller 1968]の研究を参考に、ユーザがジェスチャを開始 してから200[ms]（10フレーム）以内にジェスチャを認識 ジェスチャ開始地点 500[ms]（25フレーム） [m/s^2] [フレーム]

望ましいシステム応答時間 [Miller 1968]の研究を参考に、ユーザがジェスチャを開始 してから200[ms]（10フレーム）以内にジェスチャを認識 ジェスチャ開始地点 500[ms]（25フレーム） [m/s^2] 200[ms]（10フレーム） [フレーム]

予備動作を用いた認識 仮説：ジェスチャを開始する直前の構えの動作を 用いることで、認識精度の悪化を軽減可能 ジェスチャ開始地点 [m/s^2] 予備動作 200[ms]（10フレーム） [フレーム]

予備動作を用いた認識 仮説：ジェスチャを開始する直前の構えの動作を 用いることで、認識精度の悪化を軽減可能 ジェスチャ開始地点 [m/s^2] 予備動作 200[ms]（10フレーム） [フレーム]

精度改善のため認識手法の再検討 10フレーム[200ms] ジェスチャ開始タイミング後 タ イ ミ ン グ 前 9 10 15 0 予備動作 なし 0.870 0.881 0.925 10 予備動作 使用 0.878 0.897 0.937 予備動作を利用して生成した 特徴ベクトルの方が認識精度が高い

精度改善のため認識手法の再検討 10フレーム[200ms] ジェスチャ開始タイミング後 タ イ ミ ン グ 前 9 10 15 0 予備動作 なし 0.870 0.881 0.925 10 予備動作 使用 0.878 0.897 0.937 予備動作を利用して生成した 認識精度には課題が残る 特徴ベクトルの方が認識精度が高い

本研究のアプローチ 1 データセット作成手法の改善 2 特徴量と分類器の再検討 特徴量を増やすよ 3 4 認識時間の短縮 様々な向きのスマホの向きに対応

向きと位置による影響を考慮 した認識手法 スマホのポケット内での向きのパターン 向きと位置の変化による影響を 軽減するため傾斜情報を利用

向きと位置による影響を考慮 した認識手法 比較する手法 • 従来手法：加速度・角速度・マイク • 提案手法：加速度・角速度・マイク・傾斜情報 • 特徴量：最大値・最小値・平均値・中央値 • 分類器：Random Forest • サンプリング周波数：約50[Hz]

向きと位置による影響 右足の前ポケットに4パターンの向きで入れたデータで 学習させた分類器を用いた際のそれそれの向きでの認識精度 向き 平均 手法 Precision Recall F-measure 従来手法 0.887 0.878 0.883 提案手法 0.900 0.895 0.898 傾きの特徴を用いることで 向きによる影響を軽減

総合考察 • 予備動作をセンシング可能なデータセット構築システムを 実装し、予備動作を用いることで、認識精度が改善 • 他のジェスチャ認識の研究においても、予備動作を 用いることで認識精度改善や認識時間短縮が可能 • 位置変化による認識精度の影響を、傾斜情報を用いる ことで影響を軽減可能 • 位置が固定されないデバイスを用いたジェスチャ認識の 研究ではこの知見を活用可能

まとめ 位置変化に対応し、予備動作を用いた認識 手法を用いた両足ジェスチャ認識手法を検討 • これまでの提案手法による認識精度が低い →再検討した特徴量を使用することで認識精度が改善 • 認識に時間がかかりすぎた →予備動作を使用することで認識精度が改善されたが 認識精度は十分でない • 使用時のポケット内での向きと位置による影響が 未考慮 →傾きの特徴量を使用することで向きと位置による 影響を軽減