無目的なスマートフォン起動タイミングの検出手法の検討

無目的なスマートフォン起動タイミン グの 検出手法の検討 桑原樹蘭（明治大学大学院 先端数理科学研究科） 中村聡史（明治大学）

背景 世の中には人による回答を必要とする多くのタスクが存在する 例 ２つの手書き文字のどちらがより美しいか 崩壊した建物やがれきの画像の詳しい分類[みちのく震録伝 2011] これらはコンピュータで判断するのが難しいタスク

背景 • 膨大な量のタスクをマイクロタスクに分割し， ウェブサイトからファイルをダウンロードする際などに 提示するシステム[Crowd4U] • Botかそうでないかをユーザの行動からスコアを算出し 判断するシステム，データが増えるほど精度が上がる [reCAPTCHA]

背景 • 膨大な量のタスクをマイクロタスクに分割し， ウェブサイトからファイルをダウンロードする際などに マイクロタスクに回答する機会は 提示するシステム[Crowd4U] 十分にあるとはいえない • Botかそうでないかをユーザの行動からスコアを算出し この機会を増やすことは重要 判断するシステム，データが増えるほど精度が上がる [reCAPTCHA]

背景 日常生活の中で何気なく回答を促す手法 • 音楽ゲーム内にマイクロタスクを組み込む[中村ら 2015] • 通路の床に投影し，選択肢の上を歩くことでタスクに 回答できるシステム[Iwamotoら 2018] • スマートフォンのロック解除にマイクロタスクを用いるアプリ [スマートアンサー 2015]

背景 日常生活の中で何気なく回答を促す手法 • 音楽ゲーム内にマイクロタスクを組み込む[中村ら 頻繁に提示しすぎると 2015] ユーザの邪魔になってしまう • 通路の床に投影し，選択肢の上を歩くことでタスクに 回答できるシステム[Iwamotoら 2018] • スマートフォンのロック解除にマイクロタスクを用いるアプリ [スマートアンサー 2015]

背景 日常生活の中で何気なく回答を促す手法 スマートフォンを無意識に起動 • 音楽ゲーム内にマイクロタスクを組み込む[中村ら 2015] するタイミングがあることに着 • 通路の床に投影し，選択肢の上を歩くことでタスクに 目 回答できるシステム[Iwamotoら 2018] • スマートフォンのロック解除にマイクロタスクを用いるアプリ [スマートアンサー 2015]

背景 • スマートフォンを所有するユーザの多くは 普段からスマートフォンを持ち歩いている • 暇な時間をつぶすためにスマートフォンを開いていることが少 なくない

背景 • コロプラの行った調査 調査対象の7割以上が1日あたりのスマートフォン利用時間が2時間超 調査対象の1/3が「1分暇があればSNSを見る」と回答 • dscoutによるAndroidユーザ96人を対象とした調査 平均的なユーザで1日145分，2617回のタッチ， よく利用するユーザだと225分，5427回もタッチ

背景 • 事前に行った聞き取り調査 「暇なときにSNSの更新を何度も繰り返している」 「ロック解除の点つなぎタスクをひたすらやっていることがある」

背景 スマートフォンは頻繁に利用されるものであり， また目的なく，無意識にスマートフォンを手に取っているタイミ ングもある ⇓ このタイミングを検知し，タスクを提示すれば ユーザの負担にならずにタスクを行ってもらえるのではないか？

研究の目的 大目的 マイクロタスクを行う機会を増やす ユーザがスマートフォンを手にしている間に タスクを提示してもユーザの邪魔にならないタイミング を センサ情報から推定する手法を検討する

関連研究(センサを用いた行動推定) • スマートフォンの加速度センサと通話用マイク（音センサ）か ら 行動推定[大内ら 2012] • インカメラで取得した顔画像のリアルタイム解析と加速度セン サから 本研究でもセンサ情報を用いるが スマートフォンの操作状態と歩行状態を推定[岡本ら 2013] 目的は行動推定ではなく 何気なくスマートフォンを手に取るタイミングの 検知

関連研究(タイミング検知) • オンラインの動画の映像と音声情報から動画広告を挿入するタイミングを 検知 [Taoら 2007] • スマートフォンでの動画視聴中にユーザの妨げにならない広告挿入タイミ ングを 加速度センサを用いて姿勢の変化を検知することで決定する [斎藤ら 2017] 本研究の目的は特に スマートフォンを手に取る際の タスクを表示するタイミングの検知

提案手法 ユーザがスマートフォンを手に取るときのセンサ情報から， 目的なくスマートフォンを手にしたと判断 →タスクを提示 目的があってスマートフォンを手にしたと判断 →そのままロック解除させる

無目的な行動取得実験① 仮説 目的がある場合の方が スマートフォンを手にとる動きが速くなる 目的 目的がある場合のセンサ情報の収集 ・目的の有無で比較

実験デザイン 実際にスマートフォンを何気なく(無目的に)起動する様子を取得す るには 日常的にユーザの状況を監視しつつログとして収集することが理想 取り続けたログデータに後で目的有無しでラベルづけするこ とは 現実的ではない 実験で記録できる形に設計する必要がある

実験デザイン • 目的なくスマートフォンを手に取る動きを再現するため， 実験中，PCで約30分の動画を流し随時タスクの指示を行った • 目的のない想定のタスクには ↓日常で無意識に行われる動作を取り入れるようにした 目的なし 目的あり

実験デザイン 約30分 準備 目的なしタス ク 計算 タスク 目的ありタス ク ・・・ スマートフォン 使用タスク 計算 タスク 目的なしタス ク

無目的な行動取得実験① 実験協力者(大学生6人) • タスクを行う間，加速度センサ情報を25Hzで記録 • タスク動画内でタスクが切り替わる際に時報音を提示するため ノイズキャンセリングヘッドホンを装着 • 計算タスク中はスマートフォンをぶつからない位置に置くよう 指示 ●REC

実験結果 スマートフォンを 手に取った時点を含んだ センサ情報50フレーム分 目的なし 目的あり 動きがあってから挙動が起きるまで 目的あり

実験結果 スマートフォンを 手に取った時点を含んだ センサ情報50フレーム分 目的なし 目的あり 動きがあってから挙動が起きるまで 目的あり 仮説の通りの傾向がみられるものはあったが 大きな差が見られないものや挙動の位置が分かりづらいデータが あった

実験結果 スマートフォンを 手に取った時点を含んだ センサ情報50フレーム分 目的なし 目的あり 動きがあってから挙動が起きるまで 目的あり 目的なしタスクの設計が不適切だった？ ⇓ 目的のない場合のタスクを再設計して追実験を行う

無目的な行動取得実験② • 実験協力者（大学生5人） • 前回の実験の問題点を改善して再実験 前回のタスク 今回のタスク

無目的な行動取得実験② 持ち上げておろす，という指示だと 持ったスマートフォンをすぐ置くことになり， • 実験協力者（大学生5人） 日常の動作から離れたものになってしまって いた • 前回の実験の問題点を改善して再実験

無目的な行動取得実験② • 実験協力者（大学生5人） • 前回の実験の問題点を改善して再実験

無目的な行動取得実験② • 前回の実験の問題点を改善して再実験 • 手法は前回と同様 • 目的なしのタスクを より無意識に行う動作に近いものを追加

結果② 動きがあってから挙動が起きるまで 目的なし 目的あり

結果② 動きがあってから挙動が起きるまで 目的なし 全体的に 目的ありの方が挙動が起きるま での時間が早くなっていた 目的あり

• https://gyazo.com/b9a33793932f002dc2db822723413c11

結果②(ユークリッド距離を用いた判 定) フレーム間でユークリッド距離を出して実験協力者ごとに 閾値a.bを設定 • 閾値aを超えたフレームが4連続した場合をタスク開始時点とみなす • 閾値bを超えた値がタスク開始から50フレーム以内に現れた場合， 目的ありタスクを行っているとみなす

結果② 目的なし 閾値b 目的あり

結果② 閾値b 目的なしタスクでは 黄色線(閾値b)を超えていなければ正解 目的ありタスクでは 黄色線(閾値b)を超えていれば正解

結果② 閾値b 目的なしタスクでは 黄色線(閾値b)を超えていなければ正解 目的ありタスクでは 黄色線(閾値b)を超えていれば正解 実験協力者Jは挙動が全く異なっていた ⇒Jだけは反対の値になっていた

• https://gyazo.com/f734c0d5eb031fc54d9a093d92d3e60d

結果②(ユークリッド距離を用いた判 定) ・全体のデータの約75%が閾値で目的の有無の判定が正しくできて いた

考察 • 実験協力者Jが反対の傾向があったのは追実験で原因を明らかに する必要がある • グラフの比較では全体的に見れば仮説通りの傾向があったように 思われるが，データ数が少ないため， データ数を増やした上で機械学習できる形にして判定する必要 がある • ユークリッド距離を用いた判定では， 条件を追加することでより正解数を増やせる可能性があると思 われる

まとめ・今後の展望 目的：ユーザの負担にならない形でタスクに回答する機会を増やす 提案手法：センサ情報でスマートフォンを持つときの目的の有無を判断し， 無目的のときにタスクを提示 実験結果： • 仮定通り，目的ありの場合の挙動が早くなる傾向はあるようにみえるが， 取得できたデータが少ないため，データ数を増やし， 機械学習で使える形にして判定を行う必要がある • 判定の条件を増やすことでより正解率を上げられると思われる 今後： システム化するにあたって自動でデータを抜き出すプログラムの構築を行う予定