眼鏡型集中度計測端末による行動推定

眼鏡型集中度計測端末による 行動推定 南里 英幸(B3)，中村聡史 (明治大学 総合数理学部 先端メディアサイエンス学科)

ライフログ →人間の生活を何らかの目的のために長期的に デジタルデータとして記録すること 私たちが日ごろ残している写真やファイル，このスライドなど もすべてライフログの一種 記録したライフログを利用することで，昔を思い出す手がかり や新たな着想を得るヒントなど活用できる可能性は大きい

ライフログ →人間の生活を何らかの目的のために長期的に デジタルデータとして記録すること 私たちが日ごろ残している写真やファイル，このスライドなども すべてライフログの一種 記録したものを探索することが大切 記録したライフログを利用することで，昔を思い出す手がかりや 新たな着想を得るヒントなど活用できる可能性は大きい

例えば… • 苦労してクリアした音ゲーのステージを撮った写真を探したい

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが，いつどこで撮った などは覚えていない • 同じ写真ばっかりで，ぱっと見てどれが 目的のものかわからない (動画)

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが，いつどこで撮った などは覚えていない • 同じ写真ばっかりで，ぱっと見てどれが 目的のものかわからない 探すのが大変！！ (動画)

苦労してクリアした音ゲーの楽曲を撮った写真を探したい • 曲名は記憶にあるが，いつどこで撮った などは覚えていない • 同じ写真ばっかりで，ぱっと見てどれが 目的のものかわからない (動画) 探しやすくする方法はないか？ 探すのが大変！！

ライフログの手がかり

ライフログの手がかり

ライフログの手がかり 手がかりは？

ライフログの手がかり あの時，やけ に集中してた 気がする これくらいの 点数だったような 記憶 手がかりは？ あの場所で 撮ったような

ライフログの手がかり 人 時間 位置情報

先行研究 • 写真探索において，時間や空間に加え人間関係を利用した 手法[Gomi 2011][中村 2012,13] [Gomi 2011] [中村 2012,13]

ライフログの手がかり サムネイル画像 タグ付け 時間 位置情報 +α

ライフログの手がかり サムネイル画像 タグ付け 手動でのタグ付けは手間 時間 位置情報 +α

Google Photo

Google Photo

先行研究 • 主観ライフログ写真の探索を支援する手段として，写真を 撮影時の撮影行動を記録し，それに基づいた探索が可能か の検討[神山ら 2015] • ライフログビデオから脳波等のセンサを用いてコンテキス トを推定することで，タグ付けをする手法[堀ら 2003]

先行研究 • 主観ライフログ写真の探索を支援する手段として，写真を 撮影時の撮影行動を記録し，それに基づいた探索が可能か の検討[神山ら 2015] • ライフログビデオから脳波等のセンサを用いてコンテキス トを推定することで，タグ付けをする手法[堀ら 2003] しかし，これでも不十分

本研究では… • 何かにのめりこんでいる，何かに注目している状態とはそ の何かに集中しているということになる． • 今回は，集中を分析に利用 • 集中を扱うならばJINS MEMEを使用するのが適している JINS MEME

研究目的 JINS MEMEで計測された集中度から 実際の行動を予測することが できるかどうかの検討 ① 個人について行動予測可能か検証 ② グループアクティビティについても行動予測可能か検証

データセット構築：個人 分析対象：明治大学の学生5人・指導教員1人 (12月1日～12月31日) • 日常的にJINS MEMEを装着してもらい，1日6時間程度データ を収集するように指示した • 一日のやったこと(例：13:00～14:00 開発)を記録してもらった

データセット構築：グループ 対象：明治大学の学生29人・指導教員1人 期間：11月22日～12月13日の毎週木曜日4日のうち， ゼミナール3時間30分 収集したもの： 集中度・議事録・タイムスケジュール・動画

平滑化 • 15秒ごとに記録した集中度を図のようにグラフ化 • 生のデータのままではぶれがあるので平滑化した 時刻𝑡における集中度𝐶(𝑡)が𝑛個データがあるとき， 平滑化した時刻tの集中度𝐶𝑠 (𝑡)は以下のように定義 集中度 𝐶 𝑡−1 +𝐶 𝑡 +𝐶 𝑡+1 𝐶𝑠 𝑡 = (1 ≤ 𝑡 ≤ 𝑛 − 1) 3 平滑化 時間

分析 ① 個人のデータに関する分析 ② グループに関する分析

分析① ① 個人のデータに関する分析 ② グループに関する分析

分析①：一日の集中度のグラフ1

分析①：一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

分析①：一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

分析①：一日の集中度のグラフ1 授業 作業① 散策 飲み会 作業② 帰宅

分析①：一日の集中度のグラフ2

分析①：一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

分析①：一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

分析①：一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

分析①：一日の集中度のグラフ2 移動 試験 移動 買い物 飲み会 移動

分析①：音楽ゲームをやっているときの集中度のグラフ • ある日の実験協力者Cの集中度のグラフ • 音楽ゲーム２種(S・B)をやったとき

分析①：音楽ゲームをやっているときの集中度のグラフ ❶ ❷ ❸ S ❹ ❶ ❷ B

分析①：音楽ゲームをやっているときの集中度のグラフ ❶ ❷ ❸ ❹ ❶ ❷ 種類によって集中度の変化の傾向が異なっている

分析①：音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS： ❶ • ３曲プレイした様子が分かる • 3つの山ができている様子から，３曲プレイ している様子がわかる ❶ ❷ ❸ ❹ ❶ ❷

分析①：音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS： ❶ • ３曲プレイした様子が分かる • 3つの山ができている様子から，３曲プレイして いる様子がわかる • 音楽ゲームS： ❷ • ２曲プレイした様子が分かる ❶ ❷ ❸ • ❶と異なり，山が二つで止まっている ❶ ❹ ❷ • ２個目の山が途中で止まっている →２曲目の途中で失敗してしまったことがうかが える

分析①：音楽ゲームをやっているときの集中度のグラフ • 音楽ゲームS： ❸ • ３曲プレイした様子が分かる ❶ ❷ ❸ • しかし，❷のときにノルマを失敗し た影響で，集中力が下がった影響が １つの山が低くなっている • 以降は集中力が戻っている． ❹ ❶ ❷

分析 >>3.分析② ① 個人のデータに関する分析 ② グループに関する分析

分析②：12月6日のゼミナールの集中度

分析②：講演中検索行動しているときの集中度

分析②：12月6日のゼミナールの集中度

分析②：12月6日のゼミナールの集中度 3部構成に なっている 様子が分かる 長引いた発表練習 発表練習 講演

分析②：11月22日でのグループワーク時の集中度

分析②：グループワーク時，グループごとの集中度 グループA グループB

分析②：グループワーク時，グループごとの集中度 グループごとで集中度が 同期しているタイミング が異なる グループA 集中度の上下の同期性か ら，グループのクラスタ リングができるのではな いか？ グループB

考察(1/2) • アクティビティごとに分割すると，アクティビティごとで傾向が 異なる様子が見られた． ⇒個人限らずグループについてアクティビティが推定できる可能性 • 同じアクティビティ内でも内容によって傾向が異なっている様子 が見られた． ⇒同じアクティビティでも違う内容である様子を推定できる可能性

考察(2/2) • グループ内で特出した傾向が見られた人を観察すると，別行動を していた様子が見られた ⇒グループ内で別行動している人の検出可能性 • グループによる集中度の変化の同期性からグループを推測できる 可能性 ⇒グループのクラスタリングを推定できる可能性

今後の展望 • 日々の活動から集中度を収集 • 機械学習を用いて，イベントを推定 • タグ付けすることで，検索の手助け タグ 最後緊張 集中度を 収集 機械学習 イベントを 推定 タグ付け 長時間

まとめ 背景 ライフログにおける探索の手がかりの欠如 自動的に手がかりを付与する手段はないか？ 目的 集中度から個人・グループの活動の行動が推定 できるか検証 結果 集中度からより詳細な個人・グループの行動推定 できる可能性が示唆 展望 機械学習などを用いて，検出可能かどうか検証予定