視線とエフェクトの連動によるコンテンツ視聴体験拡張

視線とエフェクトの連動による コンテンツ視聴体験拡張 田村 柾優紀 ( 明治大学 総合数理学部 B3 ) 中村 聡史 ( 明治大学 総合数理学部 )

デモ動画

背景 • 動画共有サイトにある既存の動画コンテン ツをさらに面白くしたい • 視聴者自身の情報を用いて動画コンテンツ をさらに面白くしたい

関連研究 既存の動画コンテンツを視聴者自身の情報 により面白くする研究 • ノリ乗り [吉田 2011] • 動画共有サイトでの視線 共有の試み [松野 2012]

提案手法 [田村 2015] • 視線の位置に応じたエフェクトの付与 エフェクトをコンテンツに重畳 集中線のエフェクト 動画 視線の位置に応じて変化 赤い×は視線の中心を表している

実装 [田村 2015] • Google Chrome のブラウザ拡張 – 視線取得 ：Tobii EyeX – エフェクト重畳：JavaScript

実装 [田村 2015] 星 スポットライト 霧 モザイク

これまでの研究について • 視線とエフェクトを連動させることに よる視聴体験拡張手法の実現を行ってきた． • 主観評価と客観評価の両方の観点から 有用性を検証出来ていない．

目的 エフェクトと視線を連動させることによる 視聴体験拡張手法の評価・検証 • エフェクト無し有りで視聴した時の印象の 変化における仮説の検証 • エフェクトのユーザへの影響についての 調査

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 ：アンケート • 客観評価 ：視線ログ

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 ：アンケート 仮説１：視線と連動した各々のエフェクト は特定の印象を向上する事が可能 • 客観評価 ：視線ログ

実験 主観評価と客観評価から 提案システムの評価・検証 • 主観評価 ：アンケート • 客観評価 ：視線ログ 仮説２：エフェクトを付与して視聴する ことにより視聴スタイルが変化

アンケート内容 • 内容 – プルチックの感情の輪を基に定義した8軸の 指標により印象の評価 – その他：自由記述 • 評価方法 • －2～＋2の5段階の リッカート尺度 プルチックの感情の輪

実験（仮説１） 以下の表の様に各々のエフェクトがどの印象を 向上するエフェクトになるか仮説を立てた エフェクト 向上する印象 集中線 感心，楽しさ 懐中電灯風 恐怖，驚き スポットライト風 関心 霧 驚き，恐怖，感心 モザイク 関心

実験 • 対象 – 実験協力者：20歳代の大学生8名 エフェクト 使用コンテンツ 集中線 懐中電灯風 スポットライト 10 パターン 霧 モザイク

実験結果（アンケート結果） 驚き エフェクト 集 懐 ス 霧 モ 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 動画1 -0.75 -0.50 -1.25 -0.50 -0.50 0.25 0.25 1.00 -0.25 1.25 -1.50 -1.00 -1.50 0.50 -0.25 0.25 動画2 0.50 0.25 -1.00 -1.25 0.50 0.75 1.50 1.00 0.50 0.75 -1.75 -2.00 -1.25 -0.50 -1.25 -0.25 動画3 1.25 1.50 0.50 1.50 -0.25 0.25 0.50 1.75 0.50 0.50 -1.25 -1.50 0.25 -0.50 0.50 0.25 動画4 0.00 1.25 0.50 1.25 0.00 1.00 1.25 1.50 -0.50 0.25 -1.75 -1.50 0.75 1.25 1.25 1.00 動画5 -0.75 -0.50 -1.75 -1.50 0.25 0.50 1.25 1.75 0.25 0.75 -2.00 -1.50 -0.50 -1.00 -0.50 0.50 動画6 -0.75 0.00 -1.50 -1.50 0.75 0.50 0.75 1.25 1.00 1.00 -1.50 -2.00 -0.25 -1.50 0.50 -1.25 動画7 1.50 0.00 0.25 0.00 1.50 0.75 1.75 0.50 0.75 -0.25 -1.75 -1.25 -1.75 -0.75 -1.75 -1.00 動画8 1.00 0.25 1.00 0.75 0.00 0.25 0.50 0.00 -0.75 -0.25 -1.75 -2.00 -0.50 -1.00 -1.50 0.25 動画9 0.25 0.50 -1.75 -2.00 0.75 1.25 0.50 1.75 -0.25 1.25 -0.75 0.00 -1.25 -0.25 -0.75 0.75 動画10 -0.25 -0.25 -2.00 -1.75 1.25 1.00 1.50 1.25 0.75 -0.75 -2.00 -0.75 -1.75 0.75 -1.50 0.75 この表は動画毎のアンケート結果をエフェクト有り無しで分類した表

実験結果（アンケート結果） 驚き 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち エフェクト 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 集 平均 -0.13 -0.13 -1.13 -0.88 0.00 0.50 0.88 1.00 0.13 1.00 -1.63 -1.50 -1.38 0.00 -0.75 0.00 懐 平均 0.63 1.38 0.50 1.38 -0.13 0.63 0.88 1.63 0.00 0.38 -1.50 -1.50 0.50 0.38 0.88 0.63 ス 平均 -0.75 -0.25 -1.63 -1.50 0.50 0.50 1.00 1.50 0.63 0.88 -1.75 -1.75 -0.38 -1.25 0.00 -0.38 霧 平均 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 モ 平均 0.00 0.13 -1.88 -1.88 1.00 1.13 1.00 1.50 0.25 0.25 -1.38 -0.38 -1.50 0.25 -1.13 0.75 2つの動画により印象評価の値を平均した表

実験結果（アンケート結果） 驚き 恐怖 感心 関心 楽しさ 悲しさ 嫌悪感 苛立ち エフェクト 無 有 無 有 無 有 無 有 無 有 無 有 無 有 無 有 集 平均 -0.13 -0.13 -1.13 -0.88 0.00 0.50 0.88 1.00 0.13 1.00 -1.63 -1.50 -1.38 0.00 -0.75 0.00 懐 平均 0.63 1.38 0.50 1.38 -0.13 0.63 0.88 1.63 0.00 0.38 -1.50 -1.50 0.50 0.38 0.88 0.63 ス 平均 -0.75 -0.25 -1.63 -1.50 0.50 0.50 1.00 1.50 0.63 0.88 -1.75 -1.75 -0.38 -1.25 0.00 -0.38 霧 平均 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 モ 平均 0.00 0.13 -1.88 -1.88 1.00 1.13 1.00 1.50 0.25 0.25 -1.38 -0.38 -1.50 0.25 -1.13 0.75 ２つの動画の結果を平均した時，エフェクト無しより有りの方が 0.5以上高かった箇所を赤，低かった箇所を青で分類

実験結果(集中線） 驚き 印象 エフェクト 集中線 平均 無 有 恐怖 無 有 -0.13 -0.13 -1.13 -0.88 楽しさ 悲しさ 無 有 感心 関心 無 有 無 有 0.00 0.50 0.88 1.00 嫌悪感 無 有 無 0.13 1.00 -1.63 -1.50 -1.38 感心や楽しさの印象が向上 有 苛立ち 無 0.00 -0.75 有 0.00

実験結果(集中線） 驚き 印象 エフェクト 集中線 平均 無 有 恐怖 無 有 -0.13 -0.13 -1.13 -0.88 楽しさ 悲しさ 無 有 感心 関心 無 有 無 有 0.00 0.50 0.88 1.00 嫌悪感 無 有 無 0.13 1.00 -1.63 -1.50 -1.38 有 苛立ち 無 0.00 -0.75 有 0.00 期待した印象の向上，数値が高くないことから許容範囲内

実験結果(懐中電灯風） 驚き 印象 エフェクト 懐中 電灯風 平均 恐怖 感心 無 有 無 有 0.63 1.38 0.50 1.38 -0.13 楽しさ 悲しさ 無 有 無 有 0.00 0.38 -1.50 -1.50 無 関心 有 無 有 0.63 0.88 1.63 嫌悪感 苛立ち 無 有 無 有 0.50 0.38 0.88 0.63 恐怖や驚きの印象が向上

実験結果(スポットライト風） 驚き 印象 エフェクト スポット ライト風 平均 無 恐怖 有 無 有 -0.75 -0.25 -1.63 -1.50 楽しさ 感心 無 有 無 有 0.50 0.50 1.00 1.50 悲しさ 無 有 関心 嫌悪感 無 有 無 0.63 0.88 -1.63 -1.75 -0.38 -1.25 関心の印象が向上 有 苛立ち 無 有 0.00 -0.38

実験結果(モザイク） 驚き 印象 エフェクト モザイク 平均 恐怖 無 有 0.00 0.13 -1.88 -1.88 楽しさ 無 有 感心 無 有 無 有 1.00 1.13 1.00 1.50 悲しさ 無 有 関心 嫌悪感 無 有 無 0.25 0.25 -1.38 -0.38 -1.50 関心の印象が向上 有 苛立ち 無 0.25 -1.13 有 0.75

実験結果(モザイク） 驚き 印象 エフェクト モザイク 平均 恐怖 無 有 0.00 0.13 -1.88 -1.88 楽しさ 無 有 悲しさ 無 有 感心 関心 無 有 無 有 1.00 1.13 1.00 1.50 嫌悪感 無 有 無 0.25 0.25 -1.38 -0.38 -1.50 有 苛立ち 無 0.25 -1.13 有 0.75 マイナスな三つの要素とも増幅しているが， 期待した印象の向上，エフェクトの特性から許容範囲内

実験結果(霧） 驚き 印象 恐怖 感心 関心 エフェクト 無 有 無 有 無 有 無 有 霧 1.25 0.13 0.63 0.38 0.75 0.50 1.13 0.25 平均 楽しさ 無 有 悲しさ 無 有 嫌悪感 無 有 苛立ち 無 有 0.00 -0.25 -1.75 -1.63 -1.13 -0.88 -1.63 -0.38 霧では，向上すると期待した印象は低下

実験（仮説１の結果） 霧以外のエフェクトは仮説で期待した印象が向上 霧のエフェクトは仮説で期待した印象が低下 エフェクト 向上する印象 集中線 感心，楽しさ スポットライト風 関心 懐中電灯風 恐怖，驚き 霧 驚き，恐怖，感心 モザイク 関心

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト （上：エフェクト無し / 下：エフェクト有り）

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト （上：エフェクト無し / 下：エフェクト有り）

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト 集中線と懐中電灯風では 視線が中心に固まる傾向にある

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト スポットライト風では， バランスよく視聴するようになる傾向にある

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト 霧では，視聴が集中した範囲が増加しており， 視聴した範囲自体についても変化する傾向にある

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト モザイクでは，視線が集中した範囲に変化はないが， 視聴した範囲に変化が生じる傾向にある

視線ログのヒートマップの結果 動画1 動画3 動画5 動画7 動画9 動画2 動画4 動画6 動画8 動画10 霧 モザイク 集中線 懐中電灯風 スポットライト モザイクでは，視線が集中した範囲に変化はないが， 視聴した範囲に変化が生じる傾向にある

1ミリ秒当たりの視線移動速度 エフェクト有 エフェクト無 集中線 0.495 0.536 懐中電灯風 0.558 0.648 スポットライト風 0.795 0.939 霧 0.807 0.947 モザイク 0.847 0.898 全てのエフェクトにおいて 視線移動速度が減少

仮説1に対する考察 仮説１：視線と連動した各々のエフェクトは 特定の印象を向上する事が可能 • 霧以外のエフェクトにおいて，仮説で向上する と期待した特定の印象評価が向上した 霧のエフェクトを除いて 仮説1から主観評価は確認された

仮説2に対する考察 仮説２：エフェクトを付与して視聴する ことにより視聴スタイルが変化 • エフェクト付与による視線移動速度の減少， ヒートマップの変化より視聴スタイルの変化 仮説2から客観評価は確認された

仮説2に対する考察 仮説２：エフェクトを付与して視聴する ことにより視聴スタイルが変化 ある程度視聴体験は 拡張されていたと考えられる • エフェクト付与による視線移動速度の減少， ヒートマップの変化より視聴スタイルの変化 仮説2から客観評価は確認された

まとめ • 提案手法による印象評価の変化と， 視線ログを用いた評価・検証の実施 • エフェクト付与により動画の印象評価， 視聴スタイルが変化 • 視聴体験が拡張されたと考えられる [今後の課題] • コンテンツ分析の評価 • テキストコンテンツ用のエフェクトの考案