VRMixer:動画コンテンツと現実世界の融合とその適用可能性の検証

VRMixer: 動画コンテンツと現実世界の融合と その適用可能性の検証 牧良樹（明治大学 B3，JST CREST） 中村聡史（明治大学，JST CREST） 平井辰典（早稲田大学） 湯村翼（北陸先端科学技術大学院大学） 森島繁生（早稲田大学，JST CREST）

本研究の貢献 • 動画と実世界を融合するVRMixerの改良 • • ユーザが既存の動画内に好きな大きさになっ て入り，自由に動き回ることのできるシステ ムの実現 VRMixerの適用可能性の検討 • 小さくなって映像に入り込むもの、スピード を体験するものに有用 • ダンス練習では中程度のうまさの人に有用

関連研究 Dive into the Movie[森島2011] • 顔を撮影することでユーザを映画の中に 登場させることを可能にするシステム • → 出演可能な部分が顔のみ → 専用の機材を用いる必要がある VRMixer[平井2014] • • 現実世界の人物が動画内の人物と共演 することを可能にするシステム → 極端に小さくなり映像内を動き回ることができない → 適用可能性について明らかにされていない

研究目的 • 動画と現実世界を融合するVRMixerを改良し、 動画内で自身の大きさを自在に変更し、動画内を 大胆に動き回ることを可能にする仕組みの実現 • 改良したVRMixerの適用可能性の検証 - 各種コンテンツへの適用可能性 - ダンス練習への適用可能性

提案手法 ジェスチャ認識とVRMixerを組み合わせることで ユーザの動画内の自在な移動を可能にする

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

コンテンツ実験 • 実験協力者（１１名） • 提案手法の体験とディスプレイを視聴したときの体験 ではどのような違いがあったのかのフィードバックを もらった ディスプレイ 提案手法

実験考察 • ユーザの大きさを小さくするときには有効 • スケール感を大きくする際には工夫が必要 → 体が大きいと環境に影響を及ぼせるように感じる ため、動画内に影響を及ぼせないサイズがよい • スピード感の感じ方も変化しより速く感じる →自身の映像とボールを見比べることができる

適用可能性の検証 • コンテンツ実験 - 改良したVRMixerがどの感覚 を増幅可能なのかを検証 • ダンス実験 - VRMixerがダンス練習でどの ようなユーザに有効であるか の検証

実験の流れ 練習 収録 経験者:２名 未経験:１２名 ３０分練習 鏡＋ディスプレイ VRMixer使用時 映像を見ず 音楽だけで 踊り収録 評価 評価者４人 [評価内容] リズム，上半身・ 下半身の振り付 けetc.. 動画例

ダンスの様子 経験者 高得点者 中得点者 低得点者

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ（上半身） -1.75 0.00 0.75 -1.75 フリ（下半身） -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 → スコアは（VRMixer使用時-既存手法）で表示 （赤色で塗られているところVRMixer使用時の方がよく，青色で塗ら れているところは既存手法の方がよい）

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ（上半身） -1.75 0.00 0.75 -1.75 フリ（下半身） -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 →経験者のスコアは低い

実験結果 経験者 高得点者 中得点者 低得点者 リズム -1.50 0.75 1.50 -0.50 フリ（上半身） -1.75 0.00 0.75 -1.75 フリ（下半身） -2.50 -1.25 1.50 -2.25 アクセント -2.75 0.50 1.00 -1.00 滑らかさ -0.75 2.50 2.50 -1.75 左右 -1.00 -0.50 0.25 -1.75 →未経験者の中得点者のスコアは高い

実験考察 • 未経験者の中得点者の人には有用 • 経験者や高得点者が悪かった理由 • ユーザと映るユーザとの遅延 • 経験者は鏡＋ディスプレイに慣れていた事が理由 • 改良し、時間をかけることでVRMixerの方が 覚えやすくなる？

まとめ • VRMixerを改良し，ジェスチャーによるユーザの 動画内の移動を可能にした • システムがどのようなコンテンツで有用なのかを 明らかにした • ダンス練習でのVRMixerの有用性を確認した [今後の課題] • • 人物動画に限らず様々な動画においても適用する ことを可能にする ダンス練習では長期的な練習を行っていく必要が ある