5周年ふりかえり!HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう

889 Views

January 18, 22

スライド概要

Tokyo HoloLens ミートアップ vol.29~HoloLens日本上陸五周年記念!~(https://hololens.connpass.com/event/233613/)登壇資料。
5周年なので、HoloLens 1とHoloLens 2の操作感などを振り返り違いを比べてみた話.

profile-image

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

5周年ふりかえり! HoloLens 1とHoloLens 2のUI操作と実装の違いを改 めて見てみよう 2022/01/18! Tokyo HoloLens ミートアップ vol.29~HoloLens日本上陸五周年記念!~ takabrz1 大阪駆動開発 Takahiro Miyaura

2.

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず)= XRは趣味です(貢献領域:Mixed Reality) 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

3.

もう5周年ですよ・・・ 時が立つのは早いですね。 2022/01/18 Copyright © 2022 Takahiro Miyaura 3

4.

今日のお題 ◼ HoloLens 1/2でオブジェクト操作感がどう変わった? ✓ 変わらない操作の基本的な考え方 ✓ HoloLens 1の場合 ✓ HoloLens 2の場合 ◼ 実際にどう変わるか見比べてみる ✓ あのアプリで ほとんどの人は知ってると思い ますが振り返りも兼ねて 2022/01/18 Copyright © 2022 Takahiro Miyaura 4

5.

HoloLens1と2でどう操作感が変わったのか - 変わらない基本的な考え方(フォーカス) 2022/01/18 Copyright © 2022 Takahiro Miyaura 5

6.

お断り 基本的にはMixed Reality Toolkitをベースに話します。 リファレンスとしてわかりやすいためですが、 MRTK独自の話ではないです Microsoft公式ドキュメント Docs / Windows / Mixed Reality / 機能の概要 / 入力 /概要 2022/01/18 Copyright © 2022 Takahiro Miyaura 6

7.

HoloLens1と2でどう操作感が変わったのか - 変わらない基本的な考え方(フォーカス) 基本(遠方):Pointerでフォーカス→オブジェクトに作用 選択の可視化 Cursor Pointer Rayと衝突するオブジェクト Focused Object 操作の基点になる Pointer MSDOCS公式 Docs / Windows / Mixed Reality / 機能の概要 / 入力 /概要 2022/01/18 Copyright © 2022 Takahiro Miyaura 7

8.

(参考)近接の場合 基本(近接):Pointerで接触→オブジェクトに作用 直接触れる PokePointer 掴んで操作する GrabPointer MSDOCS公式 Docs / Windows / Mixed Reality / 機能の概要 / 入力 /概要 2022/01/18 Copyright © 2022 Takahiro Miyaura 8

9.

つまり ◼ ポインターを操作してオブジェクトにフォーカスする Eyes Head Hands Ray ポインターの指す方向の可視化 オブジェクト フォーカス時Cursorが可視化 Motion Controller 近接操作 操作の基点 Pointer 2022/01/18 Microsoft公式ドキュメント Docs / Windows / Mixed Reality / 機能の概要 / 入力 /概要 Copyright © 2022 Takahiro Miyaura 9

10.

参考 Mixed Reality Toolkitだとそれぞれへのアクセスは容易 ◼ ポインターを操作してオブジェクトにフォーカスする //検出している入力ソースの一覧を取得 var inputSystemDetectedInputSources = CoreServices.InputSystem.DetectedInputSources; //入力ソースの1つを取得 var mixedRealityInputSource = inputSystemDetectedInputSources.First(); //入力ソースのタイプ(手、モーションコントローラ等) var inputSourceType = mixedRealityInputSource.SourceType; //入力ソースに対応するポインターを取得 var mixedRealityPointer = mixedRealityInputSource.Pointers.First(); //ポインターが持っているカーソルを取得 var mixedRealityCursor = mixedRealityPointer.BaseCursor; 2022/01/18 Copyright © 2022 Takahiro Miyaura 10

11.

HoloLens1と2でどう操作感が変わったのか - 変わらない基本的な考え方(アクション) 2022/01/18 Copyright © 2022 Takahiro Miyaura 11

12.

HoloLens1と2でどう操作感が変わったのか - 変わらない基本的な考え方(アクション) フォーカスオブジェクトへの操作はいくつかあります。 つまむ 音声 注視(熟考) (Dwell:一定時間のフォーカスで確定とみなす) 押す 2022/01/18 ジェスチャー (タップ・ホールド) Copyright © 2022 Takahiro Miyaura 12

13.

HoloLens1と2でどう操作感が変わったのか - HoloLens 1の場合 2022/01/18 Copyright © 2022 Takahiro Miyaura 13

14.

HoloLens1はシンプル Head Gazeでオブジェクトにフォーカス オブジェクトの操作は ジェスチャー、音声等を利用 できることが少ないため 操作に手惑いは少ないかも 2022/01/18 Copyright © 2022 Takahiro Miyaura 14

15.

ただ タップは難しかったですよね。。。 2022/01/18 Copyright © 2022 Takahiro Miyaura 15

16.

HoloLens1と2でどう操作感が変わったのか - HoloLens 2の場合 2022/01/18 Copyright © 2022 Takahiro Miyaura 16

17.

HoloLens2は様々な操作が可能 かなり色々な操作感を実現できてしまう Eyes Head Hands 豊富な操作 オブジェクトへのフォーカス 手段が豊富 組合せが重要 相性が悪い組合せもある 2022/01/18 Copyright © 2022 Takahiro Miyaura 17

18.

例 Eye Tracking × タップ操作 タップを繰り返して微調整 途中で別のオブジェクトを注視 操作対象が変わる Eye Tracking は音声やDwellが相性がよさそう 2022/01/18 Copyright © 2022 Takahiro Miyaura 18

19.

実際どう変わるか見比べてみる 2022/01/18 Copyright © 2022 Takahiro Miyaura 19

20.

お題はこちら 2022/01/18 Copyright © 2022 Takahiro Miyaura 20

21.

Lunar Module (月面着陸ゲーム) Mixed Reality Design Labsのサンプルの1つ

22.

HoloLens 2対応ができた Mixed Reality Design Labs – Lunar Module ◼ ようやく(まだたくさんバグ持ちしてるけど) ◼ Unity 2019.4系+Legacy XR ◼ Mixed Reality Toolkit V2.7.0 ◼ 基本的なUIをUI Building Blocksで置き換え ◼ 同じアプリをHoloLens 1とHoloLens 2で見ると微妙に違う 2022/01/18 Copyright © 2022 Takahiro Miyaura 22

23.

アプリの中で動きが違う部分の例 頭を動かすHoloLens 1とハンドトラッキングのHoloLens 2 HoloLens 2 HoloLens 1 2022/01/18 Copyright © 2022 Takahiro Miyaura 23

24.

まとめ 2022/01/18 Copyright © 2022 Takahiro Miyaura 24

25.

今日のお題 ◼ HoloLens 1/2でオブジェクト操作感がどう変わった? ✓ 操作の基点となるポインター、Ray、Cursorの話 ✓ HoloLens 1は操作がシンプルだがその方法は今も使える ✓ HoloLens 2は操作方法が多彩だが使い勝手に注意 ◼ 実際にどう変わるか見比べてみる ✓ 比べると頭を動かさない方がかなり楽であることはわかる ✓ もう少しリファクタリングしてちゃんとPull Request 色々試行錯誤して 快適なUI操作を探してみて 2022/01/18 Copyright © 2022 Takahiro Miyaura 25

26.

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ