Magic Leap 2概要

Magic Leap 2 概要 最終更新日 2022/09/11 株式会社ホロラボ 中村 薫

会社概要 株式会社ホロラボ 事業内容 Windows Mixed Reality他、xR技術やセンサー技術に関する ・調査研究 ・システム／アプリケーションの企画開発 ・普及啓発活動 設立 2017/1/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 93,940,000円 (2019/8増資) 取締役 5名 従業員 60名 Web https://hololab.co.jp/ Copyright© HoloLab Inc. All rights reserved 2

• https://hololab.co.jp/

自己紹介 中村 薫 ・株式会社ホロラボ 代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 来歴 ・2001年 ・2012年 ・2013年 ・2017年 Windowsアプリおよび組み込み系ソフトウェア開発会社勤務 Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立 技術コミュニティTMCNの立ち上げに参加 ホロラボの設立に至る。 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) 3 Copyright© HoloLab Inc. All rights reserved など

はじめに(お気持ち) • Magic Leap 2の概要をまとめています • ところどころHoloLens 2との比較をしています。 • 立場的になかなか表現が難しいので察してやってください。 • HoloLens 2の発売から3年が経っているので、性能は全体的にMagic Leap 2のほう がいいのですが。 Copyright© HoloLab Inc. All rights reserved 4

Magic Leap 2 概要 • 2022年9月30日にアメリカ国内で出荷開始 • (ホロラボ他、アメリカ輸入組はなぜか9月4日の週に届いてました) • グラスとコンピューターが分離されているので、グラス部分は軽い • 半面ケーブル接続になる • コントローラーが付属 • 縦の視野角が向上 • 調光機能で屋外でも利用可能 Copyright© HoloLab Inc. All rights reserved https://www.magicleap.com/en-us/ 5

• https://www.magicleap.com/en-us/

ラインナップ Magic Leap 2 Base Magic Leap 2 Developer Pro Magic Leap 2 Enterprise 価格 $3,299 $4,099 $4,999 商用利用 〇 × 〇 保証 1年 1年 2年 開発機能の早期アクセス × 〇 × MDM × × 〇 参考: HoloLens 2 は $3,500 / ¥420,000 Copyright© HoloLab Inc. All rights reserved https://www.magicleap.com/en-us/ 6

• https://www.magicleap.com/en-us/

仕様 重さ 260g (ヘッドセットのみ) カメラ 12.6M ピクセル RGB カメラ 4k / 30fps または 1920 x 1080 / 60fps ビデオ RAM 16GB ストレージ ２５６GB CPU AMD 7nm 4コア Zen 2 カスタム SoC 14 コア カスタム Computer Vision and Image Processing (CVIP) ブロック 最大 CPU 周波数 2.4 GHz コア当たり 512kB L2 キャッシュ , 4MB L3 キャッシュ GPU AMD RDNA 2 2 RB+ (Render Backends) 最大 Gfx 周波数 1.1 GHz Display 解像度1440 x 1760 (9:11) 20 to 2000 nits brightness バッテリー 連続使用 3.5時間 スリープモード 7時間 https://www.magicleap.com/en-us/ より抜粋 Copyright© HoloLab Inc. All rights reserved 7

• https://www.magicleap.com/en-us/

仕様(HoloLens 2との比較) Magic Leap 2 HoloLens 2 重さ 260g (グラス部分のみ) 566g カメラ 12.6M ピクセル RGB カメラ 4k/30fps または1920 x 1080/60fps ビデオ 8MP ピクセル RGB カメラ 1920 x 1080 / 30fps ビデオ RAM 16GB ４GB ストレージ ２５６GB 64GB CPU AMD 7nm 4コア Zen 2 カスタム SoC Qualcomm Snapdragon 850 GPU AMD RDNA 2 Display 解像度1440 x 1760 (9:11) 20 to 2000 nits brightness 2k 3:2 光エンジン バッテリー 連続使用 3.5時間 スリープモード 7時間 連続使用 2～3時間 ケーブル あり なし メガネの上に装着可能 No Yes 参考 Copyright© HoloLab Inc. All rights reserved Magic Leap 2 https://www.magicleap.com/en-us/ HoloLens 2 https://www.microsoft.com/ja-jp/hololens/hardware 8

• https://www.magicleap.com/en-us/
• https://www.microsoft.com/ja-jp/hololens/hardware

ドキュメント Copyright© HoloLab Inc. All rights reserved https://developer-docs.magicleap.cloud/docs/guides/ml2-overview 9

• https://developer-docs.magicleap.cloud/docs/guides/ml2-overview

The Lab 2.0(ポータルアプリ) • ポータルアプリ • デバイスの状況モニタリングやOSの更新、カメラ映像のストリーミング、開発環境のダウ ンロードなどを行う。 • Zero Iterationというシミュレーターが付属しているので、実機がなくても開発が可能。 Copyright© HoloLab Inc. All rights reserved https://developer-docs.magicleap.cloud/docs/guides/getting-started/install-the-tools 10

• https://developer-docs.magicleap.cloud/docs/guides/getting-started/install-the-tools

ドキュメント上の機能項目 • 入力 • • • • • コントローラー アイトラッキング 音声インテント ハンドトラッキング ヘッドトラッキング • 感知(Perception) • • • • 空間アンカー マーカートラッキング メッシュ 平面検出 • ディスプレイ • ディミング(グローバル、セグメント) • ヘッドロックアプリケーション • インテント • WebView Copyright© HoloLab Inc. All rights reserved https://developer-docs.magicleap.cloud/docs/guides/ml2-overview 11

• https://developer-docs.magicleap.cloud/docs/guides/ml2-overview

Magic Leap公式提供Unityサンプル • • • • • • • • • • • • • • • • Hello Cube 音声キャプチャ カメラキャプチャ コントローラー CV カメラ アイトラッキング ジェスチャー ハンドトラッキング マーカートラッキング メディアプレイヤー メッシュ 平面検出 音声インテント WebRTC WebView Word Scale Copyright© HoloLab Inc. All rights reserved The Lab(ポータルアプリ)内で提供 https://developer-docs.magicleap.cloud/docs/guides/unity/sdk-example-scenes 12

• https://developer-docs.magicleap.cloud/docs/guides/unity/sdk-example-scenes

ここで紹介するMagic Leap 2の特長 • ヘッドトラッキング(６DoF) • ハンドトラッキング • アイトラッキング • 視線レイ • まばたき検出★ • 瞳孔サイズ検出★ • コントローラー★ • ディミング(Dimming:調光) ★ • グローバル • セグメント • メッシュ • 平面検出 • ディスプレイ解像度の向上★ ★ Magic Leap 2特有の機能 Copyright© HoloLab Inc. All rights reserved 13

ヘッドトラッキング(６DoF) スクショ張る Copyright© HoloLab Inc. All rights reserved 14

ハンドトラッキング • 片手22点の追跡(定義上は24点で22点が実装済みらしい) スクショ張る Copyright© HoloLab Inc. All rights reserved 15

アイトラッキング • まばたき検出 • 瞳孔サイズ検出 スクショ張る Copyright© HoloLab Inc. All rights reserved 16

コントローラー • コントローラー単体でSLAMする • 手から離して遠くに移動させても認識し続ける • Magic Leap 2本体1台に対して、コントローラーは1台のみ接続可能 スクショ張る Copyright© HoloLab Inc. All rights reserved 17

ディミング(Dimming:調光) • ハードウェアで黒を入れることで外光を制御する • 屋外で太陽光によってオブジェクトが見えなくなる対策 ディミングなし ディミングあり ディミング切り替え動画 18 Copyright© HoloLab Inc. All rights reserved https://twitter.com/kaorun55/status/1567032128537526274?s=20&t=m4x-ZpA2wK1KcDTWR7s5KA

• https://twitter.com/kaorun55/status/1567032128537526274?s=20&t=m4x-ZpA2wK1KcDTWR7s5KA

メッシュ スクショ張る Copyright© HoloLab Inc. All rights reserved 19

平面検出 スクショ張る Copyright© HoloLab Inc. All rights reserved 20

ディスプレイ解像度の向上 • 解像度1440 x 1760 (9:11) • 縦の視野角が伸びているので、建物や設備、キャラクターなどが見やすい Magic Leap 2 HoloLens 2 Copyright© HoloLab Inc. All rights reserved 21

Magic Leap 2アプリ開発の始め方 • 実機がなくても始められます • https://bluebirdofoz.hatenablog.com/entry/2022/08/23/114400 • https://twitter.com/HoloAdventure/status/1561908293332701185 Copyright© HoloLab Inc. All rights reserved 22

• https://twitter.com/HoloAdventure/status/1561908293332701185?s=20&t=m4x-ZpA2wK1KcDTWR7s5KA