最近のMicrosoftのXR技術色々紹介します！

最近のMicrosoftのXR系技術 いろいろ紹介します！ 2024/05 XR Kaigi Hub in Osaka @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

今日の目次 Microsoftの最近のXR系技術について整理して一部をデモ 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2024/5/28 1. Stereokit 2. MRTK3 ✓ 2. Azureサービス 1. 2. 3. 4. 5. 3. 開発技術(ネイティブアプリ) 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 3

本題に入る前に これはまじめに大事なので @takabrz1 Takahiro Miyaura

久しぶりの公式カンファレンスでのMixed Realityネタ Microsoft Build キーノートで Windows Volumetric Apps on Meta Quest 2024/5/28 Copyright © 2024 Takahiro Miyaura 5

見えましたか？ 見えなかった人のために頑張ってスクショ撮りました！ 2024/5/28 Copyright © 2024 Takahiro Miyaura 6

久しぶりの公式カンファレンスでのMixed Realityネタ Microsoft Build キーノートで Windows Volumetric Apps on Meta Quest キーノートで語られている内容を整理すると・・・ ○Windows 365関連の機能 ○3D空間に拡張できるWindowsアプリをVolumetric Appsと呼んでいる ○クラウドからWindowsを提供することで、様々なデバイスで活用可能に ➙Meta社と提携しW365に関する機能をQuestに提供することで実現 ○動画デモアプリはPTC 2024/5/28 Copyright © 2024 Takahiro Miyaura 7

Windows Volumetric Apps on Meta Quest Desktop アプリを空間に & アプリで使う3DモデルをAR表示？ 空間にデスクトップアプリが描画 ※正面のものはどうもCADっぽい何か Captured on Meta Quest 3 アプリ内の設計データが空間 に3Dで描画 & 直感的操作 開発者プレビューのショートカットリンク aka.ms/VolumetricApps 2024/5/28 Copyright © 2024 Takahiro Miyaura 8

Microsoft Build 2024 XR関連セッション ○ Imagine a new era of digitalization in manufacturing with NVIDIA https://build.microsoft.com/en-US/sessions/a005abb1-3feb-4e7b-8bea-5a05c32f40dd 内容はAzure上に構築できるNVIDIA Omniverse Cloudの話。これを活用したデジタルツインツールやアプリケーションの構築につ いて。 ○ Meta & Microsoft: The future of Windows productivity and mixed reality https://build.microsoft.com/en-US/sessions/267df5b8-5a0b-4cbf-ae73-52af2bd53e4c 主な内容はMeta、MicrosoftのMixed Realityに関する方向性や取組みについて。OfficeやMicrosoft Mesh、Windows Volumetric Appsの話のなかでMeta Questをエンタープライズ用途で活用するためのMeta Quest for Businessの話とRay-Ban Metaスマートグ ラスの話。 ○ Creating Immersive 3D Solutions with Microsoft Mesh https://build.microsoft.com/en-US/sessions/9b93c707-4cfa-46f2-b676-05ababd7e978 内容はMeshの概要、開発ライブラリとしてのMesh Toolkitの話、カスタムワールドのサンプルについて。 サンプルはMesh 201という以前からあったものでWebSlateと地球の3Dモデル使った情報表示を行う空間デモだが、Azure OpenAI Serviceを組込んでMesh内でAIによるアシストを実現するものに改修されている 2024/5/28 Copyright © 2024 Takahiro Miyaura 9

• https://build.microsoft.com/en-US/sessions/a005abb1-3feb-4e7b-8bea-5a05c32f40dd
• https://build.microsoft.com/en-US/sessions/267df5b8-5a0b-4cbf-ae73-52af2bd53e4c
• https://build.microsoft.com/en-US/sessions/9b93c707-4cfa-46f2-b676-05ababd7e978

ここから本題 まずは目次レベルで @takabrz1 Takahiro Miyaura

AI活用 Dynamics 365 GuidesはいずれCopilotがつく 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 11

去年のMicrosoft Igniteで発表があった Introducing Copilot in Microsoft Dynamics 365 Guides, bringing generative AI in mixed reality to frontline workers https://www.microsoft.com/en-us/industry/blog/industrial-metaverse/2023/11/15/introducing-copilot-in-microsoft-dynamics-365-guides-bringinggenerative-ai-in-mixed-reality-to-frontline-workers/?wt.mc_id=WDIT-MVP-5003104 Copilot in Dynamics 365 Guides ✓ Point and Ask Guidance ✓ Spatial Content Generation ✓ Step-by-Step Assistance ✓ On-demand Information ✓ Knowledge Integration ✓ Streamlined Documentation 2024/5/28 Copyright © 2024 Takahiro Miyaura 12

• https://www.microsoft.com/en-us/industry/blog/industrial-metaverse/2023/11/15/introducing-copilot-in-microsoft-dynamics-365-guides-bringing-

個人的にインパクトある話。。。 Azure Spatial Anchors と Azure Object Anchorsは・・・ 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 13

いずれも廃止 Azure Object Anchorsは一部残る Azure Object Anchorsは個別提供が廃止でGuidesの機能は存続 Azure Spatial Anchors Azure Object Anchors 提供終了日 2024/11/20 提供終了日 2024/05/20 https://azure.microsoft.com/ja-jp/updates/azure-spatialanchors-retirement/?wt.mc_id=WDIT-MVP-5003104 https://azure.microsoft.com/ja-jp/updates/azure-objectanchors-retirement/?wt.mc_id=WDIT-MVP-5003104 (実はもう提供終了) これらに変わる空間利用できるサービスについては・・・ 興味がある人向けに連絡窓口はあるので何か出てくる？ 2024/5/28 Copyright © 2024 Takahiro Miyaura 14

• https://azure.microsoft.com/ja-jp/updates/azure-spatial-
• https://azure.microsoft.com/ja-jp/updates/azure-object-

Mixed Reality Toolkit 3 3社(Microsoft, Qualcomm, Magic Leap)による独立した委員会制で運営 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 15

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクト きっかけはMicrosoft社のレイオフ マイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウ ン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運 営ではなくOSSとして整備が進むようになる。 独立したプロジェクトとして新たなスタート 「MRTK」がプロジェクトとして独立、運営にMagic Leapとクアルコム参 画へ(MoguraVR – 2023/08/31) https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/ Microsoft, Qualcomm, Magic Leap の3社運営 2024/5/28 Copyright © 2024 Takahiro Miyaura 16

• https://www.moguravr.com/microsoft-mrtk-team-dissolve/
• https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/

Mixed Reality Toolkit 3 機能 – UX構成要素 サイトより抜粋 https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-overview/?WT.mc_id=WDIT-MVP-5003104 2024/5/28 Copyright © 2024 Takahiro Miyaura 17

• https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-overview/?WT.mc_id=WDIT-MVP-5003104

Mixed Reality Toolkit 3 機能 – UX構成要素 ほぼノンコーディングでコンテンツ開発が可能 2024/5/28 Copyright © 2024 Takahiro Miyaura 18

余り知られていない？ Power PlatformでAR活用できるんです。 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 19

Power Platform Power Appsの部品として提供 空間計測、オブジェクト配置をローコードで https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-reality-overview?wt.mc_id=WDIT-MVP-5003104 ○ Power Apps の 3D コンテンツの表示 https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-3dMR?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で 3D コンテンツまたは画像を表示する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-mr?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で測定を行う https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-measure-distance?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で定義済みの 3D 図形を表示する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-shape?wt.mc_id=WDIT-MVP-5003104 ○ Power Apps (プレビュー) で Markup in MR コントロー ルを使用する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/markup-inmixed-reality?wt.mc_id=WDIT-MVP-5003104 2024/5/28 Copyright © 2024 Takahiro Miyaura 20

• https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-reality-overview?wt.mc_id=WDIT-MVP-5003104
• https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-reality-
• https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/markup-in-

結構便利な機能があるんですよ？ MRTKに加えてネイティブのXR開発が楽になるものが。 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 1. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 2. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 21

各種便利ライブラリ from Mixed Reality feature tool Mixed Realityに関するAzureやMicrosoft、他社提供SDKの導入ツール ○Azure系 ○MRTK ○Platform Support ○その他便利なライブラリ ○Data Binding & Theming ○Adaptive Card ○WebView 2024/5/28 データに応じた動的コンテンツ生成 & テーマ変更 https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3data/packages/data/overview?wt.mc_id=WDIT-MVP-5003104 Copyright © 2024 Takahiro Miyaura 22

• https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-

各種便利ライブラリ from Mixed Reality feature tool Mixed Realityに関するAzureやMicrosoft、他社提供SDKの導入ツール ○Azure系 ○MRTK ○Platform Support ○その他便利なライブラリ ○Data Binding & Theming ○Adaptive Card ○WebView 2024/5/28 JSON形式で記述するUIテンプレート https://learn.microsoft.com/ja-jp/adaptive-cards/ Copyright © 2024 Takahiro Miyaura 23

• https://learn.microsoft.com/ja-jp/adaptive-cards/

さらにピックアップして紹介 改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 1. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 2. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 24

Microsoft Mesh @takabrz1 Takahiro Miyaura

Microsoft Meshとは Microsoft Learnコンテンツで公開された(2023/10/07) https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104 We are re-imagining the way employees come together with Microsoft Mesh, a new three-dimensional (3D) immersive experience. Microsoft Mesh is not merely another innovation, but a solution that enables your distributed workforce to connect like never before in a 3D immersive space, helping virtual meetings and events feel more like face-to-face connections. サイトからの引用 機械翻訳 私たちは、新しい3D没入型体験であるMicrosoft Meshによって、 社員が集う方法を再構築します。Microsoft Meshは、単なるイノ ベーションではなく、分散した従業員が3D没入型スペースでか つてないほどつながることを可能にするソリューションです。 2024/5/28 Copyright © 2024 Takahiro Miyaura 26

• https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104

文字ではわかりにくいので Teams会議内でImmersive Spacesを使った例 2024/5/28 Copyright © 2024 Takahiro Miyaura 27

Microsoft Meshとは コンセプトを実現するために提供される3D空間の活用手段 ○Immersive Spacesの活用（Teams） ○Teams会議の中で3D没入空間での会議体験を可能にする ○Immersive Spacesのカスタマイズ(Microsoft Mesh) ○既存環境のカスタマイズ https://learn.microsoft.com/en-us/mesh/overview#customize-a-ready-to-use-environment?wt.mc_id=WDIT-MVP-5003104 ○既にある空間に装飾（動画、画像を配置）することで環境を整える ○カスタム環境の開発 https://learn.microsoft.com/en-us/mesh/overview#develop-a-custom-environment?wt.mc_id=WDIT-MVP-5003104 ○3D空間すべてをカスタム環境として開発する 参考 Meshでは3D空間そのものを環境(Environment)と定義 2024/5/28 Copyright © 2024 Takahiro Miyaura 28

• https://learn.microsoft.com/en-us/mesh/overview#customize-a-ready-to-use-environment?wt.mc_id=WDIT-MVP-5003104
• https://learn.microsoft.com/en-us/mesh/overview#develop-a-custom-environment?wt.mc_id=WDIT-MVP-5003104

Microsoft MeshとTeams PCとMeta Questの参加は組合せがある ○Teams ○Immersive Spacesでプリセットの3D空間で会議ができる ○Microsoft Mesh App(PC/Meta Quest) ○Meshポータル/アプリで設定したイベントで共有体験できる ○QuestについてはTeamsのImmersive Spacesに参加可能 ○QuestはMesh空間での没入体験が可能 Mesh App Meta Quest Teams – Immersive Spaces PC Mesh App PC Mesh App Meta Quest 2024/5/28 〇 〇 〇 Mesh App PC Teams – Immersive Spaces PC × 〇 〇 Copyright © 2024 Takahiro Miyaura 〇 × 〇 29

Microsoft Meshに必要なライセンス Microsoft Entra(以前の言い方だとAzure AD)下で利用 https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104 ✓ M365関連のライセンスが必要 ✓ ✓ ✓ ✓ ✓ ✓ Teams Essentials Microsoft 365 Business Basic Microsoft 365 Business Standard Microsoft 365 Business Premium Microsoft 365 E3/E5 Office 365 E1/E3/E5 ✓ Meshのクライアントアプリ(PC/Android=Quest)の利用には上記に加えて ✓ Teams Premium（利用アカウント分） ✓ Azureアカウントとサブスクリプションも必要 ✓ 2024/5/28 カスタム環境を使う場合（必要に応じて） Copyright © 2024 Takahiro Miyaura つまり 現時点では組織アカウントで運用が必要 30

• https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104

Microsoft Meshの Custom Immersive Spacesについて Unityで開発できます @takabrz1 Takahiro Miyaura

Microsoft Meshの Custom Immersive Spacesについて Unity上で構築しMesh ポータルにアップロードする 2024/5/28 Copyright © 2024 Takahiro Miyaura 32

カスタマイズ環境の現在の要求環境 Unityで開発 https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104 ○Unity 2022.3.15f1 ○URP(3D) ○開発スキル（Visual Scriptingを使って開発） ○Mesh Toolkit ○Meshワールドを構築するために便利なライブラリ群 ○開発そのものには不要だがMeshを使うためには必要 ○M365関連のライセンス 2024/5/28 Copyright © 2024 Takahiro Miyaura 33

• https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104

Mesh Toolkit Mesh用のカスタムワールド構築のための部品群で構成 https://learn.microsoft.com/en-us/mesh/develop/development-overview?wt.mc_id=WDIT-MVP-5003104 ○Mesh Graphics Tool ○Mesh Webslates ○Mesh physics ○Mesh Visual Scripting ○Mesh interactables ○Mesh cloud scripting ○Mesh controllables ○Play mode with Mesh Emulator ○Mesh triggers, anchors and tethers ○Mesh Uploader ○Mesh avatar spawn and travel points ○Mesh Content Performance Analyzer 2024/5/28 Copyright © 2024 Takahiro Miyaura 34

• https://learn.microsoft.com/en-us/mesh/develop/development-overview?wt.mc_id=WDIT-MVP-5003104

カスタマイズ環境の開発について 最初はチュートリアルMesh101がお勧め Github : https://github.com/microsoft/Mesh-Toolkit-Unity ○やり方を学びたいならチュートリアル「Mesh101」 https://learn.microsoft.com/en-us/mesh/develop/getting-started/mesh-101-tutorial/mesh-101-01-overview-and-setup?wt.mc_id=WDIT-MVP-5003104 ○ボタンの扱いやテレポート、オブジェクト操作の実装方法 ○Meshワールドへの登録～実際に使うまでの手順 ○サンプルもある https://learn.microsoft.com/en-us/mesh/develop/getting-started/samples/samples-overview?wt.mc_id=WDIT-MVP-5003104 ○いくつかの機能や、世界観を表す環境のサンプル(Mesh101含) ○空プロジェクトの作り方もあるよ https://learn.microsoft.com/en-us/mesh/develop/build-your-basic-environment/create-a-new-project-or-update?wt.mc_id=WDIT-MVP-5003104 ○Mesh Toolkitの導入 2024/5/28 Copyright © 2024 Takahiro Miyaura 35

• https://learn.microsoft.com/en-us/mesh/develop/getting-started/mesh-101-tutorial/mesh-101-01-overview-and-setup?wt.mc_id=WDIT-MVP-5003104
• https://learn.microsoft.com/en-us/mesh/develop/getting-started/samples/samples-overview?wt.mc_id=WDIT-MVP-5003104
• https://learn.microsoft.com/en-us/mesh/develop/build-your-basic-environment/create-a-new-project-or-update?wt.mc_id=WDIT-MVP-5003104

Mesh Visual ScriptingとMesh Cloud Scripting 2024/5/28 Copyright © 2024 Takahiro Miyaura 36

Mesh Visual ScriptingとMesh Cloud Scripting Meshのカスタム環境を作るための実装方法は大きく2つ Visual Scripting ○ ノードをつないで実装 ○ Mesh Toolkitで部品が提供 ○ 他の参加者と状態の共有/非共有が設定可 2024/5/28 Cloud Scripting ○ C#(.NET 6)で開発できる ○ Azure上でMeshポータルとは別管理 ○ 他のサービスとも連携が可能 ○ オブジェクトや状態は自動的に共有 Copyright © 2024 Takahiro Miyaura 37

簡単に仕組みを説明 環境 ◼ Mesh Toolkitの環境設定でCloud Scriptingを使う設定を行う ◼ Meshポータルの発行時に指定されたAzureのリソースグループ内に環境が構築される 2024/5/28 Copyright © 2024 Takahiro Miyaura 38

簡単に仕組みを説明 環境 インフラについての公式ドキュメント https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104 ◼ Application Insights ◼ App Service ◼ Action Group ◼ App Service プラン （注：Premium v2 P2V2（月額22,000円超）） ◼ Log Analyticsワークスペース ◼ ストレージアカウント ◼ 仮想ネットワーク Azureポータルから変更不要 (ただし)App Serviceの料金は検証用ならスペック 下げてもいいと思います。 2024/5/28 Copyright © 2024 Takahiro Miyaura 39

• https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104

簡単に仕組みを説明 実装について Unity上で実装するがちょっと特殊です。 ◼ ルート要素にMesh Cloud Scriptingコンポーネントを設定 Cloud Scriptingでの実装時、Unityの機能はそのまま使えない （具体的にはコンポーネントの情報を直接はとれない） 2024/5/28 Copyright © 2024 Takahiro Miyaura 40

簡単に仕組みを説明 Cloud ScriptingとUnityのHierarchy/コンポーネントの関係 Cloud ScriptingはNodeで管理する 階層構造をあわせて。。。 ○ ノード部品が提供 ○ Cloud Scripting上はNodeクラスから情報を取る ○ Unityオブジェクトから情報が取れない（場合も） 対応するノードをCloud Scripting内に配 置しても消失はせずに複製される 2024/5/28 Copyright © 2024 Takahiro Miyaura 41

Microsoft Meshのデモ Microsoft Build 2024セッションより OpenAI Servicesを利用したMesh内でのcopilot的体験 Creating Immersive 3D Solutions with Microsoft Mesh | OD515 2024/5/28 Copyright © 2024 Takahiro Miyaura 42

Azure Communication Services @takabrz1 Takahiro Miyaura

Azure Communication Services 概要 マルチチャネルコミュニケーション実現のためのサービス ○ 音声、ビデオ、チャット、テキスト メッセージ/SMS、 メールなどのコミュニケーション手段を利用可能 ○ ライブラリが提供されており、双方向通信など専門家でな くてもアプリに機能を実装可能 ○ 他のサービスとの連携(M365, Teams等)のサポート Web-RTCといったローレベルでのアプリ開発は不要で 様々なコミュニケーション手段を実現することが可能 2024/5/28 Copyright © 2024 Takahiro Miyaura 44

Azure Communication Services Azure Communication Services Calling Unity SDK Unity向けのSDKがありHoloLens 2等で利用できる Teams参加者のスクショ ACS経由でTeams会議に参加（HoloLens 2上） 【公式クイックスタートあり】 クイック スタート:音声通話をアプリに追加する https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/getting-started-with-calling?wt.mc_id=WDIT-MVP-5003104&tabs=uwp&pivots=platform-unity クイックスタート: アプリに 1 対 1 のビデオ通話を追加する https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/get-started-with-video-calling? wt.mc_id=WDIT-MVP-5003104& pivots=platform-unity 2024/5/28 Copyright © 2024 Takahiro Miyaura 45

• https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/getting-started-with-calling?wt.mc_id=WDIT-MVP-5003104&tabs=uwp&pivots=platform-unity

Azure Communication Services サービスの構成 Rest APIとSDKで利用する仕組み ○ Calling SDK（※今回使っていたのはコレ） ○ Call Automation SDK ○ Chat SDK ○ SMS SDK ○ e-Mail SDK ○ UI Library Node.jsで作られたUIライブラリ Web-RTCといったローレベルでのアプリ開発は不要で 様々なコミュニケーション手段を実現することが可能 2024/5/28 Copyright © 2024 Takahiro Miyaura 46

Azure Communication Services Calling SDKによる会議実施時 音声やビデオ会議に関する機能を提供するライブラリ User A ユーザアクセストークン の生成要求 ユーザアクセストークン の生成要求 アクセストークン アクセストークン ミーティングに参加 ミーティングに参加 アクセストークン ユーザ情報 ビデオ、画面、音声データ アクセストークン ユーザ情報 Azure Communication Services ビデオ、画面、音声データ 他参加者のデータ ストリーミング配信 他参加者のデータ ストリーミング配信 2024/5/28 User B Copyright © 2024 Takahiro Miyaura 47

Data Channel APIを活用した拡張 これ使うと。。。 @takabrz1 Takahiro Miyaura

Azure Communication Services Data Channel API 会議中の音声、ビデオ以外のリアルタイムデータ通信用API 任意のデータ User A 2024/5/28 他参加者のデータ ストリーミング配信 任意のデータ Azure Communica tion Services Copyright © 2024 Takahiro Miyaura 他参加者のデータ ストリーミング配信 User A 49

Azure Communication Services Data Channel API仕様 ○ 送信は自分以外を対象 ○ 送信相手を指定可能(Max:64名) ✓ （指定なしで本人以外全員） ○ チャネルIDによりデータの用途を分類可能 ○ 1通信あたり 32Kbまで（それ以上は分割送信） ○ 通信品質の設定が可能 ✓ 極力意向に沿えるよう頑張る方式 ✓ 設定項目：帯域、優先度、信頼度(送信順保証/未保証) ✓ 帯域制限(現在)  信頼度の高いチャンネル (Durable): 64 kbps  信頼度の低いチャンネル (Lossy): 512 kbps  高優先度で信頼性の低いチャネル: 200 kbps 2024/5/28 Copyright © 2024 Takahiro Miyaura 50

これ（Data Channel API）が Unity用のCalling SDKでも使えるんですよ つまりHoloLens 2アプリで・・・ 2024/5/28 Copyright © 2024 Takahiro Miyaura 51

なのでこんなことができるようになります 懐かしくないですか？ そう、なんか以前のHololens用Meshアプリっぽい 2024/5/28 Copyright © 2024 Takahiro Miyaura 52

(番外編)8thwallで・・・ @takabrz1 Takahiro Miyaura

8thwallのコンテンツはHoloLens 2も動く そう実は数年前から・・・ 8th Wall WebAR Moves Beyond the Smartphone with Metaversal Deployment https://www.8thwall.com/blog/post/59297774102/introducing-reality-engine-8th-wall-webar-moves-beyond-the-smartphone ○ WebAR World Effectsをサポート ○ three.js (release 125+) ○ A-Frame (release 1.1.0+) ○ Edgeブラウザからアクセスすると・・・ 2024/5/28 Copyright © 2024 Takahiro Miyaura 54

• https://www.8thwall.com/blog/post/59297774102/introducing-reality-engine-8th-wall-webar-moves-beyond-the-smartphone

8thwallのコンテンツはHoloLens 2も動く デモ（できるかな。。。） 2024/5/28 Copyright © 2024 Takahiro Miyaura 55

解説記事はこちら 8thWall で HoloLensのコンテンツを作る https://qiita.com/miyaura/items/02000ef65245d67c2663 標準で提供されているハンドマニピュ レーションの実装方法 2024/5/28 Copyright © 2024 Takahiro Miyaura 56

• https://qiita.com/miyaura/items/02000ef65245d67c2663

まとめ 2024/5/28 Copyright © 2024 Takahiro Miyaura 57

今日のまとめ 最近のMicrosoftのXR系技術色々紹介しました。 ポイント 1. Microsoft Build 2024ではMixed Reality系のニュースもあった 2. いくつかAzure Mixed Reality関連のサービスが廃止になった 3. Microsoft MeshでTeamsでの没入体験、ワールド作成が可能に 4. Azure Communication ServicesのHoloLens 2サンプルある 拡張性もあるので様々な活用方法を見出せそうです 5. 実は8thwallはHoloLens 2で動くんです 様々な技術を使ってXR界隈をみんなで楽しんでいきましょう！ 2024/5/28 Copyright © 2024 Takahiro Miyaura 58

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ