最近のMicrosoftのXR技術色々紹介します！

1.9K Views

May 28, 24

#mixed reality #mrtk3 #unity #azure #power apps #teams #microsoft mesh #Microsoft #XR #Mixed Reality #Azure #MRTK3

スライド概要

XRKaigi Hub in Osaka(https://xrkaigihubinosaka.peatix.com/)登壇資料。
登壇概要 - MicrosoftはHoloLensをリリース後、Mixed Reality技術について様々な取り組みを実現しています。最近ではTeams関連ではMicrosoft Mesh、3社の独立運営に変わったMRTK3等XR系の開発や活用において役立つサービスや機能が提供されています。本セッションでは、最近のMicrosoftのXR技術について、概要と主要なものをピックアップし紹介する予定です。 -

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.53MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 23.1K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12.1K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

各ページのテキスト

最近のMicrosoftのXR系技術いろいろ紹介します！ 2024/05 XR Kaigi Hub in Osaka @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

今日の目次 Microsoftの最近のXR系技術について整理して一部をデモ改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2024/5/28 1. Stereokit 2. MRTK3 ✓ 2. Azureサービス 1. 2. 3. 4. 5. 3. 開発技術(ネイティブアプリ) 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 3

本題に入る前にこれはまじめに大事なので @takabrz1 Takahiro Miyaura

久しぶりの公式カンファレンスでのMixed Realityネタ Microsoft Build キーノートで Windows Volumetric Apps on Meta Quest キーノートで語られている内容を整理すると・・・ ○Windows 365関連の機能 ○3D空間に拡張できるWindowsアプリをVolumetric Appsと呼んでいる ○クラウドからWindowsを提供することで、様々なデバイスで活用可能に ➙Meta社と提携しW365に関する機能をQuestに提供することで実現 ○動画デモアプリはPTC 2024/5/28 Copyright © 2024 Takahiro Miyaura 7

Windows Volumetric Apps on Meta Quest Desktop アプリを空間に & アプリで使う3DモデルをAR表示？空間にデスクトップアプリが描画 ※正面のものはどうもCADっぽい何か Captured on Meta Quest 3 アプリ内の設計データが空間に3Dで描画 & 直感的操作開発者プレビューのショートカットリンク aka.ms/VolumetricApps 2024/5/28 Copyright © 2024 Takahiro Miyaura 8

Microsoft Build 2024 XR関連セッション ○ Imagine a new era of digitalization in manufacturing with NVIDIA https://build.microsoft.com/en-US/sessions/a005abb1-3feb-4e7b-8bea-5a05c32f40dd 内容はAzure上に構築できるNVIDIA Omniverse Cloudの話。これを活用したデジタルツインツールやアプリケーションの構築について。 ○ Meta & Microsoft: The future of Windows productivity and mixed reality https://build.microsoft.com/en-US/sessions/267df5b8-5a0b-4cbf-ae73-52af2bd53e4c 主な内容はMeta、MicrosoftのMixed Realityに関する方向性や取組みについて。OfficeやMicrosoft Mesh、Windows Volumetric Appsの話のなかでMeta Questをエンタープライズ用途で活用するためのMeta Quest for Businessの話とRay-Ban Metaスマートグラスの話。 ○ Creating Immersive 3D Solutions with Microsoft Mesh https://build.microsoft.com/en-US/sessions/9b93c707-4cfa-46f2-b676-05ababd7e978 内容はMeshの概要、開発ライブラリとしてのMesh Toolkitの話、カスタムワールドのサンプルについて。サンプルはMesh 201という以前からあったものでWebSlateと地球の3Dモデル使った情報表示を行う空間デモだが、Azure OpenAI Serviceを組込んでMesh内でAIによるアシストを実現するものに改修されている 2024/5/28 Copyright © 2024 Takahiro Miyaura 9

10.

ここから本題まずは目次レベルで @takabrz1 Takahiro Miyaura

11.

AI活用 Dynamics 365 GuidesはいずれCopilotがつく改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 11

12.

去年のMicrosoft Igniteで発表があった Introducing Copilot in Microsoft Dynamics 365 Guides, bringing generative AI in mixed reality to frontline workers https://www.microsoft.com/en-us/industry/blog/industrial-metaverse/2023/11/15/introducing-copilot-in-microsoft-dynamics-365-guides-bringinggenerative-ai-in-mixed-reality-to-frontline-workers/?wt.mc_id=WDIT-MVP-5003104 Copilot in Dynamics 365 Guides ✓ Point and Ask Guidance ✓ Spatial Content Generation ✓ Step-by-Step Assistance ✓ On-demand Information ✓ Knowledge Integration ✓ Streamlined Documentation 2024/5/28 Copyright © 2024 Takahiro Miyaura 12

https://www.microsoft.com/en-us/industry/blog/industrial-metaverse/2023/11/15/introducing-copilot-in-microsoft-dynamics-365-guides-bringing-

13.

個人的にインパクトある話。。。 Azure Spatial Anchors と Azure Object Anchorsは・・・改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 13

14.

いずれも廃止 Azure Object Anchorsは一部残る Azure Object Anchorsは個別提供が廃止でGuidesの機能は存続 Azure Spatial Anchors Azure Object Anchors 提供終了日 2024/11/20 提供終了日 2024/05/20 https://azure.microsoft.com/ja-jp/updates/azure-spatialanchors-retirement/?wt.mc_id=WDIT-MVP-5003104 https://azure.microsoft.com/ja-jp/updates/azure-objectanchors-retirement/?wt.mc_id=WDIT-MVP-5003104 (実はもう提供終了) これらに変わる空間利用できるサービスについては・・・興味がある人向けに連絡窓口はあるので何か出てくる？ 2024/5/28 Copyright © 2024 Takahiro Miyaura 14

15.

Mixed Reality Toolkit 3 3社(Microsoft, Qualcomm, Magic Leap)による独立した委員会制で運営改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 15

16.

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクトきっかけはMicrosoft社のレイオフマイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運営ではなくOSSとして整備が進むようになる。独立したプロジェクトとして新たなスタート「MRTK」がプロジェクトとして独立、運営にMagic Leapとクアルコム参画へ(MoguraVR – 2023/08/31) https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/ Microsoft, Qualcomm, Magic Leap の3社運営 2024/5/28 Copyright © 2024 Takahiro Miyaura 16

17.

https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-overview/?WT.mc_id=WDIT-MVP-5003104

18.

19.

余り知られていない？ Power PlatformでAR活用できるんです。改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 3. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 4. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 19

20.

Power Platform Power Appsの部品として提供空間計測、オブジェクト配置をローコードで https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-reality-overview?wt.mc_id=WDIT-MVP-5003104 ○ Power Apps の 3D コンテンツの表示 https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-3dMR?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で 3D コンテンツまたは画像を表示する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-mr?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で測定を行う https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-measure-distance?wt.mc_id=WDIT-MVP-5003104 ○ Mixed Reality で定義済みの 3D 図形を表示する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/mixed-realitycomponent-view-shape?wt.mc_id=WDIT-MVP-5003104 ○ Power Apps (プレビュー) で Markup in MR コントロールを使用する https://learn.microsoft.com/ja-jp/power-apps/maker/canvas-apps/markup-inmixed-reality?wt.mc_id=WDIT-MVP-5003104 2024/5/28 Copyright © 2024 Takahiro Miyaura 20

21.

結構便利な機能があるんですよ？ MRTKに加えてネイティブのXR開発が楽になるものが。改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 1. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 2. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 21

22.

各種便利ライブラリ from Mixed Reality feature tool Mixed Realityに関するAzureやMicrosoft、他社提供SDKの導入ツール ○Azure系 ○MRTK ○Platform Support ○その他便利なライブラリ ○Data Binding & Theming ○Adaptive Card ○WebView 2024/5/28 データに応じた動的コンテンツ生成 & テーマ変更 https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3data/packages/data/overview?wt.mc_id=WDIT-MVP-5003104 Copyright © 2024 Takahiro Miyaura 22

https://learn.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/mrtk3-

23.

各種便利ライブラリ from Mixed Reality feature tool Mixed Realityに関するAzureやMicrosoft、他社提供SDKの導入ツール ○Azure系 ○MRTK ○Platform Support ○その他便利なライブラリ ○Data Binding & Theming ○Adaptive Card ○WebView 2024/5/28 JSON形式で記述するUIテンプレート https://learn.microsoft.com/ja-jp/adaptive-cards/ Copyright © 2024 Takahiro Miyaura 23

https://learn.microsoft.com/ja-jp/adaptive-cards/

24.

さらにピックアップして紹介改めてみると結構ある… 1. ソリューション/製品/ローコード系 1. 2. 3. 4. Microsoft Mesh Dynamics 365 remote Assist Dynamics 365 Guides Power Platform(MR系) 2. Azureサービス 1. 2. 3. 4. 5. 2024/5/28 1. 開発技術(ネイティブアプリ) 1. MRTK3 2. Stereokit 3. 各種便利ライブラリ from Mixed Reality Feature Tool 2. 開発技術(WebXR系) Azure Spatial Anchors Azure Object Anchors Azure Remote Rendering Azure Digital Twins Azure Communication Services 1. Babylon.js 2. （番外編）8thwallで・・・ Copyright © 2024 Takahiro Miyaura 24

25.

Microsoft Mesh @takabrz1 Takahiro Miyaura

26.

Microsoft Meshとは Microsoft Learnコンテンツで公開された(2023/10/07) https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104 We are re-imagining the way employees come together with Microsoft Mesh, a new three-dimensional (3D) immersive experience. Microsoft Mesh is not merely another innovation, but a solution that enables your distributed workforce to connect like never before in a 3D immersive space, helping virtual meetings and events feel more like face-to-face connections. サイトからの引用機械翻訳私たちは、新しい3D没入型体験であるMicrosoft Meshによって、社員が集う方法を再構築します。Microsoft Meshは、単なるイノベーションではなく、分散した従業員が3D没入型スペースでかつてないほどつながることを可能にするソリューションです。 2024/5/28 Copyright © 2024 Takahiro Miyaura 26

https://learn.microsoft.com/ja-jp/mesh/overview?wt.mc_id=WDIT-MVP-5003104

27.

28.

Microsoft Meshとはコンセプトを実現するために提供される3D空間の活用手段 ○Immersive Spacesの活用（Teams） ○Teams会議の中で3D没入空間での会議体験を可能にする ○Immersive Spacesのカスタマイズ(Microsoft Mesh) ○既存環境のカスタマイズ https://learn.microsoft.com/en-us/mesh/overview#customize-a-ready-to-use-environment?wt.mc_id=WDIT-MVP-5003104 ○既にある空間に装飾（動画、画像を配置）することで環境を整える ○カスタム環境の開発 https://learn.microsoft.com/en-us/mesh/overview#develop-a-custom-environment?wt.mc_id=WDIT-MVP-5003104 ○3D空間すべてをカスタム環境として開発する参考 Meshでは3D空間そのものを環境(Environment)と定義 2024/5/28 Copyright © 2024 Takahiro Miyaura 28

29.

Microsoft MeshとTeams PCとMeta Questの参加は組合せがある ○Teams ○Immersive Spacesでプリセットの3D空間で会議ができる ○Microsoft Mesh App(PC/Meta Quest) ○Meshポータル/アプリで設定したイベントで共有体験できる ○QuestについてはTeamsのImmersive Spacesに参加可能 ○QuestはMesh空間での没入体験が可能 Mesh App Meta Quest Teams – Immersive Spaces PC Mesh App PC Mesh App Meta Quest 2024/5/28 〇〇〇 Mesh App PC Teams – Immersive Spaces PC × 〇〇 Copyright © 2024 Takahiro Miyaura 〇 × 〇 29

30.

Microsoft Meshに必要なライセンス Microsoft Entra(以前の言い方だとAzure AD)下で利用 https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104 ✓ M365関連のライセンスが必要 ✓ ✓ ✓ ✓ ✓ ✓ Teams Essentials Microsoft 365 Business Basic Microsoft 365 Business Standard Microsoft 365 Business Premium Microsoft 365 E3/E5 Office 365 E1/E3/E5 ✓ Meshのクライアントアプリ(PC/Android=Quest)の利用には上記に加えて ✓ Teams Premium（利用アカウント分） ✓ Azureアカウントとサブスクリプションも必要 ✓ 2024/5/28 カスタム環境を使う場合（必要に応じて） Copyright © 2024 Takahiro Miyaura つまり現時点では組織アカウントで運用が必要 30

https://learn.microsoft.com/en-us/mesh/setup/content/preparing-your-organization?wt.mc_id=WDIT-MVP-5003104

31.

Microsoft Meshの Custom Immersive Spacesについて Unityで開発できます @takabrz1 Takahiro Miyaura

32.

33.

カスタマイズ環境の現在の要求環境 Unityで開発 https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104 ○Unity 2022.3.15f1 ○URP(3D) ○開発スキル（Visual Scriptingを使って開発） ○Mesh Toolkit ○Meshワールドを構築するために便利なライブラリ群 ○開発そのものには不要だがMeshを使うためには必要 ○M365関連のライセンス 2024/5/28 Copyright © 2024 Takahiro Miyaura 33

https://learn.microsoft.com/en-us/mesh/develop/getting-started/prerequisites?wt.mc_id=WDIT-MVP-5003104

34.

Mesh Toolkit Mesh用のカスタムワールド構築のための部品群で構成 https://learn.microsoft.com/en-us/mesh/develop/development-overview?wt.mc_id=WDIT-MVP-5003104 ○Mesh Graphics Tool ○Mesh Webslates ○Mesh physics ○Mesh Visual Scripting ○Mesh interactables ○Mesh cloud scripting ○Mesh controllables ○Play mode with Mesh Emulator ○Mesh triggers, anchors and tethers ○Mesh Uploader ○Mesh avatar spawn and travel points ○Mesh Content Performance Analyzer 2024/5/28 Copyright © 2024 Takahiro Miyaura 34

https://learn.microsoft.com/en-us/mesh/develop/development-overview?wt.mc_id=WDIT-MVP-5003104

35.

カスタマイズ環境の開発について最初はチュートリアルMesh101がお勧め Github : https://github.com/microsoft/Mesh-Toolkit-Unity ○やり方を学びたいならチュートリアル「Mesh101」 https://learn.microsoft.com/en-us/mesh/develop/getting-started/mesh-101-tutorial/mesh-101-01-overview-and-setup?wt.mc_id=WDIT-MVP-5003104 ○ボタンの扱いやテレポート、オブジェクト操作の実装方法 ○Meshワールドへの登録～実際に使うまでの手順 ○サンプルもある https://learn.microsoft.com/en-us/mesh/develop/getting-started/samples/samples-overview?wt.mc_id=WDIT-MVP-5003104 ○いくつかの機能や、世界観を表す環境のサンプル(Mesh101含) ○空プロジェクトの作り方もあるよ https://learn.microsoft.com/en-us/mesh/develop/build-your-basic-environment/create-a-new-project-or-update?wt.mc_id=WDIT-MVP-5003104 ○Mesh Toolkitの導入 2024/5/28 Copyright © 2024 Takahiro Miyaura 35

36.

37.

Mesh Visual ScriptingとMesh Cloud Scripting Meshのカスタム環境を作るための実装方法は大きく2つ Visual Scripting ○ ノードをつないで実装 ○ Mesh Toolkitで部品が提供 ○ 他の参加者と状態の共有/非共有が設定可 2024/5/28 Cloud Scripting ○ C#(.NET 6)で開発できる ○ Azure上でMeshポータルとは別管理 ○ 他のサービスとも連携が可能 ○ オブジェクトや状態は自動的に共有 Copyright © 2024 Takahiro Miyaura 37

38.

39.

簡単に仕組みを説明環境インフラについての公式ドキュメント https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104 ◼ Application Insights ◼ App Service ◼ Action Group ◼ App Service プラン（注：Premium v2 P2V2（月額22,000円超）） ◼ Log Analyticsワークスペース ◼ ストレージアカウント ◼ 仮想ネットワーク Azureポータルから変更不要 (ただし)App Serviceの料金は検証用ならスペック下げてもいいと思います。 2024/5/28 Copyright © 2024 Takahiro Miyaura 39

https://learn.microsoft.com/ja-jp/mesh/develop/script-your-scene-logic/cloud-scripting/cloud-scripting-setup-infrastructure?wt.mc_id=WDIT-MVP-5003104

40.

41.

簡単に仕組みを説明 Cloud ScriptingとUnityのHierarchy/コンポーネントの関係 Cloud ScriptingはNodeで管理する階層構造をあわせて。。。 ○ ノード部品が提供 ○ Cloud Scripting上はNodeクラスから情報を取る ○ Unityオブジェクトから情報が取れない（場合も）対応するノードをCloud Scripting内に配置しても消失はせずに複製される 2024/5/28 Copyright © 2024 Takahiro Miyaura 41

42.

43.

Azure Communication Services @takabrz1 Takahiro Miyaura

44.

Azure Communication Services 概要マルチチャネルコミュニケーション実現のためのサービス ○ 音声、ビデオ、チャット、テキストメッセージ/SMS、メールなどのコミュニケーション手段を利用可能 ○ ライブラリが提供されており、双方向通信など専門家でなくてもアプリに機能を実装可能 ○ 他のサービスとの連携(M365, Teams等)のサポート Web-RTCといったローレベルでのアプリ開発は不要で様々なコミュニケーション手段を実現することが可能 2024/5/28 Copyright © 2024 Takahiro Miyaura 44

45.

Azure Communication Services Azure Communication Services Calling Unity SDK Unity向けのSDKがありHoloLens 2等で利用できる Teams参加者のスクショ ACS経由でTeams会議に参加（HoloLens 2上）【公式クイックスタートあり】クイックスタート:音声通話をアプリに追加する https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/getting-started-with-calling?wt.mc_id=WDIT-MVP-5003104&tabs=uwp&pivots=platform-unity クイックスタート: アプリに 1 対 1 のビデオ通話を追加する https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/get-started-with-video-calling? wt.mc_id=WDIT-MVP-5003104& pivots=platform-unity 2024/5/28 Copyright © 2024 Takahiro Miyaura 45

https://learn.microsoft.com/ja-jp/azure/communication-services/quickstarts/voice-video-calling/getting-started-with-calling?wt.mc_id=WDIT-MVP-5003104&tabs=uwp&pivots=platform-unity

46.

Azure Communication Services サービスの構成 Rest APIとSDKで利用する仕組み ○ Calling SDK（※今回使っていたのはコレ） ○ Call Automation SDK ○ Chat SDK ○ SMS SDK ○ e-Mail SDK ○ UI Library Node.jsで作られたUIライブラリ Web-RTCといったローレベルでのアプリ開発は不要で様々なコミュニケーション手段を実現することが可能 2024/5/28 Copyright © 2024 Takahiro Miyaura 46

47.

Azure Communication Services Calling SDKによる会議実施時音声やビデオ会議に関する機能を提供するライブラリ User A ユーザアクセストークンの生成要求ユーザアクセストークンの生成要求アクセストークンアクセストークンミーティングに参加ミーティングに参加アクセストークンユーザ情報ビデオ、画面、音声データアクセストークンユーザ情報 Azure Communication Services ビデオ、画面、音声データ他参加者のデータストリーミング配信他参加者のデータストリーミング配信 2024/5/28 User B Copyright © 2024 Takahiro Miyaura 47

48.

Data Channel APIを活用した拡張これ使うと。。。 @takabrz1 Takahiro Miyaura

49.

Azure Communication Services Data Channel API 会議中の音声、ビデオ以外のリアルタイムデータ通信用API 任意のデータ User A 2024/5/28 他参加者のデータストリーミング配信任意のデータ Azure Communica tion Services Copyright © 2024 Takahiro Miyaura 他参加者のデータストリーミング配信 User A 49

50.

Azure Communication Services Data Channel API仕様 ○ 送信は自分以外を対象 ○ 送信相手を指定可能(Max:64名) ✓ （指定なしで本人以外全員） ○ チャネルIDによりデータの用途を分類可能 ○ 1通信あたり 32Kbまで（それ以上は分割送信） ○ 通信品質の設定が可能 ✓ 極力意向に沿えるよう頑張る方式 ✓ 設定項目：帯域、優先度、信頼度(送信順保証/未保証) ✓ 帯域制限(現在)  信頼度の高いチャンネル (Durable): 64 kbps  信頼度の低いチャンネル (Lossy): 512 kbps  高優先度で信頼性の低いチャネル: 200 kbps 2024/5/28 Copyright © 2024 Takahiro Miyaura 50

51.

52.

53.

(番外編)8thwallで・・・ @takabrz1 Takahiro Miyaura

54.

8thwallのコンテンツはHoloLens 2も動くそう実は数年前から・・・ 8th Wall WebAR Moves Beyond the Smartphone with Metaversal Deployment https://www.8thwall.com/blog/post/59297774102/introducing-reality-engine-8th-wall-webar-moves-beyond-the-smartphone ○ WebAR World Effectsをサポート ○ three.js (release 125+) ○ A-Frame (release 1.1.0+) ○ Edgeブラウザからアクセスすると・・・ 2024/5/28 Copyright © 2024 Takahiro Miyaura 54

https://www.8thwall.com/blog/post/59297774102/introducing-reality-engine-8th-wall-webar-moves-beyond-the-smartphone

55.

56.

https://qiita.com/miyaura/items/02000ef65245d67c2663

57.

58.

今日のまとめ最近のMicrosoftのXR系技術色々紹介しました。ポイント 1. Microsoft Build 2024ではMixed Reality系のニュースもあった 2. いくつかAzure Mixed Reality関連のサービスが廃止になった 3. Microsoft MeshでTeamsでの没入体験、ワールド作成が可能に 4. Azure Communication ServicesのHoloLens 2サンプルある拡張性もあるので様々な活用方法を見出せそうです 5. 実は8thwallはHoloLens 2で動くんです様々な技術を使ってXR界隈をみんなで楽しんでいきましょう！ 2024/5/28 Copyright © 2024 Takahiro Miyaura 58

59.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ