140 Views
November 06, 24
スライド概要
Microsoft Developer Dayの懇親会中に発生したLT会で話した資料(即席)
Mesh 201を参考にMicrosoft Meshの中でAzure OpenAI Service実際にうごかしてみた話。
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR(特にMixed Reality領域)についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
会議の癒しコンテンツに OpenAI Serviceを試してみた 2024/11 Microsoft Developer Day @takabrz1 Takahiro Miyaura
宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018-2025 XRは趣味です 大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください
この後コミュニティブースにいます! まさかの かけもち 2024/11/06 © 2024 Takahiro Miyaura
いきなりのデモ そして唐突なMicrosoft Mesh @takabrz1 Takahiro Miyaura
Microsoft Mesh 3D没入空間でミーティングやイベントを実施できるサービス 大きくは3つの構成 https://adoption.microsoft.com/en-us/microsoft-mesh/ Avatars for Teams Immersive Spaces in Teams Custom Immersive experiences ○ Mesh内で活用 ○ Teamsで利用可な3D空間 ○ 複数のAvatarを作成可 ○ プリセットの空間を利用 ✓ カスタマイズ不可 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ Teams内ではWebカメラの 代替としても利用可 ○ Teams会議から利用可 ✓ Meta Quest ✓ PC ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 ○ Meshポータル ✓ イベント/ミーティング作成 ✓ カスタム環境の管理 ○ Mesh Appを利用 ✓ Meta Quest 今回はこれを使っています。 ✓ PC 2024/11/06 © 2024 Takahiro Miyaura
今回のシステム構成 Meshの中でAzure OpenAI Service 使ってみた 2024/11/06 © 2024 Takahiro Miyaura
外部連携があるため Mesh Cloud Scriptingを利用 Mesh用に構築されたAzure App Serviceを介して情報取得 https://w//.weatherapi.com/ 該当地点の天気情報を取得 https://sunrise-sunset.org/ 日の出・日の入り情報を取得 App Service App Service Plan Virtual Network Storage Account Mesh用 Azure OpenAI Service ピーリャン回答用 2024/11/06 © 2024 Takahiro Miyaura
おしえてくん 3Dモデルの情報を使ってキャラクターが教えてくれる ○ Azure OpenAI Serviceを使っ てみたかった・・・ 2024/11/06 © 2024 Takahiro Miyaura
元ネタ Microsoft Meshのサンプル 2024/11/06 © 2024 Takahiro Miyaura
Mesh 201 Open AI Serviceを使ったAIエージェントによる空間内の支援 https://github.com/microsoft/Mesh-Toolkit-Unity 2024/11/06 © 2024 Takahiro Miyaura 注意 Mesh 201のサンプルは .NET SDK for Azure OpenAI V1.00なのでクラス名が少し違う
解説記事はこちら Qiita記事にしました https://qiita.com/miyaura/items/029cddff4deeeaccd6 20 Microsoft Meshの チュートリアルMesh201で Open AI Serviceを試してみる 2024/11/06 © 2024 Takahiro Miyaura
こういったVR(XR)でAI使う意味 XR = 没入感やウェアラブルに関連した技術の1つ ○空間内のユーザの活動などをプロンプト化すると、行 動支援や様々なことができる可能性 ○現実の行動(目をとめたもの/状況、発話など) の中で人に寄り添うエージェントを呼び出したり 2024/11/06 © 2024 Takahiro Miyaura
この後コミュニティブースにいます!(しつこい) まさかの かけもち 2024/11/06 © 2024 Takahiro Miyaura