Microsoft Foundry Tools - Voice Live調査（2026-06-01-preview版）
-- Views
July 08, 26
スライド概要
【大阪】KANSAI AI PUB（関西×人工知能×場）2026/07/08 ( https://deep-learning-osaka.connpass.com/event/396962/ )登壇資料
Microsoft Foundry Tools - Voice Live APIの新しいPreview版の機能が公開されたのでその調査をした話を紹介。
ついにHosted Agentの呼出、接続性を重視したWebSocket形式のAvatar接続の仕組みなどより使いやすい機能が追加されていました。
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
関連スライド
各ページのテキスト
Microsoft Foundry - Tools Voice Live 調査(2026-06-01-preview版) 2026/07 AI ミーティング @takabrz1 Takahiro Miyaura
宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018 Microsoft MVP for M365 2025 - 2026 XR は趣味です.AI 系も最近始めました。 - 202 5 大阪駆動開発コミュニティに生息 HoloLens 日本販売してからxR 系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ AndroidXR ○ 新しいガジェット( MiRZA,Galaxy XR,etc …) ○ Microsoft Foundry, 生成AI @takabrz1 ※よかったらこれを機にお知り合いになってください
今日も何度か話しているFoundry Toolsの 音声系の話（いろいろアップデートがあったので） 2026/07/08 © 2026 Takahiro Miyaura 3
Microsoft Foundryの話 2026/07/08 © 2026 Takahiro Miyaura 4
Microsoft Foundry The AI app and agent factory Azure 上で提供されるAI エージェントの開発、運用を管理するプラットフォーム Models Agent Service IQ Tools Machine Learning Control Plane Cloud Edge Security, compliance, and governance 引用: Microsoft.Let your agentic apps talk with Azure Speech.Microsoft Ignite 2025.2025,11,p.3.https://ignite.microsoft.com/ en - US/sessions/BRK198, （参照 2026 - 01 - 21 ）.
Foundry Tools – Voice Live AIモデルやエージェントをリアルタイム音声会話で利用 日常対話はモデル、複雑タスクはAgent に委任 文章（プロンプト）を送って 何らかの処理をしてもらう Foundry Agent Service Agent 呼出 応答 ユーザ 応答 モデル呼出 2026/07/08 © 2026 Takahiro Miyaura Foundry Models Phi4,… 6
Foundry Tools – Voice Live AIモデルやエージェントをリアルタイム音声会話で利用 日常対話はモデル、複雑タスクはAgent に委任 Agent 呼出 Microsoft Foundry でエージェントを定義 音声 ユーザ Voice Live Foundry Agent Service Agent 呼出 SDK(API) 応答 リアルタイムAI モデル 基本対話を担当 応答 音声応答 モデル呼出 モデル呼出時 プロンプト、ツール、MCPの 設定も渡せる 2026/07/08 © 2026 Takahiro Miyaura Foundry Models Phi4,… 7
Foundry Tools – Voice Live APIとは Foundry のモデルやエージェントを利用したリアルタイム音声API ◯ 最近は.NET, Python SDK でも提供 ◯ Preview の最新を使いたい場合はAPI を利用 GA｜2026 - 04 - 10 で正式提供 連携 Preview ｜2026 - 06 - 01 - preview 新機能 ○ ・・・ ○ Hosted agent invocation events （ホスト型エージェント呼出） ○ WebSocket アバター（同一WSに映像配信） ○ Streaming text input （テキスト増分入力） ○ WebRTC 音声接続 ○ parallel_tool_calls ○ ・・・ エージェント呼出が正式対応、 OpenTelemetry によるトークンなどの監視が可能に Hosted Agents 、Websocket 通信でアバターが利用可能に 活用の幅が広がる機能を先行して提供 ○ Foundry Agent ○ MCP サーバ統合 ○ Proactive messages （先読み発話） ○ Auto - truncation （履歴自動切詰め） ○ OpenTelemetry トレース（新規GA） 2026/07/08 © 2026 Takahiro Miyaura 8
Microsoft Build 2026があった6月に Preview 版が更新された 2026/07/08 © 2026 Takahiro Miyaura 9
追加された機能 バージョン指定：2026 - 06 - 01 - preview 機能 WebSocket 概要 アバター （fMP4/H.264 ）で同一WSに映像配信 response.video.delta Hosted agent invocation events ホスト型エージェント呼出のライフサイクル/ ツール活動イベント Streaming text input input_text.delta / .done Smart end - of - turn detection 入力音声を直接処理する発話終端判定の新モード parallel_tool_calls 1ターン内で複数ツールを並列呼び出し azure - realtime - native voice azure - realtime でテキストを増分入力 専用の構造化ボイス WebRTC 音声接続 / EC reference ブラウザ直結の低レイテンシ音声・実再生音参照EC ・・・ ・・・ Hosted Agents 、Websocket 通信でアバターが利用可能に 活用の幅が広がる機能を先行して提供 2026/07/08 © 2026 Takahiro Miyaura 10
WebSocket アバター と WebRTC アバターの違い WebRTC アバター WebSocket GA ・ output_protocol=webrtc Preview Voice Live サービス クライアント ネゴシエーションが必要 ○ 映像＝H.264 、音声＝Opus （別経路） ○ viseme / blendshape 同期 1経路：WebSocket 2026/07/08 ですべて配信 ○ 映像＝response.video.delta （fMP4/H.264 ） ○ 音声＝24kHz PCM （同一WS） ○ SDP / ICE 狙い：低レイテンシー最優先（リアルタイム音声） Voice Live サービス クライアント 2経路：WebSocket 制御 ＋ WebRTC映像/ 音声 ○ SDP / ICE アバター ・ output_protocol=websocket 不要・実装がシンプル 狙い：接続性・簡易実装（FW/プロキシ越え・SDP/ICE 不 要・CORS 回避） © 2026 Takahiro Miyaura 11
Hosted Agent 呼び出しイベント（invocation events） モデルが Foundry のエージェントを呼び出す実行過程を、サーバイベントでリアルタイム配信 音声モデル Voice Live Foundry セッション モデルが Foundry Hosted Agent エージェントを呼び出す際のライフサイクル（response.foundry_agent_call.* ① 開始 .in_progress ② 引数 ） ③ 完了 _arguments.delta / .done .completed 意義・ポジション ○ Hosted Agent ＝任意フレームワーク（MAF・Copilot SDK でホストする仕組み ○ 2026 - 06 - 01 - preview で、その Hosted Agent ・LangGraph を Voice Live ○ モデルがツール呼出する際のライフサイクルを response.foundry_agent_call.* 等）のカスタムエージェントを Foundry 管理下 から呼び出して扱えるように （＋ .failed ）で配信 ○ 本サンプル：未実装（イベント受信は今後対応予定） 2026/07/08 © 2026 Takahiro Miyaura 12
デモ 2026/07/08 © 2026 Takahiro Miyaura 13
デモ 今日はライブデモ 2026/07/08 © 2026 Takahiro Miyaura 14
まとめ Foundry のVoice Live API の調査 徐々に使い勝手がよくなってきている印象・・・ Voice Live SDK(API) があれば チャットベースのエージェントやモデル変更せずに 音声やアバター会話できる仕組みに拡張できる ○ 文字チャットエージェントから、電話対応エージェントへ切替える ○ AI グラス、Xグラス等でのエージェント活用 ○ 便利でもベンダーのAI サービスは業務では活用が難しい ○ Etc … 2026/07/08 © 2026 Takahiro Miyaura 15
参考リンク｜バージョン別 公式リファレンス ○ リリースノート（What's new in Azure Speech https :// learn .microsoft.com/azure/ai ○ 2025 - 10 - 01 API ○ 2026 - 01 - 01 - preview API https :// learn .microsoft.com/azure/ai ○ 2026 - 06 - 01 - preview API 2026/07/08 - service/releasenotes#release - notes - services/speech - service/voice - live - api - reference - 2025 - 10 - 01 リファレンス - services/speech - service/voice - live - api - reference - 2026 - 01 - 01 - preview リファレンス（GA） https :// learn .microsoft.com/azure/ai https:// - services/speech リファレンス（GA・基盤） https :// learn .microsoft.com/azure/ai ○ 2026 - 04 - 10 API ） learn .microsoft.com/azure/ai - services/speech - service/voice - live - api - reference - 2026 - 04 - 10 リファレンス（今回） - services/speech - service/voice © 2026 Takahiro Miyaura - live - api - reference - 2026 - 06 - 01 - preview 16
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ