最近のAzure AI Foundryのアップデート
>100 Views
August 13, 25
スライド概要
AIミーティング 2025/08/13(https://deep-learning-osaka.connpass.com/event/362632/)登壇資料。
Azure AI Foundryのパブリックプレビュー機能として提供されているVoice Live APIがAI Agent呼び出しに対応していたので調査した話。特に注目は、音声とアバターによる対話が可能な「Voice Live API」のパブリックプレビュー。OpenAIのRealtime APIをベースにしたリアルタイム音声対話が可能。2Dアバターも利用可能で今回は、デモやコンソールアプリの実装例を交えて紹介。現時点では制約やバグもあるが、今後の発展が期待。
関連記事：https://qiita.com/miyaura/items/ff86931ea956d5f669f0
関連コード：https://github.com/TakahiroMiyaura/Qiita-Contents
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
関連スライド
各ページのテキスト
最近のAzure AI Foundryのアップデート だけど・・・ 2025/08 AIミーティング @takabrz1 Takahiro Miyaura
宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for M365 2018-2026 XRは趣味です.AI系も最近始めました。 大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Azure AI Foundry ○ Snapdragon Spaces ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください
今日の話は まだパブリックプレビューなので取り扱い注意なもの 2025/08/13 © 2025 Takahiro Miyaura 3
簡単にAzure AI Foundryとは 2025/08/13 © 2025 Takahiro Miyaura 4
Azure AI Foundry Model Catalog Copilot Studio Visual Studio Foundational models Open-source models Azure AI Foundry portal Task models Industry models Evaluations GitHub + Azure AI Foundry SDK Customization Azure OpenAI Service Azure AI Search Azure AI Agent Service Azure AI Content Safety Governance Microsoft Azure Azure上で提供されるAIエージェントの開発、運用を管理するプラットフォーム
数多くのモデルをデプロイ可能 ポータル上でエージェントの開発～運用まで 構築したLLM,エージェントの検証に 利用できるPlauground Azure AI Foundry上で構築し たエージェントの開発、管理 プロジェクトにデプロイ 済みのモデルの管理 2025/08/13 © 2025 Takahiro Miyaura 6
Azure AI Foundry Azure AI Foundry Agent Service Securely build, deploy, and scale AI agents with ease 開発、デプロイ、本番にわたってエージェントの運用を可能にし、 モデル、ツール、フレームワーク、ガバナンスをインテリジェント・エージェントを構築するためのプラットフォーム 「Azure AI Foundry」の中心となる機能 柔軟なモデル選択 Flexible model selection データとアクションの活用 Knowledge and tools マルチエージェント接続 ai.azure.com Orchestration エンタープライズグレード セキュリティ Enterprise-grade security
AI Agentの構造 いわゆる プロンプト Agent LLM Input Output Instructions User messages System events Agent messages 外部連携要素 RAGに使える情報 検索 関数呼び出し Tools Agent Messages Tool calls Retrieval Actions Structured output ツールの詳細はプ ロンプトに記載 Memory LLM : 推論と言語理解を可能にする Instructions : エージェントの目標、動作、制約を定義 Tools : Agentが知識の取得、アクションの実行を可能にする
パブリックプレビューでVoice Live APIが提供 Azure AI Foundry内のモデルやエージェントと会話するAPI ベースはOpenAIのRealtime API ○仕様はほぼ同じで一部Voice Live API用に変更が入っている ○音声と文字による会話 ○音声とアバター（2D）との会話 先日 AIエージェントとVoice Live API経由で会話できるように なったので今日はそれを試してみた話 2025/08/13 公式ドキュメント クイック スタート: Azure AI Foundry Agent Service を使用して音声ライブ リアルタイム音声エージェントを作成する (プレビュー) https://learn.microsoft.com/ja-jp/azure/ai-services/speech-service/voice-live-agentsquickstart?tabs=windows%2Ckeyless&pivots=programming-language-python © 2025 Takahiro Miyaura 9
デモ 2025/08/13 © 2025 Takahiro Miyaura 10
手軽に試すならAzure AI Foundryポータル アバターで会話できますよ 2025/08/13 © 2025 Takahiro Miyaura 11
コンソールアプリ版をサンプルに作ってみた Modelを強化したAIエージェントと会話できる 2025/08/13 © 2025 Takahiro Miyaura 12
ポイント（全体的な話） WebSocket通信が必要（アバターになるとさらに大変） 会話するにはクライアントから2種類のメッセージを送る WebsSocket接続開始 Session.update エージェントの調整 input_audio_buffer.append 音声を送信（発話が終わるまで） こんにちは 今日は何をお手伝 いしましょうか conversation.item.created 応答内容：発話内容の文章 response.audio.delta 応答内容：エージェントの音声データ（分割） 今日は何をお手伝いしましょうか 2025/08/13 conversation.item.created 応答内容：ユーザの発話内容（文章） © 2025 Takahiro Miyaura response.output_item.done 応答内容：エージェントの応答（文章） 13
実際に試す場合には Azure AI Foundryのサービス構築が必要 構築さえできれば、公式ドキュメントのクイックスタートですぐ試せます。 公式ドキュメント https://learn.microsoft.com/ja-jp/azure/aiservices/speech-service/voice-live-agentsquickstart?wt.mc_id=WDIT-MVP-5003104 2025/08/13 © 2025 Takahiro Miyaura 14
実際に試す場合には 先ほどのコンソールアプリはコード上げています。 構築さえできれば、公式ドキュメントのクイックスタートですぐ試せます。 https://github.com/TakahiroMiyaura/VoiceLiveAPISamples 2025/08/13 © 2025 Takahiro Miyaura 15
Qiita記事にしました。 もう少し詳しい話を書いていく予定 Azure AI Foundry Voice Live APIをAIAgentで使う実装解説 今日はまだReadMe状態 https://qiita.com/miyaura/items/ff86931ea956d5f669f0 2025/08/13 © 2025 Takahiro Miyaura 16
OMAKE 現状の制約事項やバグっぽいもの、もやもや。。。 2025/08/13 © 2025 Takahiro Miyaura 17
現状の制約事項やバグっぽいもの 実装見ても解せないことは色々（パブリックプレビューなので） ○ AIエージェントとの接続はAPI Keyが使えない。AI モデルは問題なく接続できる ○ Function Callingはまだうまく機能していない？ ○ サーバサイドで完結する場合は動くが、クライアント側には通知されない ○ 接続の度に新しい会話になる（前の続きのやり方模索中） ○ そもそも仕様がわからん ○ APIの電文仕様がちょっと足りていないか古いかしてる。 ○ 通信方向（クライアント→サーバ）等でReadOnlyになる項目あったりとか。 ○ アバターを使いたい時の公式ドキュメントの少なさよ。。。 パブリックプレビューなので！でも楽しい 2025/08/13 © 2025 Takahiro Miyaura 18
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ