Speech-to-Speech の次は tool 呼び出しと視覚 — 2026 年の動向

Speech-to-Speech の次は tool 呼び出しと視覚 2026 年の動向 M2 阿部 雄斗 2026-10-26

目次と本日の主張 本日の主張 1. Tool 呼び出し ★ 次の 2 つの課題： ① tool 呼び出し（実用） ② 視覚情報（没入） 2. 視覚情報 ★ 音声対話モデルは「聞く・話す」が同時 にできるようになった． API 応答待ちの沈黙をどう埋めるか．GPT-Live-1 / Qwen Audio 3.1 / FDB-v3 / DuplexOmni 「見ながら話す」ができるか．MiniCPM-o 4.5 / DuplexOmni / ELLSA / VideoFDB いずれも 2026 年に入って論文が急増した．専用 ベンチも新規に出た． S2S の次：tool call × 視覚 / 2026-10-26 2 / 36

1. Tool 呼び出し — 実用化の鍵 S2S の次：tool call × 視覚 / 2026-10-26 3 / 36

問題：API 応答待ちの沈黙をどう埋めるか tool を呼んでから結果が返るまでの数秒間，何を話すか． どこまでできているか どの tool を呼ぶか：F1 82.5% 正しい引数で呼ぶ：42.2% （FDB-v3 の 6 モデルでも 0.51–0.68） 引数の聞き取りだけを測ると： テキスト入力なら成功率 100%，音声だと 14–41% 対策の 4 方式 ① 別チャネル注入 — GPT-Live-1 ② tool 統合 — Qwen Audio 3.1 / StepAudio 3 ③ 制御トークン＋外部思考層 — DuplexOmni ④ 別出力ストリーム — VoiceChat / DuplexSLA 🔑 「呼ぶ」より「正しい引数で呼ぶ」が難しい 出典: Roark（VoiceChat の FDB-v3 値）/ τ-Elicitation (2609.13602) S2S の次：tool call × 視覚 / 2026-10-26 4 / 36

• https://roark.ai/blog/testing-full-duplex-voice-agents
• https://arxiv.org/abs/2609.13602

GPT-Live-1 の構成 — 会話レイヤ＋推論レイヤ 前景と背景の間にアプリが入る．前景は音声を止めず，背景の結果は commentary の台詞として受け取る． 前景 GPT-Live-1 — 会話レイヤ 🎤 音声入力（連続） アプリ 🔊 音声出力（連続） full-duplex（同時双方向） 相槌・タイミング 台詞の言い換え・声 書き起こし（input / output transcript） （Live が助けを要請） session.delegation.created （声に出す） session.commentary.append thinking.append instructions.append （黙って文脈へ）/ オーケストレータ（開発者のコード） （再指示） 会話履歴・タスク状態を保持 背景への要求を組み立てる 自作 function の実行 結果を 3 チャネルに振り分ける 背景 要求（会話文脈）/ function_call_output response.event GPT-6 系 — 推論レイヤ（Responses） の差分（文字・tool 呼び出し） deep reasoning hosted tool（web search など）は背景の中で実行 🔑 誰が delegation を起こすか： responses 型 = Live 自身（prompt で誘導）／ client 型 = Live が要請し，アプリが背景を呼ぶ．アプリは要請と無関係に呼ん でもよい． 出典: OpenAI Live delegation docs / Introducing GPT-Live-1 in the API（図は 10/26 に訂正） S2S の次：tool call × 視覚 / 2026-10-26 5 / 36

• https://developers.openai.com/api/docs/guides/live-delegation

GPT-Live-1：commentary で沈黙を埋める 背景のテキスト推論モデル（GPT-6 系）の結果を，アプリが 3 チャネルで前景の音声モデル（GPT-Live-1）に注入する． 3 チャネル注入（アプリ → 前景） 📢 commentary そのまま声に出す台詞 🔊 🧠 thinking 背景モデルの推論結果を，声に出さず文脈に入れ る🔇 📋 instructions 「次はこう振る舞え」の再指示 🔇 「天気を調べて」 1. ユーザ「天気を調べて」 2. 音声「調べますね」🔊 3. 背景：weather API を呼ぶ（裏） 4. 音声「えーっと…」🔊 ← 間を埋める 5. 背景 → アプリ → commentary：結果を前景へ 6. 音声「晴れですよ」🔊 🔑 音声モデルは一度も黙らない．台詞を受け取って話すだけ（話者 交替 0.798 s） 出典: OpenAI Live delegation docs S2S の次：tool call × 視覚 / 2026-10-26 6 / 36

• https://developers.openai.com/api/docs/guides/live-delegation

Qwen Audio 3.1 Realtime：tool 統合型 Alibaba，2026-09．Full-duplex モデルに function calling / web search / voice cloning を標準装備． 🎙 ユーザ音声 → Qwen-Audio-3.1Realtime → 🔊 応答音声 全二重：聞きながら話す・即時 割り込み ↓ 会話の途中でモデル自身が外部を呼ぶ（外付けの判定器なし） function calling アプリ側の関数（予約・検索 API） を音声から呼び，結果を受けて話す web search Web 検索の結果を会話に取り込む ⚠️ function calling と同時には使え ない 付随機能：voice cloning（数秒のサンプルから声を複製）・感情認識 ベンチ τ-Voice 82.0%（半二重設定，Qwen の発表値） 背景音への誤反応 73% → 13% 提供形態 Alibaba Cloud の API（Model Studio）． 日本語は language="ja" で正式サポート 🔑 OpenAI は注入，Qwen は統合 出典: Qwen-Audio-3.1-Realtime (2609.25176) / τ-Voice (2603.13686) / Alibaba Cloud Model Studio docs S2S の次：tool call × 視覚 / 2026-10-26 7 / 36

• https://arxiv.org/abs/2609.25176

Qwen Audio 3.1 Realtime：モデル構成（論文図） Audio Encoder＋LLM を 2 本並列：上 =「いつ話すか」の全二重判断モデル，下 =「何を話すか」の Speech-to-Text モデル → 文脈つき Voice Renderer が音声化． 🔑 tool は統合だが，「いつ話すか」と「何を話すか」は別モデル．GPT-Live-1（前景／背景）とは切り方が違う 2 層． 出典: Qwen-Audio-3.1-Realtime 技術報告 (arXiv:2609.25176) Fig. 2 S2S の次：tool call × 視覚 / 2026-10-26 8 / 36

• https://arxiv.org/abs/2609.25176

Qwen Audio 3.1 Realtime：公式デモ（日本語・tool 呼び出し） 🇯🇵 日本語で会話（多言語セッションの一部） 中国語で始まった旅行相談の途中，ユーザが日本語に切り替える → 文脈（行程・アレルギー）を保ったまま日本語で答える ユーザ「京都で一日だけ自由時間があるんですが…おすすめコースを 教えてもらえますか？」→ モデル：伏見稲荷 → 祇園 → … のコース 提案（22 秒） ▶ 上 = ユーザ（L ch）／下 = モデル（R ch） 🔧 tool 呼び出し（公式デモ動画） 音声の依頼がそのまま tool call になる．足りない引数は推測せず聞 き返す（FDB-v3 の「引数」の課題そのもの） ユーザ モデル ▶ 多人数会話：自分宛てだけに答える 場 モデル 0:00 / 0:39 ▶ 「ちょっと待って」で待てる ユーザ モデル 出典: qwenaudio.github.io/qwen-audio-3.1-realtime Demos（公式デモ音声を転載．日本語 2 turn は発表者が L/R に合成） S2S の次：tool call × 視覚 / 2026-10-26 9 / 36

• https://qwenaudio.github.io/qwen-audio-3.1-realtime/

FDB-v3 ①：tool 専用ベンチの構成（論文図） Full-Duplex-Bench の v3（2026-04）．tool 呼び出し専用．図を下から上へ（ユーザ → agent → 評価）クリックで追う． ④ ① ユーザ音声（実人間の録音） 「Book me a flight um… to New York — wait… ③ Boston.」 filler と言い直しを台本に仕込む ② Full-Duplex Voice Agent ② 聞きながら Tool Pool（旅行・金融・住宅・EC）の API を呼ぶ ① ③ Agent の時間軸 Listening → search_flights("Boston") → 「booked … to Boston」 言い直しに追随して引数を更新できたか 出典: Lin+ FDB-v3 (arXiv:2604.04847) / GitHub S2S の次：tool call × 視覚 / 2026-10-26 ④ 評価 3 軸 tool-use ／ turn-taking ／ latency 10 / 36

• https://arxiv.org/abs/2604.04847

FDB-v3 ②：6 モデル比較の結果 主要結果（論文 Table から抜粋） ポイント モデル Pass@1 Tool 選択 引数正解 応答品質 Take-turn 割り込み ↓ 遅延 (s) GPT-Realtime 0.600 0.876 0.680 0.792 96.0% 13.5% 6.89 Gemini Live 2.5 0.490 0.786 0.593 0.554 92.0% 14.1% 7.26 Gemini Live 3.1 0.540 0.817 0.588 0.718 78.0% 19.2% 4.25 Grok 0.430 0.797 0.542 0.617 94.0% 25.5% 6.65 Ultravox v0.7 0.410 0.794 0.513 0.510 96.0% 47.9% 8.40 Cascaded 0.450 0.803 0.562 0.600 100% 33.0% 10.12 Pass@1 = 全 tool を正しい引数で呼べた割合．応答品質 = tool の結果を意図どおり声で伝えたか（GPT-4o 判定）．割り込み = ユーザ発話終了前に話し始めた割合（低いほど良い）． 出典: FDB-v3 (arXiv:2604.04847) Table 2．データは 100 録音・12 話者（英語の母語・非母語） S2S の次：tool call × 視覚 / 2026-10-26 速さ・正確さ・自然さはトレードオフ 引数正解は 0.51–0.68．tool 選択（0.79– 0.88）より一段低い tool が合っても結果を伝えきれない分がある （応答品質 0.51–0.79） Cascaded（Whisper + GPT-4o + OpenAI TTS）は take-turn 100% だが 10 秒待たせる 🔑 論文時点で Pass@1 最大 0.60．その後 GPT-Live-1 は 0.87 と発表（OpenAI） 11 / 36

• https://arxiv.org/abs/2604.04847

DuplexOmni：相互作用層と思考層はこう動く（模式図） 相互作用層 = 全二重モデル（即座に話す）／思考層 = 外部の MLLM・tool（裏で検索）．制御トークンで繋がる．クリックで時間が進む． 👤 ユーザ 🗣 相互作用層 Talker 🔧 思考層 ① 依頼 「2/28 の上海 → LA の便を 調べて」 ③ 割り込み （沈黙．相手が話しているのを聞いて 「あ，待って．北京発にし いる） て」⚡ ④ 再検索 → 回答 [THINK] 「はい，今すぐ調 べますね」 → [THINK] を出力して思考層 「PVG 発 LAX 行きを確認中 です…」 ↑ 入力列に届いた <…> 断片を 「見つかりました．PKX 発は 午前，PEK 発は午後に…」 文脈を追加 → 検索 tool 起動 streaming feedback ↑ を起動．検索が始まる前に応答し 沈黙を作らない Thinker + tool ② 検索中も話し続ける そのまま口にする <PVG→LAX を確認中…> 途中経過を <…> で包んで相互 作用層の入力列へ流す 「…午前便が」 [CUT] [WAIT] [CUT] = 発話をここで止める， [WAIT] = 思考層を中断 「了解，PKX / PEK 発で調べ 直します」 ⏹ 思考を停止（ [WAIT] を 受けて） 文脈を更新 → 再検索 （沈黙） streaming feedback ↑ <PKX 発 … / PEK 発 …> 要点：2 層は非同期．途中経過が <…> で流れ込むので検索結果が揃う前から話し始められる．割り込みは [WAIT] で思考層を止めて再起動． 出典: DuplexOmni (arXiv:2606.09186) Fig 2(a) を発表者が再構成 S2S の次：tool call × 視覚 / 2026-10-26 12 / 36

• https://arxiv.org/abs/2606.09186

DuplexOmni：相互作用層と思考層を非同期で繋ぐ（論文図） 上 (a) = 前頁の時間軸．下 (b) = 相互作用層の中身：Talker と Thinker が 1 つの backbone で音声・文字・画像 token を交互に出す（Thinker– Talker の構成は Appendix）．遅延 0.506 s． 出典: DuplexOmni (arXiv:2606.09186) Fig 2 S2S の次：tool call × 視覚 / 2026-10-26 13 / 36

• https://arxiv.org/abs/2606.09186

Tool 呼び出しまとめ 4 方式 ① 別チャネル注入 GPT-Live-1 ② tool 統合 Qwen Audio 3.1 / StepAudio 3 ③ 制御トークン＋外部思考層 DuplexOmni ④ 別出力ストリーム VoiceChat / DuplexSLA S2S の次：tool call × 視覚 / 2026-10-26 共通の課題 正しい引数で呼べるのは 4〜7 割 Pass@1 は論文時点で最大 0.60 GPT-Live-1 は 0.87 と発表（OpenAI） 言い直し・filler で確実に劣化 応答待ちの間をつなぐ発話の生成 14 / 36

Tool call のまとめ — ここまでできれば何が変わる？ tool call が実用レベルで走ると，知識検索と身体制御の両方が音声対話に乗る． ① 外部 API：検索 → 予約まで ユーザ：「栃木でおすすめのホテル知ってる？」 search_hotel(area=" 栃木") システム：「えーっと，<API → DB> 日光グランドホテルですね．」 ユーザ：「じゃあそこ予約しておいて」 reserve_hotel(name=" 日光...", date=...) システム：「ちょっとお待ちを…<API> 予約取れました．」 📌 検索・予約・天気・乗換案内 … 任意の外部 API が同じ枠組み． 「えーっと」が応答待ちの沈黙を埋める． ② 身体制御：ロボットの移動 goto("kitchen") / stop() を tool call として出力すれば歩 く． 音声で「台所に行って」と言われたら，会話を止めずに移動の tool を呼び，歩きながら「向かいますね」と返す． 行動を出力列として持つ研究は §2 の ELLSA（卓上ロボット操作） が近い． ⚠️ ただし「移動」には視覚が要る（kitchen はどこか，障害物は）．text だけの tool call では閉じない → §2 視覚へ． S2S の次：tool call × 視覚 / 2026-10-26 15 / 36

2. 視覚情報 — 没入の鍵 S2S の次：tool call × 視覚 / 2026-10-26 16 / 36

問題：「見て答える」は OK，「見ながら会話」は NG 画像を見て質問に答える（VQA）はできる．会話中に視覚を織り込み続けるのはまだ難しい． ✅ できている：見て答える 「この写真の人物は誰？」→ 回答 ターン制の視覚質問応答 一度に 1 枚の画像 ⚠️ まだ：見ながら会話 相手の頷き・視線そらしに応答する 相手の表情を見てトーンを変える 動画の変化を見ながら発話を調整する 🔑 VideoFDB の指摘：VQA はできても streaming の audiovisual grounding はできない．要求を音声＋映像から拾えるの は最良でも 44.7%（ODU-Bench）． S2S の次：tool call × 視覚 / 2026-10-26 17 / 36

MiniCPM-o 4.5：1 秒 chunk で視覚と音声を同じ列に（模式図） 1 秒ごとの chunk に画像 1 枚（64 tok）＋音声 10 tokを並べて LLM に入れ， [silent] （聞く）かテキスト（話す）を出す．クリックで 1 秒ず つ進む． chunk 0（0–1 s） chunk 1（1–2 s） 🖼 ユーザがマグカップを持つ 🖼 同じ（持ったまま） chunk 2（2–3 s） 🖼 同じ chunk 3（3–4 s） 🖼 カップを裏返す（底に文 字） 🎙 音声入力 「これ，何か」 「分かる？」 （無音） （無音） 🧠 LLM 出力 まだ聞く．hidden state は次 chunk へ持ち越し [silent] テキスト「マグカップですね」 テキスト「底に … と書いてあ → 🔊 TTS る」→ 🔊 👁 視覚 画像 1 枚 = 64 tok 10 tok / chunk [silent] / テキスト … 64 tok [silent] 毎 chunk 画像を必ず入れる 質問が終わるまで待つ 視覚 + 音声の両方を見て答える 話しながら視覚の変化を取り込む 要点：視覚と音声を同じ 1 本の token 列に時間順で並べるだけ（Omni-Flow）．単純で視覚リッチ（画像 1 枚 64 tok）．ただし判断が 1 秒に 1 回なので，相槌や割り込み の応答粒度は 1 秒 = 自然な turn-taking には粗い． 出典: MiniCPM-o 4.5 (arXiv:2604.27393) の構成を発表者が再構成 S2S の次：tool call × 視覚 / 2026-10-26 18 / 36

• https://arxiv.org/abs/2604.27393

MiniCPM-o 4.5：Omni-Flow で視覚と音声を並列化（論文図） OpenBMB．LLM = Qwen3-8B（テキスト LLM）＋ 視覚 = SigLIP ViT（0.4B）＋ 音声入力 = Whisper Medium encoder（0.3B）＋ 音声出力 = Llama 系 speech decoder（0.3B）＋ flow-matching．計 9B，重み公開． 🔑 単純で視覚リッチ．ただし応答の粒度が 1 秒 → 自然な turn-taking には粗い． 出典: MiniCPM-o 4.5 (arXiv:2604.27393) S2S の次：tool call × 視覚 / 2026-10-26 19 / 36

• https://arxiv.org/abs/2604.27393

視覚の入れ方：DuplexOmni 480 ms vs MiniCPM 1 s 違いは時間の刻みと視覚の量．1 スライスの中身を並べて比べる． MiniCPM-o 4.5：1 秒 chunk 画像 1 枚 = 64 tok 音声 LLM 10 出力 chunk ごとに画像 1 枚を 64 tok に展開して入れ，LLM が その chunk の出力 tok（聞くなら [silent] 1 個，話す なら発話テキスト）を同じ列に続けて生成．判断は 1 秒に 1 回． Daily-Omni（視覚＋音声理解）80.2 Full-Duplex-Bench v1.5 ToR 36.3 DuplexOmni：480 ms スライス 画像 1 音声 codec 6 フレーム（= 480 ms） テキスト / 制 枚 御 tok スライスごとに 画像フレームを 1 枚だけサンプル → 視覚 軽量．判断は 0.48 秒に 1 回． Daily-Omni 53.8（視覚理解では負ける） Full-Duplex-Bench v1.5 ToR 72.6／遅延 0.506 s 要点：視覚の量と turn-taking の速さはトレードオフ．MiniCPM は「よく見るが遅い」，DuplexOmni は「薄く見るが速い」． 出典: DuplexOmni (arXiv:2606.09186) Table / MiniCPM-o 4.5．数値は DuplexOmni 論文の比較表より． S2S の次：tool call × 視覚 / 2026-10-26 20 / 36

• https://arxiv.org/abs/2606.09186
• https://arxiv.org/abs/2604.27393

ELLSA ①：Listen / Look / Speak / Act を 1 モデルに（論文図） ICLR 2026．音・画・文に行動を足した 4 モダリティを 1 モデルで． (a) SA-MoE：Speech Expert と Action Expert を attention で融合 (b) 時間ブロック内で Speech → Image → Text → Action を交互に 🔑 行動を 4 つ目のモダリティとして扱う VLA＋全二重音声．World Model（Dreamer / Sora）とは別物． 出典: arXiv:2510.16756 (ICLR 2026) / HF dataset S2S の次：tool call × 視覚 / 2026-10-26 21 / 36

• https://arxiv.org/abs/2510.16756

ELLSA：モデル構成 — SA-MoE の中身（論文 Fig 2・3） 2 本の LLM（Speech Expert = LLaMA-3.1-8B + LoRA，Action Expert = Emu3-Base + LoRA）がモダリティごとに層を受け持ち，K / V を 共有する attention で互いを見る． Fig 2：各列が自分の Expert を通り，K・V は前の列から引き継ぐ Fig 3（Stage 3）：部品の全体．🔥 = 学習，❄ = 凍結 Speech Encoder：streaming VisionVQ：Emu3Mamba（32 層） VisionTokenizer Speech Synthesizer： Action tokenizer：FAST（語 CosyVoice2-0.5B（text 8 → 彙末尾 1,024 個） codec 25） 🔑 ブロック = 1 秒（音声 1 秒＋画像 1 枚 → テキスト 8 tok か <silence> ＋行動）．2 本の LLM を attention で繋ぐ． 出典: ELLSA (arXiv:2510.16756) Fig 2・Fig 3 S2S の次：tool call × 視覚 / 2026-10-26 22 / 36

• https://arxiv.org/abs/2510.16756

ELLSA ②：speaking-while-acting と action barge-in ELLSA が示した 3 つの新しい振る舞い． ① 動きながら話す 「ペットボトル取って」 の作業中に「どこに置く？」 と聞かれて答える 行動と発話が並行 ② 動きながら見て答える 「今持ってる物の色は？」→ 視覚＋発話で答える 視覚が streaming で入り続ける ③ 声で動作に割り込む 「ストップ！」で動作中断 発話 → 行動の割り込み 🔑 専用モデル並みの性能のまま全二重の振る舞いを追加獲得．続編 ELLSA 2（2026-10）は表情・ジェスチャを出力側で生 成． S2S の次：tool call × 視覚 / 2026-10-26 23 / 36

ELLSA：デモ（論文のコマ送りを動画に） 公開デモ動画は無いので，GitHub のストーリーボード 10 コマを発表者がコマ送り動画にした（約 20 秒，セリフは英語の合成音 声）．ロボットはシミュレータ． コマ 1–4：「黒いボウルを棚の下段 へ」→ 聞き終えて動き出す コマ 5–6：作業中に「今ボウルはど こ？」→ 腕を止めずに「グリッパー の中です」 コマ 9–10：「ここで止めて」→ 動作 をキャンセル 0:00 / 0:19 出典: bytedance/SALMONN（ELLSA ブランチ） docs/imgs/example.png（Apache-2.0）を再構成． S2S の次：tool call × 視覚 / 2026-10-26 24 / 36

• https://github.com/bytedance/SALMONN/tree/ELLSA

VideoFDB ①：初の AV2AV 全二重ベンチ（論文図） NVIDIA，2026-05．実ビデオ通話から切り出した 237 クリップ × 11 の非言語的な振る舞い． 🔑 AV2AV = 入出力とも音声＋映像．LLM judge が rubric で採点．映像は参加者保護のため非公開． 出典: VideoFDB (arXiv:2605.30256) / NVIDIA / HF dataset S2S の次：tool call × 視覚 / 2026-10-26 25 / 36

• https://arxiv.org/abs/2605.30256

VideoFDB ②：leaderboard — 人間との差 v2 の 2 表：Perception（相手の非言語を読む）／Generation（自分で出す） Perception（音声＋映像の理解） Generation（音声＋映像の生成） モデル Overall モデル Overall Human 4.20 Human 3.92 MiniCPM-o 4.5 3.40 Tavus Griffin Lite 3.83 Gemini 2.5 Flash Native 3.17 Gemini 3.1 Flash Live 2.84 gpt-realtime 2.75 知見 非言語を出す（Generation）：人間 3.92 vs 最良 3.83 で僅差 非言語を読み取る（Perception）：人間 4.20 vs 最良 3.40 で差が大きい Cascaded は全二重の非言語キューを出せない Gemini 2.5 + Anam （cascaded＋アバター） 2.80 Gemini 2.5 + Keyframe 2.39 🔑 商用アバターは人間に迫った．相手の頷き・視線・笑いを読み取る力が次の課題． 出典: VideoFDB v2 (arXiv:2605.30256v2) / project page S2S の次：tool call × 視覚 / 2026-10-26 26 / 36

• https://arxiv.org/html/2605.30256v2

まとめ — 実用 × 没入 ① 実用（tool 呼び出し） 4 方式：注入 / 統合 / 制御トークン / 別ストリーム 専用ベンチ FDB-v3 が出た 課題は引数の正確さと 応答待ちのつなぎ ② 没入（視覚） MiniCPM / DuplexOmni / ELLSA の 3 系譜 専用ベンチ VideoFDB が出た 非言語を出す力は人間に迫り，読み取る力に差 👉 前景の音声モデル＋背景の推論モデルの 2 層構成が商用で定着しつつある．次の焦点は tool 呼び出し（実用）と視覚（没 入）． ご清聴ありがとうございました． S2S の次：tool call × 視覚 / 2026-10-26 27 / 36

Appendix S2S の次：tool call × 視覚 / 2026-10-26 28 / 36

Appendix: 2026-07〜10 の新着（本編で触れきれない分） 2026-10-23 時点で arXiv の abstract を確認したもの．数値は各論文の報告値．青 = tool call，緑 = 視覚． 論文（arXiv） 日付 / 出所 何か 本発表との関係 方式 ④．FDB 3.0 tool 選択 F1 82.5%， 引数は弱いと自認 GPT-Live-1（①）のオープン再現 NemotronLabs VoiceChat 09-18 / NVIDIA, 11B オープン全二重 S2S．tool call （2609.21967） NeurIPS を別の出力ストリームで出力 Frontend-backend for tool calls 09-16 / NVIDIA 系 全二重 frontend が delegation token を出力し text （2609.19334） backend が tool 実行 StepAudio 3 Realtime（2609.14005） 09-12 / StepFun Think-While-Speaking + 非同期 tool 実行．τ-Voice Qwen Audio 3.1（②）の対抗馬 56.0% τ-Elicitation（2609.13602） 09-11 / Sierra 系 200 タスクの引数聞き取りベンチ．成功率 テキスト 100% 「引数の課題」の専用ベンチ vs 音声 14–41% VAmoS Bench（2607.27453） 07-29 100 シナリオ．模擬 DB の最終状態で tool call を採点 最終状態で採点する枠組み（カード窓口） DuplexSLA（2605.20755） 05 / GitHub 公開 160 ms chunk にテキスト action channel を並走．会話中 会話中に tool を呼ぶオープン実装 tool call ELLSA 2（2610.21452） 10-15 / 清華 表情＋ジェスチャを聞きながら・話しながら streaming 出力 視覚 OUTPUT 側の最新 OmniVChat（2609.21465） 09-18 / Qwen3- AV 対話の合成エンジン＋ベンチ＋RL 報酬 日本語ビデオ対話 corpus 不足への解 Omni 上 ODU-Bench（2609.21392） 09-18 AV 文脈から要求を検出．最良 44.7%，誤発火 50% 超が 「見ながら会話は NG」の定量根拠 11/14 AV-STE（2609.08390） 09-08 / KAIST, 凍結 Moshi の前段に口唇映像で雑音下の音声 tok を復元 Moshi に視覚を足す最小構成 EMNLP MP-Bench / MSI-Bench（2609.13076 / 09-11 / 09-21 多人数音声ベンチ．リアルタイム agent の理解 ≤ 22% 没入の次の課題 = 多人数 2609.24812） 主要ベンダ（Kyutai / Qwen-Omni / OpenBMB / Meta / Sesame）は 07〜10 月に新モデルなし（発表者調べ）．VoiceChat のライセンスは要確認． S2S の次：tool call × 視覚 / 2026-10-26 29 / 36

Appendix: 紹介したモデルの学習データ — 実データか合成か 各論文の記述から（2026-10-24 確認）．時間数が書かれていないものは件数で．「—」= 論文に記載なし． モデル GPT-Live-1 Qwen-Audio-3.1Realtime DuplexOmni MiniCPM-o 4.5 ELLSA ELLSA 2 NemotronLabs VoiceChat StepAudio 3 Realtime DuplexSLA 実データ（種類・量） 非公開（docs・launch 資料に記述なし） 音声–テキスト対「100 万時間規模」（実/合成の内訳なし） 合成データ（種類・量） tool・agent 学習：コード agent が環境と DB を生成，LLM の user simulator，ユーザ発話は TTS（量不記載） 実録音も使う旨のみ（量・出所なし） 台本 約 302 万対話（Qwen3.5-397B が生成，video-call 1 万）→ Qwen3-TTS で合成．中 70% / 英 30% 無ラベル音声「数百万時間」（Web）；人手の全二重シナリオ LLM 生成の口語対話（一部は声優が再録音）；合成キャプション （量なし） ASR：LibriSpeech 281k＋GigaSpeech 200k； 質問音声は元データ（実） Seamless Interaction 81 話者 1,318 録画（表情・ 身振り）；ASR 481k・QA 982k（質問側は実） 「自然な音声会話」≈ 4.2k h / 45k 対話（出所不明） データ公開 — 非公開 公開予定 非公開 QA 応答音声は CosyVoice2 で合成（約 70 万件）；ロボット操作は LIBERO HF に学習データあり （シミュレータ）3,386 件；barge-in 1,500 回 多ターン音声対話 434k 件（TTS），応答音声は CosyVoice2 コード公開， データは予定 CPT：テキストを 2 話者 TTS；SFT：duplex ≈ 72k h，tool calling ≈ モデルのみ 7.0k h（多 agent で生成 → TTS），MCQ 24k h，QA 12k h 事前学習 1.2T token；ASR の実ラベル；agent の実 合成全二重対話 10,000 h 超（midtraining）；多ターンは self-play； 非公開 trajectory（量なし） 推論跡はモデル生成 —（「raw dialogue」の出所なし） CPT ≈ 500k h（duplex 320k h＋ASR 180k h）；post-training ≈ 50k h ベンチのみ （tool-call 14k h）．TTS＋voice cloning 1,818 話者 Moshi（参考） 音声事前学習 700 万 h；Fisher 2,000 h（実対話）；2 指示調整用の合成音声 2 万 h 超（自社 TTS） モデルのみ 者録音 170 h MoshiRAG（参考） なし 全部合成：LLM 台本＋多チャネル TTS，190 万対話 / 47,770 h 推論コードのみ 🔑 全二重の対話・tool 学習データは，どのモデルも「LLM が台本 → TTS で合成」が主．実録音は事前学習の音声（Moshi 700 万 h，MiniCPM 数百万 h）と Fisher・Seamless・ASR コーパスに限られる． S2S の次：tool call × 視覚 / 2026-10-26 30 / 36

Appendix: Qwen3-Omni の Thinker–Talker 構成 DuplexOmni の相互作用層の元．Thinker（テキスト）と Talker（音声 token）の 2 本の MoE を Thinker の中間層の隠れ状態で繋ぐ． 入力：音声は AuT（Attention encoder，0.6B，2,000 万時間で学習）→ 12.5 Hz（80 ms に 1 token）．画像・動画は SigLIP2-So400m（0.54B，Qwen3-VL から初期化） Thinker：MoE 30B-A3B．マルチモーダル入力からテキストを生成（通常の omni LLM） Talker：MoE 3B-A0.3B．Thinker の中間層から取り出した隠れ状態と多モーダル特徴を受 け，音声 codec の第 0 codebook を自己回帰で出す MTP module（80M）が残りの codebook（1〜15）を一度に予測 → Code2Wav（因果 ConvNet 200M）がフレームごとに波形へ．理論上の初動遅延 234 ms（音声）/ 547 ms （動画） 🔑 考える本体と声を出す本体を分けて隠れ状態で繋ぐ．DuplexOmni はこの上に 480 ms スライスと制御トークンを載せた． 出典: Qwen3-Omni Technical Report (arXiv:2509.17765) Fig 2・Table 1 S2S の次：tool call × 視覚 / 2026-10-26 31 / 36

• https://arxiv.org/abs/2509.17765

Appendix: FDB-v3 の 5 disfluency ① Filler 「えー」「あの」 無意味な繋ぎ語 tool trigger と誤認 ② Pause 長い沈黙 モデルが早期応答 VAD が切る ③ Hesitation 「えーっと」 迷いの表明 モデルが仮答を出す ④ False start 「あの， じゃあ違う」 言い直しの開始 旧要件で tool 呼ぶ ⑤ Self-correction 「東京，いや大阪」 自己訂正 引数が旧値のまま 🔑 FDB-v3 では 100 シナリオ中 21 シナリオがこの self-correction / state rollback のパターン．「言い直しに追随して tool 引数を更新する」 能力を測る． 出典: FDB-v3 GitHub README S2S の次：tool call × 視覚 / 2026-10-26 32 / 36

• https://github.com/DanielLin94144/Full-Duplex-Bench

Appendix: VideoFDB の 11 nonverbal dynamics 論文・project page の名前そのまま（VideoFDB ① の論文図の円グラフと同じ）．★ = Perception と Generation の両方で評価される項目． 非言語（視覚が要る） Gaze Avoidance with Pause （視線を外しての間） Pause Handling（間の扱い） Adaptor Handling（手遊び・ 身じろぎへの対応） 言語・ターン Verbal Interruption（言語の割り込み） Verbal Backchanneling（言語の相槌） Turn-taking（話者交替） Emotion Matching（感情の一致） 🔑 11 項目は Perception （相手の非言語を読み取る）と Generation （自分で非言語を出す）の 2 つの表に分かれて採点される．AV2AV = AudioVisual to Audio-Visual． 左右の分け方は発表者の整理． Nonverbal Interruption （非言語の割り込み） Face Emotion Display（表情）★ Nonverbal Backchanneling （頷き等の相槌）★ Laughter（笑い）★ 出典: VideoFDB project page S2S の次：tool call × 視覚 / 2026-10-26 33 / 36

• https://research.nvidia.com/labs/amri/projects/video-fdb/

Appendix: 評価サーベイ論文 Negi+ (arXiv:2609.30798) — "Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes" 構成 38 primary sources 6 カテゴリに分類： アーキ論文（latency 報告） Turn-taking 論文（予測精度） Agentic ベンチ（task success） 他 主張 単一指標ではデプロイ品質が見えない アーキ / turn-taking / agentic が 分離評価されている Full-Duplex-Bench 系だけでも v1 → v1.5 → v3 と短期間でバージョンが進む → サーベイ自身も陳腐化しやすい 🔑 評価指標の統一がまだできていないのが分野の未成熟度の表れ．日本語化すればそれだけで新規性のあるベンチが作れる段階． 出典: arXiv:2609.30798 S2S の次：tool call × 視覚 / 2026-10-26 34 / 36

• https://arxiv.org/pdf/2609.30798

Appendix: Full-Duplex × CoT の最新論文 全二重モデルが 話しながら考えるを実現するために CoT を使う 2025 年秋〜2026 年の論文群．前景（即応）と背景（推論）を モデル内部の推論で統合する流れ． SCoT（Arora+ 2025-10） arXiv:2510.02066（CMU + Sony） Streaming CoT： 入力ブロックごとに応答生成を交互実行 フレーム単位 alignment で 中間推論ターゲット（整列済み transcript + 応答）を構築 ブロック単位で推論しながら発話 Chronological Thinking（202510，SIGDIAL 2026） arXiv:2510.05150 厳密に 因果的 + on-the-fly な推論 ユーザ発話中に semantic segment を 逐次処理 聴取窓で推論を償却 → ユーザ発話終了後の追加遅延なしに発話開始 FLAIR / Silent Thought（202603） arXiv:2603.17837 音声知覚と 同時並行に走る latent reasoning 明示的なテキスト CoT ではなく 潜在空間での思考 発話は遅延せず，内部で考える 🔑 2 層を外部モデルで分離（GPT-Live-1 流）せずに，モデル内部で CoT として走らせる方向． 📌 関連：Behavior Reasoning（2512.21706）— Graph-of-Thoughts で communicative intent と speech act を推論．／ Diffuplex（2610.17780）— タイミングは自己回帰，中身は離散拡散．thinking mode で 1 パス約 13 tok．／ StepAudio 3 の Think-While-Speaking（2609.14005）も同系． 出典: SCoT / Chronological Thinking / FLAIR / Behavior Reasoning S2S の次：tool call × 視覚 / 2026-10-26 35 / 36

• https://arxiv.org/abs/2510.02066

Appendix: RAG と tool call の関係 — MoshiRAG MoshiRAG（Kyutai, arXiv:2604.12928）を題材に，RAG と tool call がどう重なり，どう違うかを整理． ① Tool call（能動呼び出し） モデルが構造化関数を 自分で発火 例： goto() , web_search() , function_calling タイミング：モデルの判断 GPT-Live-1 / Qwen Audio 3.1 のパターン MoshiRAG = ① + ② のハイブリッド ② Streaming injection（受動流入） 外部プロセスが 常時 or 非同期に文脈へ注入 例：KAME の第 4 oracle stream タイミング：外側の判断 「待たない背景処理」 Trigger（tool call 的）：Moshi が retrieval token を発火して検索要請． 発動タイミングは「keyword delay」（応答開始〜キーファクト登場の時間差） を活用． ③ Pre-context RAG（静的注入） クエリ到着時に 1 回だけ retrieve → prefix 従来の chatbot RAG Full-duplex では「クエリ終端」がなく 不整合 Delivery（streaming injection 的）：検索結果を reference encoder で埋め込み，学習可能な線形射影を通して 複数ステップに渡って Moshi 入力ストリームに加算注入． アーキ：Moshi + streaming ASR（front）/ text-in text-out backend（retrieval 手法が再学習なしに差し替え可能）．結果：公開 non-duplex 音声モデル最良級の factuality を全二重のまま達成．OOD 数学推論も可． 🔑 tool call の一種だが function calling とは別物（専用 token + 非同期の encoded context 注入）．実装：kyutai-labs/moshi-rag S2S の次：tool call × 視覚 / 2026-10-26 36 / 36

• https://github.com/kyutai-labs/moshi-rag
• https://arxiv.org/pdf/2604.12928