Tokennomics Meetup - セマンティックルーティングの試行錯誤

セマンティックルーティングの試行錯誤 Tokenomics meetup #1 The Unified API and AI Platform 2026/09/17 AI CONNECTIVITY Shuhei Kawamura © Kong Inc. NOT TO BE SHARED EXTERNALLY 1

自己紹介 川村 修平 / Shuhei Kawamura Kong K.K. / Senior Field Engineer AuthNZ, (LLM) Observability, … X/GitHub/Zenn @shukawam AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 2

お断り 説明の都合上製品例として、一部 Kong Konnect などの製品を利用します。 なるべく汎用的に使える要素を切り出してお伝えします。 AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 3

前提知識 : セマンティックルーティング 何らかの目的を持って プロンプトの意味に基づき、モデルのルーティングを動的に行うこと AI Gateway gpt-5.6-sol 最も高度なタスク向け e.g. 設計プランやオーケストレーションなど gpt-5.6-terra 日常的・汎用的なタスク向け e.g. コーディング、要約、翻訳、一般的な質問応答など gpt-5.6-luna 軽量で単純・定型的なタスク向け e.g. 分類・タグ付け、抽出、FAQ、短い定型応答など Client さまざまなプロダクト[1]が広義にはこの機能を 有していますが、本日の例は Kong Gateway です [1]: vLLM Semantic Router, Kong AI Gateway, … AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 4

セマンティックルーティングを行う何かしらの目的 コスト最適を目的としたルーティング 高度な推論能力が予想されるタスクのみ上位モデルへルーティングし、単純なタス クは小型 or 安価なモデルを利用する ドメインに特化したルーティングを実現したい 特定ドメインに特化した専用モデル（FTしたモデル）を割り当てる AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 5

Kong のセマンティックルーティングの仕組み 類似度(cos) gpt-5.6-sol \ 財務分析、決算、有価証券報告書、会計 / gpt-5.6-terra \ 契約書レビュー、法務、コンプライアンス / gpt-5.6-luna \ CATCHALL / 0.3 AI Gateway 0.5 Client 0.9 prompt: 有価証券報告書を元にこの会社が成長しているのか利益を先 取りしているのか判別してください。 AI CONNECTIVITY © Kong Inc. ※Kongにおける特別な設定キーワード NOT TO BE SHARED EXTERNALLY 6

Kong のセマンティックルーティングの仕組み 類似度(cos) gpt-5.6-sol \ 財務分析、決算、有価証券報告書、会計 / 0.3 AI Gateway AI Agent prompt: 有価証券報告書を元にこの会社が成長しているのか利益を先 取りしているのか判別してください。 閾値 (threshold) gpt-5.6-terraを下回り、最も類似する説明 \ 契約書レビュー、法務、コンプライアンス / (description) が設定されているターゲットモデルに ルーティングする 0.9 0.5 gpt-5.6-luna \ CATCHALL / ※Kongにおける特別な設定キーワード threshold, description の設定を”勘に頼っている ”と期待した効果が得られない AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 7

セマンティックルーティングで大事なこと 1. Golden Dataset を作成する – ベースラインの測定と継続改善を行う threshold / description の決定や継続的改善に必要不可欠。だけど、作成は一番難しい。 2. threshold / description を決定する – 精度の許容度をもとに決定する Golden Dataset を用いて最適なパラメータを観測結果に基づいて決定する。 100%の精度は理論上実現できないが、求められる精度に限りなく近くなるまで調整する。 3. 埋め込みモデルを選定する – 精度と性能のトレードオフから選定する 個人的には、優先度は上記二つに比べると大分落ちる。 入力が多岐に渡る場合や細かいニュアンスを拾う必要がある場合などに実施する。 4. CATCHALLを必ず設定する – 取りこぼしを防ぐ仕組みを必ず用意する CATCHALL: 閾値を超えなかったリクエストの受け皿。 コスト目的だと CATCHALLに最安価なモデルを設定することが多いが、ここにルーティングされればされ るほど良いと言うわけではない。 AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 8

デモ: threshold / description の試行錯誤 AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 9

まとめ 1. セマンティックルーティングは難しい ビジネス上の精度合意と勘に頼らない設定値の算出が肝 2. オブザーバビリティはここでも重要なファクター 誰が？どのモデルを？どれだけ使った？ ルーティングの内訳把握や Golden Dataset の作成など 3. 観測結果を元に定期的に設定を見直す AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY 10

宣伝：API + AI Summit 2026 「API + AI Summit」はKong最大の年次イベントになります。 USA JAPAN API + AI Summit 2026 API + AI Summit 2026 SEP 30 - OCT 1 NOV 19 Los Angeles Japan InterContinental Los Angeles Downtown 東京ミッドタウンホール&カンファレンス https://konghq.com/events/... https://kong-api-aisummitjapan... AI CONNECTIVITY © Kong Inc.

• https://konghq.com/events/conferences/api-ai-summit
• https://kong-api-aisummitjapan2026.com/?cpcode=sales-ae

Thank you! Ready for what’s next? Let’s talk Kong Inc. [email protected] 44 Montgomery Street San Francisco, CA 9410, USA Konghq.com AI CONNECTIVITY © Kong Inc. NOT TO BE SHARED EXTERNALLY

• http://konghq.com