---
title: Tokennomics Meetup - セマンティックルーティングの試行錯誤
tags:  #tech  
author: [Shuhei Kawamura](https://image.docswell.com/user/shukawam)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJNY9XKM78.jpg?width=480
description: Tokenomics meetup#1 で使用した資料です。 デモソースはこちらで公開しています: https://github.com/shukawam/kong-semantic-routing-tuning
published: September 17, 26
canonical: https://image.docswell.com/s/shukawam/5Q27NX-trial-and-error-of-semantic-routing
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJNY9XKM78.jpg)

セマンティックルーティングの試行錯誤
Tokenomics meetup #1
The Unified API and AI Platform
2026/09/17
AI CONNECTIVITY
Shuhei Kawamura
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YE9P28VWJ3.jpg)

自己紹介
川村 修平 / Shuhei Kawamura
Kong K.K. / Senior Field Engineer
AuthNZ, (LLM) Observability, …
X/GitHub/Zenn
@shukawam
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GE8D58PRED.jpg)

お断り
説明の都合上製品例として、一部 Kong Konnect などの製品を利用します。
なるべく汎用的に使える要素を切り出してお伝えします。
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LELMYR127R.jpg)

前提知識 : セマンティックルーティング
何らかの目的を持って
プロンプトの意味に基づき、モデルのルーティングを動的に行うこと
AI Gateway
gpt-5.6-sol
最も高度なタスク向け
e.g. 設計プランやオーケストレーションなど
gpt-5.6-terra
日常的・汎用的なタスク向け
e.g. コーディング、要約、翻訳、一般的な質問応答など
gpt-5.6-luna
軽量で単純・定型的なタスク向け
e.g. 分類・タグ付け、抽出、FAQ、短い定型応答など
Client
さまざまなプロダクト[1]が広義にはこの機能を
有していますが、本日の例は Kong Gateway です
[1]: vLLM Semantic Router, Kong AI Gateway, …
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JMYNRW9JW.jpg)

セマンティックルーティングを行う何かしらの目的
コスト最適を目的としたルーティング
高度な推論能力が予想されるタスクのみ上位モデルへルーティングし、単純なタス
クは小型 or 安価なモデルを利用する
ドメインに特化したルーティングを実現したい
特定ドメインに特化した専用モデル（FTしたモデル）を割り当てる
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PJR9DRY979.jpg)

Kong のセマンティックルーティングの仕組み
類似度(cos)
gpt-5.6-sol
\ 財務分析、決算、有価証券報告書、会計 /
gpt-5.6-terra
\ 契約書レビュー、法務、コンプライアンス /
gpt-5.6-luna
\ CATCHALL /
0.3
AI Gateway
0.5
Client
0.9
prompt:
有価証券報告書を元にこの会社が成長しているのか利益を先
取りしているのか判別してください。
AI CONNECTIVITY
© Kong Inc.
※Kongにおける特別な設定キーワード
NOT TO BE SHARED EXTERNALLY
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PEXQ1RG3JX.jpg)

Kong のセマンティックルーティングの仕組み
類似度(cos)
gpt-5.6-sol
\ 財務分析、決算、有価証券報告書、会計 /
0.3
AI Gateway
AI Agent
prompt:
有価証券報告書を元にこの会社が成長しているのか利益を先
取りしているのか判別してください。
閾値 (threshold)
gpt-5.6-terraを下回り、最も類似する説明
\ 契約書レビュー、法務、コンプライアンス /
(description) が設定されているターゲットモデルに
ルーティングする
0.9
0.5
gpt-5.6-luna
\ CATCHALL /
※Kongにおける特別な設定キーワード
threshold, description の設定を”勘に頼っている ”と期待した効果が得られない
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/3EK92R4NED.jpg)

セマンティックルーティングで大事なこと
1. Golden Dataset を作成する – ベースラインの測定と継続改善を行う
threshold / description の決定や継続的改善に必要不可欠。だけど、作成は一番難しい。
2. threshold / description を決定する – 精度の許容度をもとに決定する
Golden Dataset を用いて最適なパラメータを観測結果に基づいて決定する。
100%の精度は理論上実現できないが、求められる精度に限りなく近くなるまで調整する。
3. 埋め込みモデルを選定する – 精度と性能のトレードオフから選定する
個人的には、優先度は上記二つに比べると大分落ちる。
入力が多岐に渡る場合や細かいニュアンスを拾う必要がある場合などに実施する。
4. CATCHALLを必ず設定する – 取りこぼしを防ぐ仕組みを必ず用意する
CATCHALL: 閾値を超えなかったリクエストの受け皿。
コスト目的だと CATCHALLに最安価なモデルを設定することが多いが、ここにルーティングされればされ
るほど良いと言うわけではない。
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L73W48LZ75.jpg)

デモ: threshold / description の試行錯誤
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/87DKQMN4JG.jpg)

まとめ
1. セマンティックルーティングは難しい
ビジネス上の精度合意と勘に頼らない設定値の算出が肝
2. オブザーバビリティはここでも重要なファクター
誰が？どのモデルを？どれだけ使った？
ルーティングの内訳把握や Golden Dataset の作成など
3. 観測結果を元に定期的に設定を見直す
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VJPKLR5VE8.jpg)

宣伝：API + AI Summit 2026
「API + AI Summit」はKong最大の年次イベントになります。
USA
JAPAN
API + AI Summit 2026
API + AI Summit 2026
SEP 30 - OCT 1
NOV 19
Los Angeles
Japan
InterContinental Los Angeles Downtown
東京ミッドタウンホール&カンファレンス
https://konghq.com/events/...
https://kong-api-aisummitjapan...
AI CONNECTIVITY
© Kong Inc.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2EVVQRPREQ.jpg)

Thank you!
Ready for what’s next?
Let’s talk
Kong Inc.
contact@konghq.com
44 Montgomery Street
San Francisco, CA 9410, USA
Konghq.com
AI CONNECTIVITY
© Kong Inc.
NOT TO BE SHARED EXTERNALLY