[Langfuse Night #3] 開発/運用者にやさしいLLMアプリの基盤 - Langfuse & Kong Gateway -

265 Views

August 19, 25

#tech

スライド概要

Langfuse Night #3 で使用した資料です。

profile-image
スライド一覧

Slides are just my own.

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

slide-thumbnail

[CNDT2023] etcdとRaftアルゴリズム: Kubernetes Control Planeの信頼性の解剖
tech
user-img Shuhei Kawamura 21.8K
slide-thumbnail

[CNDW2024] 気まぐれLLMのふるまいを暴け！ - OpenLLMetryを通して見る世界 -
tech
user-img Shuhei Kawamura 9.8K
slide-thumbnail

[Oracle Developer Days 2025] 実践！Datadogで高める OCIのオブザーバビリティ
tech
user-img Shuhei Kawamura 4.5K
slide-thumbnail

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0
ue4 ue5 ue-beginner
user-img エピック ゲームズ ジャパン 1.6M
slide-thumbnail

Unreal Engine5 Lumenの仕組みと肝心なところ
ue5 ue-rendering ue-lumen
user-img エピック ゲームズ ジャパン 1.3M
slide-thumbnail

Meta XR SDK(V66-74)でQuestアプリを開発
spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder
user-img あうぜん 1.1M
各ページのテキスト
1.

開発/運用者にやさしい LLMアプリの基盤 - Langfuse & Kong Gateway - Shuhei Kawamura / Kong K.K. © Kong Inc.

2.

自己紹介 川村 修平 / Shuhei Kawamura 所属: Kong 株式会社 - Senior Field Engineer 趣味: サウナ / ゴルフ / スノーボード ひとこと: 筋トレ始めました @shukawam 発売予定です！ © Kong Inc.

3.

LLMアプリにおけるよくある関心ごと © Kong Inc.

4.

Langfuse + Kong Gatewayという選択肢 © Kong Inc.

5.

Kong GatewayのAI関連プラグイン LLMアプリケーションの開発 LLMアプリケーションを安全に使わせる トークン量削減、その他 © Kong Inc.

6.

トレースをちゃんと繋げたい Langfuse SDK v3 は、OpenTelemetryクライアントの薄いラッパー Kong Gatewayは、OpenTelemetry互換の計装が含まれている = プラグイン呼び出し含めてきちんとトレースが繋がると素敵な世界になりそう プラグイン呼び出し含めきちんとトレースが 繋がれば、開発・運用時の恩恵を受けつつ しっかりオブザーバビリティを高めることが可能！ © Kong Inc.

7.

Langfuse SDK v3のSpanProcessor実装 通常、 OTel Collectorが期待する形式 （<collector-endpoint>/v1/traces） とは、異なるので少し工夫が必要 参考: https://github.com/langfuse/langfuse-python/blob/main/langfuse/_client/span_processor.py#L32-L106 © Kong Inc.

8.

解決例 1. OpenTelemetry Collector - OTLP ReceiverのURLパスを修正する ○ 他コンポーネントの出力先も調整する必要がある 2. OpenLIT/OpenLLMetryのような GenAI Instrumentationライブラリを利用する ○ 他コンポーネントに影響を与えずに統合できるので、個人的にはこっち推し © Kong Inc.

9.

トレースの一例 プラグインを用いた恩恵を受けつつも、 オブザーバビリティはしっかりと 確保することが可能 © Kong Inc.

10.

まとめ + 若干の注意事項 まとめ： ● LLMアプリケーションの関心ごとも API Gatewayにオフロードすることで楽に実装可能 ● オフロードしたとしても、継続的改善のためのオブザーバビリティは重要 ● Langfuse + Kong Gatewayの場合 ○ OpenTelemetry Collector(OTLP Receiver)のURLパスをLangfuseの形式に合わせる or ○ OpenLIT/OpenLLMetryなどのGenAI Instrumentationライブラリを使用する 若干の注意事項： ● Langfuse(OSS)でOpenTelemetryエンドポイントを使う - v3.22.0+が必要 ● OpenTelemetryエンドポイントは、 gRPCがサポートされていないので HTTP/protobufを使う © Kong Inc.

11.

Thank you! © Kong Inc.