キミガタリLangfuse運用事例
1.1K Views
August 19, 25
スライド概要
Langfuse Night #3 -リアルユースケースとLangfuse -https://langfuse.connpass.com/event/362656/の登壇資料
東京都内でエンジニアをしています
関連スライド
各ページのテキスト
Langfuse Night #3 -リアルユースケースとLangfuse キミガタリのLangfuse活用事例 2025年08月19日 aki.ts@HedgehogPython
AGENDA 自己紹介 キミガタリの紹介 キミガタリとLangfuseの連携 サマリ出力品質の改善 おまけ:Mastraのスコアラー 最後に
ABOUT ME Ueda Syoitu ハリネズミ・aki.ts (株)Nint
キミガタリとは何か？
キミガタリ-物語制作プラットフォーム AI編集者との会話と、ステップバイステップで要素を組み合わせる機能により、 簡単に物語を作成できる。
キミガタリ-物語制作プラットフォーム 生成された物語の全ての要素を構造化して管理することが可能。 キャラクターの人間関係を グラフ表示で可視化できる
キミガタリ-物語制作プラットフォーム 物語の設定に従って、一貫性のあるエピソードを作成ことが可能 エピソード内登場するキャラク ターの重要度を調整できる 続編のエピソードや並行する エピソードも作成可能
キミガタリ-物語制作プラットフォーム エピソード作成に必要な情報整理 初稿作成 登場人物が全員AI エージェント化して、レビューをする レビュー内容を元に初稿修正
キミガタリ-物語制作プラットフォーム MCPサーバー使って簡単にその他MCPクライアントと連携可能。 Gemini StorybookのMCPサー バー対応に期待 スポーツ デザイン
キミガタリとLangfuseの連携
キミガタリとLangfuseの連携
キミガタリとLangfuseの連携 クライアント AI SDK Next.js Mastra クライアントに組み込みMastra とAI SDKを採用 AIエージェント・ワークフロー はMastraを採用してる。
キミガタリとLangfuseの連携 AI SDK Vercel社が提供するTypeScript用のAIツールキット 複数のモデル提供プロバイダーに対応 マルチモーダル・RagChatなどシンプルなユースケースに対応 voltagent・Mastraのインフラにもなってる Mastra 2025年春から人気急上昇した TypeScriptスタックのAI エージェントフレームワーク Next.jsに直接統合も可能・Mastra Cloudへ簡単にデプロイ
キミガタリとLangfuseの連携 Mastraインスタントにtelemetryの送信先をLangfuseを設定するだけで完了 Mastra API Server AI SDK 組み込みMastra LangfuseExporter TRACES_ENDPOINT両対応
キミガタリとLangfuseの連携 AI SDKと組み込みMastraのLangfuseへのトレース送信 Mastra API Server AI SDK AI SDK Mastra 組み込みMastra
キミガタリとLangfuseの連携 Next.jsのinstrumentation.tsにLangfuseへ送信設定 Mastra APIServer AI SDK Next.jsにおいて一度だけ実行される、監視・計測を設 定するためのファイル。 nodejs環境とedge環境の両方で呼び出される LangfuseExporterはnodejs環境のみに対応しているた め、nodejs環境のブロック内で動的にインポートしな いと、エラーが発生したり無効化されたりする 組み込みMastra
キミガタリとLangfuseの連携 これでキミガタリの全てのトレースをLangfuseに送信することができた Mastra APIServer AI SDK 組み込みMastra
サマリ出力品質の改善
サマリ出力品質の改善 エピソードの続編を作る際に、これまでの話で何が起きたのかを 効率的に後続の執筆エージェントに渡すことが非常に重要です。 「XXX」の続きを書 いてみよう これまでの話はこう で、大体こんな感じ になりました なるほど、それを参 考にしますね Nova Lite to be continued
サマリ出力品質の改善 異世界転生した主人公が勇者として魔王を倒すも、ニューゲーム+の存在を知り、抜け出せない現実にうんざり する。今度は貴族のボン坊として気楽に過ごそうとするが、2年後に勇者が戦死し、魔王軍の侵攻で10歳時に死に 戻ってしまう。そこで真エンドの存在に気づいた主人公は、再び勇者の道を歩むことを決意する。 主人公:25歳 異邦人: 勇者 勇者死亡 主人公:10歳 貴族の息子 主人公:12歳死亡 ２年 魔王を倒す 死に戻り ニューゲーム＋ 主人公:10歳 貴族の息子 魔王軍進行 再スタート
サマリ出力品質の改善 異世界転生した主人公が勇者として魔王を倒すも、ニューゲーム+の存在を知り、抜け出せない現実にうんざり する。今度は貴族のボン坊として気楽に過ごそうとするが、2年後に勇者が戦死し、魔王軍の侵攻で10歳時に死に 戻ってしまう。そこで真エンドの存在に気づいた主人公は、再び勇者の道を歩むことを決意する。 主人公:25歳 異邦人: 勇者 勇者死亡 主人公:10歳 貴族の息子 魔王軍進行 1.転生前の記憶(現代人) 2.1周した時の記憶(25歳勇者) 死に戻り 3.ニューゲーム時の差分記憶(死に戻りまで) 魔王を倒す ニューゲーム＋ 主人公:10歳 貴族の息子 再スタート 主人公:12歳死亡 ２年
サマリ出力品質の改善 賢いモデル使っても要件に満たす とは限らない Nova LiteからOpus 4.1に変更すれば確かに解決 するが、コストパフォーマンスが悪すぎる。 input-token: 4054, output-token: 903 Nova Lite 9s $0.00045996(約0.069円） Opus4.1 56s $0.144045(21円) 人の感覚でやっても、効率が悪い
サマリ出力品質の改善 LangfuseのLLM as a JudgeのCustom Evaluator使えば楽に評価をできる 事前に定義された評価テンプ レートに沿って評価をする ジャンル別の入力 (ループ物、通常時系列物、多視点物) 修正案 サマリ出力 サマリエージェント Custom Evaluator ＊2025年6月4日以降のlangfuseセルフホスティング版での利用可能
サマリ出力品質の改善 Coustom Evaluatorの定義、LLM-as-a-JudgeのEvaluator Libraryから作れる 評価テンプレートを定義して、入 力テータを受け取り箇所を {{varle}}で囲む Coustom Evaluator追加 スコア推論プロンプト スコア範囲プロンプト定義
サマリ出力品質の改善 先作ったEvaluator LibraryをRunning Evaluatorsにセットアップ 評価対象の絞り込みも可能 プレビューで対象のトレースを 確認できるのが便利 評価対象になる割合 も設定できる
サマリ出力品質の改善 入力データのマッピングはJsonPathで指定でき、結果もプレビューで確認可能
サマリ出力品質の改善 設定完了後、Custom Evaluatorがアクティブ状態になり ターゲットのトレースが転送されるたびに評価を実行する Nova Lite 9s 約0.069円 Claude Haiku 3.5 11s 約0.9円 いい感じのサマリを作れるようになった
おまけ:Mastraのスコアラー
Mastraのスコアラー 2025年08月06日以降最新のmastra/core・mastra/evalsで使用可能。 エージェント・ワークフローの 定義にスコアラーを追加できる ビルドインスコアラー以外に カスタムスコアラーも定義で き、複数持たせることもできる
Mastraのスコアラー カスタムスコアラーを設定する場合、 評価結果に対して分析項目を複数定義でき、それを元により詳細なスコア推論ができる。 分析ステップでは、評価のコアロジック を実行し、スコアリングに役立つ情報を 収集します
Mastraのスコアラー 分析ステップで定義したスキーマに沿ってより具体的な理由を出力 評価理由ステップでは定義したスキーマ 使って評価結果をカスタマイズできる
Mastraのスコアラー Mastraインスタントにストレージを追加してる場合mastra_scorersテーブル保存される カスタムスコアラーは単体でも呼び出せる 評価結果をユーザーに共有したい時には便利!
ご清聴ありがとうございました