プロンプトマスターへの道：LLM活用アプリの品質を高める秘訣

プロンプトマスターへの道 LLM活用アプリの品質を高める秘訣 LINE DC Generative AI Meetup #3 ユニークビジョン株式会社 テックリード 山本 一将（@kyamamoto9120）

自己紹介 山本 一将｜焚き火を愛するエンジニア 𝕏 : kyamamoto9120 ユニークビジョン株式会社 テックリード 2015年 世界コンピュータ将棋選手権 9位 2024年 LINE API Expert 認定 ヤクルトスワローズ/将棋/キャンプ/DQW/謎解き Copyright ©Unique Vision Company, All Rights Reserved. 2

前回のおはなし

Cloudflare Workers × LLM 実用的な LINE BOT の作り方

無駄口をたたく LINE BOT 恐れ入りました 恐れ入谷の鬼子母神 Copyright ©Unique Vision Company, All Rights Reserved. 5

システム構成 ① 文章を送信 ⑩ 画像を表示 ⑨ 返信を送信 Cloudflare R2 ② Webhook 受信 ⑧ 応答メッセージ送信 ⑦ R2 に画像を保存 ⑥ Workers AI で画像生成 Cloudflare Workers Cloudflare Workers Workers AI ④ Queue から受信 ③ Queue に送信 ⑤ GPT-4o が無駄口作成 Cloudflare Queues AI Gateway Copyright ©Unique Vision Company, All Rights Reserved. 6

前回発表で紹介したこと • Cloudflare Queue を使った非同期処理 • Cloudflare Workers AI の使い方 • 非常に便利な AI Gateway の紹介 Copyright ©Unique Vision Company, All Rights Reserved. 7

Cloudflare は有力なモデルプロバイダー！ Copyright ©Unique Vision Company, All Rights Reserved. 8

AI Gateway | メトリクスの分析 リクエスト数やトークン数 キャッシュヒット率など 分析可能 Copyright ©Unique Vision Company, All Rights Reserved. 9

AI Gateway | リアルタイムログ表示 Copyright ©Unique Vision Company, All Rights Reserved. 10

アーカイブあります！ Copyright ©Unique Vision Company, All Rights Reserved. 11

本日のおはなし

再掲｜無駄口をたたく LINE BOT 恐れ入りました 恐れ入谷の鬼子母神 Copyright ©Unique Vision Company, All Rights Reserved. 13

システム構成 ① 文章を送信 ⑩ 画像を表示 ⑨ 返信を送信 Cloudflare R2 ② Webhook 受信 ⑧ 応答メッセージ送信 ⑦ R2 に画像を保存 ⑥ Workers AI で画像生成 Cloudflare Workers Cloudflare Workers Workers AI ④ Queue から受信 ③ Queue に送信 ⑤ GPT-4o が無駄口作成 Cloudflare Queues AI Gateway Copyright ©Unique Vision Company, All Rights Reserved. 14

無駄口＆画像生成 ① 文章を送信 ⑩ 画像を表示 ⑨ 返信を送信 Cloudflare R2 ② Webhook 受信 この部分の話をします ⑧ 応答メッセージ送信 ⑦ R2 に画像を保存 ⑥ Workers AI で画像生成 Cloudflare Workers Cloudflare Workers Workers AI ④ Queue から受信 ③ Queue に送信 ⑤ GPT-4o が無駄口作成 Cloudflare Queues AI Gateway Copyright ©Unique Vision Company, All Rights Reserved. 15

このシステムで LLM が生成するもの 無駄口 画像を生成するためのプロンプト ① の無駄口を表現した画像 Copyright ©Unique Vision Company, All Rights Reserved. 16

処理の流れ ① 無駄口 ③ 無駄口を表現する画像 ユーザーの入力 ② 画像生成用プロンプト Cloudflare Workers GPT-4o ① 無駄口 ② 画像生成用プロンプト ③ 無駄口を表現する画像 Workers AI Copyright ©Unique Vision Company, All Rights Reserved. 17

最近の LLM は本当に賢い！ Copyright ©Unique Vision Company, All Rights Reserved. 18

「出力の質」はどうにかなる！ ① 無駄口 ③ 無駄口を表現する画像 ユーザーの入力 ② 画像生成用プロンプト Cloudflare Workers GPT-4o ① 無駄口 ② 画像生成用プロンプト ③ 無駄口を表現する画像 Workers AI Copyright ©Unique Vision Company, All Rights Reserved. 19

適当なプロンプトでも 良い回答が得られる！ Copyright ©Unique Vision Company, All Rights Reserved. 20

「出力の安定性」は？ Copyright ©Unique Vision Company, All Rights Reserved. 21

内部出力の安定性も重要な品質 ① 無駄口 ③ 無駄口を表現する画像 ユーザーの入力 ② 画像生成用プロンプト Cloudflare Workers GPT-4o ① 無駄口 ② 画像生成用プロンプト ③ 無駄口を表現する画像 Workers AI Copyright ©Unique Vision Company, All Rights Reserved. 22

プロンプト設計が重要！ Copyright ©Unique Vision Company, All Rights Reserved. 23

LLM 活用アプリの品質特性

一般的なソフトウェアの品質特性 独立行政法人情報処理推進機構（IPA）「つながる世界に向けたソフトウェア品質ガイド」より引用 Copyright ©Unique Vision Company, All Rights Reserved. 25

• https://www.ipa.go.jp/archive/files/000063744.pdf

LLM活用アプリで考慮すべき品質特性 1 正確性 回答の正確さと質問への適切性 2 一貫性 同じ入力に対する出力の安定性 3 ロバスト性 予期せぬ入力や敵対的入力への対応能力 4 説明可能性 出力の根拠や理由の提示能力 5 倫理性と公平性 不適切な内容、偏見、有害な出力の回避 6 コンテキスト理解 前後の文脈を考慮した応答能力 7 根拠に基づく回答 提供された情報に基づいた回答生成能力 8 クエリ関連性 プロンプトに対する最終応答の適切性 9 ハルシネーション防止 事実に基づかない情報の生成回避 10 コスト効率性 トークン使用量と処理コストの最適化 11 レイテンシ 応答時間の最適化 12 スケーラビリティ 大量のリクエストへの対応能力 13 プライバシー保護 ユーザーデータの適切な取り扱い 14 バージョン管理 モデルや設定の変更による影響の追跡 Copyright ©Unique Vision Company, All Rights Reserved. 26

何を担保するための プロンプトかを意識する Copyright ©Unique Vision Company, All Rights Reserved. 27

出力の安定性に関係する要素 1 正確性 回答の正確さと質問への適切性 2 一貫性 同じ入力に対する出力の安定性 3 ロバスト性 予期せぬ入力や敵対的入力への対応能力 4 説明可能性 出力の根拠や理由の提示能力 5 倫理性と公平性 不適切な内容、偏見、有害な出力の回避 6 コンテキスト理解 前後の文脈を考慮した応答能力 7 根拠に基づく回答 提供された情報に基づいた回答生成能力 8 クエリ関連性 プロンプトに対する最終応答の適切性 9 ハルシネーション防止 事実に基づかない情報の生成回避 10 コスト効率性 トークン使用量と処理コストの最適化 11 レイテンシ 応答時間の最適化 12 スケーラビリティ 大量のリクエストへの対応能力 13 プライバシー保護 ユーザーデータの適切な取り扱い 14 バージョン管理 モデルや設定の変更による影響の追跡 Copyright ©Unique Vision Company, All Rights Reserved. 28

具体的なテクニック

一貫性に関わるテクニック ロールプレイの活用 （例：「あなたはJSONデータを出力する APIです」） 明示的な構造指定 （例：「以下の形式で回答してください： {“title” : “”, “content” : “”}」） サンプル出力の提示（Few-shot prompting） Copyright ©Unique Vision Company, All Rights Reserved. 30

ロバスト性に関するテクニック 考えられる異常入力のリストアップと その処理方法の指示 デフォルト値や代替応答の設定 （例：「該当する情報がない場合は “N/A” と記入」） 入力の正規化や前処理の組み込み Copyright ©Unique Vision Company, All Rights Reserved. 31

最新機能も活用する

Copyright ©Unique Vision Company, All Rights Reserved. 33

https://openai.com/index/introducing-structured-outputs-in-the-api/ Copyright ©Unique Vision Company, All Rights Reserved. 34

• https://openai.com/index/introducing-structured-outputs-in-the-api/

まとめ

まとめ • 「出力の安定性」は LLM 活用アプリの品質特性 • プロンプトエンジニアリングは安定性を高める技術 • Structured Outputs のような機能も活用する Copyright ©Unique Vision Company, All Rights Reserved. 36

ありがとうございました 質問・感想お待ちしております！ Xのフォローお願いします 採用してます • 今日の発表について • ユニークビジョン • Rustについて • コードレビューの工夫 • 開発リーダーのお悩み • 東京ヤクルトスワローズ etc… Copyright ©Unique Vision Company, All Rights Reserved. 37