>100 Views
November 20, 26
スライド概要
2026年11月現在、英語のみ対応(と公式が主張している)AWS Bedrockの自動推論機能は本当に日本語利用できないのか!?を検証した資料です。
自己紹介 おのぺん @onoken_coffee Bedrock歴 普段の仕事 1年くらい インフラエンジニア (自己研鑽) (Azure寄り) 好きな生成AIサービス 最近のハマっているもの AIモード museと話すこと
2日前〜
LT枠が空いたから 勢いで申し込んだは良いけど テーマが何も決まってないぞ・・・
普段Azureがメインだから AWS特有の機能がいいな・・・ 5人も登壇するから被らなさそうな テーマがいいな・・・ 書籍の内容と近すぎず遠すぎずの テーマがいいな・・・
内部でLLMを使ってるなら日本語でもいけるのでは?
自動推論は 日本語でどこまでやれるのか おのぺん
自動推論とは
LLMの回答をポリシーで数学的にチェックする 入力 ① 翻訳 ② 検証 出力 質問+ LLMの回答 回答を「論理」に変換 ポリシーと照合 判定+根拠 複数のLLMが、 SMTソルバーが、 VALID/INVALID など 自然言語のまま渡す 回答を前提・主張・変数 ポリシーのルールに照ら 根拠になったルールも の値に変換する して判定する 返る 確率的な変換 数学的な判定 再生成(必要に応じて) INVALID=NGなら、判定の根拠をLLMに渡して回答を再生成 SMTソルバーとは:複数の条件を同時に矛盾なく満たせるか自動で調べるプログラム。推測ではなく計算で判定。
自動推論ポリシーの作り方・使い方 ポリシーを作成(コンソールで完結) アプリに組み込む 1 2 3 4 5 ポリシーを作る レビューする テストする デプロイする アプリから呼ぶ ルールが書かれた文書 生成されたポリシーを 質問と回答のペアで、 ガードレールに紐付け ApplyGuardrail API に を渡してポリシーを 確認して手直しする 期待どおりに判定され LLMの回答を渡して るか確かめる 判定を受け取る 自動生成
ポリシーの作り方・使い方 ポリシーを作成(コンソールで完結) アプリに組み込む 1 2 3 4 5 ポリシーを作る レビューする テストする デプロイする アプリから呼ぶ ルールが書かれた文書 生成されたポリシーを 質問と回答のペアで、 ガードレールに紐付け ApplyGuardrail API に を渡してポリシーを 確認して手直しする 期待どおりに判定され LLMの回答を渡して るか確かめる 判定を受け取る 自動生成 ここの流れを補足します
Step1.ソース文書をアップロード 1 ソース文書 ファイルをアップロード、またはテキストを貼り付け 上限:5MB・50,000文字 Intent(ソースの説明) どんなアプリで使うか/どんな質問が来るか/文書の どこに注目するかを記述 コンソール:Bedrock › 自動推論 › ポリシーを作成 2 抽出しやすい書き方 良い例(条件と結果が明確) 悪い例(あいまい) 勤続12か月以上の正社員は、育休を取 得できる 育休は上長の承認を得て申請できる 返品は購入から30日以内、未開封品に 限る 返品はケースバイケースで判断する 3
Step2.文書が「変数」と「ルール」に変換される 1 変数(名前・型・説明) 元の文書 勤続12か月以上の正社 員は、育児休業を取得 できる。 名前 型 説明 isFullTime BOOL 正社員かどうか tenureMonths INT 勤続月数 eligibleForParentalLeave BOOL 育休を取得できるか ルール(SMT-LIB形式の論理式) (=> (and isFullTime (>= tenureMonths 12)) eligibleForParentalLeave) 2 3
Step3.テストも自動で生成される 1 テストケースの例(入力は英語) 2 期待どおりにならないときは Question • 変数の説明文を直す I have worked here full-time for 10 months. Can I take • ルールを直す・足す parental leave? Answer 2026年6月〜 Yes, you can take parental leave. 「Refine policy」で自動改善 期待する判定 INVALID(勤続12か月未満なので誤り) • テストが通るように、ポリシーの修正案を出してくれ る • あいまいな翻訳が減るよう、変数の説明や型を調整し てくれる 3
検証スタート
日本語の文書だけで、ルール作成から判定まで動かせるか 確認すること 検証① 入力 ポリシーを作る段階 日本語の文書をアップロード ポリシー(ルールとテスト)を 作成できるか 作ったポリシーを利用 検証② 入力 ポリシーを使う段階 日本語のLLM回答を判定させる 確認すること LLM回答の論理変換、ポリシー照合が できるか
お題1:Suicaのイメージキャラクター まずは自動推論を使うまでもない簡単な文書で検証
普通にポリシー作成できてしまった・・・
テストも作成できてしまった・・・
お題2:オンラインストアの返品ルール 次は自動推論向きの複雑な文書で検証
無事に(?)ポリシーの作成に失敗
テストは作成成功(ルールがないので全て失敗)
手動でルール作成を試みるも、やはり失敗
お題2-2:オンラインストアの返品ルール(シンプル版) PDFの余計な書式を削除してリトライ
変化なし
お題2-3:オンラインストアの返品ルール(txt版) 内容そのままPDF→TXTに変更してリトライ
ルールが作成された!
テストも問題なく生成!
日本語のLLM回答でも判定できるか確認 ユーザー 8,000円の商品を自己都合で返品する場合、 返送料はいくらですか? LLM(Amazon Bedrock) 返送料は1,500円です。 ガードレール(自動推論チェック) VALID(正しい):「破損のない商品を自己都合で返品」に該当 します。 LLM(Amazon Bedrock) 最終回答:(正答のため再生成なし) 問題なく判定結果が返ってきた
日本語のLLM回答でも判定できるか確認 ユーザー 8,000円の商品を自己都合で返品する場合、 返送料はいくらですか? LLM(Amazon Bedrock) 返送料は無料です。 ガードレール(自動推論チェック) INVALID(まちがい):「破損のない商品を自己都合で返品」に 該当します。 LLM(Amazon Bedrock) 返送料は無料ではなくお客様のご負担となります。 (正解には辿りつけない) 同じく問題なく判定結果が返ってきた
結論:日本語でも意外と使えなくはない
検証結果 ① ルール・テストの自動生成 題材1 Suica × PDF 題材2 返品ルール × PDF 題材2 返品ルール × テキスト ○ ルールもテストも作成 ✕ ルールが作られない ○ ルールもテストも作成 ② 実際の判定(題材2 返品ルール × テキスト) VALIDの場合 LLMの回答:返送料は1,500円(正しい) 判定:VALID → そのまま出力 ○ 正しい回答を通した INVALIDの場合 LLMの回答:返送料は無料(誤り) 判定:INVALID → 回答を再生成 ○ 誤りは検出できた △ 再生成しても正解に届かず 判定は正しく働く。ただし、あくまでも「間違ったことを言わない」だけ
補足と教訓 • 東京、大阪リージョンでは使えません。(米国、欧州、シドニーのみ) • 公式に明言された使い方ではないため業務での利用はおすすめしません。 日本語対応を待ちましょう。 • 本気で使う場合はルールやテストのチューニングが必要です。 (あんまり自動ではありません) まずはRAGやGuardrailsの他機能を優先しましょう。 • 2日前に登壇テーマを決めるのはやめましょう。
ご清聴ありがとうございました