--- title: Advanced RAG 適用指針書 ― FMEA 作成支援を題材に 8 段階を実測したケーススタディ tags: author: [日下 武紀](https://image.docswell.com/user/takenori_kusaka) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/5EG1XV52JL.jpg?width=480 description: FMEA 作成支援 RAG を題材に、分冊マニュアル・神エクセル・特許の図と符号・スキャン PDF などのデータ特性ごとに、どの Advanced RAG の打ち手がどれだけ効くかを WSL2 上の OpenSearch で段階的に実測しました（48 問、上位 5 件）。素朴な RAG 18 問 → 構造化取込 24 → ハイブリッド 28 → 文脈ヘッダと型番・シリーズの関係付け 37 → 参照グラフ 40 → 再ランキング 44。データは実在企業の公開文書の構造だけを再現した架空の合成コーパスです。 コード・合成コーパス・結果：https://github.com/Takenori-Kusaka/advanced-rag-fmea-casestudy Web スライド：https://takenori-kusaka.github.io/advanced-rag-fmea-casestudy/ ライセンス：CC BY 4.0。本資料は生成AI（Claude）を使って作成し、筆者が確認して公開しています。 published: November 14, 26 canonical: https://image.docswell.com/s/takenori_kusaka/59NPMW-advanced-rag-fmea-casestudy --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/5EG1XV52JL.jpg) ADVANCED RAG CASE STUDY Advanced RAG 適用指針書 FMEA 作成支援 RAG を題材に「どのデータに、どの打ち手が、どれだけ効くか」を実測する 19/48 18/48 24/48 28/48 37/48 40/48 44/48 S0 ファイル参照 S1 素朴RAG S2 構造化取込 S3 ハイブリッド S4 文脈・型式 S5 参照グラフ S6 再ランキング 回答に必要な根拠が上位5件に揃った質問数（48問中）― WSL2 上の OpenSearch で実測 題材: 公開されている FMEA 自動作成ソリューションの入出力構成（入力①〜⑥）。検証データは、実在企業の公開文書の構造を再現した架空企業「ミ ナト精機（架空）」の合成コーパス # Page. 2 ![Page Image](https://bcdn.docswell.com/page/4JQD86Z97P.jpg) この資料の目的：「表面の理解」から「期待値・仮説・指示」へ 手法を知っているだけでは、プロジェクトで起きたことを説明できず、部下に具体的な検証を指示できない 期待値を持てる このデータなら素朴なRAGでどこまで、 どの打ち手で何問改善するかを、実測値 を根拠に言える 仮説を立てられる 「答えられない」を、取込・検索・順位付け ・利用のどこで壊れたかに分けて考えら れる 指示を出せる 「このデータ特性だから、この打ち手を、 この指標で、この完了条件で検証して」と 言える 読み方 各ステップは「① 何を変えたか ② 実測で何問変わったか ③ なぜそうなったか ④ リーダーが学ぶこと」の順に説明する。数値は自 分たちのデータでの期待値の目安として読む Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/K74Z24DRE1.jpg) 結論を先に：何が効き、何が効かなかったか 最大の改善は「取込の構造化」と「型式・シリーズの関係付け」。再ランキングで仕上げ、親子展開と参照追跡は今回のデータでは改善し なかった 回答根拠が揃った質問数（/48、上位5件） 44 45 取込の構造化が出発点 43 43 40 40 37 35 型番 ち手 28 30 19 シリーズの関係付けが最大の打 分冊マニュアル型の質問が 2/8 → 7/8。モデ ルではなく「データの関係」を索引に持たせる 24 25 20 表・帳票・スキャンを構造ごと取り込まない限り、 検索をいくら改善しても根拠が索引に存在しな い（素朴取込では20問が根拠なし） 18 15 足しても効かない機構がある 10 親子展開・参照追跡は ±1問。残った失敗に効く 手でなければ、コストだけが増える 5 0 S0 S1 S2 S3 S4 S5 S6 S7 S8 出典: 本資料の検証結果（48問、上位5件、ruri-v3-310m／ruri-v3-reranker-310m、OpenSearch 2.19.1） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/LJ1RM4ZVJG.jpg) 全体の構成 ケース設定 → 検証設計 → ステップ別の改善（1ステップ1スライド） → 残課題の仮説演習 → 適用指針 → 設計 → リーダーの進め方 Part A ケース設定と実データ調査 FMEA支援の入力①〜⑥と、実在企業の公開文書に見る「RAGを壊す構 造」 Part C ステップ別の改善（S0〜S8） ファイル参照 → 素朴RAG → 構造化 → ハイブリッド → 文脈 → 参照グ ラフ → 再ランキング → 拡張 Part E データ特性別の適用指針 8種類のデータそれぞれの打ち手・期待値・検証方法のカード Part G テックリーダーの進め方 部下への指示テンプレート、期待値の伝え方、レビュー観点、限界 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ Part B 検証の設計 架空コーパス、8つのデータ特性、48問の評価方法、WSL2＋ OpenSearch環境 Part D 残った失敗と仮説演習 列挙・集計、表外の結論、多段・紛らわしい文書への打ち手を考える Part F OpenSearch の設計 インデックス、フィールド、クエリパイプライン、本番化で足すもの 付録 再現手順と出典 スクリプト構成、実行手順、調査した公開資料 4 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/GJW13X93E2.jpg) PART A ケース設定と実データ調査 このPartで答えられるようになる問い • FMEA 支援 RAG はどんなデータを入力にするか ？ • 実在企業の公開文書にはどんな「厄介な構造」があ るか？ • その構造をどう合成データに再現したか？ FMEA 作成支援の入力データは、実際の企業文書ではどん な形をしていて、なぜ素朴な RAG を壊すのか 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/4EZPV69GJ3.jpg) 題材：FMEA 作成支援ソリューションの入出力 6種類の入力（製品・仕様・過去FMEA・不具合・規格・その他）から、根拠付きの FMEA ドラフトを作る ① 製品・プロジェクト情報 ② 仕様・設計情報 製品名・対象部品 FMEA シート（Excel） 設計仕様書・図面・BOM 解析・可視化レポート ③ 過去 FMEA・類似事例 類似製品の FMEA FMEA 作成エンジン ④ 不具合・品質情報 故障モード候補・原因/影響・S/O/D 仮評価・対 策案・DRBFM 観点・根拠リンク ⑤ 規格・標準・QMS ⑥ その他の関連情報 生成AI ＋ 横断検索（RAG） 不具合DB・クレーム・検査記録 法規・業界規格（ISO/IEC） 顧客要求・保守・サービス 対策・アクション一覧 根拠・参考資料リンク集 出力のすべてが「正しい根拠を検索できること」 に依存する 出典: smartinsight.jp/solution/fmea/（公開ページの入出力図・FAQ を参照）。本資料は題材として構成を参照したのみで、同製品の実装・性能とは無関係 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/Y76M52KQEV.jpg) 入力①〜⑥ ごとの「RAG を壊す特性」 どの入力にも、テキスト化・固定長分割・ベクトル類似度だけでは扱えない構造がある 入力 典型的な形式 RAG を壊す特性 ① 製品・プロジェクト Word の企画書・型式の見方 型番の桁ごとにシリーズ・電圧・I/F を符号化。型番とシリーズ名が別の文書 C1・C8 に分かれる ② 仕様・設計 PDF 取説・共通通信マニュアル・Word 仕様書・BOM 製品取説は「別冊参照」だけ。共通編はシリーズ名でしか書かれない。値が表 ・脚注にしかない C1・C7 ③ 過去 FMEA Excel 帳票（神エクセル）・DRBFM 多段の結合ヘッダ、縦結合セル、印欄。値（O=4）と列名（発生度）が離れる C2 ④ 不具合・品質 不具合DB（CSV）・スキャンした 8D・ 試験報告書 半角カナ・全角英数・略称の表記ゆれ。スキャンは文字層がない C4・C5 ⑤ 規格・QMS Word の社内設計基準・品質規程 「付表3による」「6.2項による」の参照で本文と値が分かれる C6 ⑥ その他 特許公報 PDF・顧客要求仕様書・サー ビスニュース 図中の符号（22 など）の意味が本文や符号の説明に分散。要求値と製品値 の照合が必要 C3・C8 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 評価カテゴリ 7 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/G75ZY2P2J4.jpg) 実データ調査①：分冊マニュアルと「シリーズで書かれた仕様」 実在メーカーの公開マニュアルでも、通信仕様は製品取説ではなく共通の別冊にあり、適用範囲は型番ではなくシリーズ名やタグで書 かれる Oriental Motor AZ シリー ズ • 同梱取説「機能編は付属しない。Webでダウ ンロード」 • 機能編に Modbus RTU の章・アドレス一 覧 • 適用は「“PULSE-I/F”と記載がある場合」等 のラベル • 型式別マニュアルは差分のみ「本章にないア ドレスは機能編」 三菱電機 FR-E800 • 接続編・機能編・通信編・保守編に分冊 • 保守編のアラームに「参照資料：機能編・通信 編」 • 適用はパラメータ行ごとの [E800(SC)E] タグ • 形名末尾（-1/-4/-5/EPA）で初期値が変わ る Panasonic MINAS A6 • 3シリーズを1冊の Modbus 技術資料で扱 う • 冒頭の機能比較表：行=シリーズ、列=型式、 ○/× • 品番末尾文字とファームウェア版数で機能が 決まる • 脚注で使用条件の例外を指定 リーダーの視点 「型番で検索しても、その型番の文字列が出てこない場所に答えがある」― これが分冊マニュアル型（C1）の本質。合成データでは「製 品取説は MAN-COM-01 参照のみ／共通編はシリーズ名だけ」で再現した 出典: Oriental Motor HM-60262（機能編）・HM-60440、三菱電機 FR-E800 取扱説明書（接続編・機能編・通信編・保守編）、Panasonic MINAS A6 Modbus 技術資料（各社 公開PDF） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/9J2RG4617R.jpg) 実データ調査②：FMEA・DRBFM の「神エクセル」 AIAG-VDA 様式は2段の結合ヘッダ。現場の帳票はさらに縦結合・空白の「同上」・セル内改行・印欄を重ねる 1段目（結合） 2段目の列（AIAG-VDA DFMEA） 構造分析（ステップ2） 上位レベル／分析対象／下位レベル 機能分析（ステップ3） 上位・分析対象・下位の機能・要求事項 故障分析（ステップ4） 故障影響 FE／影響度 S／故障モード FM／故障原 因 FC リスク分析（ステップ5） 予防管理 PC／発生度 O／検出管理 DC／検出度 D／処置優先度 AP 最適化（ステップ6） 追加処置／責任者／完了予定日／再評価 S・O・D・ AP 現場帳票の「汚し方」 • 部品・機能・故障モード列の縦結合／空白＝同上 • セル内改行（「予防：…／検出：…」）、縦書き見出し • 上部のヘッダブロックと承認印欄、改訂履歴シート • DRBFM は「変更点→心配点→要因」の二重結合 研究で効くとされる前処理 注意 • 結合を展開・埋め戻し、ヘッダ階層パス:値で1行1チャンク 列名（発生度）が表の先頭にしかなく、値（4）が数十行下にある ―「値 とヘッダの結び付き」が失われるのが最大の問題 • 行構造保持チャンクで BM25 R@1 0.366→0.754（簡易判定 ） • TableRAG：巨大表で GPT-3.5 正答 4.6%→49.2% 出典: 岩波好夫『AIAG-VDA FMEA 事例集』試読版（日科技連）、豊田合成技報 Vol.44 No.2（DRBFM）、総務省「統計表における機械判読可能なデータ作成に関する表記方法」、デジタル 庁 Harunobu、SpreadsheetLLM、TableRAG、arXiv:2605.00318 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 9 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/DEYDVM94EM.jpg) 実データ調査③：特許の「図と符号」 図には番号と引出線しかない。番号の意味は【符号の説明】と本文に分散し、しかも符号の説明は主要部分だけ 図（画像） 図面の簡単な説明 番号と引出線のみ 「図2はロック機構の断面図」 実例と研究から分かること 本文 符号の説明 「ロックアーム21の根元部22に… 疲労き裂」 主要符号のみ（22 は載らないこと も） 合成データでの再現 • JPH0782887B2：符号の説明は主要 9 符号のみ、ゴム栓 26 などは 本文だけで定義 • 架空の特開2025-012345（コネクタ）と特開2024-087654（放熱） • 弁理士会記事：符号の説明は主要部のみの欄で誤記もある • 符号の説明から 22・25 などを除外（本文のみで定義） • PatFig：図中の数字抽出と説明の照合精度 72.08% • 図は数字と引出線だけの画像として PDF に埋め込み • 両特許で符号 10・21・23・34 が別の意味（取り違えを誘発） • 特許図面向けの RAG を正面から扱った研究は見当たらない 出典: 特許法施行規則 様式第29、JPH0782887B2（コネクタの端子不完全挿入防止構造）、日本弁理士会『パテント』2014年1月号、PatFig（ICCVW 2023）、PatentLMM（AAAI 2025） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 10 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/VJN6MWL6J8.jpg) 実データ調査④：スキャン報告書・不具合DB・規格 印影・罫線・低解像度で崩れるスキャン、同じ製品が何通りにも書かれる不具合DB、条項番号で参照し合う規格 スキャン PDF • 印影・罫線・傾き・低解像度 • OSS では YomiToku が表に強い（非商用 ライセンス） • 手書き比較 6 枚：YomiToku 0.842（参考 値） 不具合 DB 規格・QMS • 自由記述の要約＋装置区分（連ラクダ／ NHTSA） • IEC 60812：5.2 計画→5.3 実施→5.4 文書化 • 消費者庁資料「同一商品名が異なる文言で入 力」 • 品質マニュアル→規程→手順書→帳票 • 条項番号・付表で互いに参照 • 一括 DL の公式窓口がない例も ポイント 合成データでの再現：報告書は Word で作成→PDF 化→150dpi で画像化し、傾き・ノイズ・赤い承認印を付けて文字層のない PDF に。不 具合DB は 425 件に「ｺﾈｸﾀ半ｶﾝｺﾞｳ」「ＭＤＡ－２００」「A200」等の表記ゆれを混入 出典: nyosegawa/ocr-comparison、YomiToku、NDLOCR-Lite、PaddleOCR、国交省 自動車不具合情報（連ラクダ）、NHTSA complaints、消費者庁 事故情報データバンク資 料、IEC 60812:2018 目次、ISO 9001:2026 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/YE9LNX4R73.jpg) 合成コーパスの設計：架空企業「ミナト精機」の製品群 ブラシレスモータードライバ 3 シリーズ・5 機種と、そのコネクタを巡る FMEA／DRBFM を題材にした 24 ファイル Aシリーズ MDA-120 / MDA-200 DC24V・RS-485 Bシリーズ MDB-300 / MDB-310 DC48V・RS-485 開発中の案件：MDA-200 Rev.B コーパス（24 ファイル） • コネクタ CN-4P-L → CN-4P-L2（根元 R0.5・半嵌合検知ばね） • Word 8・PDF 9（うちスキャン 3） • 通信タイムアウト既定値 1.5 s → 1.0 s（顧客 要求 CR-2025-07） • CSV 1（不具合 425 件） • FW Ver.2.3 → 2.4 • Excel 5（FMEA 3・DRBFM 1・BOM 1） • チャンク数：素朴 124／構造化 767 • 過去 DFMEA（MDA-120）を流用して作成 Cシリーズ MDC-500 DC48V・RS-485／CANopen 注意 社名・製品・特許番号・数値はすべて架空。実在企業の文書は「構造」だけを参考にし、内容は複製していない Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 12 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/GE8XK2QGJD.jpg) コーパス一覧：何をどの形式で、どの特性を再現したか Word と Excel は実際に Office で開ける実ファイル。PDF は Word から書き出し、スキャンは画像化して文字層を消した 区分 ファイル 形式 再現した特性 ① 製品企画書 PJ-2025-018（変更点表・型式の見方） Word 型番の桁構成、変更点の表 ② 取扱説明書 ×5（MDA-120〜MDC-500） PDF 「通信仕様は MAN-COM-01 参照」のみ ② 通信マニュアル共通編 MAN-COM-01／CANopen MAN-CAN-01 PDF シリーズ別の表・脚注（※1） ② 設計仕様書 SPEC-MDA200-B／BOM Word／Excel ディレーティング表・ピン配置表・図 ③ 過去 DFMEA ×3（MDA-120・MDB-300・MDC-500）／DRBFM Excel 3段結合ヘッダ・縦結合・印欄・改訂履歴 ④ 不具合DB（425 件） CSV 半角カナ・全角・略称の型番 ④ 8D 報告書・試験報告書 ×2 スキャン PDF 文字層なし・印影・傾き ⑤ コネクタ設計基準 SK-001／品質保証規程 QP-07 Word 「付表3による」「6.2項による」 ⑥ 特許 ×2・顧客要求 CR-2025-07・サービスニュース PDF／Word 図中符号・要求値との照合 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 13 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/LEL8Z2XX7R.jpg) 実物イメージ①：過去 DFMEA（Excel 帳票） 3段の結合ヘッダ、縦に結合された「システム要素」「故障モード」、上部の印欄 ― 典型的な神エクセル 3_過去FMEA_FMEA-MDA120-03_MDA-120.xlsx（Excel で印刷範囲を PDF 化） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/4JM6V8L3EW.jpg) 実物イメージ②：スキャンした試験報告書と特許の図 文字層のない画像 PDF と、番号と引出線しかない図。どちらも「そのままでは検索できない」 注意 承認印がタイトルに重なり、OCR でタイトルが取れなかった（実際に起 きた） 左：4_試験報告書_TR-2023-118（スキャン）.pdf 右：架空特許 特開2025-012345 の【図2】 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/PJRP25KRE9.jpg) 実物イメージ③：製品取説と共通通信マニュアル 製品取説は「MAN-COM-01 を参照」と書くだけ。共通編のタイムアウト表は「Aシリーズ」としか書かれていない 答えに必要な3文書 • 取説：通信は MAN-COM-01 参照（値 はない） • 共通編：Aシリーズ＝1.5 s（型番はない ） • 企画書：MDA＝Aシリーズ（型式の見方 ） • → 型番だけで検索すると、取説ばかり 当たる Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 16 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/PEX3DKLYJX.jpg) PART B 検証の設計 このPartで答えられるようになる問い • どんな質問で、何を「答えられた」とみなすか？ • なぜ LLM の回答ではなく検索結果で評価するのか ？ • どんな環境・モデル・段階で比較したか？ 「答えられたか」を主観で判定しないために、質問・必要事実・ 判定方法・環境を固定する 17 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/3EKYX5L4JD.jpg) 8 つのデータ特性カテゴリと評価用の 48 問 実際の FMEA／DRBFM 作成で担当者が投げそうな質問を、データ特性ごとに 4〜8 問用意した カテゴリ 問数 質問の例 C1 分冊・共通マニュアル 8 MDA-200 の通信タイムアウトの初期値は？通信が途絶したらどう停止する？ C2 神エクセル帳票 8 MDA-120 の過去 DFMEA で、フレッティング腐食が原因の行の発生度 O と検出管理は？ C3 特許の図と符号 6 特開2025-012345 の図2 の符号22 は何で、どんな不具合に関係する？ C4 スキャン PDF 6 8D-2024-021 の根本原因は？／TR-2023-118 で不合格だったサンプルは？ C5 表記ゆれ DB 5 MDA-200 でコネクタの半嵌合や抜けが原因の不具合事例は？ C6 条項・付表参照 5 社内のコネクタ設計基準で、嵌合部の端子めっき仕様は？ C7 仕様書の表 4 CN-4P-L2 の 60℃ における 1 ピンあたり許容電流（AWG18）は？ C8 複数ソース横断 6 顧客要求の通信断時の停止時間と、MDA-200 の現行タイムアウト初期値は整合している？ Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/L7395K3D75.jpg) 評価方法：「必要な事実が、結び付いた形で」上位 k 件に揃ったか 各問に正規表現で「必要事実」を定義し、上位 5 件のチャンク内で全事実が見つかれば「回答可能」とする {"id":"C2-1", "q":"MDA-120 の過去 DFMEA で、端子接触抵抗の増大（原因: フレッティング腐食）の発生度 O と現行の検出管理は？", "facts":[ "フレッティング.{0,150}発生度[(]O[)]:4", "フレッティング.{0,250}振動試験[(]JISC60068-2-6[)]後の接触抵抗測定"]} なぜ LLM で採点しないか • 再現性：同じ入力で同じ判定 • LLM の読解力の差を混ぜない • 取込・検索の改善を切り分けられる • 「数字だけある」状態を不合格にできる 指標 定義 回答可能数（answerable@k） 全ての必要事実が上位 k 件に揃った質問数（主指標） 事実再現率（fact recall） 必要事実のうち見つかった割合の平均（部分点） コンテキスト量 上位 k 件の文字数合計（コストの目安） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 注意 限界：回答可能でも LLM が正答するとは限らない。 逆に LLM が推測で当てる場合もある。本番評価で は回答も人手・LLM 評価器で測る 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/87DGD3427G.jpg) 検証環境：WSL2 上の OpenSearch と日本語モデル すべてローカルで再現できる構成。外部 API は使っていない Windows 11：Word / Excel（COM）で実ファイル生成・PDF 化 WSL2（Ubuntu 24.04）・RTX 4060 8GB 取込 python-docx / PyMuPDF openpyxl / YomiToku OCR チャンク化 埋め込み NAIVE / STRUCT CTX / XREF の4セット ruri-v3-310m 768 次元 OpenSearch 2.19.1 kuromoji＋icu＋k-NN hybrid＋RRF 再ランキング ruri-v3-reranker310m 上位 50 件 評価 48 問 × 必要事実 answerable@5/10 Docker: opensearchproject/opensearch:2.19.1 ＋ analysis-kuromoji, analysis-icu（セキュリティ無効化・ヒープ 2GB・シングルノード） ライセンス：ruri-v3 系は Apache-2.0。YomiToku の OSS 版は CC BY-NC-SA 4.0（非商用）→ 本番では商用ライセンスか別 OCR を選定 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 20 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/VJP3X4MLE8.jpg) 実験の段階設計：1 段ずつ足して、何が効いたかを分離する 同じ 48 問・同じ埋め込み・同じ k で、変える要素を 1 つずつ足す（アブレーション） 段階 変えたもの 狙い（前作の対応章） S0 ファイル参照 質問に最も合う 1 ファイルを丸ごと（先頭 2 万字）渡す 「添付すれば読める」は本当か S1 素朴 RAG テキスト抽出 → 500 字固定長チャンク → Dense 検索 Naive RAG の基準線 S1b（比較） S1 のチャンクのままハイブリッド検索 取込を直さず検索だけ高度化すると？ S2 構造化取込 見出しパス・表の行・Excel ヘッダ階層・OCR 2-A 取込：構造を残す S3 ハイブリッド BM25（kuromoji＋n-gram）＋Dense を RRF で融合 2-B ハイブリッド検索 S4 文脈・型式正規化 文書・章のヘッダ付与、型番→シリーズ→適用機種の付与、クエリ展開 Contextual Retrieval・メタデータ S5 参照グラフ 特許の図・符号の関係、付表の内容を参照元に付与 GraphRAG 的な関係付け S6 再ランキング 上位 50 件をクロスエンコーダで並べ替え 2-B 再ランキング S7 親子展開／S8 参照追跡 表は表ごと読む／別冊・関連文書をたどる 親子検索・Agentic 的探索 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 21 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/2EV4LX96JQ.jpg) PART C ステップ別の改善（S0〜 S8） このPartで答えられるようになる問い • 「ファイルを渡す」と「素朴な RAG」は何が違い、何 が同じか？ • 構造化取込・ハイブリッド・文脈付与は、どのデータ に効いたか？ • 効かなかった打ち手は、なぜ効かなかったか？ 1 ステップ 1〜3 スライドで、「何を変えたか → 何問変わっ たか → なぜか → 何を学ぶか」を追う 22 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/57G1XVZ2EL.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S0 ファイル参照：「関係するファイルを丸ごと渡す」 質問に最も合う 1 ファイルを選び、先頭 2 万字を LLM に渡す。19/48 ― 素朴な RAG とほぼ同じ S0 の結果（上位5件） 答えられたもの 答えられなかったもの 19 • 特許（6/6）・社内基準（5/5） • スキャン 0/6：文字層がない • 文書が短く、ファイルさえ当たれば読める • 分冊マニュアル 2/8：取説を選んでしまう • 1 文書で完結する質問 • FMEA 2/8：正しいファイルでも値と列名が切 れる /48 • 不具合DB：2.8 万字で丸ごとは渡せない 上位10件では 19/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S0 ファイル参照 2/8 2/8 6/6 0/6 1/5 5/5 1/4 2/6 19 S1 素朴RAG 3/8 2/8 4/6 0/6 2/5 5/5 1/4 1/6 18 段階 出典: 本検証（ファイル選択は全文に対する BM25、抽出は素朴なテキスト抽出） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 23 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/4EQD86L9JP.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S0 の中身：素朴なテキスト抽出が LLM に渡しているもの Excel はセルを左上から読むだけ、スキャンは空、PDF の表は 1 セル 1 行に崩れる # 3_過去FMEA_..._MDA-120.xlsx（openpyxl で行ごとに連結） No. 構造分析（ステップ2） 機能分析（ステップ3） 故障分析（ステップ4） … システム要素 構成部品 要素の機能 … 重大度 現行の予防管理 発生度 … (FE) (FM) (FC) (S) (PC) (O) (DC) (D) (AP) (RPN) 1 CN1 電源・通信コネクタ 端子 … 端子接触抵抗の増大 振動による微摺動 （フレッティング腐食） 7 端子めっき 金 0.2 µm （SK-001 付表3） 4 振動試験（JIS C 60068-2-6）後の接触抵抗測定 5 M 140 … 2 端子表面の酸化皮膜形成 7 金めっき採用 3 高温高湿試験後の… 6 L 126 … ↑ 部品名・故障モードは結合セルなので 2 行目以降は消える Advanced RAG 適用指針書｜FMEA 支援ケーススタディ # 試験報告書（スキャン）.pdf（PyMuPDF get_text） "" ← 文字層がない # MAN-COM-01.pdf（PDF の表） シリーズ 通信タイムアウト初 期値 設定範囲 異常時の停止動作 A シリーズ 1.5 s 0.1〜10.0 s 減速停止（ALM31） B シリーズ … 24 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/KJ4Z245R71.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S1 素朴 RAG：固定長チャンク＋Dense 検索 素朴な抽出テキストを 500 字（重なり 50 字）で分割し、ruri-v3 の埋め込みで上位 5 件を取る。18/48 素朴な抽出 Word: 段落と表セル PDF: 文字層 Excel: セル連結 S1 の結果（上位5件） 500 字固定長 Dense 検索 重なり 50 字 ruri-v3-310m 124 チャンク 768 次元・cos 上位 5 件 18 平均 2,193 字 /48 S0 比 -1 問 ポイント 500 字に FMEA の 5〜6 行、不具合レコード 5〜6 件が混ざる → 埋め込みの焦点がぼやけ、 どの質問にも「何となく近い」チャンクになる 上位10件では 20/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S0 ファイル参照 2/8 2/8 6/6 0/6 1/5 5/5 1/4 2/6 19 S1 素朴RAG 3/8 2/8 4/6 0/6 2/5 5/5 1/4 1/6 18 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 25 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/LE1RM4WVEG.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S1 の失敗①：分冊マニュアル ― 取説ばかりが当たる 「MDC-500 の通信途絶時の停止動作は？」→ 取説の「通信が途絶した場合の動作は…MAN-COM-01 を参照」が上位を占める 質問：MDC-500 で RS-485 通信が途絶した場合、既定ではどう停止する？ MAN-MDC-500（取説） 通信が途絶した場合の動作は、パラメータと通信タイムアウト設定に依存しま す（MAN-COM-01 参照） MAN-MDC-500（取説） ALM-31 通信異常（タイムアウト）…検出時間と停止動作は MAN-COM-01 を参照 何が起きているか • 質問の語は取説に全部ある • 答えのある共通編には型番がない • 型番→シリーズの対応は別文書 MAN-CAN-01 MAN-COM-01（共通編） ハートビートが途絶すると EMCY を送信し…停止します • → 類似度だけでは届かない C シリーズ … 0.8 s … パラメータ P-210 で選択（既定: 惰性停止） ※ 共通編の行は「C シリーズ」としか書かれず、MDC-500 との関係は企画書の「型式の見方」にだけある Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 26 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/GEW13X6372.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S1 の失敗②：神エクセル ― 数字はあるのに意味が分からない 正しい FMEA ファイルの正しいチャンクが当たっても、「4」が発生度だと結び付ける情報がチャンク内にない 検索で当たったチャンク（S1） 1） 端子接触抵抗の増大 振動による微摺動（フレッティング腐食） 7 端子めっき 金 0.2 µm （SK-001 付表3） 4 振動試験（JIS C 60068-2-6）後の接触抵抗測定 5 M 140 ロック強化型… 2 端子表面の酸化皮膜形成 7 金めっき採用 3 高温高湿試験後の接触抵抗測定 6 L 126 — … 3 めっき厚不足 7 類似機の実績 5 環境試験 5 M 175 — … LLM から見えないこと 必要なのは • 7・4・5 がそれぞれ S・O・D であること • 1 行＝1 レコードとして切り出す • 2 行目以降の部品が「CN1 コネクタの端子」であること • 結合セルを埋め戻し、ヘッダ階層を列名に • 製品が MDA-120 であること（ヘッダブロックは別チャンク） • 「発生度(O): 4」の形で値と列名を結ぶ • 製品名・FMEA ID を各行に付ける Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 27 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/47ZPV6YGE3.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S1b 比較：取込を直さずに検索だけ高度化すると？ 素朴なチャンクにハイブリッド検索（BM25＋Dense）を足しても 18 → 20 問。根拠が索引にない 20 問は救えない 全チャンク中に必要事実が揃う問数（上 18 → 20 S1 → S1b（ハイブリッドを足す） 限） 教訓 48 • 索引にないものは検索では救え ない 45 40 • 検索を改善する前に「上限」を測 る 35 28/48 素朴な取込の全チャンクに必要事実がある問数（ 上限） 30 • 上限が低いなら取込が先 28 25 20 15 10 5 0 素朴取込 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 構造化取込 28 # Page. 29 ![Page Image](https://bcdn.docswell.com/page/YJ6M52DQ7V.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 診断の型：S1 の 30 問の失敗を 3 つに分ける 上限（全チャンク中に根拠があるか）と、上位 5 件の結果を突き合わせると、失敗の原因が分かれる 根拠不在（取込で欠落） 20 問 検索失敗（索引にはある） 10 問 回答可能 18 問 分類 問数 典型例 効く段階 根拠不在（取込で欠落） 20 スキャン・Excel の結び付き・表の崩れ S2 構造化取込 検索失敗（索引にはある） 10 取説が当たる・型番が一致しない S3〜S6 利用失敗（読み違え） — LLM の推測・計算誤り 本検証の範囲外 リーダーの視点 最初の 1 週間でこの表を作ると、次の 1 か月の優先順位が決まる。「精度が低い」ではなく「20 問は取込、10 問は検索」と報告する Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 29 # Page. 30 ![Page Image](https://bcdn.docswell.com/page/GJ5ZY232E4.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S2 構造化取込：形式ごとに「構造を残す」パーサを作る 見出しパス・表の行・Excel のヘッダ階層・OCR の表を、それぞれ「意味の単位」でチャンクにする 形式 素朴な抽出（S1） 構造化取込（S2） Word 段落と表セルを順に連結 見出しパス付きの節、表は 1 行 1 チャンク「列名: 値」、※注記を付与 PDF（文字層あり） ページの文字列 find_tables で表を検出し、セル領域ごとに文字を読む。見出しはフォントサイズで判定 Excel 帳票 セルを左上から連結 背景色でヘッダ行を検出、結合セルを埋め戻し、ヘッダ階層パス:値で 1 行 1 チャンク CSV（不具合DB） 500 字ごとに分割 1 レコード 1 チャンク「列名: 値」 スキャン PDF 空文字 YomiToku で OCR → Markdown の表を行単位に 画像（図） 捨てる 図の位置に「【図】キャプション」を残す（中身は S5 で扱う） チャンク数：124（S1）→ 767（S2）。うち不具合DB 424、FMEA 各 30、取説 各 19 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 30 # Page. 31 ![Page Image](https://bcdn.docswell.com/page/9E2RG4Z1JR.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S2 の要：Excel 帳票を「1 行 1 レコード」に直列化する 3 段ヘッダを「発生度(O)」のような列名に畳み、縦結合セルを埋め戻し、ヘッダブロックを各行に付ける ① ヘッダ検出 ② 結合の展開 背景色の付いた連続行 左上の値を範囲全体へ ③ 列名の決定 ④ 直列化 階層を上から連結 ヘッダブロック＋ 略号は親と結合 列名: 値 【DFMEA】DFMEA（設計 FMEA） 製品名 MDA-120 … FMEA ID FMEA-MDA120-03｜No.: 1 / システム要素: CN1 電源・通信コネクタ / 構成部品: 端子 / 要素の機能: 電源と RS-485 信号を確実に接続する / 故障影響(FE): 通信断によりモーターが停止する（ALM-31） / 故障モード(FM): 端子接触抵抗の増大 / 故障原因(FC): 振動による微摺動（フレッティング腐食） / 重大度(S): 7 / 現行の予防管理(PC): 端子めっき 金 0.2 µm （SK-001 付表3） / 発生度(O): 4 / 現行の検出管理(DC): 振動試験（JIS C 60068-2-6）後の接触抵抗測定 / 検出度(D): 5 / 処置優先度(AP): M / 危険優先数(RPN): 140 / … ポイント 研究（STC, SpreadsheetLLM, TableRAG）とも同じ方向：結合を展開し、ヘッダ階層パス:値で行単位に。帳票の「見た目」ではなく「レコー ド」に戻すのが本質 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 31 # Page. 32 ![Page Image](https://bcdn.docswell.com/page/D7YDVMR47M.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S2 で実際にハマった 2 つの落とし穴 パーサは「動いた」では足りない。出力を目で見て初めて気付いた不具合が 2 つあった ① Excel：ヘッダが略号だけになった ② PDF：表の文字順が崩れた • 症状：列名が「(O)」「(FE)」だけ。発生度という語が消える • 症状：「1.5 s」→「1 5 s.」、「ALM-31」→「ALM 31-」 • 原因：結合セルの左上以外は書式が保存されず、背景色によるヘッ ダ判定が 1 段目を見落とした • 原因：find_tables の標準抽出が和文フォントの文字片の順序を崩 す • 対策：結合範囲をたどってヘッダ行を延長、略号は親の列名と結合 • 対策：セルの矩形ごとに page.get_text(clip=…) で読み直す リーダーの視点 パーサの出力を人が読むレビューを工程に入れる（形式ごとに 20〜50 チャンク）。指標が動いていても中身が壊れていることがあ る Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 32 # Page. 33 ![Page Image](https://bcdn.docswell.com/page/VEN6MWD6E8.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S2 のスキャン OCR：表は戻るが、誤読と欠落は残る YomiToku は表を Markdown で復元した。一方で「30 分→50 分」の誤読、重複、承認印に隠れたタイトルの欠落が起きた |サンプル No.|初期接触抵抗|試験後接触抵抗|判定| |S-06|13 mΩ|20 mΩ|合格| |S-07|15 mΩ|210 mΩ|不合格| |S-08|12 mΩ|19 mΩ|合格| |試験条件|-40°C / +85°C 各50 分 500 サイ<br>クル| OCR で起きたこと ← 原本は「各 30 分」 所見:S-07は試験後に接触抵抗が著しく増大。…金めっき厚が<br>0.08 μm と規格(0.2 μm 以上) 未満で あった。 • 表の行・列は正しく復元 • 数字の誤読：30 分→50 分 • 重複：「3 台中 3 台中 3 台」 • 承認印でタイトル行が欠落 リーダーの視点 OCR の誤りは検索ではなく「事実の誤り」として回答に出る。数値・判定を使う回答は、原本ページ画像へのリンクを必ず添えて人が確認でき るようにする Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 33 # Page. 34 ![Page Image](https://bcdn.docswell.com/page/Y79LNXGRJ3.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S2 の結果：帳票は解決、ただし特許は悪化 24/48（+6）。FMEA 2→7、スキャン 0→2。一方、特許は 4→1 に悪化した S2 の結果（上位5件） 改善 悪化 • FMEA 帳票 2→7：値と列名が結び付いた • スキャン 0→2：OCR で文字が入った • 特許 4→1：段落を細かく分け、名称と符号が 別チャンクに • 複数ソース 1→3 • 基準 5→4：短い節が類似度で負ける 24 /48 S1 比 +6 問 上位10件では 27/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S1 素朴RAG 3/8 2/8 4/6 0/6 2/5 5/5 1/4 1/6 18 S2 構造化取込 2/8 7/8 1/6 2/6 3/5 4/5 2/4 3/6 24 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 34 # Page. 35 ![Page Image](https://bcdn.docswell.com/page/G78XK2VGED.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S3 ハイブリッド検索①：OpenSearch のインデックス定義 本文は kuromoji（形態素）と 2〜3 文字 n-gram の 2 通りで索引し、ベクトルは k-NN フィールドに入れる "analysis": { "char_filter": {"nfkc": {"type": "icu_normalizer", "name": "nfkc_cf"}}, "tokenizer": { "ja": {"type": "kuromoji_tokenizer", "mode": "search"}, "ng": {"type": "ngram", "min_gram": 2, "max_gram": 3, "token_chars": ["letter", "digit"]}}, "analyzer": { "ja": {"char_filter": ["nfkc"], "tokenizer": "ja", "filter": ["kuromoji_baseform", "kuromoji_part_of_speech", "cjk_width", "ja_stop", "lowercase"]}, "ja_ng": {"char_filter": ["nfkc"], "tokenizer": "ng", "filter": ["lowercase"]}}} "mappings": {"properties": { "text": {"type": "text", "analyzer": "ja", "fields": {"ng": {"type": "text", "analyzer": "ja_ng"}}}, "doc_no": {"type": "keyword"}, "kind": {"type": "keyword"}, "emb": {"type": "knn_vector", "dimension": 768, "method": {"name": "hnsw", "engine": "lucene", "space_type": "cosinesimil"}}}} ポイント n-gram サブフィールドは「CN-4P-L2」「ALM31」など 辞書にない型番・コードを拾う保険 出典: OpenSearch 2.19 ドキュメント（kuromoji, icu, k-NN）。本検証で使った設定そのもの Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 35 # Page. 36 ![Page Image](https://bcdn.docswell.com/page/L7L8Z25XJR.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S3 ハイブリッド検索②：RRF パイプラインとクエリ BM25（形態素＋n-gram）と k-NN を 1 つの hybrid クエリで投げ、search pipeline の RRF で順位融合する PUT /_search/pipeline/rrf {"phase_results_processors": [{"score-ranker-processor": { "combination": {"technique": "rrf", "rank_constant": 60}}}]} GET /idx_xref/_search?search_pipeline=rrf {"size": 50, "_source": {"excludes": ["emb"]}, "query": {"hybrid": {"queries": [ {"bool": {"should": [{"match": {"text": "MDC-500 で RS-485 通信が途絶…"}}, {"match": {"text.ng": "MDC-500 で RS-485 通信が途絶…"}}]}}, {"knn": {"emb": {"vector": [0.012, -0.034, …], "k": 50}}}]}}} 注意 hybrid はトップレベル専用（function_score 等で包めない）。ページングは pagination_depth が必要。文書の絞り込みは BM25 側の filter と k-NN 側の filter の両方に書く Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 36 # Page. 37 ![Page Image](https://bcdn.docswell.com/page/4EM6V8337W.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S3 の結果：型番・番号・用語に強くなった 28/48（+4）。特許 1→5、仕様書の表 2→4。ただし分冊マニュアルは 2/8 のまま S3 の結果（上位5件） 効いた理由 効かなかった理由 • 特許 1→5：「符号22」「特開…」は文字列一致 が得意 • 分冊 2/8：共通編に「MDA-200」の文字がな い → BM25 でも一致しない • 仕様書の表 2→4：「AWG18」「突入電流」の一 致 • DB・基準 −1：頻出語「コネクタ」に引っ張られ る 28 /48 S2 比 +4 問 上位10件では 31/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S2 構造化取込 2/8 7/8 1/6 2/6 3/5 4/5 2/4 3/6 24 S3 ＋ハイブリッド 2/8 7/8 5/6 2/6 2/5 3/5 4/4 3/6 28 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 37 # Page. 38 ![Page Image](https://bcdn.docswell.com/page/PERP25QR79.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S4 の狙い：「型番 → シリーズ → 適用表」の関係を索引に持たせる 答えのある共通編は「Aシリーズ」としか書かない。型番とシリーズの対応は企画書の「型式の見方」にしかない 質問「MDA-200 の通信タイムアウト 初期値は？」 企画書「型式の見方」 MDA = Aシリーズ 型番 → シリーズ（1 段目の関係） 実在マニュアルの同じ構造 共通編 MAN-COM-01 Aシリーズ：1.5 s・減速停止 シリーズ → 適用表（2 段目の関係） 打ち手の考え方 • 三菱 FR-E800：パラメータ行の [E800-(SC)E] タグ • 関係はモデルに推論させず、データとして索引に書き込む • Oriental Motor：「“PULSE-I/F”と記載がある場合」 • 対応表は「型式の見方」から自動生成（手作業の辞書にしない） • Panasonic A6：行=シリーズ×列=型式の ○/× 表 • クエリ側でも型番を正規化し、シリーズ名を補う Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 38 # Page. 39 ![Page Image](https://bcdn.docswell.com/page/P7X3DK5YEX.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S4 の実装：文脈ヘッダ・適用機種の付与・クエリ展開 各チャンクに「文書名・章」のヘッダと「Aシリーズの適用機種: MDA-120, MDA-200」を付与し、質問の型番にもシリーズを補う ［文書: 通信マニュアル共通編 MAN-COM-01 / RS-485 通信ユーザーズマニュアル 共通編（MAN-COM-01） > 5. 通信タイムアウトと異常時動作］ 【表】5. 通信タイムアウトと異常時動作｜シリーズ: A シリーズ / 通信タイムアウト初期値: 1.5 s / 設定範囲: 0.1〜10.0 s / 異常時の停止動作: 減速停止（ALM-31） ［付与情報］Aシリーズの適用機種: MDA-120, MDA-200 【不具合DB】管理No: Q-2024-0137 / 製品型式: MDA200 / 現象: ｺﾈｸﾀ半ｶﾝｺﾞｳにより通信ｴﾗｰ多発（ALM31）… ［付与情報］正規化型式: MDA-200（Aシリーズ） 実装 中身 文脈ヘッダ 文書台帳の名称＋本文のタイトル＋章パス（OCR 文書は台帳名のみ） 適用機種の付与 型式の見方の表から「MDA=Aシリーズ」を抽出し、シリーズ名を含むチャンクに型番一覧を追記 型番の正規化 NFKC（ＭＤＡ－２００→MDA-200）＋正規表現（MDA200 / A200 → MDA-200） クエリ展開 質問中の型番を正規化し、所属シリーズ名を追加して検索 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 39 # Page. 40 ![Page Image](https://bcdn.docswell.com/page/37KYX564ED.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S4 の結果：分冊マニュアルが 2/8 → 7/8 37/48（+9）。分冊マニュアル 2→7、スキャン 2→4、表記ゆれ DB 2→4、基準 3→5。特許だけ 5→2 に悪化 S4 の結果（上位5件） 改善 悪化 • 分冊 2→7：適用機種の付与で共通編に到達 • 特許 5→2：同じ長いヘッダが全チャンクに付 き、「符号22」の手掛かりが相対的に弱まった（ 仮説） • DB 2→4：表記ゆれの型番が一致 • スキャン 2→4：台帳名で文書番号が引ける 37 /48 S3 比 +9 問 上位10件では 42/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S3 ＋ハイブリッド 2/8 7/8 5/6 2/6 2/5 3/5 4/4 3/6 28 S4 ＋文脈・型式正規化 7/8 8/8 2/6 4/6 4/5 5/5 4/4 3/6 37 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 40 # Page. 41 ![Page Image](https://bcdn.docswell.com/page/LJ395K6DJ5.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S4 の学び：文脈ヘッダの「中身」で結果が変わる 本文タイトル 38／台帳名のみ 34／台帳名＋本文タイトル 37。型番入りのファイル名は、質問を取説に引き寄せた S4 の回答可能数（/48、上位5件） なぜ台帳名だけだと下がったか 45 40 • 「取扱説明書 MDA-200」が取説の全チャンクに付く 38 37 34 35 • 型番入りの質問が取説に強く引き寄せられる • 分冊問題（S1 の失敗①）が再発 30 25 20 15 リーダーの視点 ヘッダは「説明」ではなく「検索の重み付け」。型番・製品名 を足すと、その製品の文書に寄る。足す情報は、質問と答 えの間をつなぐもの（シリーズ・適用機種・章）を優先する 10 5 0 本文タイトル 台帳名のみ Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 台帳名＋本文 （採用） 41 # Page. 42 ![Page Image](https://bcdn.docswell.com/page/8JDGD3V2JG.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S5 参照グラフ①：特許の「図・符号・本文」をつなぐ 本文と符号の説明から「名称＋符号」の辞書を作り、図の OCR で各図に出る符号を取り、図別・符号別のチャンクを生成する 本文 名称＋符号を正規表現で抽 出 「根元部22」 符号の説明 図の OCR 符号辞書 グラフチャンク 主要符号のみ YomiToku 単語単位 特許ごとに閉じた 図別・符号別 「21 ロックアーム」 図2: 21, 22, 23 … 番号→名称 本文の記述付き ［符号グラフ］特開2025-012345 図2（ロック機構の断面図である。）に現れる符号: 10 ハウジング / 21 ロックアーム / 22 根元部 / 23 係止突起 / 30 相手側ハウジング / 31 係止部 / 34 雌端子 / 35 接点ばね ［符号グラフ］特開2025-012345 符号22 = 根元部（登場図: 図2） 本文の記述: 【0012】ロックアーム21 の根元部22 には着脱のたびに曲げ応力が集中する。根元部22 の曲率半径が小さいと、 繰返しの着脱により根元部22 に疲労き裂が生じ、ロックアーム21 の保持力が低下して… 注意 図 OCR は完全ではない：放熱特許では 10・36、コネクタ特許では 11 を検出できず「図中で未検出」と明示（PatFig の 72% と同様の難し さ） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 42 # Page. 43 ![Page Image](https://bcdn.docswell.com/page/VEP3X4VL78.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S5 参照グラフ②：「付表3による」の参照先を本文に取り込む 条項の本文に値がなく「付表3による」とだけある場合、付表の内容をその条項のチャンクに追記する ［文書: 設計基準 SK-001 コネクタ / 社内設計基準 コネクタ設計基準（SK-001）> 4. 端子 > 4.2 めっき］ 端子のめっき仕様は付表3による。嵌合部と端子圧着部で仕様が異なることに注意すること。 ［参照先 付表3 の内容］部位: 嵌合部（接点） / めっき: 金めっき / 厚さ: 0.2 µm 以上 / 下地: ニッケル 1.0 µm 以上 ／ 部位: 圧着部 / めっき: すずめっき / 厚さ: 1.0 µm 以上 / 下地: なし S5 の結果（上位5件） 参照グラフの考え方 • 参照は「エッジ」、条項・付表・符号は「ノード」 • 検索の前に、エッジ先の内容を参照元に持たせる • 範囲は文書内（特許・基準）に閉じる 40 結果の内訳 特許 2→5：符号グラフのチャンクが「図2の符号22」 に直接一致 /48 基準は S4 で既に 5/5 のため、付表の追記による差 は今回の判定では出なかった S4 比 +3 問 上位10件では 42/48 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 43 # Page. 44 ![Page Image](https://bcdn.docswell.com/page/27V4LXZ6EQ.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S6 再ランキング：上位 50 件をクロスエンコーダで並べ替え 44/48（+4）。分冊 7→8、スキャン 4→5、複数ソース 3→4、特許 5→6。上位 10 件なら 46/48 S6 の結果（上位5件） 効いた質問の例 代償 • MDB-300 の通信タイムアウトの実アドレス： レジスタ起点＋相対アドレスの 2 行が揃った • 顧客要求と初期値の照合：2 文書の行が上位に • 1 問あたり 50 回の推論（遅延は要計測） • 上位 5 件の平均文字数 1,184→1,462（長 いチャンクが上がる） • 領域が合わない再ランカーは逆効果になり得る 44 /48 S5 比 +4 問 上位10件では 46/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S5 ＋参照グラフ 7/8 8/8 5/6 4/6 4/5 5/5 4/4 3/6 40 S6 ＋再ランキング 8/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 44 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 44 # Page. 45 ![Page Image](https://bcdn.docswell.com/page/5JG1XV427L.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S7 親子展開：表は表ごと読む ― 今回は −1 問 行で検索し、表全体を読ませる small-to-big。43/48（−1）。分冊の 1 問で、必要な行が他の表の行に押し出された S7 の結果（上位5件） 狙い 実際に起きたこと • 「全サンプル合格か」は表全体が要る • 結論「全数合格」は表の外（所見欄）→ 効かない • 行で当てて、表で読む（親子検索） • 1500 字で切り詰め、表の後半が消えるバグ 43 • 親の重複除去で別の表の行が入り −1 /48 S6 比 -1 問 上位10件では 45/48 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S6 ＋再ランキング 8/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 44 S7 ＋親子展開 7/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 43 段階 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 45 # Page. 46 ![Page Image](https://bcdn.docswell.com/page/47QD86G9EP.jpg) S0 S1 S2 S3 S4 S5 S6 S7 S8 S8 参照追跡：別冊・関連文書をたどる ― 今回は改善なし 上位のチャンクに「MAN-COM-01」「8D-2024-021」などの文書番号があれば、その文書の最良チャンクを追加。43/48（±0） 版 回答可能（上位5件） 平均文字数 S7（追跡なし） 43 1,771 S8 枠内で置換 43 1,624 S8b 枠を +2 拡張 43 1,917 なぜ効かなかったか • S4・S6 で「たどる」必要が先に解消していた • 追加分が正解チャンクを押し出すことがある リーダーの視点 Agentic な機構は「残った失敗が多段の探索を必要としているか」を確認してから入れる。追跡するかの判断（例：質問の必要事実が 未充足のときだけ）と、枠の管理を必ずセットで設計する 初期の実験では、不具合DB の行から 8D 報告書を追跡した結果、必要な DB の行が押し出されて正答を失うケースも観測した Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 46 # Page. 47 ![Page Image](https://bcdn.docswell.com/page/KE4Z248RJ1.jpg) まとめ①：段階ごとの寄与（上位 5 件・上位 10 件） 取込（S2）・検索（S3）・関係付け（S4・S5）・順位付け（S6）がそれぞれ別の失敗を減らした。k を増やすと +2〜5 問 回答可能数（/48） 45 42 40 46 43 45 43 44 37 35 31 30 27 23 25 20 40 42 44 19 19 18 20 28 24 20 15 10 5 0 S0 S1 S1b S2 S3 上位5件 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ S4 S5 S6 S7 S8 上位10件 47 # Page. 48 ![Page Image](https://bcdn.docswell.com/page/L71RM42V7G.jpg) まとめ②：データ特性 × 段階のヒートマップ（上位 5 件） どの段階が、どのデータ特性に効いたか。色が緑に変わる段階が、そのデータに効く打ち手 C1 分冊・共通マニュ アル C2 神エクセル帳票 C3 特許の図と符号 C4 スキャンPDF C5 表記ゆれDB C6 条項・付表参照 C7 仕様書の表 C8 複数ソース横断 合計 /48 S0 ファイル参照 2/8 2/8 6/6 0/6 1/5 5/5 1/4 2/6 19 S1 素朴RAG 3/8 2/8 4/6 0/6 2/5 5/5 1/4 1/6 18 S1b 素朴＋ハイブリッド 2/8 2/8 5/6 0/6 3/5 5/5 1/4 2/6 20 S2 構造化取込 2/8 7/8 1/6 2/6 3/5 4/5 2/4 3/6 24 S3 ＋ハイブリッド 2/8 7/8 5/6 2/6 2/5 3/5 4/4 3/6 28 S4 ＋文脈・型式正規化 7/8 8/8 2/6 4/6 4/5 5/5 4/4 3/6 37 S5 ＋参照グラフ 7/8 8/8 5/6 4/6 4/5 5/5 4/4 3/6 40 S6 ＋再ランキング 8/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 44 S7 ＋親子展開 7/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 43 S8 ＋参照追跡 7/8 8/8 6/6 5/6 4/5 5/5 4/4 4/6 43 段階 色：赤 0〜25% ／ 橙 25〜50% ／ 黄 50〜75% ／ 薄緑 75〜99% ／ 緑 100% Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 48 # Page. 49 ![Page Image](https://bcdn.docswell.com/page/G7W13XR3J2.jpg) まとめ③：精度とコンテキスト量（コスト） 素朴 RAG は 1 問 2,200 字で 18 問。構造化後は 800〜1,800 字で 24〜44 問 ― 「短く、正しく」が両立した 上位5件の平均文字数（1問あたり） 2500 段階 回答可能 平均文字数 S1 18 2,193 S2 24 795 S3 28 818 S4 37 1,153 S5 40 1,184 S6 44 1,462 S7 43 1,771 S8 43 1,624 2,193 2000 1,771 1,624 1,462 1500 1,153 1000 795 1,184 818 500 0 S1 S2 S3 S4 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ S5 S6 S7 S8 49 # Page. 50 ![Page Image](https://bcdn.docswell.com/page/4JZPV6RG73.jpg) PART D 残った失敗と仮説演習 このPartで答えられるようになる問い • 列挙・集計型の質問に top-k 検索は向いているか ？ • 結論が表の外にある文書はどう扱うか？ • 多段の質問・紛らわしい文書にはどう対処するか？ • 1〜2 問の差をどう解釈すべきか？ S6 でも答えられなかった 4 問を題材に、「仮説 → 打ち手 → 検証」を組み立てる練習をする 50 # Page. 51 ![Page Image](https://bcdn.docswell.com/page/YE6M52RQJV.jpg) S6 でも残った 4 問の診断 残りは「検索の調整」ではなく、質問の型・文書の構造・多段推論に起因する。打ち手の種類が変わる 問 内容 観測された症状 分類（仮説） C5-1 MDA-200 でコネクタが原因の不具合事例は？ 3 件中 1 件しか上位に入らない 質問の型：列挙・集計（top-k に不向き） C4-5 CN-6P-W の振動試験の結果は？ 表の行は当たるが「全数合格」の所見が入らない 文書構造：結論が表の外 C8-2 Rev.B のコネクタ変更で参照すべき不具合とその根 本原因は？ 不具合番号は取れるが 8D の根本原因が入らない 多段：番号 → 別文書 C8-5 CN-4P-L で過去にめっき厚不足の不良は？ 過去 FMEA の「めっき厚不足」行が上位を占める 紛らわしい文書（テンプレ的な原因欄） リーダーの視点 残った失敗を「調整で直るもの」と「質問の型・文書構造・多段に起因するもの」に分けると、打ち手の種類（チューニング／構造化クエリ／チャン ク設計／Agent）が決まる Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 51 # Page. 52 ![Page Image](https://bcdn.docswell.com/page/GE5ZY28274.jpg) 演習①（C5-1 列挙型）：top-k ではなく構造化フィルタで引く 「型番＝MDA-200」かつ「接続系の語を含む」を filter と bool で指定すると、3 件すべてが取れた（検証済み） GET /idx_xref/_search {"size": 50, "query": {"bool": { "filter": [{"term": {"doc_no": "不具合DB"}}, {"match_phrase": {"text": "正規化型式: MDA-200"}}], "must": [{"bool": {"should": [ {"match": {"text.ng": "コネクタ"}}, {"match": {"text.ng": "半嵌合"}}, {"match": {"text.ng": "抜け"}}, {"match": {"text": "分類: 接続"}}], "minimum_should_match": 1}}]}}} 正解 top-k（ S6） 構造化フィ ルタ Q-2024-0137（MDA200） ○ ○ Q-2024-0388（ＭＤＡ－２００） × ○ Q-2025-0052（A200） × ○ 部下への指示の例 • 仮説：列挙型は top-k で網羅できない ポイント 質問の型を見分けるルータ（列挙・集計／事実照会／多段）を前段に置き、型 ごとに検索方式を変える Advanced RAG 適用指針書｜FMEA 支援ケーススタディ • 打ち手：正規化型式を keyword 項目化し、列挙型の質問はフ ィルタ＋集計に回す • 完了条件：列挙型 10 問で再現率 0.9 以上 52 # Page. 53 ![Page Image](https://bcdn.docswell.com/page/972RG4K1ER.jpg) 演習②（C4-5 結論が表の外）と ③（C8-2 多段） ② は「短い文書は文書ごと読む」、③ は「番号を手掛かりに次の文書を引く」。どちらも検証可能な形で指示する ② C4-5：結論が表の外 • 仮説：所見欄が行チャンクにも表の親にも含まれない • 打ち手：2 頁以下の報告書は文書全体を親にする（文書単位の親子 展開） • 検証：試験報告書の結論を問う質問を 8 問追加し、他カテゴリの悪 化がないことも確認 • 完了条件：報告書カテゴリ 7/8 以上、他カテゴリ −1 以内 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ ③ C8-2：番号 → 別文書の多段 • 仮説：DB 行の「8D-2024-021」から根本原因へ 2 段の探索が必 要 • 打ち手：必要事実（根本原因）が未充足のときだけ参照追跡するゲー ト＋枠の拡張 • 検証：2 段質問 10 問で、追跡あり／なしを比較 • 完了条件：2 段質問で +3 問以上、1 段質問の悪化なし 53 # Page. 54 ![Page Image](https://bcdn.docswell.com/page/DJYDVMN4JM.jpg) 演習④（C8-5 紛らわしい文書）と「1 問の差」の読み方 FMEA の原因欄の定型句が、試験報告書の実例を押しのける。そして 48 問での ±1 問は誤差の範囲 ④ C8-5：定型句が実例を押しのける 「1 問の差」の読み方 • 仮説：「めっき厚不足」は 3 つの FMEA の原因欄に定型句として出る • 48 問で 1 問＝約 2 ポイント。偶然の範囲 • 打ち手：「過去に出ている？」＝実績を探す意図 → 試験報告書・不具合DB を優先 • S7・S8 の ±1 は「効果なし」と読む • 検証：実績照会の質問 8 問で文書種別ブーストの有無を比較 • 迷ったら対象カテゴリの質問を増やして再測定 • 同じ質問での前後比較とカテゴリ別の確認で判断 リーダーの視点 「1 問減ったから不採用」「1 問増えたから採用」ではなく、「どの質問が、なぜ変わったか」を説明できるかで判断する。説明できない 改善は、次のデータで再現しない Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 54 # Page. 55 ![Page Image](https://bcdn.docswell.com/page/V7N6MWX678.jpg) PART E データ特性別の適用指針 このPartで答えられるようになる問い • このデータには、まず何を入れるべきか？ • どこまで改善が期待できるか？ • 何を測って、効いたと判断するか？ 8 種類のデータそれぞれについて、打ち手の優先順位・期待 値・OpenSearch の設計・検証方法を 1 枚にまとめる 55 # Page. 56 ![Page Image](https://bcdn.docswell.com/page/YJ9LNX8RE3.jpg) 適用指針マトリクス：データ特性 × 打ち手 ◎＝大きく効いた（+3 問以上 or 全問化）、○＝効いた、△＝効果なし、✕＝悪化。空欄は該当なし データ特性 S2 構造化取込 S3 ハイブリッド S4 文脈・型式 S5 参照グラフ S6 再ランキング S7/8 拡張 C1 分冊マニュアル ✕ △ ◎ △ ○ ✕ C2 神エクセル ◎ △ ○ △ △ △ C3 特許の図と符号 ✕ ◎ ✕ ◎ ○ △ C4 スキャン PDF ○ △ ○ △ ○ △ C5 表記ゆれ DB ○ ✕ ○ △ △ △ C6 条項・付表参照 ✕ ✕ ○ △ △ △ C7 仕様書の表 ○ ◎ △ △ △ △ C8 複数ソース横断 ○ △ △ △ ○ △ 本検証（上位 5 件）の段階間の差に基づく。S7/8 は S6 からの差。1 問の差は誤差の範囲を含む Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 56 # Page. 57 ![Page Image](https://bcdn.docswell.com/page/GJ8XK28G7D.jpg) 指針 C1：分冊・共通マニュアル（製品取説 シリーズ共通編） 最優先は「型番 → シリーズ → 適用表」の関係を索引に書き込むこと。検索アルゴリズムの改善だけでは届かない 特徴 製品取説は「別冊参照」のみ。共通編は型番ではなくシ リーズ名・タグ・○×表で適用範囲を書く 典型的な失敗 型番入りの質問が取説に当たり続ける。共通編の表が 崩れると値も取れない 期待値（本検証の実測・上位5件） 素朴 3/8 → 構造化＋ハイブリッド 2/8 → 適用 機種の付与 7/8 → 再ランキング 8/8 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 表を行単位で取り込み、「シリーズ: A / 初期値: 1.5 s」の形にする 2 型式の見方・対応機種表から型番⇔シリーズの対応を自動生成する 3 シリーズ名を含むチャンクに適用機種を付与、質問の型番にシリーズを補う 4 文脈ヘッダは文書名＋章。型番入りのファイル名だけにしない 5 再ランキングで「該当シリーズの行」を上位に OpenSearch の設計 検証方法・完了条件 model_norm・series を keyword で持つ。 applicable_models（配列）で term フィルタも 可能に。共通編は doc_type=common_manual 型番ごとに共通編の値を問う質問を全シリーズ分 用意。完了条件：全シリーズで正答、取説への誤誘 導0 57 # Page. 58 ![Page Image](https://bcdn.docswell.com/page/LJL8Z2RXER.jpg) 指針 C2：神エクセル帳票（FMEA・DRBFM・BOM） 最優先は取込。結合セルを埋め戻し、ヘッダ階層を列名にして「1 行 1 レコード」に戻せば、検索はほぼ解決する 特徴 多段の結合ヘッダ、縦結合、空白＝同上、セル内改行、 上部のヘッダブロックと印欄 典型的な失敗 正しいファイル・正しい行が当たっても「4」が発生度だ と分からない。製品名が行にない 期待値（本検証の実測・上位5件） 素朴 2/8 → 構造化取込 7/8 → 文脈付与 8/8 （ファイル参照でも 2/8） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 書式（背景色・罫線）と結合範囲からヘッダ行を検出する 2 結合セルを埋め戻し、ヘッダ階層から列名を作る（略号は親と結合） 3 ヘッダブロック（製品名・図番・FMEA ID）を各行に付ける 4 出力をサンプリングして人が読む（列名が略号だけになっていないか） 5 集計・抽出（AP=H の一覧など）は RAG ではなく表として問い合わせる OpenSearch の設計 検証方法・完了条件 行チャンクに加え、S・O・D・AP・故障モードを個別 フィールド（integer・keyword）に。集計は aggregations か DB へ 値と列名の結び付きを要求する質問（○○の発生 度は？）を各シート 5 問。完了条件：結び付き付き で 9 割以上 58 # Page. 59 ![Page Image](https://bcdn.docswell.com/page/47M6V8R3JW.jpg) 指針 C3：特許の図と符号 最優先は「符号グラフ」。本文・符号の説明・図の OCR から、特許ごとに閉じた番号→名称の辞書を作る 特徴 図は番号と引出線のみ。名称は本文と符号の説明に 分散し、符号の説明は主要符号だけ 典型的な失敗 段落ごとに細かく分けると名称と符号が離れる。別特 許の同じ番号と取り違える 期待値（本検証の実測・上位5件） 素朴 4/6 → 構造化 1/6（悪化）→ ハイブリッド 5/6 → 参照グラフ 5/6 → 再ランキング 6/6 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 本文から「名称＋符号」を正規表現で抽出（助詞で区切る） 2 符号の説明と統合し、特許番号ごとの符号辞書を作る 3 図を画像で取り出し OCR、各図に現れる符号を取る（未検出は明示） 4 図別・符号別のチャンク（本文の記述付き）を生成する 5 BM25 を併用（「符号22」「特開…」は文字列一致が強い） OpenSearch の設計 検証方法・完了条件 patent_no を keyword、ref_numeral を keyword、figure_no を keyword に。符号チ ャンクは doc_type=patent_graph 「図N の符号M は？」を各特許 5 問、同じ番号が 別特許にある問いを含める。完了条件：取り違え 0 59 # Page. 60 ![Page Image](https://bcdn.docswell.com/page/P7RP25RRJ9.jpg) 指針 C4：スキャン PDF（8D 報告書・試験報告書・検査記録） 最優先は表構造を保つ OCR。そのうえで文書番号・題名は台帳メタデータから付け、数値は原本へのリンクで確認させる 特徴 文字層なし。印影・罫線・傾き・ノイズ。結論が表の外の 所見欄にあることが多い 典型的な失敗 素朴な抽出は空。OCR 後も誤読（30 分→50 分）、 印影によるタイトル欠落 期待値（本検証の実測・上位5件） 素朴 0/6 → OCR＋構造化 2/6 → 台帳メタデ ータ 4/6 → 再ランキング 5/6 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 表構造を出力できる OCR を選ぶ（ライセンスに注意） 2 文書番号・題名・日付は文書台帳から付与（OCR に頼らない） 3 表は行単位、所見・結論は別チャンク。短い報告書は文書全体も親に 4 回答には原本ページ画像へのリンクを必ず付ける 5 OCR 結果を人がサンプリングし、数値の誤読率を記録する OpenSearch の設計 検証方法・完了条件 doc_no・doc_type=test_report を keyword 。ocr_confidence を数値で保持し、低信頼は回 答で注意喚起 数値・判定を問う質問を報告書ごとに 3 問。完了 条件：根拠の到達 9 割、数値誤読はリンク先で人が 検出できる 60 # Page. 61 ![Page Image](https://bcdn.docswell.com/page/PJX3DKRY7X.jpg) 指針 C5：表記ゆれのある自由記述 DB（不具合・クレーム） 最優先は型番などのエンティティ正規化。列挙・集計型の質問は top-k ではなく構造化フィルタに回す 特徴 「ＭＤＡ－２００」「MDA200」「A200」、半角カナ「ｺﾈｸ ﾀ」、略語。似たレコードが大量にある 典型的な失敗 500 字分割で複数レコードが混ざる。列挙型の質問 で該当レコードの一部しか取れない 期待値（本検証の実測・上位5件） 素朴 2/5 → 型式正規化 4/5。列挙型は構造化 フィルタで 3/3（top-k では 1/3） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 1 レコード 1 チャンク「列名: 値」で取り込む 2 NFKC＋正規表現で型番を正規化し、keyword フィールドに持つ 3 質問の型を判定：事実照会は検索、列挙・集計はフィルタ＋集計 4 同義語（コネクタ／CN、半嵌合／抜けかけ）を検索時の同義語辞書に 5 件数・傾向の回答は集計結果を LLM に渡して要約させる OpenSearch の設計 検証方法・完了条件 model_norm・category・status を keyword 、date を date。列挙はフィルタ＋sort、件数は aggregations 表記ゆれを含む事実照会 5 問＋列挙 5 問。完了 条件：列挙で再現率 0.9 以上 61 # Page. 62 ![Page Image](https://bcdn.docswell.com/page/3JKYX5R47D.jpg) 指針 C6：条項・付表参照（社内基準・QMS 規程） 素朴な方式でも答えやすいカテゴリ。ただし構造化やハイブリッドで短い節が負けるので、文脈ヘッダと参照の取り込みで守る 特徴 条項番号で階層化。「付表3による」「6.2 項による」で 値が別の場所にある 典型的な失敗 節を細かく分けると、短い条項が長い文書の段落に類 似度で負ける 期待値（本検証の実測・上位5件） 素朴 5/5 → 構造化 4/5 → ハイブリッド 3/5（ 悪化）→ 文脈付与 5/5 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 条項番号を見出しパスとして各チャンクに付ける 2 「付表N による」の参照先の内容を条項チャンクに追記する 3 同一文書内の「N.N 項による」も同様に解決する 4 規格の版（第4版など）と有効日をメタデータに持つ 5 改訂時は参照元・参照先の両方を再生成する OpenSearch の設計 検証方法・完了条件 clause_no を keyword、std_no・version を keyword、valid_from を date。参照エッジは別 インデックスでも可 「値が付表にある条項」を問う質問 5 問。完了条件 ：条項と値が 1 チャンクで揃う 62 # Page. 63 ![Page Image](https://bcdn.docswell.com/page/LE395K8DE5.jpg) 指針 C7：仕様書の表（定格・ディレーティング・ピン配置） 表を行単位で取り込み、列名を値に結び付ける。数値・型番・単位は BM25 が強いのでハイブリッドを必ず入れる 特徴 値が表の中にだけあり、条件（温度・AWG）が列名に ある。注記が値の意味を変える 典型的な失敗 素朴な抽出では 1 セル 1 行に崩れ、どの温度・どの 線径の値か分からない 期待値（本検証の実測・上位5件） 素朴 1/4 → 構造化 2/4 → ハイブリッド 4/4 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 表を行単位で「周囲温度: 60℃ / 許容電流（AWG18）: 6.3 A」に 2 表直後の注記（※・注）を各行に付ける 3 ハイブリッド検索（AWG18・突入電流などの用語一致） 4 数値の比較・計算は LLM ではなくツールに回す 5 単位を正規化（℃／°C、µm／μm） OpenSearch の設計 検証方法・完了条件 NFKC 正規化必須（icu_normalizer）。数値列は 可能なら数値フィールドに分解して範囲検索 条件付きの値（○℃での許容電流）を 5 問。完了条 件：条件と値が結び付いて取れる 63 # Page. 64 ![Page Image](https://bcdn.docswell.com/page/8EDGD3M2EG.jpg) 指針 C8：複数ソース横断（FMEA／DRBFM 作成支援の本丸） 各ソースの取込と関係付けが揃って初めて改善する。残る多段の質問は、ゲート付きの探索で狙い撃ちする 特徴 顧客要求と製品初期値の照合、不具合番号から 8D の根本原因へ、など 2 文書以上が必要 典型的な失敗 片方の根拠しか上位に入らない。追跡を足すと正解を 押し出す 期待値（本検証の実測・上位5件） 素朴 1/6 → 構造化 3/6 → 再ランキング 4/6（ 上位 10 件で 5/6） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 打ち手（優先順） 1 C1〜C7 の打ち手でまず各ソース単体の質問を解けるようにする 2 再ランキングで 2 文書の根拠を上位に揃える 3 上位 k を広げる（5→10）効果とコストを測る 4 必要事実が未充足のときだけ参照追跡（ゲート）、枠は拡張 5 照合・判定（整合している？）は LLM に根拠を並べて判断させる OpenSearch の設計 検証方法・完了条件 文書種別・製品・案件番号で横断フィルタ。参照（文 書番号）を refs（keyword 配列）に持ち追跡に使 う 2 文書が必要な質問 10 問。完了条件：両方の根拠 が揃う率 8 割、1 文書質問の悪化なし 64 # Page. 65 ![Page Image](https://bcdn.docswell.com/page/V7P3X4RLJ8.jpg) PART F OpenSearch の設計 このPartで答えられるようになる問い • インデックスはソースごとに分けるか、1 つにまとめ るか？ • どんなフィールドを持たせるべきか？ • クエリはどんな段階を通るか？ 検証で使った最小構成を、本番で使える設計に拡張する 65 # Page. 66 ![Page Image](https://bcdn.docswell.com/page/2JV4LXR67Q.jpg) インデックス設計：チャンクは 1 インデックス、関係は別に持つ 検索対象のチャンクは 1 つのインデックスにまとめ、doc_type で絞る。親テキスト・エンティティ辞書・参照エッジは別に持つ chunks（検索対象） 全ソースのチャンク text / text.ng / emb doc_type・model_norm・acl … parents refs（参照エッジ） 表全体・短い文書全体 （small-to-big 用） 文書番号→文書番号 条項→付表 entities records（構造化） 型番⇔シリーズ⇔適用機種 符号辞書（特許ごと） FMEA の S/O/D/AP、不具合DB → 集計・列挙用 論点 推奨 理由 ソースごとに分割？ 1 インデックス＋doc_type BM25 スコアの比較・融合が容易 再索引 エイリアスの付け替え 無停止で版を切り替え 集計・列挙 records に構造化して保持 top-k 検索は網羅に向かない Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 66 # Page. 67 ![Page Image](https://bcdn.docswell.com/page/5EG1XVM2JL.jpg) フィールド設計：検証版から本番版へ 検証では text・emb・doc_no だけで足りた。本番では権限・版・有効日・正規化エンティティ・参照を必ず持つ フィールド 型 用途 検証 text / text.ng text（kuromoji）/ text（n-gram） BM25 検索（形態素＋部分一致） ○ emb knn_vector 768（HNSW, cosine） Dense 検索 ○ doc_no / kind keyword 文書の絞り込み・参照追跡 ○ doc_type keyword manual / common_manual / fmea / test_report / patent … — model_norm / series / applicable_models keyword（配列） 型番フィルタ・適用機種の照合 本文に付 与 parent_id / refs keyword / keyword 配列 親子展開・参照追跡 別ファイ ル acl / tenant keyword 配列 検索前の権限フィルタ（k-NN の filter にも） — version / valid_from / valid_to / deleted keyword / date / boolean 版・有効日・削除の反映 — ocr_confidence / source_page float / integer 低信頼の注意喚起・原本リンク — Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 67 # Page. 68 ![Page Image](https://bcdn.docswell.com/page/4JQD86R97P.jpg) クエリパイプライン：質問の型で分岐し、段階を重ねる 正規化 → 型判定 → （列挙はフィルタ＋集計／照会はハイブリッド＋再ランキング） → 必要なら親子展開・ゲート付き追跡 正規化・展開 型判定 ハイブリッド 型番 NFKC シリーズ補完 列挙・集計／照会 ／多段 BM25＋k-NN RRF・ACL filter 再ランキング 上位 50→k 親子展開 ゲート付き追跡 表・短文書 （要検証） 未充足時のみ （要検証） 再認可・生成 原本リンク付き 列挙・集計 → records へのフィルタ＋aggregations（演習①で 3/3） 実測で効果を確認済み：正規化・展開、ハイブリッド、再ランキング（S3〜S6） 要検証：親子展開・ゲート付き追跡（本検証では改善せず。残った失敗に合わせて設計し直してから入れる） ポイント 各段階のオン・オフを設定で切り替えられるようにしておくと、アブレーションと障害時の切り戻しが簡単になる Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 68 # Page. 69 ![Page Image](https://bcdn.docswell.com/page/K74Z24QRE1.jpg) PART G テックリーダーの進め方 このPartで答えられるようになる問い • 部下にどう指示を出すか？ • ステークホルダーに期待値をどう伝えるか？ • パーサや評価をどうレビューするか？ • この検証の限界は何か？ 本ケースの経験を、部下への指示・期待値の伝え方・レビュー・ 計画に落とし込む 69 # Page. 70 ![Page Image](https://bcdn.docswell.com/page/LJ1RM4PVJG.jpg) 部下への指示テンプレート：仮説・打ち手・指標・完了条件 「精度を上げて」ではなく、「このデータ特性に、この打ち手を、この質問セットと指標で、この条件まで」と指示する 【対象】 データ特性 / 失敗の症状（例：C1 分冊マニュアル、取説が当たり共通編に届かない） 【仮説】 なぜ失敗しているか（例：共通編に型番がなく、型番⇔シリーズの関係が別文書にある） 【打ち手】何を変えるか（例：型式の見方から対応表を生成し、適用機種をチャンクに付与） 【評価】 質問セットと指標（例：C1 の 8 問、answerable@5） 【完了】 合格ライン（例：7/8 以上） 【回帰】 悪化を見る範囲（例：全 48 問で他カテゴリ −1 以内） 例 症状 打ち手 神エクセル FMEA の値が列名と結び付かない 結合セルを埋め戻しヘッダ階層を列名に、1 行 1 レコード C2 8 問で 7/8 以上 スキャン 文字層がなく 0 問 表構造 OCR＋台帳メタデータ、原本リンク C4 6 問で 4/6 以上、数値誤読 の記録 表記ゆれ DB 列挙型で取りこぼす 型番を keyword 化し列挙はフィルタ＋集計へ 列挙 5 問で再現率 0.9 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 完了条件 70 # Page. 71 ![Page Image](https://bcdn.docswell.com/page/GJW13X23E2.jpg) 期待値の伝え方：データ特性ごとの「ここまでは行ける」 「精度 90%」ではなく、データ特性ごとに「素朴だとこう、打ち手を入れるとここまで、残るのはこれ」と伝える データ特性 素朴 RAG 推奨構成（S6） 残る課題・追加の打ち手 分冊マニュアル 3/8 8/8 新シリーズ追加時の対応表の更新 神エクセル帳票 2/8 8/8 集計型の質問は構造化検索へ 特許の図と符号 4/6 6/6 図 OCR の取りこぼし（本文で補完） スキャン PDF 0/6 5/6 表の外の結論、OCR 誤読（原本リンク） 表記ゆれ DB 2/5 4/5 列挙型はフィルタ＋集計へ（3/3 を確認） 条項・付表参照 5/5 5/5 改善途中の悪化に注意 仕様書の表 1/4 4/4 数値計算はツールへ 複数ソース横断 1/6 4/6 多段はゲート付き追跡（要検証） 合計 18/48 44/48 上位 10 件では 46/48 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 71 # Page. 72 ![Page Image](https://bcdn.docswell.com/page/4EZPV6DGJ3.jpg) レビュー観点：パーサ・評価・結果の「中身」を見る 本ケースで実際に起きた不具合の多くは、指標ではなく出力を目で見て見つかった パーサ出力 評価セット • 形式ごとに 20〜50 チャンクを人が読む • 必要事実は「値と列名の結び付き」まで含めたか • 列名が略号だけ・文字順の崩れがないか • カテゴリごとに十分な問数があるか • OCR の数値誤読・タイトル欠落を記録 • 列挙・多段など質問の型が混ざっているか 結果の解釈 コスト • どの質問が、なぜ変わったかを説明できるか • 上位 k の文字数（コンテキスト量） • 他カテゴリの悪化（回帰）を見たか • 再ランキング・OCR・索引の時間 • 1〜2 問の差を断定していないか • 親子展開・追跡で増える量 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 72 # Page. 73 ![Page Image](https://bcdn.docswell.com/page/Y76M521QEV.jpg) プロジェクト計画への落とし込み（本ケース版） 最初の 3 週間で「自社データ版の本検証」を作り、その結果で打ち手と期待値を合意する W1〜3 現状把握 W4〜7 取込の構造化 W8〜10 検索と関係付け W11〜12 仕上げ • 入力①〜⑥の代表ファイル収集 • Excel 帳票・表・OCR のパーサ • ハイブリッド・型番正規化 • 再ランキング・k の決定 • データ特性の分類（C1〜C8） • 出力レビュー（形式ごと） • 型番⇔シリーズ・符号グラフ • 残課題の仮説演習（Part D） • カテゴリ別に 5〜8 問の評価セッ ト • 上限を全カテゴリで 9 割以上へ • 列挙型の構造化検索 • 権限・版・原本リンク • 素朴取込の上限と S1 の内訳 リーダーの視点 ゲート条件はカテゴリ別：「対象カテゴリが目標に達し、他カテゴリの悪化が 1 問以内」。全体平均だけで判断しない Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 73 # Page. 74 ![Page Image](https://bcdn.docswell.com/page/G75ZY242J4.jpg) 本検証の限界 数字は「どのデータに何が効くか」の目安。そのまま自社の精度として約束しない データ 架空の合成コーパス（24 ファイル・48 問）。実データの構造は再現したが、量と多様性は小さい 評価 検索結果に必要事実が揃うかのみ。LLM の回答の正しさは未評価 統計 各構成 1 回の実行。1 問≒2 ポイントの差は誤差の範囲 モデル 埋め込み・再ランキング各 1 種類（ruri-v3）。他モデルでは結果が変わり得る 判定の偏り OCR 正規表現は構造化出力の形式に合わせており、素朴な方式に不利な面がある（ただし素朴な方式は値と列名を推測するしかな い） YomiToku の OSS 版（非商用）を使用。本番では別途選定が必要 Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 74 # Page. 75 ![Page Image](https://bcdn.docswell.com/page/9J2RG4V17R.jpg) 付録：再現手順 WSL2（Ubuntu）＋ Docker ＋ Python の venv で、生成から評価まで再現できる # 1) 合成コーパス（WSL） python gen/gen_docs.py build/docx ; python gen/gen_xlsx.py corpus ; python gen/gen_scan_src.py build/scan_src # 2) Word で PDF 化（Windows PowerShell） powershell -File gen/convert.ps1 -src build/topdf -dst corpus # 3) スキャン化・OCR（WSL） python gen/scanify.py build/scan_pdf corpus ; bash gen/ocr.sh # 4) OpenSearch 起動（kuromoji＋icu 入りイメージ） docker build -t os-ja:2.19.1 . ; bash gen/start_os.sh # 5) チャンク化・索引・評価 python gen/chunks.py ; python gen/run.py index ; TOPK=5 python gen/run.py run ; TOPK=10 python gen/run.py run python gen/analyze.py 5 # カテゴリ別・質問別の結果 python gen/demo_filter.py # 列挙型の構造化フィルタ（演習①） 主なファイル：gen/ingest.py（素朴・構造化の取込）、gen/chunks.py（4 種のチャンク集合・符号グラフ）、gen/run.py（索引・検索・評価）、gen/gold.json（48 問と必要事実） Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 75 # Page. 76 ![Page Image](https://bcdn.docswell.com/page/DEYDVM34EM.jpg) 付録：調査した公開資料（実データの構造） • 題材：スマートインサイト「生成AIでFMEAを自動作成」ソリューションページ（入出力図・FAQ） • 分冊マニュアル：Oriental Motor HM-60262（AZ 機能編）・HM-60440、三菱電機 FR-E800 取扱説明書（接続編・機能編・通信編・保守編）、Panasonic MINAS A6 Modbus 技術資料 • 表・型式：JST XH カタログ、Molex PS-43045 / PS-43650（Current Derating）、Oriental Motor V-184 カタログ（型式の見方） • FMEA・DRBFM：岩波好夫『AIAG-VDA FMEA 事例集』試読版、豊田合成技報 Vol.44 No.2、IEC 60812、総務省 機械判読ルール、デジタル庁 Harunobu • 表の検索研究：SpreadsheetLLM（arXiv:2407.09025）、TableRAG（arXiv:2410.04739）、Table Meets LLM（WSDM 2024）、STC（ arXiv:2605.00318） • 特許：特許法施行規則 様式第29、JPH0782887B2、JP2004304905A、日本弁理士会『パテント』2014/01、PatFig（ICCVW 2023）、PatentLMM（ AAAI 2025） • OCR・不具合データ：nyosegawa/ocr-comparison、YomiToku、NDLOCR-Lite、PaddleOCR、国交省 連ラクダ、NHTSA complaints、消費者庁 事故 情報データバンク資料 • OpenSearch・モデル：OpenSearch docs（hybrid, score-ranker-processor, kuromoji, k-NN）、cl-nagoya/ruri-v3-310m、cl-nagoya/ruriv3-reranker-310m Advanced RAG 適用指針書｜FMEA 支援ケーススタディ 76