【Paper&Hacks Vol.94】AIコード生成の裏側で動くRAG:リポジトリレベルコード生成

441 Views

August 04, 26

スライド概要

profile-image

東京大学松尾・研究室が運営する「松尾研LLMコミュニティ」でのイベント資料などを公開します。 ◾️ 松尾研LLMコミュニティとは 松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。 現在、学生を中心とした10,000名以上が、原則無償で参加しています。 また、本コミュニティでは様々なイベント等を定期的に開催しております。 是非下記のリンクより参加申し込みをお待ちしております。 ◾️ 松尾研LLMコミュニティの各種リンク ・今後のイベント開催情報/参加申込;https://tr.ee/7d_W4DsImD ・松尾研LLMコミュニティ参加フォーム;https://tr.ee/RyDfuRzS55 ・過去イベントアーカイブ;https://tr.ee/wqdbFJJZ25

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
2.

【Paper&Hacks #��】 AIコード生成の裏側で動くRAG:リポジトリレベルコード生 成 自己紹介: 中原龍一(岡山大学病院整形外科・運動器地域健康推進講座) 地方医師+AI 研究(超音波画像 AI、電子カルテ AI) プログラム・数学が好き ⇒ 医数工連携 「100 時間で学んだことを 1 時間で伝えたい!」 動機: AI プログラムが改善した背景が知りたい 伝えたいこと: RLCG/RACG という概念が RAG の改善版として出現した

3.

初期のRAGが目指したこと RAG(Retrieval-Augmented Generation) スペインだよ! ② Augmented Generation AI/LLM ワールドカップ決 勝で勝利したの は? ①Retrieval ニュー スの データベース プロンプト +情報 関係あるのは 「ワールドカッ プの勝敗の情 報」 類似テキストのベクトル検索 Retriever

4.

初期型RAGの問題点⇒グラフRAGの出現 ベクトル検索 平坦な文章の集まりなら類似度でわか るけど文章の関係構造が分からない グラフ検索 文章をグラフにして「グラフ 検索」したら構造で検索でき るのでは?

5.

グラフ化の問題 ルールが必要 ベクトル化は簡単 文章データベース グラフ化はルールが必要

6.

ルールが明快な文章群 ⇒ プログラム! 文法解析 プログラ ムファイ ル プログラム のグラフ RAG

7.

AIプログラム支援の弱点プログラムコード 量が多くなると急に性能低下 プログラムファイル プログラムファイル AIの限界を超えると AI は機能追加に失敗する AIが理解可能 な文脈サイズ AIが理解可 能な文脈サ イズ

8.

https://arxiv.org/pdf/2601.02902 AIは理解可能な情報構造に限界がある Logical Phase Transitions: Understanding Collapse in LLM Logical Reasoning • AIは限界を超えると急にアホになり、さらに増えると、内容理解もできなくなる Xinglang Zhang et al, arXiv, 2026

9.

プログラムファイルをRAG文章に見立ててプ ロンプトに応じて必要部位を取り出すニーズ プログラムファイル プログラムファイル 必要部位だけ 取り出した い! AIが理解可 能なサイズ AIが理解可 能なサイズ

10.

AIプログラム支援の発展プログラ ムファイルからリポジトリへ リポジトリ 作ったよ! 作ったよ! こんな機能を お願いしま す! ディレクトリ構造 を含むプログラム 文章群 こんな機能を お願いしま す!

11.

リポジトリ全体をRAG文章に見立ててプロン プトに応じて必要部位を取り出すニーズ リポジトリ全体 リポジトリ全体 必要部位だけ取 り出したい! Repository-Level Code Generation(RLCG) AIが理解可 能なサイズ AIが理解可 能なサイズ

12.

https://arxiv.org/pdf/2510.04905 Repository-Level Code Generation(RLCG) ⇒ プロ グラムリポジトリを構造化する新型RAG分野 Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches ✓ = fully covered, ~ = partially covered, × = not covered. Yicheng Tao et al, arXiv, 2026

13.

RLCG(課題名)とRACG(解決策)の違い • RLCG(Repository-Level Code Generation:レポジトリレベルコード 生成) • リポジトリレベルのプログラムをどう解決するかというタスク名。 • 複数ファイルを横断する開発、バグ検出、イシューに対する対応など • RACG(Retrieval-Augmented Code Generation:検索拡張コード生 成) • 検索(Retrieval)を通じて、AIの外側でRLCGの課題を解決補助する技 術 タスクの名前 RLCG 解決策の名前 RACG: AIの外で解決を補助 AIにリポジトリごと全部入れる

14.

https://arxiv.org/pdf/2510.04905 図3: RACG論文の分布 Figure 3: Distribution of selected RACG papers across publication venues. 主要会議+ arXivから条件 を満たしたもの 152本 arXivが37%で最多 学会は言語系が 多いがあちこち に散らばってい る Yicheng Tao et al, arXiv, 2026

15.

https://arxiv.org/pdf/2510.04905 図4 RACGに貢献している大学と企業 北京大学 浙江大学 中国科学院大 学(北京) カーネギーメ ロン(米国) 復旦大学(上海) イリノイ大学アーバ ナ・シャンペーン校 マイクロソフト バイトダンス アマゾ ンアリ ババ セールスフォー スアントグルー プ 中国と米国が強い。大学も企業も。 Yicheng Tao et al, arXiv, 2026

16.

ここまでのまとめ RLCG(Repository-Level Code Generation) リポジトリ RACG(Retrieval-Augmented Code Generation) リポジトリ全体 AIが理解可能な文脈量 ロングコンテキスト AI による力業 •リポジトリレベルのコード生成を 意味するタスク名。 •コード生成 やバグ検出を含む AIが理解可能な文脈量

17.

https://arxiv.org/pdf/2510.04905 RLCG論文で提示され3つの課題 • 1. 長距離依存関係のモデリング (Long-range dependency modeling) • 複数のファイルに及ぶ関数名などの依存関係をどうやってモデル化? ⇒ グラフ or ベクトル or 他? • 2. 効率性と正確性のトレードオフ (Efficiency‒ correctness trade-off) • バグ修正などは正確さが必要だけど、遅いと使い物にならない • 低遅延と正確さをどうやって成立させるか? • クラウドの計算能力を使えばいい? ⇒ Cursorの解決策 • �. 実用上の制約 (Practical constraints) • しかしクラウドにプログラムを上げることは企業開発では困難 · 企業 環境などでも適応可能な仕組みが欲しい Yicheng Tao et al, arXiv, 2026

18.

図6 RACGの技術系統 非グラフ的手法 グラフ的手法 新潮流(コマ ンド駆動·静 的解析

19.

https://arxiv.org/pdf/2510.04905 非グラフ手法の進化 • 第1世代(語彙ベース): • BM��やJaccard係数などを使う。 • キーワードや識別子の完全一致が必要 • 第2世代(意味ベース): • GraphCodeBERTやUniXcoderなどのモデルが登場 • コードをベクトル(埋め込み)としてインデックス化 • キーワードが一致しなくても意味的な類似性で検索可能に • 第3世代(構造の模倣): • RAG的テキスト解析だけでは複雑な依存関係を捉えれない • AST(抽象構文木)に基づいてテキストをチャンク分割 • 関数レベルとブロックレベルで階層的にインデックスを整理 • テキストデータの中に「構造的なシグナル」を埋め込む工夫 ベクトル ⇒ 階層的なシグナル(グラフ的要素) Yicheng Tao et al, arXiv, 2026

20.

https://arxiv.org/pdf/2510.04905 グラフベースの手法の進化 • 基礎的なグラフ: • リポジトリを文法解析してグラフ表現 • 「ディレクトリ」「モジュール(ファイル)」「クラス」「関数」とい ったノード(V)と、「包含(Contain)」「呼び出し(Invoke)」 「継承(Inherit)」といったエッジ(E)で繋いだ、比較的シンプルな 階層型インデックス。 • 詳細な依存関係グラフ: • データフローや条件分岐などの制御フローまでもエッジとしてインデッ クス化し、コードの実行セマンティクスを忠実に再現する方向へ進化 • 複数レベル·知識グラフへの拡張: • コードに加えて、GitHubのIssueやPull Request、履歴などの外部メタ データを統合した「ナレッジグラフ(知識グラフ)」へと拡張 • 粗いモジュールレベルのグラフと細かい関数レベルのグラフを組み合わ せるなど、複数のインデックス型を統合 グラフ ⇒ 文法解析 ⇒ 制御情報 ⇒ プルリクエストなどの外部情報 統合 ⇒ リポジトリの関係情報をすべて表現する仕組みに Yicheng Tao et al, arXiv, 2026

21.

AIの進化: RACG的手法の実装 リポジトリを自分で読んで 必要な部位を抜き出そう! 必要な部位が分かりました。 作ります。作ります。 リポジトリ > grep ** こんな機能を お願いしま す! AI自らがコマンド操作でリポジトリから必要部位を抜き出せるようになった。 ⇒ AIがRACG的な検索手法を得た。

22.

ここまでのまとめ タスク名 解決策 RACG(Retrieval-Augmented Code Generation) リポジトリ全体 RLCG(Repository-Level Code Generation) リポジトリ AIの外でリポジト リを理解しよう! ロングコンテキスト化 AI による力業 AIの能力アッ プで解決! New! AI 自身が RACG 能力を得る (Agent 型 ) リポジトリ全体 自分で必要部 位を抜き出そ う

23.

RACGのAgent型進化 Figure 7: Three-tier classification of agent-based architectures in RACG (left) RACGにもAgent型が生まれた レベル1: 検索システムを何度も繰り返して判断する レベル2: 検索システムだけでなく計画·記憶などの様々な機能を持つ 実際は7割はLevel �なので リポジトリに構造を追加するだけで改善する余地はまだまだあいている

24.

AIの進化: 要約システムの実装 再開しやすいように要約ファイ ルを部分ごとに作っておこう リポジトリ mdファイル こんな機能 をお願いし ます なるほど。必要な部位 が分かったぞ リポジトリ mdファイル 続きを! AIが要約ファイル(mdファイル)を部分ごとに記録するようになっ た結果、 RACGがなくても必要な部位をAI自身が理解できるように なってきた

25.

RACGの進化 mdファイルを含めた構造 化をグラフやベクトルで行 おう! RACG グラフ·ベクトルにこだわらな くても JSONなどの文章でもい いのでは? リポジトリ リポジトリ mdファイル mdファイル 構造化文章

26.

RACG: リポジトリ構造の表現技術の進化 高次元ベクトル 確率論的 ベクトル 数値 グラフ ベクトル+グラフ Unified Vector-Graph 決定論的 時代の進化 構造化文章

27.

ベクトル·グラフ or mdファイル ⇒ それぞれに価値がある 3つの課題を軽減する力はある が、結局はAIに問題が移動 グラフ ベクトル mdファイル リポジトリ mdファイル 大規模リポジトリでも可能 計算コスト重い 頻繁な更新が困 難 中立的 AI能力依存で扱えるリポ ジトリサイズに上限あり 計算コスト≒AIコ スト頻繁な更新が 可能 AIの主観的:確率的主観

28.

ここまでのまとめ AI の進化 ロングコンテキスト化 AI による力業 AIの能力アップで解決! AI 自身がコマンドを介した RACG 能力を得る 自分で必要部 位を抜き出そ う AI 自身が md ファイル作成を用いた RACG 能力を得る リポジトリ mdファイル mdファイルを 通じた必要部位 把握 RACG(Retrieval-Augmented Code Generation) AI の外でのリポジトリ理解 初期RACG:AIの外でリポジトリを理解しよ う! リポジトリに検索能力を与える Agent型 RACG リポジトリをAgenticに検 索 mdファイルも理解できる RACG リポジトリ mdファイル mdファイルを含めたリポジトリ理 解

29.

結語: 我々がRAGに求めていた「文章群理解」なのでは? RACG(Retrieval-Augmented Code Generation) 文章群が理解できる 文章データベース 文章群に検索能力を与える Agent型に文章が理解できる 文章群をAgenticに検索 mdファイル(文章群の意図)も理解できる リポジトリ mdファイル mdファイルを含めた文章群理解 文章群はプログラムと違って文法が不明などの弱点はあるが、知っておく価値はあ

30.

ご清聴ありがとうございました • 高橋康様をはじめとした NEC の皆様 • 慶應大学工学部の吉岡先生 • 岡山大学工学部の竹内先生 • エルピクセル株式会社の皆様 • 帝人ナカシマメディカルの皆さま • 藤田医科大学の笠井聡先生 • サムスン電子ジャパンの井上健様 • 片岡先生をはじめとした産総研の皆様 • 医療 AI 勉強会(通称うなぎAI)の栗田先生・津山先生 • AI 勉強会の AICIA 先生 • 岡山大学人体構成学の皆様(百田先生、小坂先生、川口先生) • 岡山大学形成外科の品岡先生 • 岡山大学 AI プロジェクト定例ミーティングの先生方 • 品川先生をはじめとした SBint の皆さま • 旭化成の鎌倉様・加藤様・岩崎様 • エイブリックの小林様・玉村様・皆様 医療 画像・言語 AI・数学 医療と AI の架け橋になるために 尾崎敏文先生 西田圭一郎先生 中田英二先生 那須義久先生 原田遼三先生 長谷井嬢先生 堀田昌宏先生 松山宜之先生 いつもありがとうございます

31.

引用 • Xinglang Zhang et al, arXiv, ���� • Logical Phase Transitions: Understanding Collapse in LLM Logical Reasoning • https://arxiv.org/pdf/����.����� • Yicheng Tao et al, arXiv, ���� • Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches • arXiv:����.�����(v�, ����年5月) 初出は����年だがv�は2026年5月 • https://arxiv.org/pdf/����.�����