【Paper&Hacks vol.105】医療特化型LLMを作るには - 評価・マネジメント編

医療LLMプロジェクト 概要 患者情報を安全に管理できる環境で使える、最先 端の商用LLMに迫る性能を有する医療業務支援向け 日本語LLMの開発を行うプロジェクト → モデルをウェイト/APIで公開 今回はこのPJにおけるHOLONチーム内のマネジメ ントについての発表になります。

Agenda ● ● ● ● HOLONの位置付けと開発フロー 評価における課題と対策 LLM開発入門 Holyさん

医療LLMプロジェクト チーム‧概要説明 HOLONの位置づけと 開発フロー メインチームとサブチームの中で、チームとしてどう回したか ⼩野克樹 ｜ チームHOLON チームHOLON / ⼩野克樹 01 / 11

チーム紹介 チームHOLONとは LLMコンペ2025の決勝チームである⼩野チームが、医療LLMに合流した時の名前 本チームとは別に、性能向上のための⼿法を検証するチーム。データ‧学習‧評価分析の3班で活動 あわせて、本チームや他のコンペチームからの依頼で、データ作成や評価の⼀部も引き受けている データ班 #102 発表済み データ編 学習班 発表済み 評価‧分析班 今回 #104 学習編 評価‧マネジメント編 合成データの⽣成。医療PDFの知識化は本チー SFT / DPO / GRPO で巨⼤モデルを学習する基 評価‧分析（本チーム‧他チーム分も⼀部担 ムからの依頼 盤 当）と、チームのマネジメント チームHOLON / ⼩野克樹 02 / 11

組織構成 メインチームのもとに、裁量のある3つのサブチーム メインチーム マネジメント‧学習‧評価。開発の優先順位とGPUの配分を決める HOLON 2025/11〜 私たち 11名‧3班 データ∕学習∕評価‧分析 RAMEN Pont Neuf 2025/11〜 2026/1〜 80B GRPO系‧OCR‧CoTデータ モデルバリエーション サブチーム＝LLMコンペ参加メンバーの受け⽫。「独⽴した、裁量のあるチーム体制でベンチマークに専念」 チームHOLON / ⼩野克樹 03 / 11

HOLONの歩み 依頼に応えつつ、独⾃の取り組みも進めた 11⽉ 12⽉ 1⽉ 1⽉下旬〜2⽉ 2⽉末〜3⽉ ⽴ち上げ 基盤づくり ⽅針転換 広げる 実⽤へ 多⽅向の試⾏ 235B選択学習の基盤、評価 誤答分析を起点にした学習 医療系PDFデータを使った の全問化 へ RAG 依頼 ベンチマーク精度向上の検 討 依頼 OCRやり直し 依頼 ルーティング∕PII 依頼 電⼦カルテの事後学習 モデルバリエーション （HOLONから提案、Pont Neufと合同） チームHOLON / ⼩野克樹 04 / 11

⼤⼈数での分担 3階層のタスク管理に乗り、変わる役割に合わせた Epic 時期 HOLON 年度のマイルストーン 11〜12⽉ 235B事後学習、OCR、評価、データ 80B GRPO系、OCR、 合成、RAG Task 1⽉ 担当‧チーム‧Epicを必須記⼊ Sprint 1週間。未完了は翌週へ 163 / 201件 RAMEN Pont Neuf —（未発⾜） CoTデータ ルーティング∕PII（依頼）、誤答分 Agentic RAG 1/10に参加 析を起点にした学習 1⽉下旬〜3⽉ gpt-oss-120b（Pont Neufと合 80B系モデルの公開 qwen3-30b 同）、医療系PDFデータのRAG、電 ⼦カルテ学習 役割は固定ではなく、メインチームの優先順位に合わせて時期ごとに変わった HOLONのTaskの完了数（約81%） チームHOLON / ⼩野克樹 05 / 11

GPUの課題 ノードは最後まで取りにくかった 全体の管理はメインチーム。HOLONはサブチームとして、計算資源の確保に取り組んだ 約90 ノード 10→3 ノード 474 件 ⼤阪 H100 ⽯狩 B200 予約表の予約 Slurm、3/11まで 3/9まで 28⼈。中央値は2ノード×24時間 現場で起きていたこと 空きが12ノード程度の時期や、8ノードをそろえるのに約30分かかる場⾯も チームHOLON / ⼩野克樹 06 / 11

GPUの課題 ノード管理は5回変わり、HOLONもやりくりを変えた フェーズ 期間 メインチームの仕組み HOLONのやりくり ① 声かけ期 〜2025/11 Slackで声かけ。空きは合成ジョブが埋め、停⽌ス —（参⼊前） クリプトも整備 ② サブチーム参⼊期 11/10〜12/12 利⽤者が急増。⼤枠は報告会で相談 16〜32ノードのRLを報告会で事前に交渉し、OKをもらう ③ Slack予約期 12/13〜12/19 スレッドで予約。メインチーム版のジョブ停⽌スク HOLON版の「ジョブ取り」スクリプトも並んで公認 リプトを公認 ④ 予約表期 ⑤ 計画配分期 12/20〜2/21 2/21〜3/11 予約表（重複を⾃動チェック）＋ルール。チーム別 まとまって取れず「⼩さく回す」（OCRを32B‧4GPU の領域分割はしない に）。限られた中でも2/9に10ノードを他チームへ Qwen3.5に70ノード。node×dayで申請‧優先度付 180 node-dayで優先度1。3/3に12ノードを確保 け。番号固定で割り当て チームHOLON / ⼩野克樹 07 / 11

定例会‧報告会 報告会を「判断をもらう場」にする 内部定例「⽉9」 約20回 ⽕8報告会（メインチーム向け） チーム内で進捗と相談事項を整理 報告して、その場で決めてもらう 14回 01 02 03 04 05 型を統⼀ 決める⼈を固定 相談を決定に 毎回残す 他チームの受け⽫ WHY / WHO / WHAT / 主な相談 メインチームの主要メンバー7 チェックボックスで管理し、そ 録画‧AI要約‧次アクション。 Pont Neufが⽕曜の前半30分に / フィードバック 名に毎回参加してもらう の場でOK∕NG 合流 ⽋席者も追いつける 「チームマップができている、順調そう」 メインチームからのフィードバック チームHOLON / ⼩野克樹 08 / 11

HOLONの役割 依頼に応え、独⾃に攻め、他チームを⽀える メインチームからの依頼 依頼 HOLON発の取り組み • ベンチマーク精度向上の検討（11⽉） • MoEの選択学習‧選択フルパラ • OCRやり直し（12⽉‧納品済み） • 誤答分析を起点にした学習 • ルーティング∕PII（1⽉） • 汎⽤合成データ SDG-Nexus • 誤答分析のスクリプト化（2⽉） • 医療系PDFデータを使ったRAG • 電⼦カルテの事後学習（2〜3⽉） • モデルバリエーションへの参加提案 独⾃ 評価基盤やデータを他チームに提供し、プロジェクト全体を下⽀えした チームHOLON / ⼩野克樹 09 / 11

HOLONの役割 数字で⾒る主な成果 95.7% 約2.8万件 約+20pt IgakuQA（ベース93.9%） 汎⽤合成データ SDG-Nexus ガイドライン系の設問 選択アテンションGRPO 合成データを作ってHFで公開 AgenticRAG 38,957問 1⽇→4〜13h 64GPU 全問を評価可能に 235Bモデルの評価時間 学習基盤を公開 31モデルを評価 評価基盤の改善 fsdp-selective-trainer チームHOLON / ⼩野克樹 10 / 11

まとめ サブチームとして、チームで回した 01 02 03 04 05 組織 分担 GPU 報告会 役割 裁量のある独⽴チームとして、 3階層のタスク管理に乗り、変 取りにくいノードを、フェーズ 型と決める⼈を固定し、相談を 依頼に応えつつ独⾃の成果を出 メインラインとは別の⽅向性を わる役割に合わせた ごとにやりくりを変えて確保し その場で決定に変えた し、評価‧データで他チームを 探った た ⽀えた サブチームとして活動して実感したこと ⼤⼈数のLLM開発では、計算資源と意思決定の流れの設計が成果を左右する チームHOLON / ⼩野克樹 11 / 11

医療LLMプロジェクト チーム‧概要説明 評価における課題と対策 評価チームの役割を担うには 池⽥新⼆ ｜ チームHOLON チームHOLON / 池⽥新⼆ 1/2

評価は開発方針を決める大事な役割 44の開発モデルを評価 課題：GPUの確保とタイミングよく評価を開始すること ● ● ● ● ● 共有 ○ 学習班の学習状態の共有→GPUの確保と評価実施 ○ 評価結果を素早く共有 ○ 評価チーム内でのフォロー 本業とのハザマ いつもパソコンを持って 学習とのせめぎ合い（GPU争奪戦） 自分の役割と影響を認識しておく チームHOLON / 池⽥新⼆ 2/2

PAPER & HACKS #105 LLM開発入門 チームHOLONはいかにして医療LLMの性能向上に立ち向かっていったか 医療特化型LLMを作るには ― 評価・マネジメント編 田島逸郎 ｜ チームHOLON Paper&Hacks #105 / チーム HOLON / 田島逸郎 01 / 14

概要 ● 私たちは、医療LLMのリリースに貢献できました ● では、どのようにできたのか？ ● さまざまな切り口があるが、時系列的な整理を提示する ● 各フェーズでの蓄積が、次の動きを可能にしていった ● その上で、LLM開発への示唆を出す

Phase 0: 11月、オンボーディング ● 「医療LLMプロジェクトに加わらないか」→では何をやる か？ ● すでに継続事前学習など多くの実績があった ● それらをキャッチアップするのではなく、別働隊として独 自に成果を出し、連携する方針へ ○ ベンチマーク、医学資料などは共有

Phase 1: 11-12月、試行錯誤 ● 別働隊として動く ● →独自の貢献が必要 ● LLMコンペ(6-10月)や既存の蓄積から始める ○ OCR、データ合成、学習、評価 ● 問題意識や方針の検証などを、技術基盤だけでなく知識や経験 から進めることができた ○ 医療資料の特徴への対応 ○ 医療分野における特化と汎化のトレードオフ ○ そもそも巨大モデルの性能は上がるのか？ ○ 分析の切り口はどうするか？

Phase 2: 1月、チームとしての統合 ● 各分野の試行錯誤がある程度まで進んだら… ● 元資料→データ合成→学習→評価として一体的に動く ● 成果物の目処が立ったため、「何を落とし所にするか」が 焦点に ● ワークフローを通じて、各メンバーの方針もより明らかに ● よりダイナミックに ○ 計算リソース配分の問題 ○ チームワーク<->試行錯誤、改善のループ ○ とにかく可視化

Phase 3: 2月、ファイナライズへ ● ● ● ● 成果が可視化され始めた →では、プロジェクトとしてどのような成果物を出すか？ モデルバリエーションなど、他チームとの連携が密に 成果物のデシジョン、リリースへ

結論: LLM開発入門 ● ソフトウェア開発、機械学習、研究開発、学問などのどれ とも似た部分とそうでない部分がある ● 多様なメンバーが集まって進める→フェーズによって適切 な距離をとっていた ● それを可能にするこのチームの鍵：「言語化」 ● LLM開発にどう入っていくか→ 簡単に言えば、飛び込む、試行錯誤、言語化

AI時代のLLM開発マネジメントをするには ほーりーふぉっくす

たどり着いた結論 AI時代であってもマネジメントで大切なことは基本的には50年前と変わらない。 → ドラッカーの「マネジメント」は今でも十分に通用する どこが重要か ・ビジョン： 未来を見越した優れた目標 ・正しいKPI： 現状のトラジェクトリーを分析し、どこにいるのかを把握する ・調整： タスクの割り振り、他チームとの説明をこなす

巨人の肩に乗ること マネジメント面においては、（世間一般）言われていることをちゃんとこなす → 80点ぐらいのマネジメントはできる。 言われていること ・優れたKPIを設定し、現在位置を把握する ・ある程度、技術を理解する ・メンバーの強みを生かす → これさえやれれば90点のマネジメントはできる

Reference チームメンバーのQiita記事 ● ● ● 小野: https://qiita.com/katsuki_ono/items/e656aa1c7e7d70f4a1cd 池田: https://qiita.com/ikedachin/items/cc8eb42e6d33370c21a3 田島: https://qiita.com/niryuu/items/c6ebc6179c7cef5928ac

• https://qiita.com/katsuki_ono/items/e656aa1c7e7d70f4a1cd
• https://qiita.com/ikedachin/items/cc8eb42e6d33370c21a3
• https://qiita.com/niryuu/items/c6ebc6179c7cef5928ac

謝辞 この成果は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の委 託業務（JPNP25006）の結果得られたものです。