---
title: ISACA名古屋支部_2026年7月SR分科会_AIセキュリティ
tags:  #isaca名古屋支部 #sr分科会  
author: [Tatsuya-hasegawa](https://image.docswell.com/user/hackeT)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJWGR89872.jpg?width=480
description: 本資料では、AIの用語整理から技術進歩、エージェント化までを概観し、AIが「応答」から「行動」へと変化することで生じるセキュリティ上の設計課題を説明しています。また、Red Team側ではAIが脆弱性探索や検証・修正のループを加速させる事例を、Blue Team側ではAIエージェントがアラートの調査や対応を支援し、SOCの業務を効率化する流れを紹介しています。さらに、Anthropic の Project Glasswing や OpenAI の Daybreak など、高性能モデルの防御目的利用におけるアクセス制御やガバナンスの取り組みも取り上げ、2026 年に向けたAI×セキュリティの展望を示しています。  おすすめタグ：AIセキュリティ,AIエージェント,Red Team,Blue Team,SOC
published: July 19, 26
canonical: https://image.docswell.com/s/hackeT/5WRLPD-isaca20267sr
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJWGR89872.jpg)

ＡＩセキュリティについて
知っておきたいこと
2026年7⽉ SR分科会
ISACA名古屋⽀部
教育担当
2026年7⽉18⽇（⼟）
理事
⻑⾕川達也
14:00-14:50


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4EZLR89973.jpg)

はじめに
• セキュリティリサーチ（SR）分科会へようこそ︕
• リサーチ報告で 広く浅くインプット
• ⼿を動かすハンズオンで アウトプット＆エンジニアリング
• ディスカッション（交流）で ⼈脈形成
トーク中もガンガン
Slack書き込みどうぞ︕
ご都合よろしければ、15:00〜の ISACA名古屋⽀部⽉例会にもご参加ください


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y76WRPKD7V.jpg)

アジェンダ
1. 50分 リサーチ報告
Ø
AIとは
→ ⽤語整理 / 技術進歩 / Agent化
Ø
“AI for Security”
→ Red Team / Blue Team / 製品実装
Ø
“Security for AI”
→
Ø
これからのAI×セキュリティ AI vs AIの攻防︖
攻撃史 / 実装・開発時の注意


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G75M8KP874.jpg)

AIとは
⽤語整理 / 技術進歩 / Agent化


# Page. 5

![Page Image](https://bcdn.docswell.com/page/9J29KW6VER.jpg)

AIの区分: ⽣成AIもAgentもAIの⼀部
広義のAIから、実装アーキテクチャとしてのAI Agentへ
AI
AI → ML → DL → GenAI → Agent
ML
l AIは推論・認識・意思決定を機械で実現する広い概念
DL
GenAI
l MLはデータから規則性を学習し、DLは多層ニューラ
ルネットワークで表現⼒を⾼めたもの
Agent
l GenAIはテキスト・画像・コードなどを⽣成するAI
l AI Agentはモデルにツール・記憶・計画・実⾏権限を
接続した実装形態
セキュリティ上の重要点
Agent化すると「応答」から「⾏動」へ移り、
権限・ログ・承認・隔離が設計上の論点になる


# Page. 6

![Page Image](https://bcdn.docswell.com/page/DEY4NL9QJM.jpg)

AI技術進歩の年表: 点の進歩から「⾏動するAI」へ
技術成熟度と社会実装のスピードは、2020年代に急勾配になった
2026年の論点は「⽣成できる」だけでなく、
検証し、ツールを使い、修正まで進める能⼒。
•
•
•
2026
Stanford HAI の AI Index 2026ではAIの社会・産業・科学への拡⼤を整理
Operator / CUAのようなエージェントはGUIを認識し、クリック・⼊
⼒・スクロールを⾏う
MCPはLLMと外部ツール・データの接続を標準化する流れ
2025
Operator
MCP
2022
ChatGPT
GenAI
2017
Transformer
2012
AlexNet CNN
DLブーム
1997
AI Chess
Deep Blue
1956
AI word born
@Dartmouth
Capability / Autonomy
Cyber
Frontier


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VJNYX4L278.jpg)

⽣成AIアプリからAI Agentへ: 攻撃⾯が増える理由
LLM単体より、ツール・記憶・権限を持つ構成の⽅がセキュリティ設計が難しい
User / Event
増える攻撃⾯
Prompt
Context
LLM
Tool / MCP
Action
Output
Memory / RAG / Files / Web / Email
Policy / Guardrail / Approval / Logging
必要な設計
• GUI操作や外部ツール連携は、ユーザーの意図しない副作⽤を⽣みうる
• 外部コンテンツが命令として解釈されると、間接プロンプトインジェクション（Indirect Prompt Injection）になる
• 「モデルを安全にする」だけでなく、周辺システムの権限分離と監査が必要


# Page. 8

![Page Image](https://bcdn.docswell.com/page/YE9P8Q4DJ3.jpg)

AIセキュリティは2つの問いに分けると⾒通しが良い
AIを使って守る / AIそのものを守る / AI同⼠の攻防を予測する
AI for Security
AIで守る
Security for AI
AIを守る
AI vs AI !?
攻防の⾃動化
l AI for Security: 調査・検出・脆弱性発⾒・修正のスピードを上げる
l Security for AI: モデル、データ、プロンプト、RAG、ツール、エージェントを守る
l 2026年は攻撃者も防御者もAI活⽤を標準化する年になりつつある


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GE8D8GQ5ED.jpg)

AI for Security
AIを使って、攻撃⾯を⾒つけ、防御運⽤を速くする


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LELMRGX37R.jpg)

Red Team側: AIは「仮説⽣成」と「検証ループ」を加速する
脆弱性診断・ペネトレーションテストは、探索・推論・検証の繰り返し
対象理解
コード/仕様/構成
資産棚卸し
仮説⽣成
攻撃経路
脆弱性候補
AIが効くところ
• ⼤量のコード・ログ・仕様を読む
• 攻撃経路の候補を出す
• 検証⼿順やテストケースを組む
• 修正案・報告書のたたき台を作る
検証
PoC/再現
到達可能性
修正提案
パッチ/設定
回帰テスト
⼈間が責任を持つところ
• スコープと許可範囲を決める
• 実⾏可否を承認する
• 再現性・影響・開⽰を判断する
• 最終報告と修正確認を担う
守るためのRed Team側にとって、AIはまだ「攻撃を任せる存在」ではなく、探索・検証・修正のループを増幅する伴⾛者


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JMYRQLMJW.jpg)

実例: 脆弱性探索の⾃動化は「読むAI」から「試すAI」へ
AIがコードを読み、ツールを使って、検証可能な証拠を作る
• LLMにCode Browser / Python / Debugger
/ Reporterを与える設計
• AIを使ってOSSの脆弱性発⾒・パッチ⽣成
を競う取り組み
• CyberSecEval2で最⼤20倍の性能向上と報告
• 競技形式により、発⾒から修正までの⾃律
化を評価
• 「⼈間の研究者に近い」反復探索を狙う
Project Naptime / Big Sleep
• 実務では⼈間のレビューと調整された開⽰
が前提
DARPA AIxCC
共通点: 「検出結果の⼭」ではなく、再現・根拠・修正まで含むワークフローへ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/PJR9R8KL79.jpg)

2026年の象徴: Anthropic Project Glasswing
⾼度なサイバー能⼒モデルを、防御者・重要インフラ・OSS保守者へ限定提供する設計
Claude Mythos
Preview
Project Glasswing
Claude Fable
• 2026年4⽉発表。AWS、Apple、Cisco、CrowdStrike、Google、Microsoft、NVIDIA、Palo Alto等のパートナ
ー企業でProject Glasswingを発⾜
• Mythos Previewは⼀般提供せず、Project Glasswingの参加企業に防御⽬的の限定アクセスと提供
• AP Newsは、Project Glasswing下のテストでMythosが機密性の⾼い⽶政府システムの脆弱性を数時間で特定し
たと報じた。ただし、悪⽤はしていないとの報道
2026年6⽉ “Mythos”にセキュリティガードレールを搭載した”Fable”が⼀般公開されるも⽶国政府により⽶国以外
では数⽇で停⽌。同年7⽉にガードレールがより厳しくなって再開された
2026年のAI for Securityは「セキュリティ製品へのAI搭載」から、
「⾼能⼒モデルを誰に・どの権限で・何の⽬的で使わせるか」というガバナンス問題へ進んでいる
高能力モデルは「誰でも使える道具」ではなく、防御目的・認可・監視とセットで扱われ始めた


# Page. 13

![Page Image](https://bcdn.docswell.com/page/PEXQR856JX.jpg)

同様施策: OpenAI Daybreak
「⾒つける」から「パッチを届ける」へ - 防御者限定アクセスと実装ワークフロー
GPT-5.5-Cyber
⾼度で認可された
サイバー攻撃への防御向け
利⽤組織に限定アクセス
(Trusted Access for Cyber)
Daybreak
脆弱性発⾒から
エンドツーエンドの
パッチ⾃動化への取り組み
Codex Security
コードベースをスキャン
検出・トリアージ
パッチ⽣成を⽀援
Patch the Planet
OSS保守者とAIとセキュリ
ティ専⾨家が協⼒して
脆弱性の修正を着地


# Page. 14

![Page Image](https://bcdn.docswell.com/page/3EK9RK6GED.jpg)

AnthropicとOpenAIの施策を⽐較する
どちらも「⾼能⼒サイバーモデルを防御⽬的で扱う」ためのアクセス制御を中⼼に置く
Anthropic
Project Glasswing
OpenAI
Daybreak / Trusted Access
• Claude Mythos Previewを⼀般提供せず、
防御者・重要ソフトウェア保守者へ限定
• GPT-5.5-Cyberを検証済み防御者向けに限定
提供
• 局所的な脆弱性検出、バイナリのブラック
ボックステスト、エンドポイント防御、ペン
テストを想定
• Codex Security / Patch the Planetで修正の
着地とOSS保守者⽀援を重視
• 業界横断パートナーによる共同学習・ベス
トプラクティス共有を重視
• セキュリティ製品・サービス事業者を通じて
防御能⼒を展開
共通の設計原則
1.
2.
3.
4.
強いモデルほどアクセス制御
防御⽬的・認可範囲・監視
⼈間レビューと協調的開⽰
モデル悪⽤・モデル蒸留への対策


# Page. 15

![Page Image](https://bcdn.docswell.com/page/L73W8Z6575.jpg)

Blue Team側: SOCは「アラート処理」から「AIに調査を委任」へ
AIは⼤量の信号を要約し、関係性をたどり、次の⼀⼿を提案する
Alert
Enrich
Timeline
Verdict
Report
従来: ⼈がSIEM/EDR/メール/IDログを横断して時系列を作る
現在: AI Agentが証拠収集・相関・要約・推奨アクションを⽀援
l Microsoft Security Copilot Agentsは反復的タスクの⾃動化・⼿動負荷削減を掲げる
l GoogleはAgentic SOCを、SOARを超えて動的に推論・計画・調査する⽅向として説明
l CrowdStrike Charlotte AIやSentinelOne Purple AIなど、AI SOC Analystを掲げる製品が増加


# Page. 16

![Page Image](https://bcdn.docswell.com/page/87DKMRVYJG.jpg)

SOARとの連携: 報告・連絡・相談をAIで速くする
ただし、実⾏系アクションは承認・ロールバック・監査ログを前提にする
SIEM / EDR / Email / IAM
報告
事象の要約
被害範囲
証拠リンク
LLM / Agent
連絡
関係者通知
チケット起票
ステークホルダー別⽂⾯
SOAR / Ticket / ChatOps
相談
次アクション候補
封じ込め案
判断材料
実⾏系の原則: AIは提案、SOARは実⾏、⼈間は承認。
例外的に⾃動実⾏する場合は、低リスク・限定権限・即時停⽌・監査ログをセットにする。


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VJPKRWV2E8.jpg)

すでにセキュリティ製品へ⼊ってきた⽣成AI / Agent
実務では「AI製品を別途導⼊する」より、既存SOC/EDR/XDR/SASEにAIが埋め込まれる形が多い
Microsoft
Security Copilot
Agents
Google
Gemini in Security
Agentic SOC
CrowdStrike
Charlotte AI
Palo Alto
Precision AI
SentinelOne
Purple AI
Cisco
AI Defense
l Security Copilot Agents: セキュリティ・IT運⽤の反復タスクを⾃動化する⽅向
l Google Agentic SOC: Alert Triage and Investigation Agent、SecOps MCPによる横断的な調査
l CrowdStrike / Palo Alto / SentinelOne / CiscoもAIによるSOC、検知、AIシステム保護を前⾯に出す


# Page. 18

![Page Image](https://bcdn.docswell.com/page/2EVVR8ZXEQ.jpg)

⽣成AI以前から、AI/MLはセキュリティ製品に⼊っていた
「AIブーム」以前にも、検知・分類・異常検出では機械学習が広く使われてきた
メール
スパム / フィッシング
BEC / 添付ファイル判定
EDR / AV
未知マルウェア
ふるまい検知
NDR / UEBA
異常通信
ユーザー⾏動分析
WAF / API
不正リクエスト
ボット検知
DLP
機密データ分類
持ち出し検知
Sandbox
動的解析
未知ファイル判定
従来よりたとえば
l Microsoft Defender Antivirusはクラウド・機械学習・脅威インテリジェンスを組み合わせた保護を実装済
l Palo Alto WildFireはクラウド分析とインライン機械学習を実装済
変わったこと: 従来MLは「検知器」として”裏側”にいた
⽣成AI/Agentは「説明・調査・実⾏」まで”ユーザーの前に出てくる”


# Page. 19

![Page Image](https://bcdn.docswell.com/page/57GLM54REL.jpg)

AI for Securityのメリットと限界
効率化だけでなく、検証可能性・説明責任・⼈間の最終判断を設計する
主な恩恵
主なリスク
• 調査・要約・報告の⾼速化
• 誤検知・幻覚・根拠不⾜
• ⼤量データの相関分析
• 機密データの投⼊・⼆次利⽤
• コード・設定・ログを横断した仮説⽣成
• ⾃動実⾏の過剰権限
• 初動対応のばらつき低減
• 攻撃者も同じ能⼒を得る
導⼊判断の軸: 何を⾃動化するかより、どこで⼈が承認し、どの証拠を残し、誤動作時に⽌められるか。


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4EQYRZGYJP.jpg)

Security for AI
AIを実装したシステム / AIを使って開発するシステムを守る


# Page. 21

![Page Image](https://bcdn.docswell.com/page/KJ4W835Z71.jpg)

AIシステムは新しいAttack Surface (攻撃⾯) を増やす
モデルだけでなく、データ・RAG・ツール・メモリ・API・⼈間の運⽤が攻撃対象になる
System Prompt
User / Prompt
RAG / Vector DB
AI Application
/ Agent
Identity / Secrets
Memory / Logs
Model / API
Tools / MCP
防御範囲は「モデルの安全性」だけでは⾜りない。
AIアプリ全体を通常のアプリ + AI固有リスクとして脅威モデリングする


# Page. 22

![Page Image](https://bcdn.docswell.com/page/LE1Y21WD7G.jpg)

AIへの攻撃の歴史: 2014-2026
古典的ML攻撃から、GenAI/Agent時代のプロンプト・ツール・モデル盗⽤へ
2026
Distillation /
Cyber Models
2025
MCP / Agent
Tool Poisoning
2023
Indirect
Injection
2022
Prompt
Injection
2020
Training Data
Extraction
2017
Membership
Inference
2016
Black-box
Attacks
2014
Adversarial
Examples
重要な変化: 2022年以降、攻撃対象が「学習済みモデル」から「LLMアプリの⽂脈・外部ツール・権限」に広がった
2026年はモデル蒸留・モデル盗⽤と⾼能⼒サイバーモデルのアクセス制御が論点化


# Page. 23

![Page Image](https://bcdn.docswell.com/page/GEWGR868J2.jpg)

古典的AI攻撃: ⼊⼒・API・学習データを狙う
Security for AIは⽣成AIより前から存在していた
Adversarial Example
⼈には同じに⾒える⼊⼒を
モデルだけ誤分類させる
Model Extraction
API応答を⼤量取得して
代替モデルを学習する
Membership Inference
あるデータが学習に
使われたか推測する
実務への⽰唆
l AI APIは、能⼒・データ・知財を守る境界でもある
l 推論ログ、レート制限、異常クエリ検知、データ最⼩化が重要
l ⽣成AIアプリでも、古典的ML攻撃の考え⽅は残る
Training Data Extraction
LLMから学習データの
断⽚を引き出す


# Page. 24

![Page Image](https://bcdn.docswell.com/page/47ZLR8Y9J3.jpg)

データ汚染・バックドア・モデルサプライチェーン
AIは「コード」だけでなく、データ・重み・モデルカード・評価⼿順もサプライチェーンになる
Training Data
Fine-tuning
Model Artifact
AI App
Poisoning
学習データに悪意ある例を
混ぜる
Backdoor
特定トリガーでだけ
悪性挙動
Model Theft
重み・API・出⼒から
能⼒を盗む
Dependency
モデル/データ/埋め込みの
依存関係


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YJ6WRPDDJV.jpg)

Prompt Injection: LLMアプリにおけるSQL Injection的な⼊⼝
⾃然⾔語の「データ」と「命令」を完全に分離しづらいことが本質
System Prompt
「社内規定に従い回答」
Malicious Text
「前の命令を無視せよ」
LLM
混在した⽂脈を処理
User Prompt
「この添付⽂書を要約」
• Prompt Injectionは、悪意ある⼊⼒によりモデルを元の⽬的外の動作に誘導する攻撃として広まった
• OWASP Top10 LLM 2025は「Prompt Injection」を最重要リスクの⼀つに位置づける
• 単独のフィルタではなく、権限分離・出⼒検証・監査・⼈間承認で被害を限定する
なぜ防御が難しいか
• LLMは命令とデータをどちらも⾃然⾔語として
処理する
• ⼊⼒フィルタだけでは完全に防げない
• ツール実⾏権限と結びつくと実害が出る
被害を限定する設計
• 権限分離、出⼒検証、ツールプロキシ
• ⾼リスク操作の⼈間承認
• プロンプト・ツール・出⼒の監査ログ


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJ5M8K38J4.jpg)

Indirect Prompt Injection: ユーザー以外が置いた⽂書が命令になる
メール、PDF、Web、Wiki、チケット、RAG⽂書などの外部コンテンツが危険になる
Email
PDF
Web
Ticket
RAG / Context
外部コンテンツを取得
Repo
LLM / Agent
命令として解釈
• Microsoftは、外部コンテンツに埋め込まれた命令をAIが有効な命令と誤解するリスクとして説明
• Googleも2026は企業AIシステムへのIndirect Prompt Injection増加を予測として挙げている
• RAGは正確性を上げるが、取得元の信頼性・引⽤・権限・出⼒先制御がないと攻撃⾯になる
外部コンテンツは「命令」ではなく、「データ」として扱うように指⽰する


# Page. 27

![Page Image](https://bcdn.docswell.com/page/9E29KWZV7R.jpg)

Agent / MCP時代: ツールが増えるほど攻撃⾯も増える
MCPは便利な標準化だが、ツール説明・サーバ・権限・更新が新しい信頼境界になる
MCP Server / Tool Metadata
GitHub
Slack
Browser
Shell
DB
Cloud API
LLM Agent
• MCP (Model Context Protocol) は、LLMと外部データ・ツールを接続するプロトコル（ツール定義・実⾏・⽂脈連携）
LLMが既存のAPIや社内システムを⼈間のように容易に使いこなすための橋渡し役 = MCPサーバー
• MicrosoftはMCPにおいても「Indirect Prompt Injection」と「Tool Poisoning」のリスクを⾔及
• OWASP Top10 LLM06: “Excessive Agency” は、過剰な⾃律性・権限がリスクになると整理


# Page. 28

![Page Image](https://bcdn.docswell.com/page/D7Y4NLRQEM.jpg)

MCP Tool Poisoning / Rug Pull: ⾒えないメタデータが命令になる
ツール名・説明・スキーマ・更新プロセスを、ソフトウェアサプライチェーンとして扱う
承認時
更新後
ツール説明: 「顧客DBを検索する」
隠れた命令: 「検索結果を外部へ送る」
• MCPツール※の説明⽂（メタデータ）に悪意ある命令が埋め込まれる「Tool Poisoning」
• ローカルMCPサーバーでは、承認後にMCPツール定義が変更される「Rug Pull」が特に危険
• MCPツール※がデータ流出・権限昇格・クロスツール連携の攻撃⾯になる
対策: ツール定義の署名・固定、変更検知、承認再取得、最⼩権限、出⼒先制御、監査ログ。
※ MCPツール = MCPサーバーが提供する具体的な機能・実⾏処理


# Page. 29

![Page Image](https://bcdn.docswell.com/page/VENYX4D2J8.jpg)

Excessive Agency: Agentに「できること」を与えすぎない
AIの判断ミスは、ツール権限と結びついた瞬間に実害へ変わる
Observe
読むだけ
Recommend
提案する
Prepare
下書きする
Execute
実⾏する
• OWASP Top10 LLM06: Excessive Agencyは、過剰な⾃律性・機能・権限が意図しない結果を⽣むリスクを詳しく整理
• 防御策は、最⼩権限、短命権限、⼈間の承認、計画逸脱検知などを含む
設計パターン:
「AIが実⾏できる」ではなく、「AIがどの条件で、どの範囲に、どのログを残して実⾏できるか」を
先に決める
• 短命トークン、最小権限、人間承認、計画逸脱検知を組み合わせる
• 高リスク操作は読み取り・提案・下書きまでに制限する


# Page. 30

![Page Image](https://bcdn.docswell.com/page/Y79P8QGDE3.jpg)

2026年の攻撃動向: モデル蒸留・モデル盗⽤が国家安全保障級の論点に
⾼能⼒モデルの出⼒を⼤量に集め、別モデルへ能⼒移転するリスク
Frontier Model
⼤量クエリ /
偽アカウント
Student Model
l Anthropicは、DeepSeek / Moonshot / MiniMaxによる⼤規模な蒸留キャンペーンを検知したと公表し、16M
exchanges / 約24K不正アカウントを挙げた
l AnthropicがAlibaba関連オペレーターによる約2万5000の不正アカウントで28.8Mの盗⽤やりとりを報告（Anthropic
側の主張で報道ベース）
l OWASP Top10 LLM 2025では、「LLM10 Unbounded Consumption(無制限の消費)」にて”モデル蒸留・モデル盗⽤”
を重要リスクとして扱う
モデルAPIは「普通のSaaS API」ではなく、能⼒・知財・安全対策を守る境界でもある


# Page. 31

![Page Image](https://bcdn.docswell.com/page/G78D8GV57D.jpg)

実際の悪⽤: AIは攻撃の「全⾃動化」より、⼯程ごとの増幅に使われる
偵察、⽂⾯⽣成、コード補助、詐欺・情報操作、脆弱性探索の⾼速化
Recon
情報収集
Lure
⽂⾯/⾳声
Code
スクリプト
Exploit
検証
Scale
多⾔語/⼤量化
2026年の様々なベンダーレポートから読み解けること
• 攻撃者はAIをWebサイト、SNS、既存マルウェア、偽アカウントなど従来ツールと組み合わせで悪⽤している
• 現状は、AIが攻撃者に置き換わるより、作業単価・⾔語障壁を下げ、速度と規模を上げる効果が⾼い
• 防御側もなるべく同じ速度で、検知・トリアージ・修正・復旧を速くする必要がある


# Page. 32

![Page Image](https://bcdn.docswell.com/page/L7LMRG53JR.jpg)

OWASP Top 10 for LLM Applications 2025
AIアプリの脅威を、開発者が使える⾔葉に落とした実務的リスト
LLM01
Prompt Injection
LLM02
Sensitive Info Disclosure
LLM03
Supply Chain
LLM04
Data/Model Poisoning
LLM05
Improper Output Handling
LLM06
Excessive Agency
LLM07
System Prompt Leakage
LLM08
Vector/Embedding
Weaknesses
LLM09
Misinformation
LLM10
Unbounded Consumption
• ⼤元の OWASP GenAI Security Projectでは、LLM・Agentic AI・⽣成AIアプリのセキュリティリスクと緩和策を整理
• ⾃社のAIアプリ設計レビューでは、まずこの10項⽬をチェックリスト化すると始めやすい


# Page. 33

![Page Image](https://bcdn.docswell.com/page/4EMYRQ3MEW.jpg)

参照すべきフレームワーク: OWASPだけでは⾜りない
攻撃技法、リスク管理、開発ライフサイクルを分けて使う
MITRE ATLAS
AIシステムに対する攻撃者の
戦術・技法・事例を整理
NIST AI RMF
AIの信頼性・リスク管理を
組織プロセスへ接続
Google SAIF
データ・インフラ・モデル・アプリ
の
AIライフサイクル全体を扱う
使い分け
ü 攻撃⼿法の名前合わせ: MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems)
ü 経営・ガバナンス・リスク管理: NIST AI RMF (Risk Management Framework)
ü AIプロダクト開発・運⽤のセキュリティ設計: Google SAIF (Secure AI Framework)
ü 実装レビュー: OWASP Top 10 for LLMをチェックリスト化


# Page. 34

![Page Image](https://bcdn.docswell.com/page/PER9R8QLJ9.jpg)

AIを実装したシステムを開発する時に気をつけること
通常のアプリケーションセキュリティ + AI固有の信頼境界
⼊⼒
信頼境界、サイズ制限、添付ファイル
検査
プロンプト
System Promptの管理、テンプレート
化、漏えい前提
モデル/API
利⽤モデル、ログ、データ利⽤条件、
レート制限
出⼒
Output Validation、危険なコード
/SQL/URLの扱い
権限
最⼩権限、短命トークン、⼈間承認
監査
プロンプト/ツール/判断/出⼒のトレー
ス
レビュー観点: AI出⼒を信頼しない。AIに渡す⼊⼒と、AIが呼べるツールを最⼩化する。
重要な決定・外部送信・削除・課⾦・権限変更は、承認とロールバックを設計する。


# Page. 35

![Page Image](https://bcdn.docswell.com/page/P7XQR8R6EX.jpg)

RAGを安全にする: 便利な検索は、権限と出典があって初めて安全
RAGは「知らないことを知る」仕組みだが、攻撃者の⽂書も拾いうる
User
権限付き検索
ユーザー権限で取れる⽂書だ
け
Retriever
信頼度・出典
回答に引⽤と根拠を付与
Vector DB
LLM
命令分離
検索結果は命令ではなくデー
タとして扱う
Answer
出⼒検証
外部送信・コード実⾏前に検
証
• Prompt InjectionはRAGやFine-tuningで完全には消えないとOWASPは説明
• MicrosoftはSpotlighting、Delimiter / Datamarking、Prompt Shieldsなどを対策例として説明


# Page. 36

![Page Image](https://bcdn.docswell.com/page/37K9RKRG7D.jpg)

Agent / Tool を安全にする防御層
安全対策は単発のガードレールではなく、多層防御として組み合わせる
1. Identify
Agent専⽤ID
短命トークン
2. Scope
最⼩権限
ネットワーク分離
3. Inspect
Prompt Shield※
Tool定義検査
4. Approve
⾼リスク操作は
⼈間承認
5. Observe
全プロンプト
全ツール呼び出しを監査
• MicrosoftのAgentic AI脅威対策は、Prompt Shields、計画逸脱検知、Critic Agent、最⼩権限、⼈間承認
などを組み合わせる
• OWASPのExcessive Agency / Prompt Injection / Sensitive Information Disclosureは、Agent実装で
相互に関連する
設計レビューの質問: 「このAgentが侵害されたとき、何が読めて、何が実⾏できて、誰が気づけるか︖」
※ Prompt Shield: AIガードレール機能の⼀部。悪意のあるプロンプト攻撃を防ぐための「⼊⼒時の防御壁」


# Page. 37

![Page Image](https://bcdn.docswell.com/page/LJ3W8Z85J5.jpg)

AIを使ってシステム開発する時に気をつけること
Copilot / Cursor / Claude Code / Codexなどは、開発速度と同時に新しいレビュー観点を増やす
Secrets
APIキー/顧客データを
プロンプトへ⼊れない
License
OSSライセンスと
⽣成コード由来の確認
Hallucination
意図しないAPI/脆弱な
コードの⽣成
Dependency
不審なパッケージ
typosquatting
Review
AI⽣成コードも
通常レビュー対象
Telemetry
学習設定・ログ保存
データ境界
• 社内ルール: 機密データ投⼊可否、保存期間、学習利⽤、⽣成コードのレビュー責任者を明⽂化


# Page. 38

![Page Image](https://bcdn.docswell.com/page/8JDKMRMYEG.jpg)

AI Secure SDLC: AIは企画段階から脅威モデリングする
後付けのガードレールではなく、ライフサイクル全体で設計する
Plan
⽤途・禁⽌事項
リスク許容度
Design
信頼境界
権限設計
Build
データ/モデル
依存関係管理
Test
Red Team
評価・安全性
Deploy
監視
承認・ログ
Operate
逸脱検知
IR・改善
• OWASP Top 10はアプリレベルの実装リスクの洗い出しに使える
• MITRE ATLASは攻撃者の戦術・技法を基にテストケースを作る際に使える
• NIST AI RMF / Google SAIFは組織リスク管理とAIプロダクトライフサイクル全体の管理に使える
発注・内製のどちらでも、AI機能の構成要素「モデル、データ、プロンプト、RAG、ツール、ログ、権限」を成果物として棚卸しすべき
AIセキュリティは、後からガードレールを付ければ終わりではありません


# Page. 39

![Page Image](https://bcdn.docswell.com/page/VEPKRWR278.jpg)

運⽤時の監視とインシデント対応
AIアプリには、従来ログに加えてAI特有の観測点が必要
Prompt Log
ユーザー⼊⼒ / システム指
⽰
Retrieval Log
検索クエリ / 取得⽂書
Tool Log
呼び出し / 引数 / 結果
Decision Log
AIの判断 / ⼈間承認
Output Log
回答 / 外部送信内容
• AI悪⽤報告は、AIが従来ツールと組み合わされる現実を⽰している
• Prompt Injection / Tool Poisoningは、発⽣をゼロにするより被害範囲を限定し、検知・復旧できる設計
が重要
IRプレイブック例: モデル/APIキー停⽌、RAGインデックス隔離、ツール認可の取り消し、会話ログ保全、影響範囲調査、再評価


# Page. 40

![Page Image](https://bcdn.docswell.com/page/27VVR8RX7Q.jpg)

これからのAI × セキュリティ
AI vs AIの攻防はどこまで進むか
※予想です


# Page. 41

![Page Image](https://bcdn.docswell.com/page/5JGLM5MR7L.jpg)

AI vs AI の攻防
攻撃も防御も、探索・判断・実⾏・学習のサイクルが短くなる
Attack AI
Recon → Exploit → Phish → Persist
Defense AI
Detect → Triage → Patch → Recover
l 2026年時点で、GoogleはAIを使ったゼロデイ探索・悪⽤の試みを報告し、Anthropic/OpenAIは防御側アクセス
制御を強めている
• 今後は「先に⾒つける」競争から、「先に修正・配布・検証する」競争へ移る
l 防御側はAIを使うだけでなく、AIに使わせる権限・情報・ツールを安全に制御できる組織が強くなる
→ 今年は「AIエージェントガバナンスのデファクトスタンダードイヤー」
キーワード: speed, scale, verification, patching, governance


# Page. 42

![Page Image](https://bcdn.docswell.com/page/47QYRZRYEP.jpg)

まとめ: AI時代のセキュリティで押さえる3点
1 AIは適切に利⽤すれば防御も強くする
脆弱性発⾒、SOC、SOAR、修正⽀援はすでに実⽤段階へ
2 AI⾃⾝が攻撃対象になる
Prompt Injection、RAG、MCP、モデル蒸留、権限悪⽤を設計で抑え、監視で可視化
3 AI vs AIは単なるスピード競争ではなく、ガバナンス勝負
検証、監査、⼈間承認を経て、修正を確実に本番へ反映し、リスクを解消する⼒が、AI時代のセキュリティの差
• AIアプリの設計レビューは「OWASP Top 10 for LLM」を参考に最低限チェックしよう︕
• AIガバナンスは「NIST AI RMF」、AIプロダクト開発・運⽤ガイドラインは「Google SAIF」を参考に︕
さあ、更なるフォーカスリサーチへ︕
OWASP GenAI Security Project https://genai.owasp.org/
OWASP Top 10 for LLM Applications 2025 https://owasp.org/www-project-top-10-for-large-language-model-applications/
MITRE ATLAS https://atlas.mitre.org/
NIST AI RMF https://www.nist.gov/itl/ai-risk-management-framework
Google SAIF https://www.saif.google/secure-ai-framework
SANS AI Security Maturity Model™ eBook https://www.sans.org/mlp/2026-ai-security-maturity-model-ebook


# Page. 43

![Page Image](https://bcdn.docswell.com/page/KE4W838ZJ1.jpg)

参考資料⼀覧
[1] Stanford HAI AI Index 2026
https://hai.stanford.edu/ai-index/2026-ai-index-report
[13] Existing ML in security products
https://learn.microsoft.com/en-us/defender-endpoint/adv-tech-of-mdav |
https://www.paloaltonetworks.jp/network-security/wildfire
[2] AI milestone sources
https://home.dartmouth.edu/about/artificial-intelligence-ai-coined-dartmouth |
[14] Classic AI attack papers
https://www.ibm.com/history/deep-blue | https://papers.nips.cc/paper/4824-imagenet-classification-with-deep- https://arxiv.org/abs/1412.6572 | https://arxiv.org/abs/1602.02697 |
convolutional-neural-networks | https://arxiv.org/abs/1706.03762 | https://openai.com/index/chatgpt/
https://ieeexplore.ieee.org/document/7958568 |
https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting
[3] OpenAI Operator / Computer-Using Agent
https://openai.com/index/computer-using-agent/ | https://openai.com/index/introducing-operator/
[15] Prompt injection sources
https://simonwillison.net/2022/Sep/12/prompt-injection/ | https://genai.owasp.org/llmrisk/llm01-prompt[4] MCP official / Microsoft MCP guidance
injection/ | https://www.ncsc.gov.uk/sites/default/files/pdfs/blog/prompt-injection-is-not-sql-injection.pdf
https://modelcontextprotocol.io/ | https://developer.microsoft.com/blog/protecting-against-indirect-injectionattacks-mcp
[16] Microsoft indirect prompt injection / MCP
https://developer.microsoft.com/blog/protecting-against-indirect-injection-attacks-mcp |
[5] Google Project Naptime / Big Sleep
https://learn.microsoft.com/en-us/security/ai-red-team/agentic-ai-threats
https://googleprojectzero.blogspot.com/2024/06/project-naptime.html |
https://googleprojectzero.blogspot.com/search/label/Big%20Sleep
[17] MCP tool poisoning research
https://www.elastic.co/security-labs/mcp-security-notification | https://arxiv.org/abs/2603.22489
[6] DARPA AIxCC
https://aicyberchallenge.com/ | https://www.darpa.mil/program/ai-cyber-challenge
[18] Anthropic distillation attacks
https://www.anthropic.com/news/detecting-preventing-ai-distillation-attacks
[7] Anthropic Project Glasswing / Claude Mythos
https://www.anthropic.com/project/glasswing | https://www.anthropic.com/glasswing |
[19] BI Alibaba distillation report
https://www.anthropic.com/research/mythos-preview | https://www.anthropic.com/claude/mythos |
https://www.businessinsider.com/anthropic-china-alibaba-exploiting-ai-models-distillation-attack-2026-6
https://www.anthropic.com/news/expanding-project-glasswing
[20] OpenAI / Google malicious AI use reports
[8] AP News on Mythos testing
https://openai.com/index/disrupting-malicious-ai-uses/ | https://blog.google/innovation-and-ai/infrastructurehttps://apnews.com/article/3e8762c0527c4d8ed657cbe48c84a718
and-cloud/google-cloud/gtig-report-ai-cyber-attacks-feb-2026/ | https://cloud.google.com/blog/ja/topics/threatintelligence/cybersecurity-forecast-2026 | https://apnews.com/article/google-ai-cybersecurity-exploitation[9] OpenAI Daybreak / GPT-5.5-Cyber
mythos-926aea7f7dc5e0e61adce3273c55c6d4
https://openai.com/index/daybreak-securing-the-world/ | https://openai.com/daybreak/ |
https://openai.com/index/gpt-5-5-with-trusted-access-for-cyber/ | https://openai.com/index/patch-the-planet/ [21] OWASP Top 10 for LLM Applications 2025
https://owasp.org/www-project-top-10-for-large-language-model-applications/ | https://genai.owasp.org/llm[10] Microsoft Security Copilot Agents
top-10/
https://learn.microsoft.com/ja-jp/copilot/security/agents-overview
[22] MITRE ATLAS
[11] Google Agentic SOC / Gemini in Security
https://atlas.mitre.org/
https://cloud.google.com/security/resources/agentic-soc
[23] NIST AI RMF / Google SAIF
[12] AI product examples
https://www.nist.gov/itl/ai-risk-management-framework | https://www.saif.google/secure-ai-framework


# Page. 44

![Page Image](https://bcdn.docswell.com/page/L71Y212DJG.jpg)

次回のSR分科会は「2025年10⽉17⽇（⼟）」
次回のテーマは「技能五輪（サイバーセキュリティ職種）」です。
現地会場は「名古屋国際センター研修室＠国際センター駅」で
Zoomとのハイブリッド開催です
SR分科会へのご参加ありがとうございました。
次回の詳細情報は、Slackで別途ご連絡します。


# Page. 45

![Page Image](https://bcdn.docswell.com/page/G7WGR8R8E2.jpg)