ISACA名古屋支部_2026年7月SR分科会_AIセキュリティ

ＡＩセキュリティについて 知っておきたいこと 2026年7⽉ SR分科会 ISACA名古屋⽀部 教育担当 2026年7⽉18⽇（⼟） 理事 ⻑⾕川達也 14:00-14:50

はじめに • セキュリティリサーチ（SR）分科会へようこそ︕ • リサーチ報告で 広く浅くインプット • ⼿を動かすハンズオンで アウトプット＆エンジニアリング • ディスカッション（交流）で ⼈脈形成 トーク中もガンガン Slack書き込みどうぞ︕ ご都合よろしければ、15:00〜の ISACA名古屋⽀部⽉例会にもご参加ください

アジェンダ 1. 50分 リサーチ報告 Ø AIとは → ⽤語整理 / 技術進歩 / Agent化 Ø “AI for Security” → Red Team / Blue Team / 製品実装 Ø “Security for AI” → Ø これからのAI×セキュリティ AI vs AIの攻防︖ 攻撃史 / 実装・開発時の注意

AIとは ⽤語整理 / 技術進歩 / Agent化

AIの区分: ⽣成AIもAgentもAIの⼀部 広義のAIから、実装アーキテクチャとしてのAI Agentへ AI AI → ML → DL → GenAI → Agent ML l AIは推論・認識・意思決定を機械で実現する広い概念 DL GenAI l MLはデータから規則性を学習し、DLは多層ニューラ ルネットワークで表現⼒を⾼めたもの Agent l GenAIはテキスト・画像・コードなどを⽣成するAI l AI Agentはモデルにツール・記憶・計画・実⾏権限を 接続した実装形態 セキュリティ上の重要点 Agent化すると「応答」から「⾏動」へ移り、 権限・ログ・承認・隔離が設計上の論点になる

AI技術進歩の年表: 点の進歩から「⾏動するAI」へ 技術成熟度と社会実装のスピードは、2020年代に急勾配になった 2026年の論点は「⽣成できる」だけでなく、 検証し、ツールを使い、修正まで進める能⼒。 • • • 2026 Stanford HAI の AI Index 2026ではAIの社会・産業・科学への拡⼤を整理 Operator / CUAのようなエージェントはGUIを認識し、クリック・⼊ ⼒・スクロールを⾏う MCPはLLMと外部ツール・データの接続を標準化する流れ 2025 Operator MCP 2022 ChatGPT GenAI 2017 Transformer 2012 AlexNet CNN DLブーム 1997 AI Chess Deep Blue 1956 AI word born @Dartmouth Capability / Autonomy Cyber Frontier

⽣成AIアプリからAI Agentへ: 攻撃⾯が増える理由 LLM単体より、ツール・記憶・権限を持つ構成の⽅がセキュリティ設計が難しい User / Event 増える攻撃⾯ Prompt Context LLM Tool / MCP Action Output Memory / RAG / Files / Web / Email Policy / Guardrail / Approval / Logging 必要な設計 • GUI操作や外部ツール連携は、ユーザーの意図しない副作⽤を⽣みうる • 外部コンテンツが命令として解釈されると、間接プロンプトインジェクション（Indirect Prompt Injection）になる • 「モデルを安全にする」だけでなく、周辺システムの権限分離と監査が必要

AIセキュリティは2つの問いに分けると⾒通しが良い AIを使って守る / AIそのものを守る / AI同⼠の攻防を予測する AI for Security AIで守る Security for AI AIを守る AI vs AI !? 攻防の⾃動化 l AI for Security: 調査・検出・脆弱性発⾒・修正のスピードを上げる l Security for AI: モデル、データ、プロンプト、RAG、ツール、エージェントを守る l 2026年は攻撃者も防御者もAI活⽤を標準化する年になりつつある

AI for Security AIを使って、攻撃⾯を⾒つけ、防御運⽤を速くする

Red Team側: AIは「仮説⽣成」と「検証ループ」を加速する 脆弱性診断・ペネトレーションテストは、探索・推論・検証の繰り返し 対象理解 コード/仕様/構成 資産棚卸し 仮説⽣成 攻撃経路 脆弱性候補 AIが効くところ • ⼤量のコード・ログ・仕様を読む • 攻撃経路の候補を出す • 検証⼿順やテストケースを組む • 修正案・報告書のたたき台を作る 検証 PoC/再現 到達可能性 修正提案 パッチ/設定 回帰テスト ⼈間が責任を持つところ • スコープと許可範囲を決める • 実⾏可否を承認する • 再現性・影響・開⽰を判断する • 最終報告と修正確認を担う 守るためのRed Team側にとって、AIはまだ「攻撃を任せる存在」ではなく、探索・検証・修正のループを増幅する伴⾛者

実例: 脆弱性探索の⾃動化は「読むAI」から「試すAI」へ AIがコードを読み、ツールを使って、検証可能な証拠を作る • LLMにCode Browser / Python / Debugger / Reporterを与える設計 • AIを使ってOSSの脆弱性発⾒・パッチ⽣成 を競う取り組み • CyberSecEval2で最⼤20倍の性能向上と報告 • 競技形式により、発⾒から修正までの⾃律 化を評価 • 「⼈間の研究者に近い」反復探索を狙う Project Naptime / Big Sleep • 実務では⼈間のレビューと調整された開⽰ が前提 DARPA AIxCC 共通点: 「検出結果の⼭」ではなく、再現・根拠・修正まで含むワークフローへ

2026年の象徴: Anthropic Project Glasswing ⾼度なサイバー能⼒モデルを、防御者・重要インフラ・OSS保守者へ限定提供する設計 Claude Mythos Preview Project Glasswing Claude Fable • 2026年4⽉発表。AWS、Apple、Cisco、CrowdStrike、Google、Microsoft、NVIDIA、Palo Alto等のパートナ ー企業でProject Glasswingを発⾜ • Mythos Previewは⼀般提供せず、Project Glasswingの参加企業に防御⽬的の限定アクセスと提供 • AP Newsは、Project Glasswing下のテストでMythosが機密性の⾼い⽶政府システムの脆弱性を数時間で特定し たと報じた。ただし、悪⽤はしていないとの報道 2026年6⽉ “Mythos”にセキュリティガードレールを搭載した”Fable”が⼀般公開されるも⽶国政府により⽶国以外 では数⽇で停⽌。同年7⽉にガードレールがより厳しくなって再開された 2026年のAI for Securityは「セキュリティ製品へのAI搭載」から、 「⾼能⼒モデルを誰に・どの権限で・何の⽬的で使わせるか」というガバナンス問題へ進んでいる 高能力モデルは「誰でも使える道具」ではなく、防御目的・認可・監視とセットで扱われ始めた

同様施策: OpenAI Daybreak 「⾒つける」から「パッチを届ける」へ - 防御者限定アクセスと実装ワークフロー GPT-5.5-Cyber ⾼度で認可された サイバー攻撃への防御向け 利⽤組織に限定アクセス (Trusted Access for Cyber) Daybreak 脆弱性発⾒から エンドツーエンドの パッチ⾃動化への取り組み Codex Security コードベースをスキャン 検出・トリアージ パッチ⽣成を⽀援 Patch the Planet OSS保守者とAIとセキュリ ティ専⾨家が協⼒して 脆弱性の修正を着地

AnthropicとOpenAIの施策を⽐較する どちらも「⾼能⼒サイバーモデルを防御⽬的で扱う」ためのアクセス制御を中⼼に置く Anthropic Project Glasswing OpenAI Daybreak / Trusted Access • Claude Mythos Previewを⼀般提供せず、 防御者・重要ソフトウェア保守者へ限定 • GPT-5.5-Cyberを検証済み防御者向けに限定 提供 • 局所的な脆弱性検出、バイナリのブラック ボックステスト、エンドポイント防御、ペン テストを想定 • Codex Security / Patch the Planetで修正の 着地とOSS保守者⽀援を重視 • 業界横断パートナーによる共同学習・ベス トプラクティス共有を重視 • セキュリティ製品・サービス事業者を通じて 防御能⼒を展開 共通の設計原則 1. 2. 3. 4. 強いモデルほどアクセス制御 防御⽬的・認可範囲・監視 ⼈間レビューと協調的開⽰ モデル悪⽤・モデル蒸留への対策

Blue Team側: SOCは「アラート処理」から「AIに調査を委任」へ AIは⼤量の信号を要約し、関係性をたどり、次の⼀⼿を提案する Alert Enrich Timeline Verdict Report 従来: ⼈がSIEM/EDR/メール/IDログを横断して時系列を作る 現在: AI Agentが証拠収集・相関・要約・推奨アクションを⽀援 l Microsoft Security Copilot Agentsは反復的タスクの⾃動化・⼿動負荷削減を掲げる l GoogleはAgentic SOCを、SOARを超えて動的に推論・計画・調査する⽅向として説明 l CrowdStrike Charlotte AIやSentinelOne Purple AIなど、AI SOC Analystを掲げる製品が増加

SOARとの連携: 報告・連絡・相談をAIで速くする ただし、実⾏系アクションは承認・ロールバック・監査ログを前提にする SIEM / EDR / Email / IAM 報告 事象の要約 被害範囲 証拠リンク LLM / Agent 連絡 関係者通知 チケット起票 ステークホルダー別⽂⾯ SOAR / Ticket / ChatOps 相談 次アクション候補 封じ込め案 判断材料 実⾏系の原則: AIは提案、SOARは実⾏、⼈間は承認。 例外的に⾃動実⾏する場合は、低リスク・限定権限・即時停⽌・監査ログをセットにする。

すでにセキュリティ製品へ⼊ってきた⽣成AI / Agent 実務では「AI製品を別途導⼊する」より、既存SOC/EDR/XDR/SASEにAIが埋め込まれる形が多い Microsoft Security Copilot Agents Google Gemini in Security Agentic SOC CrowdStrike Charlotte AI Palo Alto Precision AI SentinelOne Purple AI Cisco AI Defense l Security Copilot Agents: セキュリティ・IT運⽤の反復タスクを⾃動化する⽅向 l Google Agentic SOC: Alert Triage and Investigation Agent、SecOps MCPによる横断的な調査 l CrowdStrike / Palo Alto / SentinelOne / CiscoもAIによるSOC、検知、AIシステム保護を前⾯に出す

⽣成AI以前から、AI/MLはセキュリティ製品に⼊っていた 「AIブーム」以前にも、検知・分類・異常検出では機械学習が広く使われてきた メール スパム / フィッシング BEC / 添付ファイル判定 EDR / AV 未知マルウェア ふるまい検知 NDR / UEBA 異常通信 ユーザー⾏動分析 WAF / API 不正リクエスト ボット検知 DLP 機密データ分類 持ち出し検知 Sandbox 動的解析 未知ファイル判定 従来よりたとえば l Microsoft Defender Antivirusはクラウド・機械学習・脅威インテリジェンスを組み合わせた保護を実装済 l Palo Alto WildFireはクラウド分析とインライン機械学習を実装済 変わったこと: 従来MLは「検知器」として”裏側”にいた ⽣成AI/Agentは「説明・調査・実⾏」まで”ユーザーの前に出てくる”

AI for Securityのメリットと限界 効率化だけでなく、検証可能性・説明責任・⼈間の最終判断を設計する 主な恩恵 主なリスク • 調査・要約・報告の⾼速化 • 誤検知・幻覚・根拠不⾜ • ⼤量データの相関分析 • 機密データの投⼊・⼆次利⽤ • コード・設定・ログを横断した仮説⽣成 • ⾃動実⾏の過剰権限 • 初動対応のばらつき低減 • 攻撃者も同じ能⼒を得る 導⼊判断の軸: 何を⾃動化するかより、どこで⼈が承認し、どの証拠を残し、誤動作時に⽌められるか。

Security for AI AIを実装したシステム / AIを使って開発するシステムを守る

AIシステムは新しいAttack Surface (攻撃⾯) を増やす モデルだけでなく、データ・RAG・ツール・メモリ・API・⼈間の運⽤が攻撃対象になる System Prompt User / Prompt RAG / Vector DB AI Application / Agent Identity / Secrets Memory / Logs Model / API Tools / MCP 防御範囲は「モデルの安全性」だけでは⾜りない。 AIアプリ全体を通常のアプリ + AI固有リスクとして脅威モデリングする

AIへの攻撃の歴史: 2014-2026 古典的ML攻撃から、GenAI/Agent時代のプロンプト・ツール・モデル盗⽤へ 2026 Distillation / Cyber Models 2025 MCP / Agent Tool Poisoning 2023 Indirect Injection 2022 Prompt Injection 2020 Training Data Extraction 2017 Membership Inference 2016 Black-box Attacks 2014 Adversarial Examples 重要な変化: 2022年以降、攻撃対象が「学習済みモデル」から「LLMアプリの⽂脈・外部ツール・権限」に広がった 2026年はモデル蒸留・モデル盗⽤と⾼能⼒サイバーモデルのアクセス制御が論点化

古典的AI攻撃: ⼊⼒・API・学習データを狙う Security for AIは⽣成AIより前から存在していた Adversarial Example ⼈には同じに⾒える⼊⼒を モデルだけ誤分類させる Model Extraction API応答を⼤量取得して 代替モデルを学習する Membership Inference あるデータが学習に 使われたか推測する 実務への⽰唆 l AI APIは、能⼒・データ・知財を守る境界でもある l 推論ログ、レート制限、異常クエリ検知、データ最⼩化が重要 l ⽣成AIアプリでも、古典的ML攻撃の考え⽅は残る Training Data Extraction LLMから学習データの 断⽚を引き出す

データ汚染・バックドア・モデルサプライチェーン AIは「コード」だけでなく、データ・重み・モデルカード・評価⼿順もサプライチェーンになる Training Data Fine-tuning Model Artifact AI App Poisoning 学習データに悪意ある例を 混ぜる Backdoor 特定トリガーでだけ 悪性挙動 Model Theft 重み・API・出⼒から 能⼒を盗む Dependency モデル/データ/埋め込みの 依存関係

Prompt Injection: LLMアプリにおけるSQL Injection的な⼊⼝ ⾃然⾔語の「データ」と「命令」を完全に分離しづらいことが本質 System Prompt 「社内規定に従い回答」 Malicious Text 「前の命令を無視せよ」 LLM 混在した⽂脈を処理 User Prompt 「この添付⽂書を要約」 • Prompt Injectionは、悪意ある⼊⼒によりモデルを元の⽬的外の動作に誘導する攻撃として広まった • OWASP Top10 LLM 2025は「Prompt Injection」を最重要リスクの⼀つに位置づける • 単独のフィルタではなく、権限分離・出⼒検証・監査・⼈間承認で被害を限定する なぜ防御が難しいか • LLMは命令とデータをどちらも⾃然⾔語として 処理する • ⼊⼒フィルタだけでは完全に防げない • ツール実⾏権限と結びつくと実害が出る 被害を限定する設計 • 権限分離、出⼒検証、ツールプロキシ • ⾼リスク操作の⼈間承認 • プロンプト・ツール・出⼒の監査ログ

Indirect Prompt Injection: ユーザー以外が置いた⽂書が命令になる メール、PDF、Web、Wiki、チケット、RAG⽂書などの外部コンテンツが危険になる Email PDF Web Ticket RAG / Context 外部コンテンツを取得 Repo LLM / Agent 命令として解釈 • Microsoftは、外部コンテンツに埋め込まれた命令をAIが有効な命令と誤解するリスクとして説明 • Googleも2026は企業AIシステムへのIndirect Prompt Injection増加を予測として挙げている • RAGは正確性を上げるが、取得元の信頼性・引⽤・権限・出⼒先制御がないと攻撃⾯になる 外部コンテンツは「命令」ではなく、「データ」として扱うように指⽰する

Agent / MCP時代: ツールが増えるほど攻撃⾯も増える MCPは便利な標準化だが、ツール説明・サーバ・権限・更新が新しい信頼境界になる MCP Server / Tool Metadata GitHub Slack Browser Shell DB Cloud API LLM Agent • MCP (Model Context Protocol) は、LLMと外部データ・ツールを接続するプロトコル（ツール定義・実⾏・⽂脈連携） LLMが既存のAPIや社内システムを⼈間のように容易に使いこなすための橋渡し役 = MCPサーバー • MicrosoftはMCPにおいても「Indirect Prompt Injection」と「Tool Poisoning」のリスクを⾔及 • OWASP Top10 LLM06: “Excessive Agency” は、過剰な⾃律性・権限がリスクになると整理

MCP Tool Poisoning / Rug Pull: ⾒えないメタデータが命令になる ツール名・説明・スキーマ・更新プロセスを、ソフトウェアサプライチェーンとして扱う 承認時 更新後 ツール説明: 「顧客DBを検索する」 隠れた命令: 「検索結果を外部へ送る」 • MCPツール※の説明⽂（メタデータ）に悪意ある命令が埋め込まれる「Tool Poisoning」 • ローカルMCPサーバーでは、承認後にMCPツール定義が変更される「Rug Pull」が特に危険 • MCPツール※がデータ流出・権限昇格・クロスツール連携の攻撃⾯になる 対策: ツール定義の署名・固定、変更検知、承認再取得、最⼩権限、出⼒先制御、監査ログ。 ※ MCPツール = MCPサーバーが提供する具体的な機能・実⾏処理

Excessive Agency: Agentに「できること」を与えすぎない AIの判断ミスは、ツール権限と結びついた瞬間に実害へ変わる Observe 読むだけ Recommend 提案する Prepare 下書きする Execute 実⾏する • OWASP Top10 LLM06: Excessive Agencyは、過剰な⾃律性・機能・権限が意図しない結果を⽣むリスクを詳しく整理 • 防御策は、最⼩権限、短命権限、⼈間の承認、計画逸脱検知などを含む 設計パターン: 「AIが実⾏できる」ではなく、「AIがどの条件で、どの範囲に、どのログを残して実⾏できるか」を 先に決める • 短命トークン、最小権限、人間承認、計画逸脱検知を組み合わせる • 高リスク操作は読み取り・提案・下書きまでに制限する

2026年の攻撃動向: モデル蒸留・モデル盗⽤が国家安全保障級の論点に ⾼能⼒モデルの出⼒を⼤量に集め、別モデルへ能⼒移転するリスク Frontier Model ⼤量クエリ / 偽アカウント Student Model l Anthropicは、DeepSeek / Moonshot / MiniMaxによる⼤規模な蒸留キャンペーンを検知したと公表し、16M exchanges / 約24K不正アカウントを挙げた l AnthropicがAlibaba関連オペレーターによる約2万5000の不正アカウントで28.8Mの盗⽤やりとりを報告（Anthropic 側の主張で報道ベース） l OWASP Top10 LLM 2025では、「LLM10 Unbounded Consumption(無制限の消費)」にて”モデル蒸留・モデル盗⽤” を重要リスクとして扱う モデルAPIは「普通のSaaS API」ではなく、能⼒・知財・安全対策を守る境界でもある

実際の悪⽤: AIは攻撃の「全⾃動化」より、⼯程ごとの増幅に使われる 偵察、⽂⾯⽣成、コード補助、詐欺・情報操作、脆弱性探索の⾼速化 Recon 情報収集 Lure ⽂⾯/⾳声 Code スクリプト Exploit 検証 Scale 多⾔語/⼤量化 2026年の様々なベンダーレポートから読み解けること • 攻撃者はAIをWebサイト、SNS、既存マルウェア、偽アカウントなど従来ツールと組み合わせで悪⽤している • 現状は、AIが攻撃者に置き換わるより、作業単価・⾔語障壁を下げ、速度と規模を上げる効果が⾼い • 防御側もなるべく同じ速度で、検知・トリアージ・修正・復旧を速くする必要がある

OWASP Top 10 for LLM Applications 2025 AIアプリの脅威を、開発者が使える⾔葉に落とした実務的リスト LLM01 Prompt Injection LLM02 Sensitive Info Disclosure LLM03 Supply Chain LLM04 Data/Model Poisoning LLM05 Improper Output Handling LLM06 Excessive Agency LLM07 System Prompt Leakage LLM08 Vector/Embedding Weaknesses LLM09 Misinformation LLM10 Unbounded Consumption • ⼤元の OWASP GenAI Security Projectでは、LLM・Agentic AI・⽣成AIアプリのセキュリティリスクと緩和策を整理 • ⾃社のAIアプリ設計レビューでは、まずこの10項⽬をチェックリスト化すると始めやすい

• https://genai.owasp.org/llm-top-10/

参照すべきフレームワーク: OWASPだけでは⾜りない 攻撃技法、リスク管理、開発ライフサイクルを分けて使う MITRE ATLAS AIシステムに対する攻撃者の 戦術・技法・事例を整理 NIST AI RMF AIの信頼性・リスク管理を 組織プロセスへ接続 Google SAIF データ・インフラ・モデル・アプリ の AIライフサイクル全体を扱う 使い分け ü 攻撃⼿法の名前合わせ: MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) ü 経営・ガバナンス・リスク管理: NIST AI RMF (Risk Management Framework) ü AIプロダクト開発・運⽤のセキュリティ設計: Google SAIF (Secure AI Framework) ü 実装レビュー: OWASP Top 10 for LLMをチェックリスト化

AIを実装したシステムを開発する時に気をつけること 通常のアプリケーションセキュリティ + AI固有の信頼境界 ⼊⼒ 信頼境界、サイズ制限、添付ファイル 検査 プロンプト System Promptの管理、テンプレート 化、漏えい前提 モデル/API 利⽤モデル、ログ、データ利⽤条件、 レート制限 出⼒ Output Validation、危険なコード /SQL/URLの扱い 権限 最⼩権限、短命トークン、⼈間承認 監査 プロンプト/ツール/判断/出⼒のトレー ス レビュー観点: AI出⼒を信頼しない。AIに渡す⼊⼒と、AIが呼べるツールを最⼩化する。 重要な決定・外部送信・削除・課⾦・権限変更は、承認とロールバックを設計する。

RAGを安全にする: 便利な検索は、権限と出典があって初めて安全 RAGは「知らないことを知る」仕組みだが、攻撃者の⽂書も拾いうる User 権限付き検索 ユーザー権限で取れる⽂書だ け Retriever 信頼度・出典 回答に引⽤と根拠を付与 Vector DB LLM 命令分離 検索結果は命令ではなくデー タとして扱う Answer 出⼒検証 外部送信・コード実⾏前に検 証 • Prompt InjectionはRAGやFine-tuningで完全には消えないとOWASPは説明 • MicrosoftはSpotlighting、Delimiter / Datamarking、Prompt Shieldsなどを対策例として説明

Agent / Tool を安全にする防御層 安全対策は単発のガードレールではなく、多層防御として組み合わせる 1. Identify Agent専⽤ID 短命トークン 2. Scope 最⼩権限 ネットワーク分離 3. Inspect Prompt Shield※ Tool定義検査 4. Approve ⾼リスク操作は ⼈間承認 5. Observe 全プロンプト 全ツール呼び出しを監査 • MicrosoftのAgentic AI脅威対策は、Prompt Shields、計画逸脱検知、Critic Agent、最⼩権限、⼈間承認 などを組み合わせる • OWASPのExcessive Agency / Prompt Injection / Sensitive Information Disclosureは、Agent実装で 相互に関連する 設計レビューの質問: 「このAgentが侵害されたとき、何が読めて、何が実⾏できて、誰が気づけるか︖」 ※ Prompt Shield: AIガードレール機能の⼀部。悪意のあるプロンプト攻撃を防ぐための「⼊⼒時の防御壁」

AIを使ってシステム開発する時に気をつけること Copilot / Cursor / Claude Code / Codexなどは、開発速度と同時に新しいレビュー観点を増やす Secrets APIキー/顧客データを プロンプトへ⼊れない License OSSライセンスと ⽣成コード由来の確認 Hallucination 意図しないAPI/脆弱な コードの⽣成 Dependency 不審なパッケージ typosquatting Review AI⽣成コードも 通常レビュー対象 Telemetry 学習設定・ログ保存 データ境界 • 社内ルール: 機密データ投⼊可否、保存期間、学習利⽤、⽣成コードのレビュー責任者を明⽂化

AI Secure SDLC: AIは企画段階から脅威モデリングする 後付けのガードレールではなく、ライフサイクル全体で設計する Plan ⽤途・禁⽌事項 リスク許容度 Design 信頼境界 権限設計 Build データ/モデル 依存関係管理 Test Red Team 評価・安全性 Deploy 監視 承認・ログ Operate 逸脱検知 IR・改善 • OWASP Top 10はアプリレベルの実装リスクの洗い出しに使える • MITRE ATLASは攻撃者の戦術・技法を基にテストケースを作る際に使える • NIST AI RMF / Google SAIFは組織リスク管理とAIプロダクトライフサイクル全体の管理に使える 発注・内製のどちらでも、AI機能の構成要素「モデル、データ、プロンプト、RAG、ツール、ログ、権限」を成果物として棚卸しすべき AIセキュリティは、後からガードレールを付ければ終わりではありません

運⽤時の監視とインシデント対応 AIアプリには、従来ログに加えてAI特有の観測点が必要 Prompt Log ユーザー⼊⼒ / システム指 ⽰ Retrieval Log 検索クエリ / 取得⽂書 Tool Log 呼び出し / 引数 / 結果 Decision Log AIの判断 / ⼈間承認 Output Log 回答 / 外部送信内容 • AI悪⽤報告は、AIが従来ツールと組み合わされる現実を⽰している • Prompt Injection / Tool Poisoningは、発⽣をゼロにするより被害範囲を限定し、検知・復旧できる設計 が重要 IRプレイブック例: モデル/APIキー停⽌、RAGインデックス隔離、ツール認可の取り消し、会話ログ保全、影響範囲調査、再評価

これからのAI × セキュリティ AI vs AIの攻防はどこまで進むか ※予想です

AI vs AI の攻防 攻撃も防御も、探索・判断・実⾏・学習のサイクルが短くなる Attack AI Recon → Exploit → Phish → Persist Defense AI Detect → Triage → Patch → Recover l 2026年時点で、GoogleはAIを使ったゼロデイ探索・悪⽤の試みを報告し、Anthropic/OpenAIは防御側アクセス 制御を強めている • 今後は「先に⾒つける」競争から、「先に修正・配布・検証する」競争へ移る l 防御側はAIを使うだけでなく、AIに使わせる権限・情報・ツールを安全に制御できる組織が強くなる → 今年は「AIエージェントガバナンスのデファクトスタンダードイヤー」 キーワード: speed, scale, verification, patching, governance

まとめ: AI時代のセキュリティで押さえる3点 1 AIは適切に利⽤すれば防御も強くする 脆弱性発⾒、SOC、SOAR、修正⽀援はすでに実⽤段階へ 2 AI⾃⾝が攻撃対象になる Prompt Injection、RAG、MCP、モデル蒸留、権限悪⽤を設計で抑え、監視で可視化 3 AI vs AIは単なるスピード競争ではなく、ガバナンス勝負 検証、監査、⼈間承認を経て、修正を確実に本番へ反映し、リスクを解消する⼒が、AI時代のセキュリティの差 • AIアプリの設計レビューは「OWASP Top 10 for LLM」を参考に最低限チェックしよう︕ • AIガバナンスは「NIST AI RMF」、AIプロダクト開発・運⽤ガイドラインは「Google SAIF」を参考に︕ さあ、更なるフォーカスリサーチへ︕ OWASP GenAI Security Project https://genai.owasp.org/ OWASP Top 10 for LLM Applications 2025 https://owasp.org/www-project-top-10-for-large-language-model-applications/ MITRE ATLAS https://atlas.mitre.org/ NIST AI RMF https://www.nist.gov/itl/ai-risk-management-framework Google SAIF https://www.saif.google/secure-ai-framework SANS AI Security Maturity Model™ eBook https://www.sans.org/mlp/2026-ai-security-maturity-model-ebook

• https://genai.owasp.org/
• https://owasp.org/www-project-top-10-for-large-language-model-applications/
• https://atlas.mitre.org/
• https://www.nist.gov/itl/ai-risk-management-framework
• https://www.saif.google/secure-ai-framework
• https://www.sans.org/mlp/2026-ai-security-maturity-model-ebook

参考資料⼀覧 [1] Stanford HAI AI Index 2026 https://hai.stanford.edu/ai-index/2026-ai-index-report [13] Existing ML in security products https://learn.microsoft.com/en-us/defender-endpoint/adv-tech-of-mdav | https://www.paloaltonetworks.jp/network-security/wildfire [2] AI milestone sources https://home.dartmouth.edu/about/artificial-intelligence-ai-coined-dartmouth | [14] Classic AI attack papers https://www.ibm.com/history/deep-blue | https://papers.nips.cc/paper/4824-imagenet-classification-with-deep- https://arxiv.org/abs/1412.6572 | https://arxiv.org/abs/1602.02697 | convolutional-neural-networks | https://arxiv.org/abs/1706.03762 | https://openai.com/index/chatgpt/ https://ieeexplore.ieee.org/document/7958568 | https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting [3] OpenAI Operator / Computer-Using Agent https://openai.com/index/computer-using-agent/ | https://openai.com/index/introducing-operator/ [15] Prompt injection sources https://simonwillison.net/2022/Sep/12/prompt-injection/ | https://genai.owasp.org/llmrisk/llm01-prompt[4] MCP official / Microsoft MCP guidance injection/ | https://www.ncsc.gov.uk/sites/default/files/pdfs/blog/prompt-injection-is-not-sql-injection.pdf https://modelcontextprotocol.io/ | https://developer.microsoft.com/blog/protecting-against-indirect-injectionattacks-mcp [16] Microsoft indirect prompt injection / MCP https://developer.microsoft.com/blog/protecting-against-indirect-injection-attacks-mcp | [5] Google Project Naptime / Big Sleep https://learn.microsoft.com/en-us/security/ai-red-team/agentic-ai-threats https://googleprojectzero.blogspot.com/2024/06/project-naptime.html | https://googleprojectzero.blogspot.com/search/label/Big%20Sleep [17] MCP tool poisoning research https://www.elastic.co/security-labs/mcp-security-notification | https://arxiv.org/abs/2603.22489 [6] DARPA AIxCC https://aicyberchallenge.com/ | https://www.darpa.mil/program/ai-cyber-challenge [18] Anthropic distillation attacks https://www.anthropic.com/news/detecting-preventing-ai-distillation-attacks [7] Anthropic Project Glasswing / Claude Mythos https://www.anthropic.com/project/glasswing | https://www.anthropic.com/glasswing | [19] BI Alibaba distillation report https://www.anthropic.com/research/mythos-preview | https://www.anthropic.com/claude/mythos | https://www.businessinsider.com/anthropic-china-alibaba-exploiting-ai-models-distillation-attack-2026-6 https://www.anthropic.com/news/expanding-project-glasswing [20] OpenAI / Google malicious AI use reports [8] AP News on Mythos testing https://openai.com/index/disrupting-malicious-ai-uses/ | https://blog.google/innovation-and-ai/infrastructurehttps://apnews.com/article/3e8762c0527c4d8ed657cbe48c84a718 and-cloud/google-cloud/gtig-report-ai-cyber-attacks-feb-2026/ | https://cloud.google.com/blog/ja/topics/threatintelligence/cybersecurity-forecast-2026 | https://apnews.com/article/google-ai-cybersecurity-exploitation[9] OpenAI Daybreak / GPT-5.5-Cyber mythos-926aea7f7dc5e0e61adce3273c55c6d4 https://openai.com/index/daybreak-securing-the-world/ | https://openai.com/daybreak/ | https://openai.com/index/gpt-5-5-with-trusted-access-for-cyber/ | https://openai.com/index/patch-the-planet/ [21] OWASP Top 10 for LLM Applications 2025 https://owasp.org/www-project-top-10-for-large-language-model-applications/ | https://genai.owasp.org/llm[10] Microsoft Security Copilot Agents top-10/ https://learn.microsoft.com/ja-jp/copilot/security/agents-overview [22] MITRE ATLAS [11] Google Agentic SOC / Gemini in Security https://atlas.mitre.org/ https://cloud.google.com/security/resources/agentic-soc [23] NIST AI RMF / Google SAIF [12] AI product examples https://www.nist.gov/itl/ai-risk-management-framework | https://www.saif.google/secure-ai-framework

• https://www.paloaltonetworks.jp/network-security/wildfire
• https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting
• https://learn.microsoft.com/en-us/security/ai-red-team/agentic-ai-threats
• https://www.anthropic.com/news/detecting-preventing-ai-distillation-attacks
• https://www.businessinsider.com/anthropic-china-alibaba-exploiting-ai-models-distillation-attack-2026-6
• https://atlas.mitre.org/
• https://hai.stanford.edu/ai-index/2026-ai-index-report
• https://googleprojectzero.blogspot.com/search/label/Big Sleep
• https://www.anthropic.com/news/expanding-project-glasswing
• https://apnews.com/article/3e8762c0527c4d8ed657cbe48c84a718
• https://learn.microsoft.com/ja-jp/copilot/security/agents-overview
• https://cloud.google.com/security/resources/agentic-soc

次回のSR分科会は「2025年10⽉17⽇（⼟）」 次回のテーマは「技能五輪（サイバーセキュリティ職種）」です。 現地会場は「名古屋国際センター研修室＠国際センター駅」で Zoomとのハイブリッド開催です SR分科会へのご参加ありがとうございました。 次回の詳細情報は、Slackで別途ご連絡します。