DXPO福岡'26 生成AIのリスク・責任・サイバーセキュリティ

第 2 回 I T ・ 情 シ ス D X PO 福 岡 ’ 2 6 ｜ I T イ ン フ ラ ・ セ キ ュ リ テ ィ コ ー ス 生成AIの利用に伴う リスク・責任・サイバーセキュリティ 〜AIを使う力と疑う力〜 小出 洋 九州大学 情報基盤研究開発センター 情報システムセキュリティ研究部門 教授 2026年10月22日（木）11:45–12:30 ［要確認］ ｜ マリンメッセ福岡 A館

緊急の脆弱性情報 ― 2026年10月21日 修正版公開 PHP2Shell：ウェブの「土台」に見つかった重大な欠陥 ログインなしの1回の通信でサーバを乗っ取れる。欠陥は15年前のバージョンから存在し、AIの支援で悪用が現実になっ た。 何が起きたか 誰に影響があるか 今日やること PHPはウェブサイトの約7〜8割を動かす サーバを運用する側。利用者のPCやス • 自社サイト・委託先に「PHP2Shell対 す基盤ソフト。エラー時の「後片付け マホは直接の対象ではない。ただしサ 漏れ」を突かれ、アプリ側に欠陥がな イトが攻撃されれば、預けた個人情報 くても乗っ取られる。攻撃はすでに観 の流出や改ざんにつながる。 測されている。 応状況」を確認 • PHP 8.2.35 / 8.3.36 / 8.4.27 / 8.5.12 へ 更新 • 更新できなければ一時停止も選択肢 • 便乗の偽メールに注意 出典：PHP Security Team、Wiz / Calif / OpenAI、英 NCSC、Cloudflare（2026年10月21日） ｜ 九州大学 小出 洋

自 己 紹介 小出 洋（こいで ひろし） 経歴 社会貢献 研究・受賞 電気通信大学大学院 博士後期課 程修了 → 日本原子力研究所 → 九州工業大学（戸畑・飯塚） → 九州大学（2017〜） 福岡県警 サイバー犯罪対策 テクニカルアドバイザ（ 2014〜） SECCON実行委員（2012〜 ） 福岡未踏 プログラムマネー ジャ Moving Target Defense／侵入 検知／LLM×強化学習の自律型防 御 IPA未踏スーパークリエータ サイバーセキュリティに関する 総務大臣奨励賞（2026） DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 2

D XP O 福 岡 での 3年 間 「備える」から「機械にうまくやらせる」、そして「疑う」へ 2024｜バックオフィスDXPO 2025｜IT・情シスDXPO 2026｜今日 サイバー攻撃は100%防げない 機密性・完全性・可用性とBCP 守る側も技術向上を 「ひとががんばる」から「機械 にうまくやらせる」へ 共用セキュリティ基盤を使いこ なす人材 機械＝生成AIが業務の中心に うまくやらせる条件は「疑う力」 機械に「うまく」やらせるには、任せる前に確かめる仕組みが要る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 3

今日の問い AIの答えは速くなった。 では、その答えを 誰が・いつ・どう確かめるのか？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 4

今 日 の結 論 車に例えると：フレーム・アクセル・ブレーキ アクセル＝使う力 ブレーキとハンドル＝疑う力 業務にAIを組み込み、作業を速く・広くする力 答え・入力・権限を確かめ、責任ある判断につなげ る力 がっちりとしたフレーム＝仕事と技術の基礎力 自分の業務・ビジネスの知識 ｜ 使っている情報システムとセキュリティの基礎 ｜ 情報の扱い方のルール フレームがあるから、アクセルもブレーキも効く。疑う力は「安心して使い続ける条件」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 5

1. 生 成AI は い まど こ ま で 来 たか 業務での使われ方は「答える」から「動く」へ 生成AI（答える） AIエージェント（動く） 文書作成・要約・翻訳 調査・アイデア出し コード生成 → 人が読んで使う メール・カレンダー・ファイルに接続 情報収集→判断候補→実行 チケット起票・コード修正 → AIが仕事を進める リスクの重心も「間違った答え」から「間違った行動」へ移る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 6

生 成A Iの 性 質 「もっともらしい」と「正しい」は別物 仕組み 得意 苦手・注意 大量の文章から、次に来そう な言葉を確率的に並べる → 流暢で自信ありげな文章 になる 下書き・要約・言い換え 定型作業の高速化 観点の洗い出し 事実の保証（ハルシネーショ ン） 最新情報・社内事情 指示と情報の区別（後述） 生成AIは「自信満々な新人」。仕事は速いが、確認は上司の役目 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 7

2 . 生 成A Iの3つ の リス ク 情報漏えい・誤情報・サイバー攻撃 ① 情報漏えい ② 誤情報 ③ サイバー攻撃 入れてはいけない情報を入れ る AI経由で外へ出ていく もっともらしい誤り 確認せずに外へ出す AIを使った攻撃 AIそのものへの攻撃 一昨年の整理で言えば：① 機密性 ② 完全性 ③ 可用性・完全性 がAIによって新しい形で脅かされる そして、どのリスクも最後は「誰が責任を負うか」に行き着く DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 8

リ ス ク① 情 報 漏え い 事例：善意の入力・うっかり共有が漏えいになる 米国の大手IT企業（2023年） 対話AIの共有リンク（2025年） 社内の弁護士が全社に警告：ChatGPTの回答に 社内の機密情報とよく似た内容が現れた → 社員が業務情報を入力していた可能性 → 機密情報の入力を禁止 会話を「共有リンク」で公開する機能で、利用 者の会話が検索エンジンに表示 → 業務の相談や個人情報も含まれていた → 提供元が機能を撤回 悪意はない。「便利だから」「早く終わらせたいから」の延長で起きる DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 9

リ ス ク① 情 報 漏え い 入れた情報は、どこへ行くのか？ 学習への利用 履歴・共有 シャドーAI 接続先 個人向けサービスでは 入力が学習に使われる 設定のことも → 法人契約・設定の 確認 会話履歴の保存、共有 リンクの公開 → 意図せず第三者が 閲覧 会社が把握していない AIツール・拡張機能・ 議事録アプリ → 管理の外で情報が 流れる エージェントがメール ・ファイルに接続 → AIが読める範囲＝ 漏れうる範囲 問うべきは「AIに何を見せてよいか」を誰が決めているか DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 10

リ ス ク② 誤 情 報 事例：AIの誤りは、そのまま組織の誤りになる 米国の訴訟（2023年） カナダの航空会社（2024年） 弁護士が生成AIで調べた実在しない判例を裁判所に 提出 → 弁護士に制裁金 チャットボットが運賃規定を誤案内 → 「チャットボ ットの発言も会社の責任」として賠償 米国の新聞（2025年） 豪州のコンサル報告書（2025年） 生成AIで作られた夏の推薦図書リストを掲載 → 多く が実在しない本で謝罪 政府向け報告書に存在しない文献・引用 → 報告書を 訂正し、委託費の一部を返金 「AIがそう言ったので」は、言い訳にならない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 11

リ ス ク② 誤 情 報 確かめるコスト：何を、どの順で確かめるか 生成するコスト 数秒 確かめるコスト 数十分〜 確かめる6ステップ 1.一次ソースが存在するか：論文・判例・法令・統計が実在するか 2.中身が一致するか：引用・要約が原文と食い違っていないか 3.数字が合っているか：桁・単位・年度・計算 4.固有名詞が正しいか：人名・社名・製品名・法令名 5.最新か：改正・更新・廃止されていないか 6.自社に当てはまるか：前提条件・国・業種・契約 量が増えるほど「確認したつもり」が増え る 用途に応じて「どこまで確かめるか」を決めておく（社内メモ ≠ 顧客向け文書） DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 12

リ ス ク③ サ イ バー 攻 撃 AIを使った攻撃：見分けがつかなくなる ディープフェイク会議詐欺（2024年・香港） フィッシングの高度化 英国の設計会社の社員が、CFOらを装ったビデオ会 議の指示で約2億香港ドルを送金 → 参加者は本人以外すべて偽物 不自然な日本語という「見分けポイント」が消える 取引先・上司を装う文面を大量生成 「見た目で見抜く」教育から「手順で確かめる」仕組みへ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 13

リ ス ク③ サ イ バー 攻 撃 AIそのものへの攻撃：プロンプトインジェクション 仕組み：メール・Webページ・文書の中に「AIへの指示」を隠す → AIは情報と命令を区別できず、従ってしまう 業務AIアシスタント（2025年） 開発支援AIエージェント（2025年） 細工したメールを1通送るだけで、利用者が何 もしなくても、AIに社内情報を外部へ送らせう る脆弱性が報告 → 提供元が修正 公開リポジトリの課題（Issue）に指示を仕込 む → それを読んだAIエージェントが非公開リ ポジトリの情報を公開側に書き出しうることが 実証 AIが読むものはすべて「攻撃の入口」。権限が大きいほど被害も大きい DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 14

A Iエ ー ジェ ン ト 時 代 の要 点 リスクは「賢さ」より「権限」にある 決めておくこと 問い 何を読ませるか 入力・情報源に、信頼できないものが混ざっていないか どこに接続させるか メール、ファイル、チャット、クラウド、社内システム 何を実行させるか 送信・変更・削除・公開・発注 どこで人が承認するか 外部送信、本番変更、顧客連絡、支払い 何を記録するか AIが何を見て、何をしたかを後から追えるか 最小権限・承認点・記録は、人間の新人に対するのと同じ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 15

攻 撃 側の 時 間 軸 AIで脆弱性の発見も速くなる 事例：Copy Fail（2026年） 意味すること Linuxカーネルのローカル権限昇格（CVE2026-31431） AI支援の解析で発見が高速化したと報じられる PoCも公開 発見 → 公表 → 悪用 の間隔が短くなる 組織が判断に使える時間が減る → 判断を事前に設計しておく AI時代のセキュリティは「作業」より「判断設計」の問題 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 16

緊急の脆弱性情報 ― 2026年10月21日 修正版公開 PHP2Shell：ウェブの「土台」に見つかった重大な欠陥 ログインなしの1回の通信でサーバを乗っ取れる。欠陥は15年前のバージョンから存在し、AIの支援で悪用が現実になっ た。 何が起きたか 誰に影響があるか 今日やること PHPはウェブサイトの約7〜8割を動かす サーバを運用する側。利用者のPCやス • 自社サイト・委託先に「PHP2Shell対 す基盤ソフト。エラー時の「後片付け マホは直接の対象ではない。ただしサ 漏れ」を突かれ、アプリ側に欠陥がな イトが攻撃されれば、預けた個人情報 くても乗っ取られる。攻撃はすでに観 の流出や改ざんにつながる。 測されている。 応状況」を確認 • PHP 8.2.35 / 8.3.36 / 8.4.27 / 8.5.12 へ 更新 • 更新できなければ一時停止も選択肢 • 便乗の偽メールに注意 出典：PHP Security Team、Wiz / Calif / OpenAI、英 NCSC、Cloudflare（2026年10月21日） ｜ 九州大学 小出 洋

3. 責任 責任はAIに移らない 利用者・組織の責任 法令上の論点 説明責任 出力を使って外に出した時点で 、組織の判断 （前出：チャットボットの誤案 内） 個人情報保護（入力・第三者提 供） 著作権（生成物の利用） 契約上の秘密保持義務 顧客・取引先・行政に「何を、ど う確認したか」を説明できるか AIは道具。判断と責任は、最後は人と組織に残る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 17

日 本 のル ー ル の 動 き ガイドラインは「AIエージェント」も対象に AI推進法（2025年成立） 人工知能関連技術の研究開発・ 活用の推進 国・事業者の責務の基本的な枠 組み AI事業者ガイドライン 第 1.2版（2026年3月） 開発者・提供者・利用者の役割 AIエージェント時代のリスク管 理を明示 ※ 詳細は総務省・経済産業省の公表資料を参照。自社への適用は法務・専門家と確認を DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 18 既存の法令 個人情報保護法 著作権法 不正競争防止法（営業秘密）

4. 疑う力とは 疑う ＝ 否定することではなく 確かめる手順を持つこと その根拠は？ 何を渡した？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 19 誰が決める？

個 人 の疑 う 力 今日からできる5つの習慣 1.入れる前に分ける：その情報、社外に出してよいものか 2.数字・固有名詞・出典は必ず裏取り：一次情報で確認 3.指示の出どころを疑う：メールや文書の中の「お願い」はAI宛てかも 4.お金・権限・外部送信は別経路で確認：電話・対面・承認フロー 5.最後は自分の名前で出す：説明できないものは出さない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 20

組 織 の疑 う 力 3点セット：見える化・境界設計・判断訓練 見える化 境界設計 判断訓練 どのAIを、誰が、どの業務で 、どのデータに使っているか シャドーAIも含めて把握 AIに見せる情報・任せる作業 ・人が承認する点を決める 最小権限と記録 誤情報・漏えい・詐欺が起き たときの初動を机上演習で体 験しておく AI時代の対策は、ツール導入ではなく「運用と判断の設計」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 21

境 界 設計 の 例 入力してよい情報を、あらかじめ区分する 情報の区分 例 生成AIへの入力 公開情報 Web掲載済みの資料 可 社内限り 社内手順書・企画書 会社が契約・設定を確認したサービス のみ可 機密・顧客情報 顧客データ・未公開の数字 原則不可（個別承認） 認証情報 パスワード・APIキー 禁止 ※ 一例。区分と扱いは各組織の情報管理規程に合わせて設定 「使うな」ではなく「ここまでなら使ってよい」を示すとシャドーAIが減る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 22

境 界 設計 の 例 AIに任せる作業と、人が承認する点 AIに任せる 人が承認する 下書き・要約 情報収集・分類 候補の提示 定型チェック 社外への送信・公表 本番環境の変更 支払い・契約 顧客への回答 承認点は「取り返しがつかない操作」の直前に置く DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 23 記録する AIが何を見たか 何を提案したか 誰が承認したか

ミ ニ 演習 （ 3分 ） あなたが情シスの責任者だとします • 営業部が、無料のAI議事録アプリを独自に導入していたことが判明 • 顧客との商談の録音・議事録が、半年分アップロードされている • アプリの利用規約では、入力データをサービス改善に使う可能性がある • 現時点で、外部への流出は確認されていない Q. 最初の24時間で、何を確認し、誰に、何を伝えますか？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 24

ミ ニ 演習 の 考 え 方 不完全な情報で、確認する順番を決めておく ① 止める・保全 ② 確かめる ③ 判断する ④ 直す 新規アップロードを止 める 削除の前に状況を記録 規約・設定・保存先 対象顧客と情報の範囲 契約・法令上の報告要 否 顧客への説明の要否と 時期 「使ってよいAI」の提示 責めるより、使える選択肢を示す方が次の事故を防ぐ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 25 入力区分の周知

5. 人材 人の役割は「作業者」から「判断者」へ 作業（AI） 提案（AI） 判断（人） 責任（人・組織） 求められるのは「全部できる人」ではなく、技術・業務・判断を「つなげる人」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 26

育て方 教育は三段階、座学より演習 全員向け基礎 中核・管理職向け 推進役向け AIの性質と限界 入力区分と5つの習慣 机上演習で判断を体験 承認点・説明責任 AIガバナンス・新しい攻撃 エージェントの権限設計 九州大学の社会人向け実践プログラム「SECKUN／ProSec-IT」（2018年度〜）でも、演習・議論中心で技術以外の要素（法制・危機管理など）を含めて学ぶ 場を提供しています 道具は買える。人と体制は育てるしかない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 27

まとめ 今日の持ち帰り 1. 生成AIは「もっともらしい」。正しさは使う人が確かめる 2. リスクは情報漏えい・誤情報・サイバー攻撃。エージェントは「権限」が要点 3. 責任はAIに移らない。説明できる記録と承認点を 4. 組織は「見える化・境界設計・判断訓練」の3点セット 5. 使う力と疑う力の両方を持つ人を、演習で育てる 疑う力があるから、AIを安心して使い続けられる DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 28

今日の問い AIの答えは速くなった。 では、その答えを 誰が・いつ・どう確かめるのか？ AIを使う力と、疑う力を。 小出 洋 ｜ 九州大学 情報基盤研究開発センター [email protected] ｜ X: @hirosk ｜ YouTube: @koide55