Security Days 2026 Fall - 生成AIが変えるサイバー犯罪, 認知バイアスから読む人間の脆弱性

生成AIが変えるサイバー犯罪 認知バイアス から読む 人間の 2026.10.21 Security Days 2026 Fall Tokyo フィッシング対策協議会 副運営委員⻑ 『実践サイバーセキュリティ⼊⾨講座』著者 林 憲明 @v_avenger

AIによる詐欺行為の効率化と拡大との戦い 唯⼀の 実在⼈物 出典：The Government of the Hong Kong Special Administrative Region, LCQ9: Combating frauds involving deepfake, 2024/6/26, https://www.info.gov.hk/gia/general/202406/26/P 2024062600192.htm 出典：⽇本経済新聞, [FT]テレビ会議、AI技術でなり すまし 英企業40億円被害, 2024/6/10, https://www.nikkei.com/article/DGXZQOCB05646 0V00C24A6000000/

• https://www.info.gov.hk/gia/general/202406/26/P
• https://www.nikkei.com/article/DGXZQOCB05646

AIによる詐欺行為の効率化と拡大との戦い メール指⽰に従い ビデオ会議 参加 複数の連絡⼿段を使⽤（メール/WhatsApp） 唯⼀の 実在⼈物 送⾦指⽰に従わなかったことを叱責 ビデオ会議を⼀⽅的に中断 出典：The Government of the Hong Kong Special Administrative Region, LCQ9: Combating frauds involving deepfake, 2024/6/26, https://www.info.gov.hk/gia/general/202406/26/P 2024062600192.htm 出典：⽇本経済新聞, [FT]テレビ会議、AI技術でなり すまし 英企業40億円被害, 2024/6/10, https://www.nikkei.com/article/DGXZQOCB05646 0V00C24A6000000/ ⾯識のあるCFO と数⼈の同僚 実際はすべてAI

• https://www.info.gov.hk/gia/general/202406/26/P
• https://www.nikkei.com/article/DGXZQOCB05646

AIによる詐欺行為の効率化と拡大との戦い メール指⽰に従い ビデオ会議 参加 複数の連絡⼿段を使⽤（メール/WhatsApp） 唯⼀の 実在⼈物 送⾦指⽰に従わなかったことを叱責 ビデオ会議を⼀⽅的に中断 出典：The Government of the Hong Kong Special Administrative Region, LCQ9: Combating frauds involving deepfake, 2024/6/26, https://www.info.gov.hk/gia/general/202406/26/P 2024062600192.htm 出典：⽇本経済新聞, [FT]テレビ会議、AI技術でなり すまし 英企業40億円被害, 2024/6/10, https://www.nikkei.com/article/DGXZQOCB05646 0V00C24A6000000/ ⾯識のあるCFO と数⼈の同僚 実際はすべてAI

• https://www.info.gov.hk/gia/general/202406/26/P
• https://www.nikkei.com/article/DGXZQOCB05646

AIによる詐欺行為の効率化と拡大との戦い メール指⽰に従い ビデオ会議 参加 複数の連絡⼿段を使⽤（メール/WhatsApp） 唯⼀の 5つの銀行口座へ、15回の送金 実在⼈物 送⾦指⽰に従わなかったことを叱責 ビデオ会議を⼀⽅的に中断 ⾯識のあるCFO と数⼈の同僚 実際はすべてAI 被害総額 2億 HKD 出典：The Government of the Hong Kong Special Administrative Region, LCQ9: Combating frauds involving deepfake, 2024/6/26, https://www.info.gov.hk/gia/general/202406/26/P 2024062600192.htm 出典：⽇本経済新聞, [FT]テレビ会議、AI技術でなり すまし 英企業40億円被害, 2024/6/10, https://www.nikkei.com/article/DGXZQOCB05646 0V00C24A6000000/

• https://www.info.gov.hk/gia/general/202406/26/P
• https://www.nikkei.com/article/DGXZQOCB05646

注意深い「個人」に頼る 立ち止まれる「組織」を作る 確認担当 (別の部署・役割) 送金 > 人を責めない ▼ 送金 > 停止線 仕組みを 変える 別経路で 確認 “気を付けて”だけでは止まらない ©2026 Noriaki Hayashi 承認担当 (別の部署・役割) もう一人が 承認 記録して 実行 「止まれる手順」が被害を防ぐ

犯罪の 民主化 ©2026 Noriaki Hayashi

自然言語だけでサイバー「重武装」が可能な時代 懸念はサイバー凶器のみならず犯罪プラットフォームの進化 悪意を抱いた者 ⽣成AIへの指⽰ 犯⾏⽀援ツール 深いコーディング知識 がなくても⽀援を得ら れる ⾃然⾔語で、作成や改 修を⽀援させる 安価に脅威的な速度 で”セミオーダー”の 凶器を量産 重武装した犯罪者 少ない技術⼒でも、 犯⾏⼿段を拡張しや すくなる 技術的な参⼊障壁は⼤きく低下―あとは「悪意」だけ ©2026 Noriaki Hayashi

人間が抗うことのできない「処理スピード」 ⼈間の処理速度 AIの処理速度 AIエージェントの協調動作によって産み出される成果 ©2026 Noriaki Hayashi

「数の暴力」が到来：脅威の前提が変わる 新⼿法だけでなく、既存⼿法の量・速度・個別化が変わる ©2026 Noriaki Hayashi

「嘘つきの配当」崩壊する社会の信頼 真の恐怖は本物さえもフェイクだと疑われるようになること 何が真実で、 何が偽りなのか？ フェイクが 氾濫 ©2026 Noriaki Hayashi フェイクが 逃げ⼝上として 通⽤する社会に 社会の信頼基盤が 根底から崩壊

どこで 戦うのか？ ©2026 Noriaki Hayashi

AIには模倣できない「立ち止まる」という行為 「待てよ、これは本当に正しいのか？」と⾃問⾃答する⼒ AI ⼈間 プログラムされ た確率統計に 従って、最も 「らしい」答え を⾼速で出⼒し 続ける機械に過 ぎない 違和感を 察知する 深く 考える ⼀呼吸置く 倫理と意思で 判断する 防衛の最終ラインは、私たちの「脳」にある ©2026 Noriaki Hayashi

なぜ、プロでも騙されるのか？ • 経験や知識があっても、判断は 状況に左右される。 • 普段役⽴つ「速い判断」が、犯 罪者に利⽤されることがある • 個⼈の不注意だけでなく、判断 を取り巻く条件を⾒る。 ©2026 Noriaki Hayashi

脳は二つのモードで動く 判断を「直感（SYSTEM 1）」と「熟慮（SYSTEM 2）」の⼆つの思考モードで理解する FAST 直感的な思考 • • • ⽇常の素早い処理に不可⽋ 直ぐに感じ、連想が得意 バイアスがある 出典：Daniel Kahneman, Thinking, Fast and Slow （2011） ©2026 Noriaki Hayashi SLOW 熟慮的な思考 組み合わせ て働く • • • • 重要な判断で意識的に使う 考えるには注意⼒が必要 論理的・統計的思考が得意 ⽴ち⽌まって検証する

チャルディーニの7つの影響力原則 原理 詳細 返報性 ⼀貫性 社会的証明 好意 権威 希少性 連帯 ⼈から親切や贈り物などを受け取ると「お返し」をする特性 ©2026 Noriaki Hayashi ⾃分のとった⾏動が、その後の⾏動に⼀定の拘束をもたらす特性 他⼈の考えにより、⾃分が正しいかどうか判断する特性 好意を持っている⼈からの依頼は、承諾する特性 組織の上司など、権威を持つ者の命令に従う特性 ⼊⼿し難いものほど貴重に思え、⼊⼿したくなる特性 ⾃分と共通点を持つ⼈や、所属するグループの意⾒に影響される特性

AI詐欺師が使う、3つのレバー ⼈を「考えさせずに」動かす⼼理的な操作 権威 緊急性 確証バイアス “同僚もいる。 やはり本物だ” “CFOからの 極秘案件です” “今すぐ 送⾦してください” “本物だと思える 情報だけを拾う” 本⼈確認を⾶ばす 焦って動く 反証を⾒ない ©2026 Noriaki Hayashi

15秒の確認手順の点検 送⾦前に、誰へ、どの連絡先で確認しますか？ メール ビデオ会議 招待状 From: CFO（最⾼財務責任者） 件名: 至急対応 出席者: CFOと関係者 ⼝座情報.pdf 極秘案件です。 本⽇中に添付ファイルの⼝座に⼊⾦してください。 送金する OR 立ち止まる ⾃分の職場に、具体的な確認⼿順はあるのか？ ©2026 Noriaki Hayashi

人の関所で 止める ©2026 Noriaki Hayashi

NUDGES理論の活用 規則などで強制をせずに、⾃然と合理的な選択肢を選ばせる。 得られる結果の可視化 利益やメリット （iNcentive） （Understand mappings） ⾏動結果の評価 （Give feedback） 先回りしてエラーの対策 （Expect error） ©2026 Noriaki Hayashi 推奨する選択肢を初期設定に （Defaults） シンプルな選択肢 （Structure complex choices）

導く：安全な選択を初期設定にする 規則などで強制をせずに、⾃然と合理的な選択肢を選ばせる。 利⽤者に危険な判断をさせない ©2026 Noriaki Hayashi 直感的に正しい⾏動へ導くUI

3秒止まる。3点で確かめる。 「急ぎ」「極秘」「上司の指⽰」ほど⼿順を増やす。 送金・承認・共有 個人の3秒 感情 別経路で確認 焦りに気付く 事前登録済みの連絡先へ 呼吸 ⼀呼吸置く 文脈 いつもと⽐べる ©2026 Noriaki Hayashi 組織の3点 STOP 3秒 焦ったら、すぐに操作しない もう一人が承認 記録して実行

明日、自組織で確認する6項目 ⼈の注意⼒だけに頼らない仕組みはあるか。⼼理的安全性の確保 プロセス 技術 文化 高額・高リスクの 依頼を、別経路で 確認できるか 異常な送金・変更・ 共有を、早期に 検知できるか 「踏んだかも」を、 迷わず報告できるか 送金先変更や 権限付与に、独立した 二者承認があるか 侵害されても 被害を限定できるか 訓練を改善に 使えているか 最⼩権限・ 送⾦上限・保留 個⼈評価ではなく 設計改善 職務分掌・例外⼿順 明確な報告先/責めずに初動 騙されても、⽴ち⽌まり、相談し、被害を⽌める、信頼設計 ©2026 Noriaki Hayashi

補足資料 ©2026 Noriaki Hayashi

『実践サイバーセキュリティ入門講座 現場に残された痕跡からハッカーの攻撃を暴け』 ITエンジニア本大賞 2026 技術書部門 ベスト10 入賞！ ¥3,080 税込 376P ／ ISBN 978-4815634254 Kindle版あります。 SBクリエイティブ株式会社