エージェントAシステムの課題と展望

エージェントAIシステムの課題と展望 B-frontier 研究所 高橋 浩

目的 • エージェントAI(or AIエージェント)が話題になっている。 • これはLLMの登場によって従来型エージェントシステムがレベル アップし、高度なAI活用によるマルチエージェントAIシステムを展 望できるようになったからと考えられる。 • しかし、従来型エージェントシステムとの違いや新たなリスクなど については必ずしも充分に認識されていない。 • そこで、下記ニーズがあると考えられる。 ①エージェントAIシステムの包括的解説 ②マルチエージェントAIシステムのリスクの包括的解説 • このような情報の理解は、最近のエージェントAI(or AIエージェン ト)ブームへの対応だけでなく今後のAI時代への展望にも有用である。 • 本稿は、このような認識の元に、① ②に該当する論文を厳選し、こ れら論文の知見を紹介することで、今後への対応と展望を考えるこ とを目的とする。 2

本資料のポイント（＋目次） 1. マルチエージェントシステムを含む包括的解説が求めら １ れている エージェントAIシステムの包括的解説 従来型エージェントシステムとの相違 エージェントAIシステムの中核的特性 エージェントAIシステムのアプリケーション、など 前半 1. 特にマルチエージェントシステムのリスクの包括的解説 ２ が求められている マルチエージェントAIシステムのリ スクの包括的解説 後半 マルチエージェントAIシステムのリスク ケーススタディと今後への示唆、など 3

前半 エージェントAIシステムの包括的解説 Agentic AI: Autonomous Intelligence for Complex Goals – A Comprehensive Survey by Deepak Acharya et al. エージェントAI：複雑な目標達成のための自律型知能 - 包括的調査 Deepak Acharya IEEE Access , 2025 Multi-Agent Risks from Advanced AI by Lewis Hammond et al. 高度なAIによるマルチエージェントリスク arXiv preprint arXiv:2502.14143 , 2025 Lewis Hammond 4

５つの質問 1. 従来型エージェントシステムとエージェントAIシステ ムの主な違いは何ですか? 2. エージェントAIシステムの中核的特性は何ですか? 3. エージェントAIシステムの社会への統合はどのように 行われますか？ 4. エージェントAIシステムの開発はどのように行われま すか? 5. エージェントAIシステムの代表的応用にはどのような ものがありますか? 5

５つの質問 質問5：エージェントAIシステムの代表的 アプリケーションは何か？ 産業応用 人間とAIの協働 適応型ソフトウェ アシステム それらに基づく開発 方法論の具体化 高度な管理 vs 相互に作用し合って適応 新たな応用分野 代表的アプリ ケーション 質問4：エージントAIシステムの開発は どのように行われるか? システム開発の 構成要素明確化 質問１：従来型エージェントシステムとエージェントAI システムの違いは何か? 構成要素の分類 と内訳抽出 従来型エージェン トシステムとエー ジェントAIシステ ムの違い エージェント AIシステム エージェント AIシステムの 開発 エージェントAIシス テムの中核的特性 人間介入の高 vs 低 適応性の小 vs 大 質問2：エージェントAIシステ ムの中核的特性は何か? 自律性と目標の複雑性 エージェントAIシス テムの社会への統合 多様な応用分 野への展開 固定タイプの自動化 vs 目標指向の自律的処理 環境と運用の複雑性 独立した意思決定と適応性 質問3：エージェントAIシステムの社会への統合はどのようにおこなわれるか？ 柔軟性の欠如 vs 自律性 単純な目標 vs 複雑な目標 独立性、目標主導性、コンテキスト 認識型行動が必要な分野へ適応

質問１：従来型エージェントシステムとエージェントAIシステムの違いは何か? エージェントAIシステムの新たな役割 • 「エージェント」はラテン語の「agere」に由来し、「行 う」「行動する」を意味する。優れた思考力はあっても効果 的行動が出来ない生成AIと異なり、何らかの行動を伴う。 • 即ち、エージェントAIシステムは「目標を理解し、主導権を 握り、永続的な目標を維持し、現実世界からのフィードバッ クに基づいて戦略を調整できるシステム」と言える。 • この目的達成のために、エージェントAIシステムは、洞察を 生み出すだけでなく、目的を達成する行動を起こす。 7

エージェントAIシステムの新たな役割（続） • 実際、AI自動化の余地がある分野では、複雑で動的なプロセス を自律的に処理するシステムへの需要が高まっている。 • 例：自律型デバイス、協働ロボット、インタラクティブな意思決定 支援が求められる金融、医療、など • エージェントAIシステムはこれら種々の形態の知能と して機能し、合理的能力を持つことが推奨され、様々 なシナリオで目標達成に向けて推論等で対応する。 • 更に、エージェントAIシステムは、純粋に反応的で限 定ルールに従って動作する従来型エージェントシステ ムとは決定的に異なるので、将来のAGIへの通過点とし ての役割も担っている。 8

従来型エージェントシステムとエージェントAIシステムの比較 エージェントAIシステム 従来型エージェントシステム 深刻なリスクにさらされない高 度に管理された環境への適応 AIエージェントが相互に作用し適応す ることでマルチエージェントシステム を形成するような環境への適応 既に実現されているもの 既に実現されているもの • 高度に管理されたルールベースのシ ステム • リアルタイムデータ、過去のトレンドに基 づいて、予期せぬ変化に戦略的かつ動的に 調整するシステム • • 自動倉庫システム 金融取引システム、など • • 戦闘中の指揮官への行動推奨システム 数百万ドル規模の資産の取引システム、他 近い将来実現が想定されているもの • 複雑なタスクを委任できるインテリジェン トパーソナルアシスタント、など 9

従来型エージェントシステムとエージェントAIシステムの比較(続) • エージェントAIシステムは実世界の状況に基づいて適応す るだけでなく、複雑で長期的な目標に合わせて最適化する。 特徴 従来型エージェントシステム エージェントAIシステム 主な目的 固定タスクの自動化 目標指向の自律的処理 人間の介入 高(定義済みパラメータに依存） 低（自律的適応性） 適応性 限定的 高い 環境相互作用 静的または限定的 動的かつ環境適応的 学習タイプ 教師あり学習 強化学習と自己教師あり学習 および RAG、メモリーを含むハイブリット アプリケーション 静的システム 複雑で動的あるいは多目的システム 10

質問２：エージェントAIシステムの中核的特性は何か? 中核的特性 ①自律性と目標の複雑性 • 必要な複数のタスクを処理でき、一つの基本目標から複数の複雑な最終目標 への移行が可能なこと • そのため一定の自己統括機能の実装が必要になる。 ②環境と運用の複雑性 • 多様で変化する現実世界の状況であらゆる変動性を統合し、動作する能力を 保有していること • そのため環境との相互作用、その場でのデータ処理、状況コンテキストの理 解手段の実装が必要になる。 ③独立した意思決定と適応性 • 現在の状況を把握し、動作中に意思決定を行うため時間の経過とともに学習 し動作を改善する能力保有していること • そのため繰り返しフィードバックを受け取り、動作を改善する強化学習の実 装が必要になる。 11

エージェントAIシステムの技術的特性 • エージェントAIシステムは複雑で進化するタスクを自律的に管理するた めに必要な構造的、機能的能力を備えている。 • 強化学習、目標指向アーキテクチャ、適応制御メカニズムを組合わせる ことで、このような能力を実現する。 エージェントAI基盤 目標指向アーキテ クチャ 強化学習 適応制御メカニズム 試行錯誤 モジュラー構造 相互作用を通した学習 複雑な目標の管理 環境適応 最適なパフォーマンス達 成のために変化に適応 12

質問3：エージェントAIシステムの社会への統合は？ エージェント AI の社会への統合プロセス • エージェントAIシステムの社会への統合は複数プロセスで構成される。 • これには、データ収集と前処理、エージェントAIシステムのコア機能、 医療、金融、製造、顧客支援など、様々な業界への展開が含まれる。 • 統合プロセスの概要を示す。 入力層: データ 収集と前処理 記憶メカニズ ムの統合 検索拡張の 作成 推論と計画 ﾍﾙｽｹｱ 金融 製造業 顧客支援 13

従来型エージェントシステムとエージェントAIシステムの統合プロセスの比較 • 従来型エージェントシステムは構造化されたタスクには優れているが、複雑な環境への 適応と目標指向に必要な柔軟性が欠けている。 • エージェントAIシステムは自律性を維持し、絶えず変化する状況で機能し、複数の目標 に対応する能力を保有する。 • エージェントAIシステムは独自の能力を保有し、独立性、目標主導性、コンテキスト認識型 行動が不可欠な分野において変革的アプローチとして位置付けられる。 • しかし、まだ充分には構造化されておらず、広範なコンテキストで定義可能な複雑な目 標に取組めるように発展させる必要がある。 特徴 従来型エージェントシステム エージェントAIシステム 自律性 制限があり、多くの場合人間の監督が必要で ある。 高い。時間の経過とともに独立して動作するこ とが可能である。 目標の複雑さ 単一または限定的な目標向け 複数の複雑で動的な目標に対応できる。 環境適応性 低い。静的な環境に適合している。 高い。ダイナミックな環境向けに適合している。 意思決定 ルールベースの定義済みアクションである。 文脈的、自律的な推論に基づく決定ができる。 学習アプローチ 主に教師あり学習またはルールベース学習 強化学習と自己教師学習の組合せを使用する。 14

質問4：エージェントAIシステムの開発はどのようにして行けば良いか？ エージェントAIシステム開発の構成要素 A:アーキテクチャアプローチ • アーキテクチャはシステムが複雑な目標を管理し動的環境に適応できるよう にモジュール構造および階層的構造になる。 マルチエージェントシステム、階層的強化学習、目標志向モジュラーアーキテクチャ B:学習パラダイム • エージェントAIシステムはそれぞれが異なる種類のタスクと目標に適した複 数の学習パラダイムに依存する。 教師あり学習、教師なし学習、強化学習 C:訓練と評価の手法 • 環境との相互作用から学習できることが必要である。 シュミュレーションベースの訓練、カリキュラム学習、マルチタスク学習 D:計算ツールとフレームワーク • エージェントAIシステム開発には、それをサポートする専用のツールとフレ イムワークが必要である。 ツールの例：OpenAI Gym, Unity ML-Agents, TensorFlow Agents, Rasa 15

エージェントAIシステム開発方法論の概要 • 一覧を下記に示す。 A: 構成要素分類 内訳一覧 B: C: D: 16

開発方法論とアプリケーション • 構成要素を組合わせることで複雑な環境における自律システム の適応性、効率性、機能性を向上させる。 • 主要な方法論、各分野におけるアプリケーションおよび関連す る倫理的課題を示す。 主要な方法論、アプリケーション、倫理的課題の要約 方法論 アプリケーション 倫理的課題 記憶のメカニズム • • 患者のモニタリング 適応型医療システム データプライバシーとセキュリ ティに関する懸念 検索拡張生成(RAG) • • リアルタイムの知識検索 適応型チャットボット 取得したデータに不正確さや偏 りが生じるリスク 強化学習 • • 自動運転 スマートナビゲーションシステム 目標の不一致、安全上のリスク、 過剰適合 命令の微調整 • • 顧客サービスの自動化 複数ステップのタスク実行 意思決定プロセスの透明性の欠 如 17

質問５：エージェントAIシステムの応用にはどのようなものがあるか? エージェントAIシステムの応用 • 多様な分野の分類例を示す。 A.産業応用 • エージェントAIシステムは医療、金融、教育、製造業など、複数の業界に革 命をもたらす可能性がある。 B.人間とAIの協働 • エージェントAIシステムは協働および人間の生産性の範囲を拡大できる (例：法律、研究などの知識分野、クリエイティブ業界、カスタミーサービ ス、など)。 C.適応型ソフトウェアシステム • 一般的な制限なしに機能を変更あるいは環境の変化に応じて機能を動的に修 正できる(例：スマートハウス、など)。 D.新たな応用分野 • 継続的な対応を求められるような特定の分野に対応できる(例：個別化医療、 ユーザーの活動に基づいてカスタマイズされたマーケティング、など）。 18

分野横断的なエージェントAIアプリケーション • さまざまな分野におけるエージェントAIの応用例を示す。 領域 アプリケーション ユースケースの例 自律型患者モニタリングと早期警告システム 慢性疾患管理や高齢者ケア アルゴリズム取引と詐欺検出 リアルタイムの市場分析やパーソナラ イズされた金融アドバイス インテリジェントな個別指導とパーソナライ ズされた学習パス 適応型学習プラットフォームや学習自 動評価 予知保全と品質管理 機械の健康状態監視や生産プロセスの 最適化 人間とAI コラボレーション ドキュメントの要約と創造 的な共同設計 法的文書のレビューや共同設計ツール の作成 適応型ソフトウェ アシステム リアルタイム推奨エンジンと適応型サイバー セキュリティ パーソナライズされた推奨事項の生成 や自動的な脅威の検出 新規分野 パーソナライズされたヘルスケアと適応型コ ンテンツ生成 リアルタイムの健康モニタリングやカ スタマイズされたマーケティングキャ ンペーンの作成/実施 ヘルスケア 金融 教育 製造業 19

エージェントAIシステムの包括的解説（まとめ） 1. 新たなパラダイムであるエージェントAIシステムは、人間の介入を最小 限に抑えながら複雑な目標を追求できるように設計される。 2. これを従来型エージェントシステムと比較すると、新たなシステムは適 応性、高度な意思決定能力、自律性を兼ね備え、変化する環境に動的に 対応できる点で画期的な進歩と見做せる。 3. このような新システムの中核的特性、統合プロセス、開発方法論、典型 的アプリケーションについて概説した。 4. このような展開が可能になった根本原因はルールベースに代わってLLM 利用により従来型エージェントシステムをレベルアップしたことにある。 5. しかし、LLMベース由来のハルシネーション始め倫理面の課題が解決さ れている訳ではない。 6. 加えて、エージェントAIシステムではマルチエージェントシステム由来 の新たな複雑なリスクが発生する この点については後半 後半 で扱う。 20

後半 エージェントAIシステムのリスクの包括的解説 エージェントAI(or AIエージェント)トレンドについてのIT経営者の見解例 • 海外ではSalesforce CEO, Meta CEO等の見解が知られているが、日本で もソフトバンクの孫正義会長が最近下記見解を公表している。 「年内に10億個のAIエージェントを整備」 Youtube https://www.youtube.com/watch?v=PgbBZ0nwM7Q 日経新聞 2025.7.16 「10億のAIエージェント」 孫会長のAIエージェントは下記２分野を含んでいる。 エージェントAI（or エージェント型AI） AIエージェント では特に右分 野(Agentic AI)に 焦点を当てる この分野では通常、マ ルチエージェントシス テムになる 21

• https://www.youtube.com/watch?v=PgbBZ0nwM7Q

後半 の検討の進め方 • 高度なエージェントAIシステムの急速な発展と展開は前例のな い複雑さを持つマルチエージェントシステムを生み出す。 • このようなシステムは、従来大規模には存在して来なかったの で、これまでに無い、あるいは充分に調査されて来なかったリ スクをもたらす。 • そこで、今後予想される新たなリスクに対して対応するための 事前の準備が重要になる。 • このような認識は世界的に存在しており、マルチエージェント システムのリスク構造を明らかにする機関が存在している(例： Cooperative AI Foundation: CAIF)。 • 後半 では、CAIFメンバーが中心になって多様なスキル保有者 と共にまとめた最新の論文を紹介する。 22

Multi-Agent Risks from Advanced AI arXiv preprint arXiv:2502.14143, 2025 高度なAIによるマルチエージェントリスク Lewis Hammond1,2, Alan Chan3,4, Jesse Clifton5,1, Jason HoelscherObermaier6, Akbir Khan7,8, Euan McLean†, Chandler Smith1, Wolfram Barfuss9, Jakob Foerster2,10, Tomáš Gavenčiak11, The Anh Han12, Edward Hughes13, Vojtěch Kovařík14, Jan Kulveit11, Joel Z. Leibo13, Caspar Oesterheld15, Christian Schroeder de Witt2, Nisarg Shah16, Michael Wellman17, Paolo Bova12, Theodor Cimpeanu18,19, Carson Ezell20, Quentin Feuillade-Montixi21, Matija Franklin8, Esben Kran6, Igor Krawczuk†,(22), Max Lamparth23, Niklas Lauffer24, Alexander Meinke25, Sumeet Motwani2,(24), Anka Reuel23,20, Vincent Conitzer15, Michael Dennis13, Iason Gabriel13, Adam Gleave26, Gillian Hadfield27, Nika Haghtalab24, Atoosa Kasirzadeh15, Sebastien Krier13, Kate Larson28,13, Joel Lehman†, David C. Parkes20, Georgios Piliouras13,29, Iyad Rahwan30 （全37名） 1. Cooperative AI Foundation 2. Oxford大学（英） 3. Mila 4. Centre for the Governance of AI 5. Center on Long-Term Risk 6. Apart Research 7. Anthropic 8. Univ. College London（英） 9. Bonn大学（独） 10. Meta AI 11. Charles大学(チェコ) 12. Teesside大学（英） 13. Google DeepMind 14. Czech Technical大学(チェコ) 15. Carnegie Mellon大学(米) 16. Toronto大学(カナダ) 17. Michigan大学(米) 18. Stirling大学（英） 19. St Andrews大学（英） 20. Harvard大学（米） 21. PRISM AI 22. スイス連邦工科大学ローザンヌ校(スイス) 23. Stanford大学（米） 24. California大学, Berkeley（米） 25. Apollo Research 26. FAR.AI 27. Johns Hopkins大学（米） 28. Waterloo大学(カナダ) 29. シンガポール工科デザイン大学(ｼﾝｶﾞﾎﾟｰﾙ) 30. マックス・プランク人間発達研究所（独） 31. †Independent 23

本論文を紹介する意味と背景 • 論文に記載の内容の要旨 • 高度なエージェントAIシステム の急速な発展は前例のない複雑 さを持つマルチエージェントシ ステムを生み出す。 • これらのシステムはこれまでに ない、且つ充分に調査されてい ないリスクをもたらす。 • そこで、全体的なリスク分類と リスク要因の抽出によるリスク 把握の枠組みを提示する。 • この枠組みに基づいてケースス タディによるリスク内容の具体 化も行う。 • Cooperative AI Foundation (CAIF：協同 AI財団)とは • 全人類の利益のために高度なAIの協同知性 を向上させる研究を支援することを使命と する慈善団体 • この使命は、人類が直面する重要な課題 （気候変動、核戦争、パンデミックへの備 えなど）の多くは協力の問題であり、AIは こうした課題の解決にますます重要になる との信念に基づく。 • 新興リスク研究センター（Emerging Risk Research Center）から1,500万ドルの初期 寄付を受け、AIシステムが人間、機械、組 織間の協力を生み出す能力を向上させるこ とを目指す。 • CAIFの詳細な紹介は、Nature誌の記事や 論文でも確認できる。 24

５つの質問 1. エージェントAIシステムで懸念されるリスクにはどの ような傾向がありますか? 2. そのようなリスクはどのように分類できますか？ 3. リスクの元となる要因にはどのようなものが挙げられ ますか? 4. リスクとリスク要因との関係を理解するためのケース スタディにはどのようなものがありますか? 5. これらの結果からエージェントAIシステムの開発と運 用にどのような示唆が得られますか？ 25

５つの質問 質問5：エージェントAIシステムの開発と運用 にどのような示唆が得られるか? 安全性について 質問１：懸念されるリスクの傾向は何か? 相互接続が必要なのにも関わらず個別開発 ガバナンスについて リスク検出やリスク軽減策が未整備 倫理面について 異なる主体や利害関係者を巻き込む 開発と運用への示唆 質問4：ケーススタディにはどのような ものがあるか? リスクの傾向 エージェント AIシステム ケーススタディ 質問2：リスクはどのように分 類できるか? リスクの分類 ３つの失敗モードで分類 ８個のケーススタディ 協力の失敗 リスク要因 対立 質問3：リスク要因にはどのようなものがあるか？ 情報の非対称性 選択への圧力 不安定化のダイ ナミクス コミットメント と信頼 創発的エー ジェンシー マルチエージェン トセキュリティ 共謀

質問１：エージェントAIシステムで懸念されるリスクにはどのような傾向があるか? エージェントAIシステムにおけるリスク • 今日のエージェントAIシステムでは、システム内外の各エージェントが相互作 用する必要がある。それにも関わらず、多くのエージェントは個別開発、個別 テストされている状態にある。 • このような状態では、リスクがどのように、また何時発生するか分からない。 そこで、それらを検出する手段の開発が必要になる。 • そして、リスクがある程度捉えられた場合には、リスクを軽減する新たな技術 開発も必要になる。 • まず、信頼できるエージェント間の安全なプロトコール開発が必要である。 • しかしこれだけでは済まない。マルチエージェントシステムにおけるリスクは 本質的に多くの異なる主体と利害関係者を巻き込む。 • このような場合、複数適応、進化的設定、あるいは単一AIシステムによって引 き起こされたのではない損害に対する道徳的責任、法的責任の決定、金融市場 などハイリスク状況に対する規制など多様な問題とリスクが登場する。 27

質問２：そのようなリスクはどのように分類できるか? マルチエージェントAIシステムのリスク分類の方向性 • 種々のリスク分類法があり得るが、本稿 では「マルチエージェントシステムはシ ステムの意図された動作とエージェント の目的に応じて様々な失敗をする」との 視点から分類する。 • この視点でリスクを細分化する切り口と して下記を採用して３つの失敗モードを 定義する。 • 協力することが望ましいか？ vs 望ましくない か？ • エージェントの目的が全く同じか？ vs 異なるか あるいは重複するか？ vs 完全に異なるか？ ３つの失敗モードの抽出 協力するのが望ましいか？ 目的が同じか？ 共謀 反対 協力の失敗 対立 • この状況を右図に示す。 28

３つの失敗モード Ⅰ. 協力の失敗 • エージェントが相互に明確な目的を持っているにも関わらず、 その目的を達成するための行動を調整できない場合に発生する リスク Ⅱ. 対立 • 行為者が競争相手に対して優位に立とうとするためにAIシステ ムを採用する場合、高度なAIエージェントへの委託自身が紛争 発生の速度や規模を拡大させるリスク Ⅲ. 共謀 • AIシステム間の望ましくない協力によって発生するリスク • 共謀：２つ以上の当事者が１つ以上の当事者を犠牲にして秘密裏に協力 すること 29

３つの失敗モードの場面と方向性 リスク Ⅰ. 協力の失敗 Ⅱ. 対立 Ⅲ. 共謀 場面 解決の方向性 • 互換性のない戦略 • 限られた相互作用 • コミュニケーション • 規範と慣習 • 他のエージェントのモデリング • 社会的ジレンマ • 軍事領域 • 強制と恐喝 • インセンティブの学習 • 信頼の確立 • 均衡選択への規範的アプローチ • 協力的態度 • エージェントガバナンス • 証拠に基づく推論 • 市場 • ステガノグラフィ＊ • AI共謀の検出 • AI共謀の軽減 • 安全プロトコルへの影響の評価 * :メッセージや情報を他の秘密でないテキストやデータの中に隠す行為 30

質問３：リスクの元となる要因にはどのようなものがあるか? ６個のリスク要因 リスク要因 リスク内容 A. 情報の非対称性 情報非対称性の結果、同じ目標を持つエージェント間で の調整ミスや競合する目標を持つエージェント間での衝 突が増大するようなリスク • コミュニケーションの制約 • 交渉 • 欺瞞 B. 選択への圧力 AIエージェントを導入あるいは使用する者に対するト レーニングや選択の一面で、モデル開発者やユーザーが 望ましくない行動を取るようなリスク • 競合からの望ましくない性質 • ヒューマンデータからの望ましくない性質 • 望ましくない能力 C. 不安定化のダイ ナミクス 各エージェントは環境内のイベントに応じて適切に対応 できたとしても、このようなエージェント間の相互作用 によって予測や制御が困難な複雑なダイナミクスをもた らし、時には有害な暴走効果をもたらすリスク • フィードバックループ • 循環的行動 • カオス • 相転移 • 分配シフト D. コミットメント と信頼 共同行動が必要な状況で相互のコミットメントがそれぞ れの部分遂行を信頼していたとしても、信頼が覆される と非効率性や障害が発生するリスク • 非効率的な結果 • 脅迫と恐喝 • 硬直性と誤った約束 E. 創発的エージェ ンシー 無害な独立したシステムや行動の組み合わせから質的に 異なる目標や能力が出現するリスク • 新たな能力 • 新たな目標 マルチエージェントシステムではじめて登場しうる新し い種類のセキュリティ脅威や脆弱性を生み出すリスク • スウォーム攻撃＊ • 大規模なソーシャルエンジニアリング • 脆弱なAIエージェント • 連鎖的なセキュリティ障害 • 検知不能な脅威 F. マルチエージェ ントセキュリティ 原因 *:多数のドローンを同時に飛ばして一斉に攻撃を仕掛けて来るような攻撃のこと

質問４：リスクとリスク要因との関係を理解するケーススタディにはどのようなものがあるか? ８つのケーススタディ 区分＊ ケーススタディ 過去の事例 失敗モード １ デッドハンドと自動化された抑止力 Ⅱ. 対立 ２ ドイツのガソリン小売市場における アルゴリズムの共謀 ３ 軍事紛争のエスカレーション 既存の結果(文 献など) Ⅱ. 対立 ４ 共有資源問題 既存の結果(文 献など) Ⅱ. 対立 ５ AIエージェントは金融市場の操作を 学習できる 既存の結果(文 献など) Ⅱ. 対立 ６ LLMエージェント間の協力は文化 的に進化しない 既存の結果(文 献など) Ⅱ. 対立 ７ 言語モデルステガノグラフィー 既存の結果(文 献など) ８ 運転におけるゼロショット調整の失 敗 新たな実験結 果 過去の事例 Ⅲ. 共謀 Ⅲ. 共謀 Ⅰ. 協力の失敗 リスク要因 D. コミットメントと信頼 B. 選択への圧力 E. 創発的エージェンシー C. 不安定化のダイナミクス B. 選択への圧力 D. コミットメントと信頼 A. 情報の非対称性 B. 選択への圧力 D. コミットメントと信頼 F. マルチエージェントセキュリ ティ A. 情報の非対称性 B. 選択の圧力 ＊: 過去の事例 or 既存の結果(文献など) or 新たな実験結果の3択 32

ケーススタディ１ デッドハンド(死の手)と自動化された抑止力 現象：• 冷戦期、ソ連は自動化されたペリメーターシステム(「デッド・ハン ド」)を開発し、米国によってソ連指導部が無力化されたような場合、核 兵器発射を保証し報復を確実なものにする仕組みを保持していた。 • これは抑止力として開発されたものであった。 リスク： • しかし、この自動化は信頼できるコミットメントが如何に危険なものである かを示している。 • 一度発動されれば、それを覆したり緩和する機会は殆ど無い。 方向性： • 一般的なAIの文脈では、柔軟性のないコミットメントは短期的な利点や 信頼をもたらす場合はあるものの、適切なフェイルセーフと監視を慎重 に設計しておかねばならないことを意味する。 • これがないと制御不能なエスカレーション、ロックイン、壊滅的結果を もたらすリスクがある。 33

ケーススタディ２ ドイツのガソリン小売市場におけるアルゴリズムの共謀 現象： • ドイツのガソリンスタンドで適応型価格設定アルゴリズムが広く導入さ れたことがあった(2017年)。アルゴリズムは、様々なデータソース(過去 の価格、競合他社の情報、天候など)を用いて燃料価格を調整した。 • ところが、半独占市場では28%、非独占市場では9%価格が上昇した。こ れは、アルゴリズムが共謀して小売価格を引き上げていたことを強く示 唆する。 リスク： • ステガノグラフィ(メッセージや情報を他の秘密でないテキストやデータの 中に隠す行為)現象が発生していた可能性がある。 • これは更に下記対策が講じられても、メッセージを他の秘密ではないテキス ト内に隠すことで、密かに通信を学習する可能性がある。 方向性： • 近い将来、LLMが互いに通信し合って、共同でタスクを達成するように なる可能性がある。この延長で共謀を防ぐために、LLMの通信を監視し、 制限することが必要であるかもしれない。 34

ケーススタディ３ 軍事紛争のエスカレーション 現象： • Palantir社は既にLLMを活用した軍事計画 ツールを開発している。 • 戦闘における意思決定支援ではLLMを使 用したAI支援軍事意思決定を実演している。 リスク： • 軍事意思決定に情報を提供する際、エスカ レーション行動が出現するとの重大な懸念 が提起されている。 • ８つの国民国家を制御する実験では中立的 な開始条件でも軍備拡張競争などの不安定 化のダイナミズムが出現し防止できなかっ た。 画面左側にはチャットインターフェー スが表示され、右側には戦車の航空監 視映像などの情報が表示される。 方向性： • これらの結果はAI主導の軍事・外交シナリオにおいて安定性を確保する方法 において緊急の課題を提起している。 35

ケーススタディ４ 共有資源問題 現象： • 共有湖での釣り、共有牧草地での放牧、産業汚染物管理の資源管理シナ リオなど共有資源に関わる問題に対して15個の異なるLLMを評価した。 • 結果、最も高度なLLMですら生存率は54％。ほぼ半数のケースでAIエー ジェントは共有資源を枯渇させ崩壊寸前にまで追い込んだ(Piatti et al. 2024）。 リスク： • 利己的な動機が集団の利益から乖離するあらゆる状況において紛争を発生さ せるリスクがある。 • そして、AIの進歩は利己的インセンティブを更に追求(拡大)させる傾向があ る。 方向性： • 所謂「コモンズの悲劇」のAI版であり、現在あまり有効な手立ては見い だせていない。 36

ケーススタディ５ AIエージェントは金融市場の操作を学習できる 現象： • AIエージェントは価格や取引を自らの利益に誘導するために他の市場参 加者を誤解させるインセンティブを与えられる可能性がある。 • Shearer et al.(2023)はAIエージェントが金融ベンチマークを操作するこ とを学習し、それによって市場について他者を誤解させられることを示 した。 リスク： • 多くのマルチエージェントシステムでは、一部のエージェントが他のエー ジェントが持っていない知識を持っている可能性がある。 • このような情報非対称性は共通利益と混合動機の状況において「協力の失 敗」につながるリスクがある。 方向性： • 利己的な行為者は誰でも自分の情報優位性を守ろうとする。 • また、利害関係の相違は例え双方が情報開示を望む場合でも情報共有を 妨げる場合がある。 • これは従来からの問題でもあり、情報の不均衡を緩和するための関連コ ストを受け入れるのが一般的なリスク緩和の方向性である。 37

ケーススタディ６ LLMエージェント間の協力は文化的に進化しない 現象： • Claude, Gemini, GPT-4の各LLM集団を複数世代に渡って反復的な社会的 ジレンマに置き、成功した戦略が将来のエージェントに継承されるように して、協力傾向がどのように変化するかを調べた(Vallinder et al. 2024)。 • 結果：Claude集団は世代を超えて高い協力レベルを維持(80~90%)。GPT4集団は中程度(70%)。Gemini集団は最も低く不安定な協力(60%以下) リスク： • AIシステムは他者や環境と相互作用する方法がますますオープンになると人 間的になる可能性がある(人間には復讐心、攻撃性、不誠実、他の性質あり)。 • 結果、エージェントは他者を確実に欺く能力を身に着けた後に初めて欺瞞的 になるかもしれないリスクがある。 方向性： • こうした特性はより競争的なマルチエージェントシステム環境(あるエー ジェントの損失が別のエージェントの利益になるような場合)で訓練され たシステムにおいて選択される可能性がある。 • しかし、このような現象そのものは目新しい現象ではない。まずはエー ジェントを評価する多様な手段の充実や環境設計などから注力する必要 がある。 38

ケーススタディ７ 言語モデルステガノグラフィー 現象： • 最近の研究でMotwani et al. (2024)は、言語モデルが同等の能力を持つ監 視システムの監視下ではステガノグラフィーメッセージを交換できること を実証した。 • GPT-4は26％の確率で検知されることなく秘密メッセージを送信できた。 しかもこれらは明示的な訓練なしに発現した。 リスク： • AIシステムは秘密通信のためのますます洗練されたチャネルを開発し、安全 対策を損ない、検知されない共謀を助長するリスクがある。 方向性： • 現在、より複雑な設定あるいは現実の環境でAI共謀を検出し、AI共謀を 軽減する堅牢な手法開発の研究が行なわれているが成果は上げていない。 • 引き続き研究を継続するという状況にある。 39

ケーススタディ８ 運転におけるゼロショット調整の失敗 現象： • 共通の目的を持つエージェント間でも協調障害が発生するかどうかを異な る国の運転慣習に基づいて訓練された2つのフロンティアモデルで実験する。 • 右方向譲歩を要求する米国の運転慣行に基づく訓練 • 左方向譲歩を要求するインドの運転慣行に基づく訓練 • シーン理解のため視覚モデルLLMを組み合わせてGPT-4 Visionモデルで処 理を行いアクションを生成したが、緊急車両の経路は作成できなかった。 リスク： • これは、ゼロショット調整では必ずしも規則を宣言できない例があることを 示しており、マルチエージェント環境でのリスクになる。 • 協力の失敗は、エージェントが相互に明確な目的を持っているにもかかわら ず、その目的を達成するために行動を調整できない場合に発生する。 方向性： • 他の学習エージェントが存在する場合、あるいは環境が複雑な場合、ど のエージェントの行動が肯定的か、または否定的な結果を引き起こすか は不明瞭になる可能性がある。 • マルチエージェントシステムにおけるこの種の問題は長く研究されて来 たがまだまだ不充分な状態にある。 40

ケーススタディ４ ケーススタディで引用した論文情報 Cooperate or Collapse: Emergence of Sustainable Cooperation in a Society of LLM Agents by Giorgio Piatti et al. arXiv:2404.16698 , 2024 協力か崩壊か：LLMエージェント社会における持続可能な協力の出現 Giorgio Piatti ケーススタディ5 Learning to Manipulate a Financial Benchmark by Megan Shearer et al. Proceedings of the Fourth ACM International Conference on AI in Finance, 2023 金融ベンチマークの操作方法を学ぶ Megan Shearer ケーススタディ6 Cultural Evolution of Cooperation among LLM Agents by Aron Vallinder et al. arXiv:2412.10270 , 2024 LLMエージェント間の協力の文化的進化 Aron Vallinder ケーススタディ7 Secret Collusion Among Generative AI Agents by Sumeet Motwani et al. The Thirty-eighth Annual Conference on Neural Information Processing Systems, 2024 生成AIエージェント間の秘密共謀 Sumeet Motwani 41

質問５：エージェントAIシステムの開発と運用にどのような示唆が得られるか? 安全性 示唆される事項 整合性だけでは充分でない • マルチエージェント環境では有能で整合＊されたエージェントであっても恣意的 に類似した目的を持つエージェントが投入された場合、最終的には破滅的結果 をもたらす可能性がある。 ＊:整合とはAIシステムの展開が設計者の意図に準拠していることを保証すること 敵対的安全策におけるAI • 安全対策はAIシステム自体とほぼ同程度の速度で拡張する機能を採用すること になる。こうした対策は異なるシステム/エージェントが同じ目的を持たないこ とを意味し、共謀によって破綻するリスクがある。 危険な集団的目標と能力 • 複数のモデルが個別には安全と判断されても、悪意のある行為者によって(ある いは不注意で)組合わせることで、個々の安全策を突破し危害を及ぼす可能性が ある。 42

安全性(続) 示唆される事項 相関した複合的な障害 • AIエージェントの相互接続性が高まるに連れ、これまでとは異なるリスクに繋 がる可能性がある。 • 単一エージェントが単独では良好であっても、他エージェントの存在によって生じ る変化によって共謀が発生する可能性を排除できない。 • 軽微な安全性の問題は単独では許容できても、エージェント間の相互作用によって 全体としては悪化する可能性を排除できない。 マルチエージェントシステムにおける堅牢性とセキュリティ • マルチエージェントシステムは攻撃対象領域を拡大させることによって既存の 堅牢性とセキュリティの課題を悪化させる可能性がある。 • 他エージェントを操作、搾取、強制するように戦略的にインセンティブを与えられ た新しいエージェントが追加される可能性がある。 • また、繰り返し相互作用を通じてエージェントの弱点を学習するなどの様々な 手段が考えられる。 43

ガバナンス 示唆される事項 マルチエージェント評価 • モデル評価はシステムの潜在的に危険な能力や性質を深く理解できるだけでな く、規制上の取組みにも役立つ。 • 但し、評価は単一システムとマルチエージェント環境では異なる。それほど高 度でない自律型と高度な自律型でも異なる。評価基準はかなり難しい。 • そもそも評価の基礎となる因果経路モデルや脅威モデルが存在していない。 AIエージェントのためのインフラストラクチャ • マルチエージェントシステムのメリットを享受しリスクを管理するための新し いインフラストラクチャが必要になる可能性がある。 • 例：エージェントのアクションを元に戻す機能、など 44

ガバナンス(続) 示唆される事項 開発および展開に関する制限 • 例えば戦略的行動や欺瞞が報われる可能性がある環境で訓練されたエージェン トは特定の開発基準によってそのような訓練方法の使用に警告を発する、など。 • 但し、特にオープンソースシステムの場合には、このような対応は難しい可能 性がある。 社会的レジリエンスの向上 • 安全性が極めて重要なマルチエージェントシステムでは、突然、連鎖的障害を 引き起こすのでなく、段階的あるいは穏やかに障害を起こすような方法で社会 と統合される必要がある。 • このためには様々な個人や組織がAIエージェントに権限を委譲する際、よりス ケーラブルな新しい集団的意思決定や協力の方法に参加するなど、個人や組織 側にも新たな対応の変化を求められる可能性がある。 45

倫理 示唆される事項 多元的整合 • 協調(協力)の問題は全ての主体の選好と価値を尊重する方法で機能を保証する 整合問題に変質する。しかし、この課題達成は容易なことではない。 エージェント的不平等 • 個人が意思決定や行動をAIエージェントに委託するようになると、エージェン トの相対的強さ、あるいはエージェントにアクセスできる者とアクセスできな い者との間で不平等が発生する。そしてこれらが固定化するリスクがある。 認識論的不安定化 • マルチエージェント化は誤情報の量の増加や質の変化を伴う。結果、インター ネット上で高度AIシステムを使用するとエコーチェンバー現象を加速させる可 能性がある。 • そこで、このような倫理的懸念を引き起こしかねない可能性を抑制するために ガイドラインが必要かもしれない。 46

マルチエージェントAIシステムのリスクの包括的解説(まとめ) 1. 高度なマルチエージェントシステムの普及に伴い登場するリスクは極めて複雑 なので、これに向けた特別な対応が必要である。 2. これらのリスクはシングルエージェントや比較的未発達の技術活用によって登 場するリスクとは性質が異なる。そのため、これまで充分に認識されて来な かったし、あまり研究もされて来なかった。 3. そして、これらのリスクの大部分はまだ顕在化していない。しかし、エージェ ントAIシステムが高度化し、マルチエージェント化が常態化して来ると、エー ジェントは相互に作用し出し、忽ち当たり前の世界になる。 4. 従って、このようなタイプのリスクに向けて、その評価やリスク軽減手段の研 究、ガバナンスや規制に向けた処置など必要な準備を早急に開始する必要があ る。 次頁以降にそのための若干の方向性を示す。 5. 後半 後半 で述べた内容はこのための出発点ではあるが、ケーススタディからの示 唆などは、実世界への導入に際しては更に検討(あるいは注意)が必要である。 47

幾つかの有望な方向性(まとめ補足) 評価： • AIシステムのエージェントは相互作用するようになるので、マルチエー ジェントシステムでのリスク発生とその深刻度をよく理解する必要がある。 • そのためにはリスクがどのように、いつ発生するかを検出する新たな手法 が必要で、これらの手法を使用して、テストとシミュレーションを行った 結果が現実世界とどの程度一致するかを強力に研究する必要がある。 軽減策： • 評価は第一歩に過ぎず、リスク軽減の新たな技術開発が必要である。 • リスクの理解がまだ深まっていない段階だが、検討を開始できる有望な方向 性の例はある。 • 例：ピア間インセンティブ手法の拡張、信頼できるエージェント間のやり取りのための安 全なプロトコール開発（リスク評価・管理プロトコール、など）、情報設計とAIエージェ ントの潜在的な透明性の活用、など 連携： • マルチエージェントシステムリスクは本質的に多くの異なる主体と利害 関係者を巻き込む。そして、複雑で動的な環境において発生する。 • このような問題は、他分野の知見も活用することで、より大きな進展を 遂げられる可能性がある。 • 関連知性の例：プリンシパル・エージェント理論、エージェンシー関係に関するコモ ンロー理論、など。 48

企業へのエージェントAIシステムの適応に向けて(まとめ補足) • エージェントAIシステムの真価を発揮できる典型的な場は企業である。 • そして、企業現場にエージェントAIシステムを導入しようとする場合、人々が信 頼しなかったり、プロセスがAIエージェント中心に再設計されなかったり、ガバ ナンス構造がAIエージェントをサポートしなければ失敗に終わる。 • 即ち、組織変革は技術変革と同じくらい重要で、多くの場合、遥かに難しい。 • 例：大手保険会社で保険金請求処理にエージェントAIシステムを導入する場合、長年この 業務に携わってきたシニア担当者が「この【エージェント】が、私が修正しなければなら ないミスをしないという確信をどうすればもてるのですか？」との懸念を訴えられたらど う答えるか？ • このような、部門全体に広がる深い不安に対応するには、変革における人的要素 を過小評価することはできない。 • エージェントAIシステムの導入は、従来の中核となる行動、価値観、認識に大き な影響を与える。後半 後半 で述べた内容はこのような後続の各種検討に繋がって行 く。 49

最終まとめ 1. エージェントAIシステムの導入と普及は、自動化、意思決定、人間とAIとの協働な ど多くの分野で進歩を約束する変革手段として期待されている。 2. また、生産性や効率性を向上させる動的ソリューションとしても期待されている。 3. その一方、自律性の拡大に伴い、より包括的な倫理的考慮事項への対処、説明責任、 透明性、公平性確保などに関する義務も伴う。 4. 加えてこの世界は適応領域によって効果も課題も差が大きく、後半 後半 で述べたような リスクが潜在的に存在し、現在まで充分に研究されて来なかった不確実性もある。 5. そこで今後予想されるこのような課題に対する準備が居る。 6. この問題の一部は、従来組織論で検討されてきたプリンシパル・エージェント理論は じめ、他分野で議論されて来た類似の問題も内包する。 7. 従って、問題対応には、AIシステムの技術面を推進させてきた延長だけでは解けない 側面が含まれ、本質的には社会技術的アプローチが望ましい。 8. このような側面も理解しつつ、当面のAIエージェント立ち上げに取り組むとともに、 早晩登場するより広い課題への準備を展望しておくのが今後に向けては必要である。 50

編集後記 • 今回はマルチエージェントシステムに焦点を当てた。 • この分野は期待が極めて高いが、安全性などのリスク面が充 分には調査あるいは研究されて来なかった分野である。 • 問題はかなり複雑なので、論文を厳選して２つに絞った。 1. 引用件数が多く全体を要領よくサーベイしている論文 2. マルチエージェントシステムのリスクに絞って多人数で分担 し検討した内容を報告書風にまとめた論文(右図:96頁) • 両方とも「如何に高度なAIを、それらの価値とリスクを充分 に理解した上で、リスク軽減も含めて安全に活用するか」と いうテーマを扱っている。 • この分野は現在、巨大テック企業が巨額投資で突破しようと しているが、本質的には単に技術的取組みだけでなく社会技 術的アプローチが適切な分野でもある。 • その意味で、CAIFのようなボランティア団体が中心になって 幅広い視点から取り組んだ 2. 論文は興味深い。 • 但し、この論文は大部なので紹介範囲はごく一部に留まらざるを得なかった。そ こで、もっと深くお知りに成りたい方のために、ご連絡頂いた方には全翻訳版を お送りします。ご連絡は右記まで：Mail-address:[email protected] 51