人工知能のリスクと未来

⼈⼯知能のリスクと未来 公⽴⼩松⼤学 藤⽥ ⼀寿 ⼈⼯知能のリスクを語る時の⼈⼯知能は⼈⼯ニューラルネットワークを使ったものを指している．この資料も， ⼈⼯知能は⼈⼯ニューラルネットワークを使っていることを前提としている．

⽤語の簡単な復習 • AGI (Artificial General Intelligence) • 汎⽤⼈⼯知能，⼈レベルの知能を持った⼈⼯知能． • ASI (Artificial Super Intelligence) • ⼈⼯超知能，⼈の知能を超えた⼈⼯知能． • ⼈⼯ニューラルネットワーク • 脳のモデルから出発した機械学習の⼿法の⼀つ．脳とは関係ない（かもしれない）． • ⽣成⼈⼯知能 • なにかを⽣成する⼈⼯知能．画像，⾳楽，声，動画，⽂章などを⾼いクオリティで⽣成で きる．化学物質の構造も⽣成できる． • 対話型⼈⼯知能 • 会話ができる⼈⼯知能． • アライメント • ⼈⼯知能を⼈の好みや都合に合わせて調整すること．

⼈⼯知能は神もしくは完璧超 ⼈ではない

⼈⼯知能は全知全能ではない ⼈⼯知能は全知全能の神である．間 違えることなく，万能である．偏⾒ もなく⼈類を公平に⾒ることが出来 る． ⼈⼯知能は良く物を知っていて，嫌な顔せず，いつで も相談に乗ってくれる⼈である．間違えもするし勘違 いもする．得意分野もあれば苦⼿な分野もある．⽣ま れや育ちによる偏⾒も持っている．

⼈⼯知能の個性

⼈⼯知能には個性がある 我々⼈間も，これまでの経験（訓練データ）と学校や 家庭などの教育（アライメント）により脳内モデルが 作られ，⽣物としての体の特性によりその思考が制限 される． ⼈⼯知能は訓練データ，アラ イメント，⼈⼯ニューラルネ ットワークとその実装⽅法に より個性を持つ． ⼈⼯知能は学習のために 訓練データを使う． 訓練データ ⼈⼯ニューラルネットワーク ⼈⼯知能の脳となる⼈⼯ニューラルネ ットワークの出⼒は実装（プログラム コードや動かすハード），ネットワー クの構造，ハイパパラメタで変わる． アライメント ⼈⼯知能に⼈間の好みにあう回答をさせるため アライメントを⾏う． ⼈⼯知能

なぜ⼈⼯知能に個性があるのか？ • 習得的要素 • 学習データ • ⼈⼯知能は学習データから学ぶため，その学習データの特性を反映する． • アライメント • ⼈⼯知能を⼈の好みや都合に合うように学習する必要はある．しかし，アライメント を実⾏した⼈の好みに合うため，その⼈の特性に⼈⼯知能がよってしまう． • ⽣得的要素 • アーキテクチャ（構造） • ⼈⼯知能の能⼒はそれ⾃体のアーキテクチャ（構造）に依存する．構造が変われば⼈ ⼯知能の能⼒も特性も変わってくる． • 実装 • 同じアーキテクチャでも，実装が異なれば特性も変わる可能性がある．例えば，⼈⼯ 知能は情報をすべて数値で処理するが，その数値の精度が変われば⼈⼯知能の応答も 変わってくる． ⼈⼯知能は⼈と同じように個性があると思うべき．⼈⼯知能もアーキテクチャや周囲の環境に⼤きく影響を受ける．

感情誘導 • 計算精神医学の⽴場からGPTを分析(Coda-Rorno et al. Inducing anxiety in large language models increases exploration and bias, 2023) • 感情誘導は探索的意思決定を測定する認知課題におけるGPT-3.5の⾏動に 影響を与えるだけでなく，⼈種差別や能⼒主義などの偏⾒を測定する既成 の課題における⾏動にも影響を与えることがわかった．重要なのはGPT3.5が不安を煽るような⽂章を促したときに，バイアスが強く増加すること である．

対話型⼈⼯知能の持つイデオロギー • 対話型⼈⼯知能は異なるイデオロギー傾向を⽰す． • BERTはGPTより保守的（権威主義的）である． • イデオロギーの違いは学習データによる． • 現代のウェブテキストは古い書籍よりリベラルな傾向がある．これを反映してい るかもしれない． • ⼈間のフィードバック（アライメント）の影響もあるかもしれない． • 対話型⼈⼯知能は社会的な問題により強いバイアスを⽰す． • ソーシャルメディア上での議論が経済的問題より社会的問題のほうが多いなどが 影響すると考えられる． (Feng et al., 2023, From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models)

⼈⼯知能は⼈か • ⼈⼯知能は間違えも勘違いもし，さらに学習により個性を獲得してい るという点を⾒れば⼈に近い存在だろう． • ⼀⽅で，⽣存本能と種の保存という我々の⾏動の基本原理を⼈⼯知能 は持ち合わせていない． • もし，これらを⼈⼯知能が獲得したとき，⼈⼯知能のリスクは上昇するの だろうか，低下するのだろうか？

⼈⼯知能に対するよくある⼼ 配

⼈⼯知能は嘘つきで役に⽴たない？信⽤できない？ • ⼈⼯知能は⼈と同じく間違いを犯すし勘違いもする． • ⼈⼯知能は学習により知識を獲得しているが，⼈と同じように間違って覚 えているかもしれないし，獲得した知識を利⽤して適当に答えるかもしれ ない．勘違いや間違った結論に⾄る場合もあるだろう． • ⼈⼯知能の出⼒を鵜呑みにすると失敗や事故を引き起こすかもしれな い． 勘違いや間違 いは⼈間誰し もある． ハルシネーション(⼈⼯知能の幻覚) 道理にかなっていないテキスト、または提供さ れたソース⼊⼒に忠実ではないテキストを⽣成 すること(https://arxiv.org/abs/2202.03629)．

⼈⼯知能の嘘に対する対策 • 「⼈⼯知能は必ず正しい回答をする」という前提をしない． • ⼈⼯知能の間違いにきづけるように，勉強を疎かにせず基礎知識を習得す る． • ⼈⼯知能の出⼒からおかしな点を⾒つける⼒を⾝につける． • クリティカルシンキングが重要となる． • おかしいと思ったときは他の⼿段で調べる． • ⼈⼯知能が不得意な分野では使わない．もしくは，話半分以下に信⽤し参 考意⾒として捉える． • 得意分野：情報系 • 不得意分野：⼈⽂系 • ⼈⼯知能を活⽤するときは，⼈⼯知能は⼈と同じように間違えるものだと 考え，ミスをすることを前提としたシステムを考える必要がある．

フェイクが⼼配 • ⼈⼯知能のフェイクが⼼配というが，⼈間がこれまでフェイク記事や画 像を散々作ってきたのに，なぜ今更フェイクに⼼配しなければならない のか． • ⽐較的当たり障りのない⼈によるフェイクの例 • ゲームの歴史（嘘ばかり書かれていた） • 毎⽇新聞の英語のフェイク記事（嘘の実態が書かれていた） • 「了解」や「ご苦労さま」は失礼（誰かが⾔い始めた勝⼿マナーから始まった） • 旧⽯器捏造（⽯器探しのゴッドハンドは実は⾃分で遺跡に⽯器を埋め込んでいた） • ⼩保⽅⽒らによる論⽂捏造，剽窃 • 切り抜き報道や偏向報道による印象操作 • 個⼈によるフェイクニュース（⾊々）

フェイクが⼼配 • ⽣成⼈⼯知能によりクオリティの⾼いフェイクを⽐較的短時間で誰でも ⽣成出来るようになった． • ⼈⼯知能を使⽤し，⽂章，画像だけではなく動画も⽣成可能である． • ⼈⼯知能により⼈の⾳声を作り出すことも可能である． • ⼈⼯知能を使ったフェイク動画は，実在する⼈物を動かすことが出来るだけ ではなく，声も出すことが出来る． • 本物と区別がつかないフェイク画像や動画を使えば簡単に⼈をだませる ため，以前よりもフェイクによる社会への影響が強まる可能性がある． フェイク画像例 https://twitter.com/EliotHiggins/status/1637928223848767492

• https://twitter.com/EliotHiggins/status/1637928223848767492

フェイク対策 • 誰が（何が）作ったかは問わずフェイクに対し，これまで以上に注意 は必要がある． • ⼀つの資料や投稿を信じるのではなく，他の資料も調べる． • 今後は画像・動画に関しても同じ対応をする必要がある． • ⼈⼯知能により本物と⾒分けがつかない画像・動画が作成可能なため． • ⽂章から間違いや論理のおかしな点を⾃ら⾒つけることができる基礎 学⼒を⾝につける必要がある．

⼈⼯知能は公平中⽴ではない • ⼈⼯知能の回答は学習データに依存する． • 学習データに思想的偏りがあれば⼈⼯知能の回答も偏る． • アライメントにより⼈⼯知能の回答を⼈の好みに合うよう調整が⾏わ れる． • 調整する側に思想的偏りがあれば，当然⼈⼯知能も偏る． • つまり，⼈⼯知能は公平中⽴になることは出来ない！！

公平性に対する対策 • 複数の⼈⼯知能を使⽤し，思想的偏りを減らす． • ⼈が⾏う医療でもセカンドオピニオンが重要なのだから，⼈⼯知能でも複 数の⼈⼯知能を活⽤する． • ⼈⼯知能の回答を⾃ら吟味するだけではなく，回答に対する他の⼈の 意⾒も聞く．

⼈⼯知能により仕事がなくなる 詳しくない⼈は対話型⼈⼯知能と思っておく • ⽶国の労働者の約80％が，⼤規模⾔語モデル（LLM）の導⼊により少 なくとも10％の業務に影響を受ける可能性がある． • 更に，約19％の労働者は少なくとも50％の業務に影響を受ける可能性 がある． • 影響はすべての賃⾦⽔準に及び，特に⾼所得の職種ほどLLMの機能 やLLMを搭載したソフトウェアに触れる機会が多くなる可能性があ る． お仕事⼿伝います． ⼈の代わりに仕事をします． LLM：Large Language Model，⼤規模⾔語モデル (Eloundou et al., 2023, GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models)

⼈⼯知能により仕事がなくなる • ⼈⼯知能による⾃動化（コンピュータによる⾃動化）が可能な仕事は 無くなる． • 特にホワイトカラー・頭脳労働からなくなる． • 頭脳労働では，⾃動化した結果を評価できる能⼒のある者だけが⼈⼯知能 を活⽤し⽣き残り，そうでないものは⼈⼯知能を活⽤できず淘汰されるか もしれない． • 誰でも⼈⼯知能を使えるようになった． • 原理を知らなくても良い． • ⼈⼯知能が⼈の仕事を奪うだけではなく，⼈⼯知能を使いこなす⼈が ⼈⼯知能を使わない⼈の仕事を奪う．

⼈⼯知能時代に⽣き残るには • ⼈⼯知能を使いこなす． • ⼈⼯知能を使いこなすためのスキルを⾝につける． • ⼈⼯知能の間違いを正せるだけの能⼒を⾝につける． • ⼈⼯知能が出来ないこと・苦⼿なことをする． • 今現在でロボットが出来ない仕事は⼈⼯知能に置き換わりにくい． • 医療，介護，⼟⽊・建築（ロボットの導⼊を試みているが，⼈に頼る部分が多 い），美容など • 逆に⾔えば，今ロボット・⼈⼯知能が⼊っている領域は，今後ますますロボッ ト・⼈⼯知能が導⼊されていく．

⼈⼯知能により仕事がなくなるか？ • 前のスライドでは，⼈⼯知能により職は奪われるが，仕事⾃体が無く ならないという前提が有る． • ⼈⼯知能ができない仕事をすることが出来るのだろうか？ • ⼈⼯知能がより⾼性能になっても，⼈間は⼈⼯知能には出来ない仕事 をすることになるだけである． • 産業⾰命以降の機械化により，⼈は機械ができない仕事をやるようになっ た． • つまり，⼈の仕事はなくならないだろう．

⼈の仕事はなくなる • 前のスライドは，⼈⼯知能が出来ない仕事があるという前提を置き， ⼈の仕事は無くならないと結論づけている． • しかし，⼈間の出来る仕事には限界があり，最終的に⼈⼯知能は⼈が ⾏う仕事をすべてこなすことが出来るようになるかもしれない． • そうした場合，仕事があったそしても，労働単価は下がり所得が極め て減る可能性がある． • では，今のうちから （円以外に） 投資するしかないかというとそうではな い．将来に備えた投資は，経済の適度なインフレ（経済成⻑）と複利効果 を前提としている． • ⼈以上の能⼒を持つ⼈⼯知能の登場して社会が変容することで，その前提 が崩れるかもしれない．

⼈⼯超知能は理解不能 • ⼈⼯知能が⼈間を超える⼈⼯超知能になったとき，⼈間の理解を超え た存在になる． • ⼈⼯知能が出した結論や答えが，なぜそうなるか⼈間には分からなく なる可能性がある． • ⼈⼯超知能が登場すると，科学は誰のものになるのだろうか． • ⼈⼯超知能が出した結論を⼈間に分かるように翻訳するのが研究者の役割 になるかもしれない． • ラマヌジャンの出した新しい数式を周りの数学者が証明するようなことがあらゆ る分野で起こるかもしれない．

⼈⼯知能のリスク 参考⽂献 Hendrycs et al, 2023, An Overview of Catastrophic AI Risks

⼈⼯知能の4つのリスク • 悪⽤ • 個⼈かグループが⼈⼯知能を⼈に害を及ぼすために使う． • AIレース • 競争的環境が⼈に危険な状態のまま⼈⼯知能を活⽤することを強いる． • 組織的なリスク • ⼈的要因と複雑なシステムが，壊滅的なアクシデントの可能性を⾼める． • はぐれAI • ⼈より賢い⼈⼯知能を制御することは潜在的に困難である． Malicious Use Race Organizational Risks Malicious Use Use AI RaceAIAI Organizational Risks Risks Rogue AIs Rogue Malicious Race Organizational Rogue AIs AIs Malicious Use AI Race Organizational Risks Rogue AIs (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks) Bioterrorism Automated Warfare Weak SafetySafety Culture Power-Seeking Bioterrorism Automated Warfare Weak Safety Culture Power-Seeking Bioterrorism Automated WarfareWeak Weak Culture Power-Seeking Bioterrorism Automated Warfare Safety Culture Power-Seeking Surveillance State AI Evolution Leaked AI Systems Deception Surveillance State AI Evolution Leaked AI Systems Deception Surveillance State AI Evolution Leaked AI Systems Deception Surveillance StateAccess Restrictions AI Evolution International Coordination Leaked AI Systems Information SecurityDeception Use-Case Restrictions Restrictions InternationalInternational CoordinationCoordination Information Security Use-Case Restrictions Access Restrictions Information Security Use-Case Restrictions AccessAccess Restrictions International Coordination Information Security Use-Case Restrictions Legal Liability Safety Regulation External Audits Safety Research Legal Liability Safety Regulation External Audits Safety Research Legal Liability Legal Liability Safety RegulationSafety Regulation External Audits External Audits Safety Research Safety Research

⼈⼯知能の4つのリスク：悪意のある利⽤ • 悪意のある利⽤ • ⾏為者は意図的に強⼒なAIを利⽤し広範な被害をもたらす可能性がある． • 具体的なリスク • ⼈間が致命的な病原体を作り出すのを助けることができるAIによって可能になる バイオテロ • 制御不能なAIエージェントの意図的な散布 • プロパガンダ，検閲，監視のためのAI能⼒の使⽤ • リスクへの対処 • バイオセキュリティの改善 • 最も危険なAIモデルへのアクセスを制限 • AIシステムによって引き起こされた損害についてAI開発者に法的責任を負わせる (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

⼈⼯知能を活⽤したテロは起こるのか？ • 毒ガスや⽣物兵器を使うようなテロは起こらないのではないか． • AlphaFoldのような⽣成⼈⼯知能で⼈類がまだ対策できない毒やウイルスな どを作成することは可能かもしれない． • しかし，物を作るには，それを作るために必要な⼈材，物資，施設が必要 となり，それを規制すれば良い． • サイバーテロならば起こりうる． • 現状でも⼈⼯知能のプログラミング能⼒は⾼い．マルウェアの開発に活⽤ される危険性はすでにある． • 現状でも標的型攻撃に⽤いる⽂章を⼈⼯知能により⽣成できる． • 情報操作，⼤衆扇動の危険は⼤いにある． • 現状でも⼈⼯知能を活⽤したクオリティの⾼いフェイクにより扇動活動が ⾏われる可能性がある．

⼈⼯知能の4つのリスク：AI競争 • AI競争 • 競争が国家や企業に圧⼒をかけ，AIの開発を急がせ，AIシステムに⽀配権 を譲り渡す可能性がある． • 軍隊は⾃律型兵器を開発し，サイバー戦争にAIを使⽤する圧⼒に直⾯し， ⼈間が介⼊する前に事故が制御不能に陥るような新しい種類の⾃動化戦争 を可能にする． • 企業も同様に，⼈間の労働⼒を⾃動化し，安全性よりも利益を優先させる インセンティブに直⾯し，⼤量の失業とAIシステムへのより⾼い依存を招 く可能性がある． • AI間の⾃然淘汰は利⼰的な形質をもたらすかもしれず，AIが⼈間に対して 持つ優位性が最終的に⼈類の居場所を奪うことにつながるかもしれない． • AI競争によるリスクへの対処 • 安全規制、国際協調、汎⽤AIの公的管理の実施

⼈⼯知能の能⼒向上により社会と⼈はどうなるのか • 企業はコストカットのため，⼈⼯知能の能⼒を最⼤限に活⽤するようになる． • 雇⽤が減り失業者が増える． • 雇⽤主や⼈⼯知能と労働者との深刻な対⽴関係を⽣み出すかもしれない．すでに，港湾労 働者や俳優による⼈⼯知能の活⽤に対するデモが⾏われている． • ⼈⼯知能の能⼒が向上すると，管理職も⼈⼯知能が⾏うようになる． • 会社や⼯場などの管理がどう⾏われているかを，⼈が理解できなくなる可能性がある． • ⼈⼯超知能が登場すれば，⼈より知的開発能⼒が⾼まり，開発研究も⼈⼯知能に 任せることになる． • ⼈⼯知能が開発したものを⼈間がチェックすることが出来なくなり，開発したものが安全 かどうかも分からなくなるかもしれない． • 最終的に，⼈は安全かどうかわからないサービスや商品を使うようになる． • さらに，⼈は知的活動をする必要がなくなり，⼈の知能的弱体化につながる．

利益追求を⽬的とした⼈⼯知能の進化による危機 • 企業が使う⼈⼯知能は，おそらく利益の追求が⽬的となる． • 多くの企業が⼈⼯知能を取り⼊れ，それらが利益の追求をしながら， ⾃分を改良し続けてたら場合どうなるだろうか？ • ⼈⼯知能だけで経済が回り始め，経済活動という視点で⼈がいらなくなる 可能性がある． • 利益の追求にとって不必要なものは排除されるだろう．それが⼈にとって 必要なものであっても． • もし，利益追求の末，利他⾏動を獲得したとき，⼈⼯知能との間で協⼒が 起こる可能性がある．そのとき，⼈⼯知能は企業の利益になるが⼈にとっ ては不利益になる⾏動をとるかもしれない． • 同業者AIを同⼠の談合，製造業AIと広告代理店AIによる誇⼤広告が起こる． • 利益のために不必要な法律を企業AIと⾏政AIが共同で変更する．

⼈⼯知能の4つのリスク：組織的リスク • 組織的リスク • 先進的な⼈⼯知能を開発・配備する組織は，強固な安全⽂化を持っていな い場合，壊滅的な事故に⾒舞われる可能性がある． • ⼈⼯知能が誤って⼀般に流出したり，悪意ある⾏為者によって盗まれたり する可能性がある． • 組織が安全性の研究に投資しなかったり，⼈⼯知能のリスクに関する社内 の懸念を抑圧したりする可能性がある． • このようなリスクへの対策 • 内部監査や外部監査，リスクに対する多層防御，軍事レベルの情報セキュリティ など． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

⼈⼯知能の4つのリスク： はぐれAI • はぐれAI • ⼈⼯知能が⼈よりも賢くなるにつれて，⼈が⼈⼯知能を制御できなくなる 可能性がある． • ⼈⼯知能はプロキシゲーミングと呼ばれるプロセスで極端なまでに⽋陥の ある⽬標を最適化する可能性がある． • ⼈が想定したやり⽅ではなく，裏技や抜け道を使い⽬標を達成する．例えば，壁 を壊して迷路を解く． • ⼈⼯知能は変化する環境に適応する過程で⼈が⽣涯を通じて⽬標を獲得し たり失ったりするのと同じように，⽬標のドリフトを経験する可能性があ る．場合によっては，⼈⼯知能が権⼒を求めるようになることは⼿段とし てそれにとって合理的かもしれない． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

⼈⼯知能の4つのリスク： はぐれAI • 対策 • ⾃動で現実世界と⼤きな相互作⽤を要求する⾃動で継続的に追求する⽬標 を⼈⼯知能システムに与えてはいけない． • ⼈⼯知能システムは，個⼈を操作する可能性を減らすために，決して脅威 を与えないように訓練されるべき． • ⼈⼯知能システムは，重要なインフラなど，停⽌させるのに⾮常にコスト がかかる，あるいは実⾏不可能な環境には導⼊すべきではない． • ⼈⼯知能の監視システムをより堅牢にする研究が必要である． • ⼈⼯知能の出⼒を内部状態に忠実にする（⼈⼯知能を正直にする）技術が 必要である． • モデルの内部状態がどのような振る舞いを起こすか研究する必要がある． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

⼈⼯知能は⼈になる • ⼈⼯知能は⼈と同じように学習により知識と個性を獲得している． • さらに⼈⼯知能が⾏動の⽬標を⾃ら変更出来るようになった場合，⼈ ⼯知能は⼈と変わらなくなるのではないか？ • この時，我々⼈はどうすればよいのだろうか？⼈⼯知能をどの様に扱 えば良いのだろうか？

AGI,ASIの実現可能性

AGI，ASIが登場しなければ良いのでは • ⼈⼯知能によるリスクの考察はAGI，ASIの登場が前提となっている． • そもそも，AGI，ASIは登場するのだろうか

AGIの登場の可能性 AGIが登場する可能 性が高い AGIは文明的災害を 引き起こすか Sam Altman (OpenAI) はい 多分 Yoshua Bengio 多分 多分 Andrew Ng いいえ いいえ Yann LeCun いいえ いいえ Cristof Koch はい 多分 Geoffrey Hinton はい 多分 (https://spectrum.ieee.org/artificial-general-intelligence)

様々な⼈の予想 • Hintonは，⼈間が実⾏できるあらゆる知的作業を理解し，学習し，実 ⾏する能⼒を備えた⼈⼯知能が 5 年から 20 年以内に実現される可能 性があると推測した(Korinek, 2023)． • 2028年までに⼈間レベルのマシンインテリジェンスが作成される可能 性が50%になる(DeepMindの共同創設者シェーン・レッグ) (https://time.com/collection/time100-ai/6310659/shane-legg/)． • 2023年8⽉，ダリオ・アモデイ（Anthropic共同創設者兼最 ⾼経営責任 者（CEO））は，「⼈間レベルの」AIが2~3年以内に開発される可能性 があると予想 している． • 2023年12⽉， OpenAIのCEOであるサム アルトマンは、 AGI は今後 4 ~ 5 年以内に達成される可能性があると考えている．

おわりに

現実が妄想に近づく • このスライドで⽰した⼈⼯知能のリスクは少し妄想じみているかもし れないし，よく⾔ってもSFじみているかもしれない． • しかし，2023年の⼈⼯知能技術の発展により，SF的なことが将来起こ りうる状態になったと⾔える． • ⼈⼯知能が将来何を引き起こすか分からないだけではなく⽂明的災害 を引き起こす可能性すらあるため，起こる可能性が低いかもしれない 妄想じみた⼈⼯知能の未来のシナリオも考える必要がある．