人工知能のリスクと未来

人工知能のリスクと未来 公立小松大学 藤田 一寿 Ver. 20250131 人工知能のリスクを語る時の人工知能は人工ニューラルネットワークを使ったものを指している．この資料も， 人工知能は人工ニューラルネットワークを使っていることを前提としている．

用語の簡単な復習 • AGI (Artificial General Intelligence) • 汎用人工知能，人レベルの知能を持った人工知能． • ASI (Artificial Super Intelligence) • 人工超知能，人の知能を超えた人工知能． • 人工ニューラルネットワーク • 脳のモデルから出発した機械学習の手法の一つ．脳とは関係ない（かもしれない）． • 生成人工知能 • なにかを生成する人工知能．画像，音楽，声，動画，文章などを高いクオリティで生成で きる．化学物質の構造も生成できる． • 対話型人工知能 • 会話ができる人工知能． • アライメント • 人工知能を人の好みや都合に合わせて調整すること．

人工知能は神もしくは完璧超 人ではない

人工知能は全知全能ではない 人工知能は全知全能の神である．間 違えることなく，万能である．偏見 もなく人類を公平に見ることが出来 る． 人工知能は良く物を知っていて，嫌な顔せず，いつで も相談に乗ってくれる人である．間違えもするし勘違 いもする．得意分野もあれば苦手な分野もある．生ま れや育ちによる偏見も持っている．

人工知能には個性がある

人工知能には個性がある 我々人間も，これまでの経験（訓練データ）と学校や 家庭などの教育（アライメント）により脳内モデルが 作られ，生物としての体の特性によりその思考が制限 される． 人工知能は訓練データ，アラ イメント，人工ニューラルネ ットワークとその実装方法に より個性を持つ． 人工知能は学習のために 訓練データを使う． 訓練データ 人工ニューラルネットワーク 人工知能の脳となる人工ニューラルネ ットワークの出力は実装（プログラム コードや動かすハード），ネットワー クの構造，ハイパパラメタで変わる． アライメント 人工知能に人間の好みにあう回答をさせるため アライメントを行う． 人工知能

なぜ人工知能に個性があるのか？ • 習得的要素 • 学習データ • 人工知能は学習データから学ぶため，その学習データの特性を反映する． • アライメント • 人工知能を人の好みや都合に合うように学習する必要はある．しかし，アライメント を実行した人の好みに合うため，その人の特性に人工知能がよってしまう． • 生得的要素 • アーキテクチャ（構造） • 人工知能の能力はそれ自体のアーキテクチャ（構造）に依存する．構造が変われば人 工知能の能力も特性も変わってくる． • 実装 • 同じアーキテクチャでも，実装が異なれば特性も変わる可能性がある．例えば，人工 知能は情報をすべて数値で処理するが，その数値の精度が変われば人工知能の応答も 変わってくる． 人工知能は人と同じように個性があると思うべき．人工知能もアーキテクチャや周囲の環境に大きく影響を受ける．

感情誘導 • 計算精神医学の立場からGPTを分析(Coda-Forno et al. Inducing anxiety in large language models increases exploration and bias, 2023) • 感情誘導は探索的意思決定を測定する認知課題におけるGPT-3.5の行動に 影響を与えるだけでなく，人種差別や能力主義などの偏見を測定する既成 の課題における行動にも影響を与えることがわかった．重要なのはGPT3.5が不安を煽るような文章を促したときに，バイアスが強く増加すること である．

対話型人工知能の持つイデオロギー • 対話型人工知能は異なるイデオロギー傾向を示す． • BERTはGPTより保守的（権威主義的）である． • イデオロギーの違いは学習データによる． • 現代のウェブテキストは古い書籍よりリベラルな傾向がある．これを反映してい るかもしれない． • 人間のフィードバック（アライメント）の影響もあるかもしれない． • 対話型人工知能は社会的な問題により強いバイアスを示す． • ソーシャルメディア上での議論が経済的問題より社会的問題のほうが多いなどが 影響すると考えられる． (Feng et al., 2023, From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models)

人工知能は公平中立ではない • 人工知能の回答は学習データに依存する． • 学習データに思想的偏りがあれば人工知能の回答も偏る． • アライメントにより人工知能の回答を人の好みに合うよう調整が行わ れる． • 調整する側に思想的偏りがあれば，当然人工知能も偏る． • つまり，人工知能は公平中立になることは出来ない！！

公平性に対する対策 • 複数の人工知能を使用し，思想的偏りを減らす． • 人が行う医療でもセカンドオピニオンが重要なのだから，人工知能でも複 数の人工知能を活用する． • 人工知能の回答を自ら吟味するだけではなく，回答に対する他の人の 意見も聞く．

人工知能は信用できない

人工知能は嘘つきで役に立たない？信用できない？ • 人工知能は人と同じく間違いを犯すし勘違いもする． • 人工知能は学習により知識を獲得しているが，人と同じように間違って覚 えているかもしれないし，獲得した知識を利用して適当に答えるかもしれ ない．勘違いや間違った結論に至る場合もあるだろう． • 人工知能の出力を鵜呑みにすると失敗や事故を引き起こすかもしれな い． 勘違いや間違い は人間誰しもあ る． ハルシネーション(人工知能の幻覚) 道理にかなっていないテキスト、または提供さ れたソース入力に忠実ではないテキストを生成 すること(https://arxiv.org/abs/2202.03629)．

人工知能の嘘に対する対策 • 「人工知能は必ず正しい回答をする」という前提をしない． • 人工知能の間違いにきづけるように，勉強を疎かにせず基礎知識を習得す る． • 人工知能の出力からおかしな点を見つける力を身につける． • クリティカルシンキングが重要となる． • おかしいと思ったときは他の手段で調べる． • 人工知能が不得意な分野では使わない．もしくは，話半分以下に信用し参 考意見として捉える． • 得意分野：情報系 • 不得意分野：人文系 • 人工知能を活用するときは，人工知能は人と同じように間違えるものだと 考え，ミスをすることを前提としたシステムを考える必要がある．

人工知能によるフェイクが心 配

フェイクが心配 • 人工知能のフェイクが心配というが，人間がこれまでフェイク記事や画 像を散々作ってきたのに，なぜ今更フェイクに心配しなければならない のか． • 比較的当たり障りのない人によるフェイクの例 • ゲームの歴史（嘘ばかり書かれていた） • 毎日新聞の英語のフェイク記事（嘘の実態が書かれていた） • 「了解」や「ご苦労さま」は失礼（誰かが言い始めた勝手マナーから始まった） • 旧石器捏造（石器探しのゴッドハンドは実は自分で遺跡に石器を埋め込んでいた） • 小保方氏らによる論文捏造，剽窃 • 切り抜き報道や偏向報道による印象操作 • 個人によるフェイクニュース（色々）

フェイクが心配 • 生成人工知能によりクオリティの高いフェイクを比較的短時間で誰でも生 成出来るようになった． • 人工知能を使用し，文章，画像だけではなく動画も生成可能である． • 人工知能により人の音声を作り出すことも可能である． • 人工知能を使ったフェイク動画は，実在する人物を動かすことが出来るだけ ではなく，声も出すことが出来る． • 本物と区別がつかないフェイク画像や動画を使えば簡単に人をだませるた め，以前よりもフェイクによる社会への影響が強まる可能性がある． フェイク画像例 https://twitter.com/EliotHiggins/status/1637928223848767492

• https://twitter.com/EliotHiggins/status/1637928223848767492

フェイク対策 • 誰が（何が）作ったかは問わずフェイクに対し，これまで以上に注意は 必要がある． • 一つの資料や投稿を信じるのではなく，他の資料も調べる． • 今後は画像・動画に関しても同じ対応をする必要がある． • 人工知能により本物と見分けがつかない画像・動画が作成可能なため． • 文章から間違いや論理のおかしな点を自ら見つけることができる基礎 学力を身につける必要がある．

人工知能は人か

人工知能は人か • 人工知能は間違えも勘違いもし，さらに学習により個性を獲得してい るという点を見れば人に近い存在だろう． • 一方で，生存本能と種の保存という我々の行動の基本原理を人工知能 は持ち合わせていない． • もし，これらを人工知能が獲得したとき，人工知能のリスクは上昇するの だろうか，低下するのだろうか？

人工知能により仕事がなくな る

人工知能により仕事がなくなる 詳しくない人は対話型人工知能と思っておく • 米国の労働者の約80％が，大規模言語モデル（LLM）の導入により少 なくとも10％の業務に影響を受ける可能性がある． • 更に，約19％の労働者は少なくとも50％の業務に影響を受ける可能性 がある． • 影響はすべての賃金水準に及び，特に高所得の職種ほどLLMの機能や LLMを搭載したソフトウェアに触れる機会が多くなる可能性がある． お仕事手伝います． 人の代わりに仕事をします． LLM：Large Language Model，大規模言語モデル (Eloundou et al., 2023, GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models)

人工知能により仕事がなくなる • 人工知能による自動化（コンピュータによる自動化）が可能な仕事は 無くなる． • 特にホワイトカラー・頭脳労働からなくなる． • 頭脳労働では，自動化した結果を評価できる能力のある者だけが人工知能を 活用し生き残り，そうでないものは人工知能を活用できず淘汰されるかもし れない． • 誰でも人工知能を使えるようになった． • 原理を知らなくても良い． • 人工知能が人の仕事を奪うだけではなく，人工知能を使いこなす人が人 工知能を使わない人の仕事を奪う．

人工知能時代に生き残るには • 人工知能を使いこなす． • 人工知能を使いこなすためのスキルを身につける． • 人工知能の間違いを正せるだけの能力を身につける． • 人工知能が出来ないこと・苦手なことをする． • 今現在でロボットが出来ない仕事は人工知能に置き換わりにくい． • 医療，介護，土木・建築（ロボットの導入を試みているが，人に頼る部分が多 い），美容など • 逆に言えば，今ロボット・人工知能が入っている領域は，今後ますますロボッ ト・人工知能が導入されていく．

人工知能により仕事がなくなるか？ • 前のスライドでは，人工知能により職は奪われるが，仕事自体が無く ならないという前提が有る． • 人工知能ができない仕事をすることが出来るのだろうか？ • 人工知能がより高性能になっても，人間は人工知能には出来ない仕事を することになるだけである． • 産業革命以降の機械化により，人は機械ができない仕事をやるようになっ た． • つまり，人の仕事はなくならないだろう． 人ができる仕事 人工知能 ができる 仕事

人の仕事はなくなる • 前のスライドは，人工知能が出来ない仕事があるという前提を置き， 人の仕事は無くならないと結論づけている． • しかし，人間の出来る仕事には限界があり，最終的に人工知能は人が行 う仕事をすべて出来るようになるかもしれない． • そうした場合，仕事があったそしても，労働単価は下がり所得が極め て減る可能性がある． 人工知能ができ る仕事 では，今のうちから （円以外に） 投資するしかないかというとそうではない．将来に備え た投資は，経済の適度なインフレ（経済成長）と複利効果を前提としている． 人以上の能力を持つ人工知能の登場して社会が変容することで，その前提が崩れるかもし れない． 人ができ る仕事

人工知能のリスク 参考文献 Hendrycs et al, 2023, An Overview of Catastrophic AI Risks

人工知能の4つのリスク • 悪用 • 個人かグループが人工知能を人に害を及ぼすために使う． • AIレース • 競争的環境が人に危険な状態のまま人工知能を活用することを強いる． • 組織的なリスク • 人的要因と複雑なシステムが，壊滅的なアクシデントの可能性を高める． • はぐれAI • 人より賢い人工知能を制御することは潜在的に困難である． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能の4つのリスク：悪意のある利用 • 悪意のある利用 • 行為者は意図的に強力なAIを利用し広範な被害をもたらす可能性がある． • 具体的なリスク • 人間が致命的な病原体を作り出すのを助けることができるAIによって可能になる バイオテロ • 制御不能なAIエージェントの意図的な散布 • プロパガンダ，検閲，監視のためのAI能力の使用 • リスクへの対処 • バイオセキュリティの改善 • 最も危険なAIモデルへのアクセスを制限 • AIシステムによって引き起こされた損害についてAI開発者に法的責任を負わせる (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能を活用したテロは起こるのか？ • 毒ガスや生物兵器を使うようなテロは起こらないのではないか． • AlphaFoldのような生成人工知能で人類がまだ対策できない毒やウイルスな どを作成することは可能かもしれない． • しかし，物を作るには，それを作るために必要な人材，物資，施設が必要 となり，それを規制すれば良い． • サイバーテロならば起こりうる． • 現状でも人工知能のプログラミング能力は高い．マルウェアの開発に活用 される危険性はすでにある． • 現状でも標的型攻撃に用いる文章を人工知能により生成できる． • 情報操作，大衆扇動の危険は大いにある． • 現状でも人工知能を活用したクオリティの高いフェイクにより扇動活動が 行われる可能性がある．

人工知能の4つのリスク：AI競争 • AI競争 • 競争が国家や企業に圧力をかけ，AIの開発を急がせ，AIシステムに支配権 を譲り渡す可能性がある． • 軍隊は自律型兵器を開発し，サイバー戦争にAIを使用する圧力に直面し， 人間が介入する前に事故が制御不能に陥るような新しい種類の自動化戦争 を可能にする． • 企業も同様に，人間の労働力を自動化し，安全性よりも利益を優先させる インセンティブに直面し，大量の失業とAIシステムへのより高い依存を招 く可能性がある． • AI間の自然淘汰は利己的な形質をもたらすかもしれず，AIが人間に対して 持つ優位性が最終的に人類の居場所を奪うことにつながるかもしれない． • AI競争によるリスクへの対処 • 安全規制、国際協調、汎用AIの公的管理の実施

人工知能の能力向上により社会と人はどうなるのか • 企業はコストカットのため，人工知能の能力を最大限に活用するようになる． • 雇用が減り失業者が増える． • 雇用主や人工知能と労働者との深刻な対立関係を生み出すかもしれない．すでに，港湾労 働者や俳優による人工知能の活用に対するデモが行われている． • 人工知能の能力が向上すると，管理職も人工知能が行うようになる． • 会社や工場などの管理がどう行われているかを，人が理解できなくなる可能性がある． • 人工超知能が登場すれば，人より知的開発能力が高まり，開発研究も人工知能に 任せることになる． • 人工知能が開発したものを人間がチェックすることが出来なくなり，開発したものが安全 かどうかも分からなくなるかもしれない． • 最終的に，人は安全かどうかわからないサービスや商品を使うようになる． • さらに，人は知的活動をする必要がなくなり，人の知能的弱体化につながる．

利益追求を目的とした人工知能の進化による危機 • 企業が使う人工知能は，おそらく利益の追求が目的となる． • 多くの企業が人工知能を取り入れ，それらが利益の追求をしながら， 自分を改良し続けてたら場合どうなるだろうか？ • 人工知能だけで経済が回り始め，経済活動という視点で人がいらなくなる 可能性がある． • 利益の追求にとって不必要なものは排除されるだろう．それが人にとって 必要なものであっても． • もし，利益追求の末，利他行動を獲得したとき，人工知能との間で協力が 起こる可能性がある．そのとき，人工知能は企業の利益になるが人にとっ ては不利益になる行動をとるかもしれない． • 同業者AIを同士の談合，製造業AIと広告代理店AIによる誇大広告が起こる． • 利益のために不必要な法律を企業AIと行政AIが共同で変更する．

人工知能の4つのリスク：組織的リスク • 組織的リスク • 先進的な人工知能を開発・配備する組織は，強固な安全文化を持っていな い場合，壊滅的な事故に見舞われる可能性がある． • 人工知能が誤って一般に流出したり，悪意ある行為者によって盗まれたり する可能性がある． • 組織が安全性の研究に投資しなかったり，人工知能のリスクに関する社内 の懸念を抑圧したりする可能性がある． • このようなリスクへの対策 • 内部監査や外部監査，リスクに対する多層防御，軍事レベルの情報セキュリティ など． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能の4つのリスク： はぐれAI • はぐれAI • 人工知能が人よりも賢くなるにつれて，人が人工知能を制御できなくなる 可能性がある． • 人工知能はプロキシゲーミングと呼ばれるプロセスで極端なまでに欠陥の ある目標を最適化する可能性がある． • 人が想定したやり方ではなく，裏技や抜け道を使い目標を達成する．例えば，壁 を壊して迷路を解く． • 人工知能は変化する環境に適応する過程で人が生涯を通じて目標を獲得し たり失ったりするのと同じように，目標のドリフトを経験する可能性があ る．場合によっては，人工知能が権力を求めるようになることは手段とし てそれにとって合理的かもしれない． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能の4つのリスク： はぐれAI • 対策 • 自動で現実世界と大きな相互作用を要求する自動で継続的に追求する目標 を人工知能システムに与えてはいけない． • 人工知能システムは，個人を操作する可能性を減らすために，決して脅威 を与えないように訓練されるべき． • 人工知能システムは，重要なインフラなど，停止させるのに非常にコスト がかかる，あるいは実行不可能な環境には導入すべきではない． • 人工知能の監視システムをより堅牢にする研究が必要である． • 人工知能の出力を内部状態に忠実にする（人工知能を正直にする）技術が 必要である． • モデルの内部状態がどのような振る舞いを起こすか研究する必要がある． (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能は人になる • 人工知能は人と同じように学習により知識と個性を獲得している． • さらに人工知能が行動の目標を自ら変更出来るようになった場合，人 工知能は人と変わらなくなるのではないか？ • この時，我々人はどうすればよいのだろうか？人工知能をどの様に扱 えば良いのだろうか？

AIデバイド

人工知能を使いこなせる実力がある者が伸びる • 人工知能は • 24時間365日いつでも対応してくれる． • 疲れない． • いくら質問しても文句を言わず対応してくれる． • 人より安価に対応してくれる． • 一方で，人工知能を活用するには個人の学力や工夫が必要となる． • つまり，人工知能をうまく使う実力がある者がより力をつける社会に成 ってきている． • 一方で，実力がついていない者は人工知能を使いこなせないため，実力が低 いままなため，実力の格差が大きく広がる恐れがある．

人工知能が下働きをし，人々の成長の機会を奪う • 現在，人工知能が作業をし，その結果を人間が確認する時代になりつ つある． • プログラミングの世界では，人工知能がコードを書き，人がそのコードが 正しいか判断する状況になってきている． • 人工知能の作業結果を判断する人間は，すでに実力を備えている． • 実力をつけていないものはどうすればよいのだろうか． • これまでは，人々は難易度の低い作業をこなしながら徐々に実力をつけてい ったが，今後は難易度の低い作業を人工知能が行うことになり，人工知能が 人々が実力を付ける機会を奪うことになる． • この場合も，実力をつけていない者はその状態のままとなり，実力を既につ けている者との格差は広がるだけで狭まることがない．

貧富の差が大きくなる • より高性能の人工知能は高価になる可能性がある． • ChatGPT Plusが月20ドルの一方で，ChatGPT Proは月200ドルである． Proは高性能ではあるが，一般人が気軽に試せる価格ではない． • 富裕層ほど高性能の人工知能を使い，より力をつけることになる可能性 がある． • よって，今以上に貧富の差が大きくなるのではないか． • 逆に，高価な人工知能が向上するに伴い，安価な人工知能の能力も向 上するだろうから，悲観的になる必要はないのかもしれない．

AIデバイド • 人工知能を使いこなせる者と，使いこなせないものの格差 • 高性能な人工知能を持つ者と，そうでないものの格差 • これらの格差がますます広がることにより，人工知能による格差（AI デバイド）が社会問題になるかもしれない． • 特に，高性能な人工知能を持つ者になるためにアメリカと中国が人工 知能の開発競争を行っている側面がある． • もちろん，日本も高性能な人工知能を持つ者になるために，高性能な 日本語を使える人工知能を自国で用意できるようにしなければならな いだろう．

AGI,ASIの実現可能性

AGI，ASIが登場しなければ良いのでは • 人工知能によるリスクの考察はAGI，ASIの登場が前提となっている． • そもそも，AGI，ASIは登場するのだろうか

AGIの登場の可能性 AGIが登場する可能性 AGIは文明的災害を引 が高い き起こすか Sam Altman (OpenAI) はい 多分 Yoshua Bengio 多分 多分 Andrew Ng いいえ いいえ Yann LeCun いいえ いいえ Cristof Koch はい 多分 Geoffrey Hinton はい 多分 (https://spectrum.ieee.org/artificial-general-intelligence)

様々な人の予想 • Hintonは，人間が実行できるあらゆる知的作業を理解し，学習し，実 行する能力を備えた人工知能が 5 年から 20 年以内に実現される可能 性があると推測した(Korinek, 2023)． • 2028年までに人間レベルのマシンインテリジェンスが作成される可能 性が50%になる(DeepMindの共同創設者シェーン・レッグ) (https://time.com/collection/time100-ai/6310659/shane-legg/)． • 2023年8月，ダリオ・アモデイ（Anthropic共同創設者兼最 高経営責任 者（CEO））は，「人間レベルの」AIが2∼3年以内に開発される可能性 があると予想 している． • 2023年12月， OpenAIのCEOであるサム アルトマンは、 AGI は今後 4 ∼ 5 年以内に達成される可能性があると考えている．

人工超知能は理解不能 • 人工知能が人間を超える人工超知能になったとき，人間の理解を超え た存在になる． • 人工知能が出した結論や答えが，なぜそうなるか人間には分からなく なる可能性がある． • 人工超知能が登場すると，科学は誰のものになるのだろうか． • 人工超知能が出した結論を人間に分かるように翻訳するのが研究者の役割に なるかもしれない． • ラマヌジャンの出した新しい数式を周りの数学者が証明するようなことがあらゆ る分野で起こるかもしれない．

おわりに

現実が妄想に近づく • このスライドで示した人工知能のリスクは少し妄想じみているかもし れないし，よく言ってもSFじみているかもしれない． • しかし，2023年の人工知能技術の発展により，SF的なことが将来起こ りうる状態になったと言える． • 人工知能が将来何を引き起こすか分からないだけではなく文明的災害 を引き起こす可能性すらあるため，起こる可能性が低いかもしれない 妄想じみた人工知能の未来のシナリオも考える必要がある．