人工知能研究者はどこに向かえばよいのか
5.1K Views
January 11, 24
スライド概要
公立小松大学の講義で使っている資料です．
関連スライド
各ページのテキスト
人工知能研究者はどこに向 かえばよいのか 公立小松大学 藤田 一寿 Ver. 20250131
そもそも人工知能研究では， 何を研究するのか？
中国語の部屋 • 次のような思考実験を中国語の部屋という • 中国語を理解できない人を小部屋にいれ，中国語のあらゆる返答が書かれた辞書を 持たせる． • 部屋に中国語の質問を書いた紙を入れると，中の人が辞書をひいて適切な返答を紙 に書き返す． 小部屋 中国語の質問が書 かれた紙 中の人は中国語は 分からないが，辞 書をひいて適切な 返答を探す． 中国語の返答が書 かれた紙
中国語の部屋は人工知能システム • 中国語の部屋は，中国語の質問に対し適切な返答をするチャットボットシステ ムと言える． • 小部屋は人工知能に対応すると言えるだろう． 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い．
中国語の部屋を実現するために必要なもの チャットボットを実現 するシステムの構築 心地よいUI， UXの開発 中国語のチャットボット 入力 出力 中国語を話す人工知能 出力の評価 中国語の返答が書 かれた紙 中国語の質問が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 人工知能を開発するためのツ ール 人工知能の学習に必要 なデータ 中国語を話す人工知能 （大規模言語モデル） 人工知能を動かすためのコン ピュータ
人工知能研究では，どのような研究をすればよいのか？ • 機能や能力を実現する人工知能の技術を研究する． • 人工知能を動かすためのコンピュータシステムの研究をする． • 人工知能を開発するためツールや手法の研究をする． • 人工知能サービスを実現するシステムや仕組みを作る研究をする． • 人工知能が学習するためのデータを作る研究をする． • 人工知能の応用先（アプリケーション）を考える研究をする． • 人工知能の出力を評価する仕組みを作る研究をする． • 人工知能が社会的，倫理的などに問題が無いか研究する．
機能や能力を実現する人工知能の技術を研究する 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 中国語の入力に対し適切な中国語を出力する人工知能の技術を研究する
人工知能を動かすためのコンピュータシステムの研究をする 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 人工知能を動かすためのコンピュータシステムを開発する
人工知能を開発するためツールや手法の研究をする 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 人工知能を開発するためのツールを開発する
人工知能サービスを実現するシステムや仕組みを作る研究をする 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 中国語のチャットボットを実現するシステムや仕組みを開発する
人工知能が学習するためのデータを作る研究をする 中国語のチャットボット 入力 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の質問が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 中国語の学習のためのデータを用意する
人工知能の応用先（アプリケーション）を考える研究をする 中国語を話せる人工知能を使って中国語のチャットボットでは ないサービスを考える． 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い．
人工知能の出力を評価する仕組みを作る研究をする 中国語のチャットボット 入力 出力 中国語を話す人工知能 中国語の質問が書 かれた紙 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 中国語の返答の質を評価するための技術を開発する
人工知能が社会的，倫理的などに問題が無いか研究する 中国語のチャットボット 入力 中国語の質問が書 かれた紙 出力 中国語を話す人工知能 中国語の返答が書 かれた紙 中国語の部屋を実現するには，部屋の中の 機械が適切な返答をすれば良い． 中国語のチャットボットが与える社会への影響 や倫理的な問題を考える．
人工知能技術にはまだ課題が ある
すぐ思いつく人工知能の技術的課題 • 高性能な人工知能を軽量，高速したい． • オンプレ，IoT機器，エッジで処理したい． • 7Bくらいの大規模言語モデルならばゲーミングＰＣで高速に動作する． • 小型な大規模言語モデル？も続々と開発されている． • 学習データが不足した場合のどうするか？ • 人工知能を賢くするためには大量の学習データが必要である．近年，その不足が懸 念されている． • 大規模言語モデルにおいては自己学習により解決されつつある？ • 中国の大規模言語モデルはChatGPTの出力を学習している可能性が指摘されている． • 強化学習で解決できるか？ • 人工知能は抽象的な命令を理解できるか？ • 大規模言語モデルで解決されつつある．
すぐ思いつく人工知能の技術的課題 • 動物はデータが少なくても学習できる？ • 人間は，より少ないデータで大規模言語モデルに匹敵する言語能力，DQNのような 運動制御能力，AlphaZeroのようなゲームの強さを獲得していると言えるかもしれな い． • 大規模言語モデルを効率よく獲得する方法として人が参考になるかもしれない． • 一方，視覚や音声の認識能力は，目や耳から常に入ってくる大量のデータを使って 学習しその能力を獲得しているのではないか？ • この点では，人と人工知能と変わりないかも． • one-shot, few-shot promptingは大規模言語モデルの得意技であり，大規模言語モデ ルを活用した人工知能は少ない学習データで様々なタスクをこなせると言えるかも しれない． • 短期記憶はfew-shotにあたるのかも． • 逆に大規模言語モデルが人の短期記憶など記憶のメカニズムの解明につながるかも．
すぐ思いつく人工知能の技術的課題 • ゴリラ問題：Googleの人工知能が人をゴリラと間違えた． (https://gigazine.net/news/20230523-google-photo-ai-prevent-labeled-gorillas/) • 入力を少し変えるだけで別の物と識別されることがある． • モデルが大きすぎて問題が起きた時に原因を特定しにくい． • 人間の都合が良いように人工知能をどう制御するか(アライメント)． 人にはパンダにし か見えない． 人ならゴリラと識 別しないのだが… ノイズを加えるとパンダをテナガザルと識別する事がある． (Goodfellow et al.,2015) https://datascienceethics.com/podcast/google-gorilla-problem-photo-tagging-algorithm-bias/
課題に立ち向かわなければ • 人工知能技術にはまだまだ課題がある． • 企業，研究機関，大学，個人，それぞれの立場で，それぞれの強みを活かし人 工知能の技術的課題に立ち向かわなければならないだろう．
人工知能研究の困難さ
人工知能の技術は色んな意味で難しい • 人工知能に関する知識は幅広く深く，そして難しい． • 私がすぐに思いつくだけでも，線形代数，微分積分，確率，統計，情報理論，数理最適化，人工ニュ ーラルネットワーク，強化学習，画像処理，音声・信号処理，いわゆるアルゴリズム，プログラミン グ，高速計算，神経科学 ，統計力学 などが必要かもしれない． • アラインメントまで考慮すると，法律，倫理，政治，経済，哲学なども必要になるだろう． • 数学が難しい． • 原理は数式だらけ． • 理解している間に時代遅れになる． • 人工知能技術を理解するには時間がかかる． • しかし，人工知能技術は文字通り日進月歩に進化している． • 理解を捨てて人工知能の最新情報だけ追いかけても，少し気を抜くだけで置いていかれる． • 研究者よりも，趣味で日々人工知能を追いかけている人の方が人工知能技術の最新情報に詳 しいかもしれない ．
人工知能の技術は色んな意味で難しい • 人工知能を動かすのが難しい．動かすハードがない． • 最新の人工知能は高価な計算機でないと動かないかもしれない． • 人工知能技術に関する問題自体が無くなる． • ニューラルネットワークを巨大化すれば性能が上がるから，なにか問題があってもニュ ーラルネットワークを巨大化して解けば良い． • 世界中に研究者・技術者がいるので，誰かがすぐ問題を解決する． • 人工知能技術自体の研究は，少なくとも私の手に負えるものではなくなったかもし れない． 私が使うハード RTX4060Ti 約8万円(2024年時点) https://www.elsajp.co.jp/produc ts/detail/geforce-rtx4060-ti-8gb-s-a-c/ 理想のハード H100 約600万円 (2023年 時点) https://www .elsajp.co.jp/nvi diah100tensorcoregpu/
すで人工知能開発は大学の研究者から手を離れた • ニューラルネットワークが巨大になり人工知能のために莫大な計算量が必要であ る． • ニューラルネットワークは大きければ大きいほど性能が高い． • 巨大なニューラルネットワークを動かせる計算機は高額である． • 巨大なニューラルネットワークの学習には莫大なデータが必要となる． • データが少ないと巨大なニューラルネットワークの性能を十分発揮できない． • データ不足に関しては，スクレイピングすれば文章データや画像データに関しては，あ る程度解決できるかもしれない． • 学習済みのオープンソースのモデルを使えば解決できるかもしれない． • しかし，fine tuningやRAGで用途に合わせた知識をうまく追加する必要が有る． • もしくは，プロンプトを活用して自分の用途に合った出力が出す必要がある．
すで人工知能開発は大学の研究者から手を離れた • 開発のための人的資源が必要となる． Graduate student descent: 大学院生が最適化する手法を 揶揄した用語．このジョーク的な用語からも人工知能研 究でもマンパワーがものを言うことが垣間見られる． • アイデア勝負なので複数の優秀な人が色々なアイデアを出したほうが良い． • トライアル・アンド・エラーの世界なので人手がある方が良い． • 技術の深化・進化スピードが速い． • もともと幅広い知識が必要な分野にも関わらず，技術の進歩は日進月歩で今や数ヶ月 前のことすら古くなる． • そもそも面白そうなことは企業や技術者がさっさとやる． • ネット上に画像は沢山あるので，それを使って学習するればすごいことができそうだと誰でも 考える．このような面白そうで実現可能性が高そうなことは企業や個人が素早く実現する． • ChatGPTの出力をChatGPTに返すなんて誰でも思いつくことは，技術がある人がさっさと実 現する． • 金も人も無い大学で人工知能の最先端研究をするのは難しい時代になった．
重要な機械学習モデル 企業 訓練にかかるお金 スタンフォード大学AIインデックスレポート2024 アカデミア（大学） 大学ではなく企業が重要な機 械学習手法のほとんどを発表 している． OpenAIのGPT-4 はトレーニングに推定 7,800 万ドル相当、GoogleのGemini Ultra に1億9,100万ドルかけた．つまり大 規模言語モデルはお金がかかる． (https://aiindex.stanford.edu/report/)
応用研究はやりやすくなった • 人工知能技術それ自体ではなく，その応用研究やサービス開発の環境は非常に良 くなっている． • 高性能な特化型人工知能はすでに存在し，技術も公開されている． • 高性能な人工知能のプログラムコードは無料で配布されている． • 当然オンプレミスで動かせないほど計算量が必要な高性能なもの（ChatGPTなどの大規模言 語モデル）は有料で利用しなければならないかもしれない． • 一方，70B以下のパラメタを持つ大規模言語モデルならゲーミングPCがあれば動く． • 人工知能に関する無料の教材がたくさんある． • 無料・有料の人工知能ソフトを組み合わせてれば，昔に比べ容易に応用研究や 人工知能を活用したサービスの開発ができる． • 人工知能の実装で分からないことがあれば，対話型人工知能と相談できる． オンプレミス：施設内 オンプレで動かせる（欲を言うとゲーミングPCで動かせれば）まずまずの性能の大規模言語モデルが作れれば更に人工知能の技術が普及する．2024年には，気軽に ゲーミングPCなどで動かせるところまで来ている．
大学の人工知能研究者はどうすれば良いのか • 人工知能研究をやめ，他の分野の研究をする． • 大学の研究者をやめ，資金力の有る企業で研究する． • 大学で最新の人工知能技術を追いかけビッグテックと戦う． • お金のかからず人がやらない研究テーマを捻り出す． • 既存の人工知能技術を儲からない分野に応用する． • 既存の人工知能技術を自分しか持っていないデータに適用する． • 人工知能を解析する．知能発現の原理を明らかにする． • なぜ人工知能は高性能なのかを数理的に明らかにする． • しかし，数学の知識が必要となる． • 既存技術に性能で劣る既存技術とは違うアプローチの人工知能を研究する． • 常に「既存技術で良いのでは」というツッコミに耐える必要がある． • やっても意味が無いかもしれないが，意味が有るかどうかはやってみないと分からない．しかし， やっても意味があるかどうか分からないかもしれない． • 例：NeuroAI，ニューロモーフィックコンピューティング，スパイキングニューラルネットワーク， 量子機械学習（量子計算への新規参入は難しいかも）
AIを容赦なく活用してくるニートには勝てないかも • DeepSeekはまさしくAIを容赦なく活用してくるニートかもしれない． • 梁文峰（Liang Wenfeng）は大学卒業後，AI研究のため，安い借家に引きこも る． • その後，AIを活用した投資会社を設立，そこで得た資金を用いてAIの研究開発 を行うDeepSeekを設立する． • 2025年1月ChatGPT o1に匹敵すると言われるAI，DeepSeek R1 を発表． • 衝撃的なこと • 性能がChatGPT o1に匹敵する． • 強化学習だけで性能向上できることを示す． • 開発した技術を公開する． • 開発したAIを誰でも自由で使えるようにする． • ついでに他社のAIも強化して公開する． https://www.lesswrong.com/posts/kANyEjDDFWkhSKbcK/two-inte https://huggingface.co/deepseek-ai/DeepSeek-R1
前半のまとめ
まとめ • 最先端の人工知能技術を活用するためには日々新しい技術の習得が必要である． • 人工知能技術の最新の情報を得るだけでも日々調査が必要となる． • 人工知能の勉強や研究のみやる人に，職業研究者は勝てなくなる（少なくとも大学の 研究者は勝てない）． • 人工知能の応用に関する研究開発は益々盛んになるだろう． • 基礎技術と開発環境などの道具は揃っている． • 技術とハードウェア以外の開発環境は無料で手に入り，誰でも挑戦できる． • ノートパソコンが有るのであれば，GoogleColabolatoryを使えば人工知能技術を無料で試せる ．人工知能技術を試すだけならハードウェアも無料と言える． • 研究者は企業と違う視点で研究テーマを模索することも必要だろう． • 人工知能の中身の理解を捨てる勇気も必要かもしれない． • ほとんどの人がコンピュータの原理を知ることなく（さらに気にすることもなく）使 いこなしている．人工知能技術も同じ態度で対応しても良いのではないか．
研究者として新しい技術をど う生み出すか
王道を外れましょう • 最新の技術を追いかける王道や応用研究を目指しても良いですが， • 現在のコンピュータや人工ニューラルネットワークとは異なるアプローチの人 工知能を模索しても良いのでは．
王道を外れ 人を参考にする
人は参考になるのでは • 人は • 簡単に覚える． • One-shot学習，few-shot学習（大規模言語モデルの得意技） • 五感の情報を使って判断する（マルチモーダル）．すでに行われている． • 五感の情報と運動を統合している（Sensory motor interaction）． すでに行われてい る． • 新しい発想をする．想像および創造する．ハルシネーションは創造ではないのか？ • 複雑な推論，予測をする．（大規模言語モデルで可能かどうか？） • 複雑な規則性を見出す．（大規模言語モデルで可能かどうか？） • 感情を持つ．（大規模言語モデルは感情を持っているか？） • 意識を持つ．（大規模言語モデルは意識を持っているか？） • 性能の割に，小型で消費エネルギーが少ない． 対話型人工知能や画像生成 人工知能は創造していると 言えるだろうか，言えない だろうか？創造とはなんだ ろう．
人は参考になるのでは • 人を参考に人工知能技術を目指す． • 人の機能（脳機能）に関わる知見はたくさんある．それらが活かせないか？ • 知見が沢山あるから脳のことが分かっているかというと分かってはいない． • 人は人工知能の技術的な目標にはなる． • だからといって，生理学的解剖学的知見に基づいて実現する必要はない．
脳を探るアプローチ
脳の情報処理メカニズムを解明するためアプローチ 0, 1, 2, 3, 4 5, 6, 7, 8, 9 • トップダウン的手法 • 脳を情報処理機械とみなし，そ の計算理論を明らかにすること で脳を理解する． 画像 脳 数字だとわかる 脳は情報処理をしているだけの物だか ら，脳の入力と出力から脳の計算手法 を導けば良い． • 機能から考える． • ボトムアップ的手法 • 脳を構成する構成要素とその相 互作用により，どのようにして 脳の情報処理機能が実現してい るのか明らかにする． トップダウンの人 脳の出力は沢山の神経細胞の生化学的 ダイナミクスが積み重なった結果生じ るのだから，生理学的解剖学的知見を 積み重ねていけば脳の情報処理を再現 できる． • 部品から考える．要素還元主義． ボトムアップの人
コンピュータと脳の違いを知 り人工知能の参考にする
ハードウェアが違う • 人工知能を動かすハードウェア（コンピュータ）と人の知能を実現するハード ウェア（脳）は違う． 脳は省電力 脳は小さく軽い 脳の記憶容量は，10^15以上の接続を持 つ860-1000億個のニューロンの存在か ら2,500 TB と推定されている (Reber, 2010; Herculano-Houzel,2012)． (Smirnova et al., 2023)
コンピュータと脳の違い • 計算素子が違う • コンピュータはトランジスタ • 脳は神経細胞（ニューロン） • 数値が違う • コンピュータはデジタル（ソフトウェアでは浮動小数は使える） • 脳はアナログ（スパイクを使うからといってデジタルと言い切れないでしょう） 1 ハードから脳を目指す道 ニューロモーフィックコンピューティング 0 脳に存在する細胞の動作や神経網のアーキテク チャなどを模倣する（ヒントを得た）ハードウェ アによる計算 コンピュータは０か１ 実際 は，こ んなき れいな 矩形は ではな いだろ う． 神経細胞の波形
おまけ：脳はデジタルか • 膜電位が閾値処理によりスパイクに変換されることや，シナプス後電位はスパ イクにより誘発されるため，デジタル処理をしているように見える． • 実際に，入力の大きさはスパイクの数で表現される．これは実際のデジタル信号表 現（パルス密度変調）と合致する． • しかし，膜電位変化自体はアナログである．アナログの波形の積み重ねによる 情報処理も無視できないのではないだろうか． • 閾値下での膜電位変化による情報処理は無いのか？ • 私の知識ではデジタルともアナログとも言えない． 1 0 コンピュータは０か１ 膜電位のダイナミクスは複雑なもので，神経細胞は単純な閾値処理をしているわけではない．
人工ニューラルネットワーク と脳の違い知り人工知能の参 考にする
神経科学 人工ニューラルネットワーク ネットワーク化 神経細胞（ニューロン） 脳 解剖学的知見に基 づき精密に脳をモ デル化した人工ニ ューラルネットワ ークはあるだろう か．機能をモデル 化したものはたく さんあるだろう． 人工ニューラル ネットワーク 数理モデル化 𝑓(𝒘𝑇 ⋅ 𝒙) 人工ニューロン ネットワーク化 人工ニューラル ネットワーク 人工ニューロンを組み合わせ様々な機能を実現したものを人工ニューラルネットワークと呼ぶ． かつては，人工ニューロンは神経細胞を数理モデル化したもので，人工ニューラルネットワークは神経科学のと言えた． しかし，現在の人工ニューラルネットワークは神経細胞や脳の数理モデルから乖離しており，表面上は脳と関係ない． 表面上関係ないが，学習機械として共通する理論や性質があるのかもしれない．
脳は神経細胞の集まり • 神経細胞が集まった部位． • 神経細胞がネットワークを構築している． • 神経細胞が脳における主な計算素子． • 脳にはグリア細胞など神経細胞以外の細胞も多く存在し，脳機能に重要な役割 を果たしている． • 一方，人工ニューラルネットワークは神経細胞とシナプスで構成されている． シナプス 実際の神経細胞は複雑に繋がっている ニューロン アストロサイト ニューロン オリゴデンドロサイト 神経細胞とグリア細胞 人工ニューラルネットワーク
人工ニューロンと神経細胞は違う • 現在の人工知能の主流技術である人工ニューラルネットワークも人工的な神経 細胞（人工ニューロン）からなる． • しかし，神経細胞は人工知能で使われる人工ニューロンとは異なった性質を持 つ．
人工ニューラルネットワークと脳の違い • 脳の神経細胞は膜電位と呼ばれる電圧で情報処理をしており，入力が閾値を超 えるとスパイク状の電圧変化を起こす． • 人工ニューロンでは活性化関数𝑓 入力 の値がニューロンの出力となる． 人工ニューロン 入力 入力 入力 閾値 ニュー ロン 𝑓(⋅) 出力 活性化関数 人工ニューロンの出力（活性化関数がステップ関数の場合） 実際のニューロンの応答 スパイク 人工ニューロンの出力（活性化関数がReLUの場合） 脳の神経細胞は膜電位で情報処理 をしていると書いたが，正確には 神経細胞は細胞膜内外のイオン濃 度差を使い情報処理を行う． (Purves et al., Neuroscience) 脳の神経細胞（ニューロン）は矩形波の入力であってもスパイク上の出力を発 するが，人工ニューロンは矩形波が入力されれば矩形はを出力するだろう．
脳は複雑だ • 脳は神経細胞だけではなくグリア細胞など様々な細胞でできている． • 人工ニューラルネットワークは均質なニューロンと値だけのシナプスで構成される． • 脳の神経細胞は複雑に繋がっている． • 神経細胞だけでも様々なものがある． 実際の神経細胞は複雑に繋がっている アストロサイト オリゴデンドロサイト 網膜の構造 ニューロンは色々ある (Carlson, Physiology of Behavior 11th ed) (British Neuroscience Association, Neuroscience)
多様な神経細胞の応答 (カンデル神経科学) 神経細胞の応答は個性豊かだ． 注意：これはシミュレーション結果 (Izhikevich 2004)
脳のシナプスは単純ではない • 人工ニューラルネットワークでも脳でも，ニューロン同士の接続の間にシナプスがある． • 神経細胞の出力はシナプス後電位に変換され，次のニューロンに伝わる． • 人工ニューラルネットワークではニューロンの出力は入力×シナプスの重みを活性化関数で変化 させたものである． • 脳のシナプスは特有の動的応答を示す． • シナプスの重みは動的に変化しない（学習で変化するが）． • 脳のシナプスには興奮抑制の区別がある． シナプスの応答 シナプス スパイクが生じた後， シナプス後電位が上昇 しその後減衰する． 人工ニューラルネットワー クの出力 出力があった時間 𝑓(入力 × 重み) ニューロン ニューロン Figure 10-7 Synaptic transmission at chemical synapses involves several steps. An action potential arriv voltage-gated Ca 2+ channels at the active zone to open. The influx of Ca 2+ produces a high concentration of Ca 2 時間 neurotransmitter to fuse with the presynaptic cell membrane and release their contents into the synapt (Kandel, Principals of containing Neuroscience) neurotransmitter molecules then diffuse across the synaptic cleft and bind to specific receptors on the post-synapt
活性化関数は脳で使われていないかも • 人工ニューロンは入力をそのまま出力するのではなく，活性化関数を通して出 力する． • 人工ニューラルネットワークでよく用いられる活性化関数はRectified linear関 数（ReLU: Rectified linear Unit）である． • ReLUは入力が0以下なら0，0より大きければ入力をそのまま出力する． • 脳の神経細胞においては，神経細胞の応答のモデルが活性化関数だと言えるだ ろう． • 神経細胞の閾値処理はステップ関数でモデル化できる． 活性化関数 𝑓(𝑥) 入力 ニューロン 𝑓(⋅) 活性化関数 出力 入力𝑥
人工ニューラルネットワークで用いられる活性化関数 昔使われていた活性化関数 （神経細胞と関係がある） Sigmoid関数 現在よく使われている活性化関数（神経細胞とは関係ないだろう） Rectified linear関数 (Rectified Linear Unit: ReLU) 𝑥 if 𝑥 ≥ 0 ℎ 𝑥 =ቊ 0 otherwise 1 ℎ 𝑥 = 1 + exp(−𝑥) Leaky rectified linear関数 ステップ関数 GELU (Gaussian Error Linear Unit) ℎ 𝑥 = 𝑥Φ 𝑥 = 𝑥 𝑥 1 + erf 2 2 Φ 𝑥 :ガウス分布の累積分布関数 erf: Gaussian error function ℎ(𝑥) 𝑥 𝑥 if 𝑥 ≥ 0 ℎ 𝑥 =ቊ 𝑎𝑥 otherwise 出力を0-1にしたい場合や − 1-1にしたい場合は，今で もsigmoid関数とtanhが使わ れる．
Sigmoid関数は神経細胞や脳のモデルと言える Sigmoid関数は次の現象をモデル化したものと言える． 1. 神経細胞の発火率は入力を大きくすればするほど大きくなる．しかし，発火 率は一定以上には上がらない． 2. イオンチャネルの開閉確率は膜電位の大きさに依存する． 3. 神経細胞集団内の発火する神経細胞の数は入力を増やせば増やすほど大きく なる．しかし，神経細胞の数の上限は決まっている． 入力 3 発火数 開閉確率 2 発火率 1 膜電位 入力
神経細胞や脳に近づければ良いというわけではなかった • ステップ関数は神経細胞の閾値処理（all-or-none law）をモデル化したもの． • 閾値を超えたら発火するという現象をモデル化． • パーセプトロンで使われる． • ステップ関数は微分できないので多層化できなかった． • シグモイド関数は神経や脳の応答をモデル化したものと言える． • 多層パーセプトロンで使われる． • 勾配消失問題を生み出した．
Rectified linearはFukushimaが初めて使った？ • 人工ニューラルネットワークでは，神経細胞や脳の応答とおそらく関係ない Rectified linear関数(Rectified linear Unit: ReLU)が活性化関数としてよく使わ れる． • ReLUの歴史は古く，Fukushimaが1969年の論文ですでに使っている． (Fukushima 1969より)
なぜこのような神経生理学とは異なる発想ができたのだろうか • ステップ関数やSigmoid関数の方が神経細胞の応答と対応がつく． • 神経細胞の発火率は入力が強ければ強いほど高くなるが，発火率の高さには限界があ りいずれ飽和する． • しかし，Fukushimaはなぜ神経細胞の応答と対応させにくいReLUを発想でき たのか？ • Fukushimaは「生理学からはヒントをもらうが，開発時には実際の脳はいった ん忘れて研究を進めることが重要だ．ただ，それだけではいずれ限界が来る． その時はもう一度，生理学に戻って考える．これを繰り返すことで，前進して いけるだろう」(NikkeiBPnet, 2015)と語っている． • これはKanadeの「素人発想，玄人実行」にも通じる．
脳の構造は複雑 • 脳のニューラルネットワークは，それぞれの処理に特化したアーキテクチャを 生得的および習得的に得ている． • 生得的にネットワーク構造を獲得している． • 網膜，蝸牛（有毛細胞と基底膜），Jeffress model (音源定位のための脳ネットワーク)は典 型的な例であろう． • 生物は自然界で効率よく情報を処理し生き残るために帰納バイアスを活用したシステムを構 築していると言えるだろう． • 習得的にもネットワークを獲得している． • 第一次視覚野やbarrel cortex（ラットの脳は，ひげ一本一本に対応した領域を持つ）は典型 例だろう． • 畳み込みニューラルネットワークは，脳の受容野を人工ニューラルネットワー クに取り入れることで成功したと言えるだろう． • 畳み込みニューラルネットワークは脳の視覚情報処理と対応が付きやすい．
人間の視覚処理 第一次視覚野：V1 ITの構造 (Tanaka, 2003) (Kandel, Neuroscience) 下側頭葉：IT (inferior temporal cortex) Figure 25-12 Possible functions mediated by the two pathways connecting visual processing centers in the cerebral cortex. The icons represent salient physiological properties of cells in these areas. On the top is the pathway extending to the posteri or parietal cortex, which is thought to be particularly involved in processing motion, depth, and spatial information. On the bottom is the pathway to the inferior temporal cortex, which is more concerned with form and color. Feeding into those two cortical pathways are the P an d M 腹側経路 pathways from the retina. (MT = middle temporal; LGN = lateral geniculate nucleus.) (Adapted from Van Essen and Gallant 1994.) V1の構造 (Carlson) V2 V4 網膜 V1 IT LGN 組み合わ 組み合わ センサ 角度 基本画像 features—movement, depth, form, and color. To express the specific combination of properties in the visual field at any given mo ment, せ せ independent groups of cells with different functions must temporarily be brought into association. As a result, there must be a mechanism Instead, as we have seen in this chapter, visual images typically are built up from the inputs of parallel pathways that process different by which the brain momentarily associates the information being processed independently by different cell populations in differe nt cortical regions. This mechanism, as yet unspecified, is called the binding mechanism.
単純型細胞と複雑型細胞 複雑型細胞 単純型細胞 CNNのプーリングに対応 メキシカンハット型フィルタ ON中心OFF周辺型受容野 CNNのフィルタに対応 (Kandel) ガボールフィルタ メキシカンハット型受容野を持つ細胞を束ねることで，線分をとらえる． 第1次視覚野の受容野はガボールフィルタに似ている． 深層ニューラルネットワークにおいても，下層でガボールフィルタに 似たフィルタが形成されることが確認されている． (Kandel) 線分に対し横断的に応答 する．
Neocognitron（Biolcybern1980） • HubelとWieselの視覚の研究がベースとなる • 単純型細胞に対応したS-cellsで構成されるUs層と複雑型細胞に対応したCcellsで構成されるUc層がある． • Us層は畳み込み層，Uc層はプーリング層に対応する． • 視覚野のモデルであるNeocognitronが畳み込みニューラルネットワークへつな がる． ネオコグニトロンの構造（福島, 2017） ネオコグニトロンの仕組み（Fukushima, 1980） なぜNeocognitronと言うのか？ Cognitronのニューバージョンだから．
脳は新たな人工ニューラルネットワークの参考になるか？ • 計測機器の進化により脳の構造は明らかになってきている． • 脳の構造から着想した新たなニューラルネットワークアーキテクチャが人工知 能をより発展させるかもしれない． • 畳み込みニューラルネットワークは，視覚研究の成果から着想を得て開発されたネ オコグニトロンから始まった． • とはいえ簡単ではないだろう．
深層ニューラルネットワークは深すぎる？ • 人が一つの判断をするために500ms必要とする （遅めに設定） ． • 1スパイクを送るために必要な時間が10msだとすると判断に使えるネットワー クの層の上限は50ということになる（だたし，スパイク１本で確実に処理で きるとする）． • 100層超の深層ニューラルネットワークは人の脳と比べると深すぎるのかもし れない． • スケール則の論文(Kaplan et al., 2020)では，「モデルの性能は深さや幅などの構造 にはあまり依存しない．」と書かれており，ニューラルネットワークは深くしなく ても良さそうではある． • 脳は幅が広く比較的浅い深層ニューラルネットワークなのだろうか？
学習方法が違う • 人工ニューラルネットワークは学習にBackpropagationを使っている． • 神経科学の立場から見れば Backpropagationを使ったニューラルネットワーク の学習は脳モデルからの逸脱しているのではないか． • 脳でBackpropagationが起こっているかどうか分かっていない． • Back-prop netは脳が行っているかどうかで言えば，現実的なものではない (Crick, 1989)．
脳の学習方法（シナプス可塑性） • シナプス可塑性とはシナプスの伝達効率（シナプスの結合強度，シナプス荷重）の 変化のことである． • 脳は学習の要因の一つがシナプス可塑性である． • シナプス可塑性に関わる用語 • ヘブ学習 (Hebbian learning) • ニューロンAとニューロンBが発火するとお互いの結合が強まる． • 長期増強 (Long term potentiation: LTP), 長期抑圧 (Long term depression) • 長期的なシナプスの伝達効率の増強（抑圧） • スパイクタイミングシナプス可塑性 (Spike timing dependent plasticity: STDP) • スパイクの到着時間によるシナプスの可塑性 • 短期シナプス可塑性 (Short term synaptic plasticity, Dynamic synapse) • 軸索終末の神経伝達物質が充填されたシナプス小胞の需給 (放出可能プールの状況)により生じる可 塑性
Hebbian learning（ヘブ学習）(1949年) • Hebbが提案した脳の学習の理論 • シナプス前ニューロンが繰り返し発火し，シナプス後ニューロンの発火を助け たとき，そのシナプスは成長する． ニューロンの応答 ニューロンの応答 time time 学習によりシナプスが成長する． ニューロンの応答 ニューロンの応答 time Hebbの本では，当時おばあさん細胞説とpopulation codingが議論されていて，population codingが 主流であると述べている．Hebbはおばあさん細胞説に基づき議論している．なかなか面白い． time (Hebb, 1949)
STDP学習 STDP学習とは，シナプス前後膜ニューロンのスパイクの 到着時間の関係によりシナプス荷重が変わる学習である． (Zhang et. al. 1998) • • シナプス前ニューロンがシナプス後ニューロンより先に発火したとき，シナプス荷重が増強 シナプス後ニューロンがシナプス前ニューロンより先に発火したとき，シナプス荷重が減弱 (Abbott and Nelson 2000) 学習曲線は様々ある． いわゆるSTDPはin vivo（生体内で）で起こっているのか？起こってないのか？
脳を参考に人工知能を進化させる • 脳と人工ニューラルネットワークには，それを構成する素子や構造に違いがあ る． • 脳の構造や神経細胞の性質など取り入れた人工ニューラルネットワークを作り， 人工知能を脳に近づけることで，新たな人工知能が出来るかもしれない． • しかし，機能や性能が脳に近づくとは限らない． • さらに，ニューラルネットワークを脳に近づけると性能が落ちるかもしれない． • 実際に，生物のモデル的な要素を持つSigmoid関数よりReLUを使ったほうが性能が良い．
脳を直接使えばよいのでは
脳を直接使えばよいのでは • 脳オルガノイド（培養した脳細胞）を使った人工知能の研究が進む（ Organoid Intelligence: OI）． • 培養脳がゲームを解く(Kagan et al., 2022)． Fristonのグループ (https://www.sciencedirect.com/science/article/pii/S0896627322008066)
人工知能や脳に興味がある人 神経科学が好き 人工知能が好き 応用をしたい https://xcorr.net/2023/01/01/2022-inreview-neuroai-comes-of-age/ 知りたい
後半のまとめ
まとめ • 人工ニューラルエットワークと生物の脳はかなり違う． • 人工知能と生物の区別なく知能の研究対象として扱いたい． • 生物の知能の発現メカニズムが分かれば，それを人工知能に応用できるかもしれな い． • 脳研究の成果から人工知能の新たな技術を発想できるかもしれない． • 逆に人工知能で得た知見から人や脳の理解が深まるかもしれない．
これも忘れないように • Suttonは，「人の知識によるアプローチは手法を複雑にする傾向にあり，それ はコンピュータを活用した一般的手法には適さない．ゲーム人工知能でも初期 は人間の知識を利用し探索を避けようと努力したが，大規模に探索が適用され ると，探索を避けることは無関係か，より悪いことを引き起こす」と言ってい る．(http://www.incompleteideas.net/IncIdeas/BitterLesson.html) • 下手な知恵は人工知能の性能を悪化させる．