[DL輪読会]Neuroscience-Inspired Artificial Intelligence

“Neuroscience-Inspired Artificial Intelligence” Tatsuya Matsushima @__tmats__ Matsuo Lab 1

書誌情報 Neuroscience-Inspired Artificial Intelligence • Demis Hassabis, Dharshan Kumaran, Christopher Summerfield, and Matthew Botvinick • 全員DeepMind • Neuron, 95 (2017) 245-258 • 引用数: 66 (2018/7/13現在) • 神経科学と人工知能研究の関連についてのレビュー論文 • 過去の系譜をたどり，どの方向で相互作用が起き得るかを議論 • 綺麗にまとまりすぎていて小枠感が出てしまいました…すみません… 2

選んだ理由 • 「一番身近な知能としての人間を捉えることでさらなるモデル/アルゴ リズムの発展に寄与するのではないか，モデル/アルゴリズムの研究に よって人間の知能の計算論的理解が進むのではないか」と思っている のでまさに興味のある内容だった • たまにはレビュー論文で広めの議論をしたい感 • deeplearning.jpでも，実世界のダイナミクスのモデル化に関する 議論を活性化させたい • (超個人的理由) 全脳アーキテクチャハッカソンに応募しようと企んでおり，アイデアを考えるためにチームメンバー とこの辺に関して議論していた 3

概要 • 神経科学と人工知能研究は密接な関係を築いてきた • But 最近はあまり交流が一般的ではなくなってきている • 生物学的な脳をよりよく理解することが，知的な機械を作るのに不可 欠であることを主張 • 両領域でどこが将来的な研究のカギになるのかを議論 4

背景 • 神経科学と人工知能研究は密接な関係を築いてきた • ex) Hebb則 • But 最近はあまり交流が一般的ではなくなってきている • しかし，人間の知能のレベルのAIを構築するのは気の遠くなるような タスク • (設計としての)探索空間が大きすぎるし，解がスパース • ここで，人間の知能を参考にすることの重要性が強調される 5

背景 - 生物的な知能を詳しく調べる利点 1. 人工知能研究にとってのインスピレーション • 生物的な計算論がわかれば，人工知能研究に利用しようとする流れ 2. 既存の人工知能技術に対するバリデーション • 人工知能研究におけるモデル/アルゴリズムが神経科学的に発見さ れると，一般的な知能システムの構成要素である強いサポートにな る 6

背景 - 生物的な知能を詳しく調べる利点 もちろん • 実用的な観点では，生物学的妥当性に固執する必要はない • 工学的な観点では，動くことが正義 • → 生物学的妥当性は，要件ではなくガイドであるべき • 脳が採用している，アルゴリズム・アーキテクチャ・関数(近似)・ 表現(学習)が参考になるはず • David Marrの「3つのレベル」の上位2つに対応 7

背景 - David Marr の「3つのレベル」 計算理論のレベル • 計算の目標はなにか．なぜそれが適切なのか．その実行可能な方略の論理はなにか． • Ex) 「キャッシュレジスタは加法演算と同型」 表現とアルゴリズムのレベル • この計算理論はどのようにして実現することができるのか．特に入力と出力の表現はなにか．変換 のためのアルゴリズムはなにか． • Ex) 「キャッシュレジスタの入出力は10進法，内部では2進法を用いて加算を行う．」 ハードウェアへの実装のレベル • 表現とアルゴリズムがどのようにして物理的に表現されるか？ • Ex) 「キャッシュレジスタは，2進法の数値を0V/5Vの電圧で表現し，適当なそして加算器を 構成する」 https://staff.aist.go.jp/s.kajita/rengo1995.pdf 8

• https://staff.aist.go.jp/s.kajita/rengo1995.pdf

背景 - David Marr の「3つのレベル」 計算理論のレベル • この論文の主張 計算の目標はなにか．なぜそれが適切なのか．その実行可能な方略の論理はなにか． • Ex) 「キャッシュレジスタは加法演算と同型」 表現とアルゴリズムのレベル • この計算理論はどのようにして実現することができるのか．特に入力と出力の表現はなにか．変換 のためのアルゴリズムはなにか． • Ex) 「キャッシュレジスタの入出力は10進法，内部では2進法を用いて加算を行う．」 ハードウェアへの実装のレベル • Blue Brain Projectとかでやってる 表現とアルゴリズムがどのようにして物理的に表現されるか？ • Ex) 「キャッシュレジスタは，2進法の数値を0V/5Vの電圧で表現し，適当なそして加算器を 構成する」 https://staff.aist.go.jp/s.kajita/rengo1995.pdf 9

• https://staff.aist.go.jp/s.kajita/rengo1995.pdf

過去の事例 (1) 深層学習 (Deep Learning) • 人工知能技術の起源が直接神経科学にあったケース • 1943: McCulloch-Pittsモデル • 1958: パーセプトロン • 1985: PDP(Parallel Distributed Processing)における誤差逆伝播 • 当時のAI研究の主流が記号推論であったことに注意 • 1980: NNの階層的な構造(Fukushima) • 2012: Dropout…ニューロンの発火がPoisson分布に従うことに動機づけられる 10

過去の事例 (2) 強化学習 (Reinforcement Learning) • TD学習 • 動物の条件付け(conditioning)と強い関係 • 数学的な定式化がされることで，神経科学的な発見の説明にも用いられるように • 関連技術と組み合わさり，実用上における発展が見られた • ロボットの制御，ゲームAI 11

最近の事例 (1) 注意 (attention) • 霊長類は場所や物体の間で戦略的に視線を動かしている • 従来のCNNでは入力画像のどの部分も同等に扱っていた → 注意機構(attention mechanism)の導入 • 複数の物体認識の精度・効率の向上 • キャプション生成への利用 • DRAW • メモリに対するattention • ニューラル言語モデルへの利用 12

最近の事例 (2) エピソード記憶 • 神経科学では知的な行動は複数のメモリシステムにより実現されてい ると考えられている • 海馬はワンショットな記憶を持ち，新皮質で学習 • DQNのExperience Replayは 時系列的な相関の影響を避け 学習の安定化に寄与するのに近い • (個人的にはそんなに対応してない気もする…) 13

最近の事例 (3) ワーキングメモリ • 人間は前頭葉(と周辺)で動的に情報を保持し操作する能力があると考 えられている • 古典的な認知理論では，中央のコントローラとドメイン特化のメモリバッファ(ex: 視空間スケッ チパッド)により成り立っている • LSTMによるゲート操作やDNCによる 外部記憶の操作 • より長期な情報の保持に適する 14

最近の事例 (4) 継続学習 (continual learning) • 時間的に変化するタスクに対応する能力が必要 • 前のタスクの実行方法を忘れずに新しいタスクをマスターする • シナプスの可塑性には複数のレベルが存在するという理論的モデル • ANNでは破滅的忘却に対する対策が必要 • (私見: MAMLのpriorの学習はこれに近い) 15

どこへ向かうか？ (1) 物理的世界に関する直感的な理解 • 空間，数，物体であることに関する知識 • これらがあることで，推論や予測を手助けするメンタルモデルを構築 することができる • この方向の研究は増えてきている気がする • World model [Ha+2018] • Stochastic video prediction[Babaeizadeh+2018] …etc 16

どこへ向かうか？ (2) 効率的な学習 • 人間は少ない事例から事前知識を用いて帰納的に推論し，新しい概念 を学習することが可能 • Learning to learn • もともと動物の学習や発達心理で議論されてきた • Meta learning[Finn+2017]と関連してそう? 17

どこへ向かうか？ (3) 転移学習 • 人間は少ない文脈から新しいドメインに知識を一般化/転移することに 優れている • 人間がどのように高次の転移学習を行っているのかは謎が残る • 物体や個体に不変な概念的な表現における定式化を行っているかも しれない • この点Universal Planning Networks[Srinivas+2018]はこの系 譜？ 18

どこへ向かうか？ (4) 想像と計画 • 人間はシミュレーションをベースとしたプランニングにより，長期の 予測に基づいた行動選択を行っている可能性 • 経験から学習した内部モデルによる予測を利用 • cf) ラット実験における認知マップ • うまいこと状態間の遷移がモデル化できるとMCTSのようなグラフで 表現された上でシミュレーション・プランニングができるかも 19

どこへ向かうか？ (5) Virtual Brain Analytics • 神経科学における分析手法を人工知能技術におけるモデルに利用する ことで新たな知見が生まれる可能性 • ブラックボックス化しているANNのモデルにおいて，何が起きている のかの対応づけを調べることが大事になってくるだろう • この時の手法として神経科学で培った手法が使える • 信号の次元圧縮をして脳活動を可視化する • 受容野のマッピング 20

AIから神経科学へ • 今までは神経科学の知見が人工知能研究にいかに生かされてきたか/生 かされうるかの話 • 逆もある 1. Neuroimaging • fMRI・MEGデータの分析 2. RLにおけるTD学習の定式化 3. CNNと高次視覚野における情報処理の対応 4. 誤差逆伝播の生物学的妥当性 • ANNではforward, backwardの重みが対照であることが前提だったが，条件が緩和できること がが最近わかった 21

まとめ • 人工知能/神経科学の研究者が同じ言語で議論することにより，共通の 理論的な洞察と実証的な進歩が生まれ，好循環が生まれるだろう 22

個人的な感想 • かなりお気持ち論文の感じが強い • (裏付けがしっかりしたエッセイ？でも考えていることを公開するのは大事だと思う．Consciousness Priorとか．) • エピソード的な記憶から意味的な記憶への変換が知能の発達には大事 だと思っている • 意味的な記憶の交換が知識の共有であるはず • 意味的な記憶はDNC的とも言えそうだが… (key&valueの操作) • それぞれにどういう情報を入れるのかは謎 • アーキテクチャとして制限するのか，なんらかの目的関数(の制約項を含めて)の最適化に より表現が学習されるものなのか • 時系列データの扱い？？ 23

個人的なまとめ • (神経科学をどこまで参照するかは別として) 「何が研究されて然るべきか」のロードマップ作成が超重要(急務) • WBAは脳をかなり参考にしながら進めている(らしい) • やりたい 24