【DL輪読会】ICLR2024報告会〜計算神経科学・Brain-inspired AIの観点から〜

ICLR2024報告会 〜計算神経科学・Brain-inspired AIの観点から〜 Haruo Hosoya (ATR / U-Tokyo) 1

概要 • ICLR2024で発表された論文14件： – 脳科学・認知科学と人工知能の狭間領域 • https://iclr.cc/virtual/2024/papers.html?filter=titles • 書誌情報は各ページに記載 2

• https://iclr.cc/virtual/2024/papers.html?filter=titles

BrainLM: A foundation model for brain activity recordings • 著者： Josue Ortega Caro et al. • 脳活動の大規模データを使った基礎 モデル • 6,700時間のヒトのfMRIデータ （Human Connectomeなど） • 自己教師ありのマスク予測訓練（ラ ベル不使用） • 基礎モデルとfine-tuningによって – 臨床変数の予測 – 将来の脳状態の予測 – 機能ネットワークの識別 3

Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data • 著者： Antonis Antoniades, et al. • マウスの大規模データの基礎モデル • マルチモーダル・マルチタスクの神経データ – two-photonカルシウムイメージング（視覚野と聴覚野） • トランスフォーマを使用 – 行動と神経活動データの同時学習で訓練 • few-shotのfine tuningでマウスの行動を予測可能 4

Brain decoding: toward real-time reconstruction of visual perception • 著者： Yohann Benchetrit et al. • ヒトの脳活動の解読手法（brain decoding） • 近年は、生成AIの利用によりfMRIからの視覚 知覚の解読はかなり高精度に – しかしfMRIは時間分解能が低い • MEGを用いて高い時間分解能で視覚知覚の 解読が可能に (hand-picked best results) 5

A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks • • 著者： Tommaso Salvatori, ..., Rafal Bogacz 生物学的妥当なネットワーク学習アルゴリズ ム（BPの代替） – Nat. Neurosci. (2023)の論文（Cosyneでも 発表）の理論編 • 従来の予測符号化モデルは、訓練が非効率で 不安定 • インクリメンタル予測符号化（iPC）アルゴ リズムを提案 – 推論則と学習則を同時に各ステップで進め る（片方の収束を待たず） – 効率的かつ安定した収束の定理 • テスト精度、効率、収束の点で元の手法より も優れた性能 (6) (7) 6

Forward Learning with Top-Down Feedback: Empirical and Analytical Characterization • 著者： Ravi Srinivasan et al. • BPの生物学的に妥当なアルゴリズム • 既存提案のForward-ForwardやPEPITAを実践的・解析的な特 徴付 • PEPITA+Weight mirroringが深いネットワークを訓練可能 e: 出力誤差、F: ランダム行列 Weight mirroring （振動でFFとFB行列を同期） 7

Predictive auxiliary objectives in deep RL mimic learning in the brain • • • 著者：Ching Fang, Kimberly Stachenfeld AIによる脳のモデル（NeuroAI） モデル全体は、deep RL＋「補助予測モデル」 – 補助予測モデル：次の状態との差を予測 • 脳の多領野相互作用のモデル – Q学習大脳基底核 – 補助予測モデル海馬 – エンコーダ視覚野 • モデルをgrid worldや迷路などのタスクで訓練 – 内部表現が、海馬や視覚野に関する複数の神経科学 実験事実を説明 • 海馬が補助学習システムとして、他の脳領域での表現 学習に役立っている可能性 表現の分離 次の状態との「差」 8

A Cognitive Model for Learning Abstract Relational Structures from Memory-based Decision-Making Tasks • 著者： Haruo Hosoya • 「抽象的な関係構造」の学習モデル – 順序構造、階層構造など • 少数のデータから大胆な汎化を要求 • 関係表現とメモリからなるモデルと、 報酬ベースの学習アルゴリズム • ヒトの行動やfMRI（海馬系）の神経科 学実験データを説明 9

Turning large language models into cognitive models • 著者： Marcel Binz, Eric Schulz • LLMはヒトらしい応答をするか？ • 通常のLLMは心理実験の結果とは乖 離 • 心理実験のデータでfine-tuningする と、人間の行動をより正確に再現 • 人間の個人差も再現可能 10

Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement • 著者： Linlu Qiu et al. • LLMの帰納的推論能力の評価研究 – アブダクション？ • 手法：仮説候補を複数生成→最適選択（python codeを実 行）→検証→フィードバックして繰り返す • LLMの仮説提案の精度はbaselineより高い (phenomenal) • 最適候補選択でLLM自身を使うと精度悪化 (puzzling) 11

Hypothesis Search: Inductive Reasoning with Language Models • 著者： Ruocheng Wang et al. • 前件とほぼ同じ動機と手法 • 人間が介在した場合との比較 – 人間が最適選択した場合は、ほぼ同じ精度 – 人間が初めから仮説を書いた場合は、大幅に高い • 人間と比べればLLMの機能推論能力はそれほどでもない 12

Linearity of Relation Decoding in Transformer Language Models • 著者： Evan Hernandez et al. • LLMでは、「関係性」はどう 表現されているのか？ – 単語の同義語や、実体と属 性の関係など • 多くの関係性は、ほぼ線形関 数で表現されている 13

Towards Generative Abstract Reasoning: Completing Raven’s Progressive Matrix via Rule Abstraction and Selection • 著者： Fan Shi et al. • Raven‘s Progressive Matrix (RPM)は IQテストでも使われる、抽象視覚推論 タスク – 人間は少し考えれば解けるが、CNN などの標準的モデルには困難 – 少数例から大胆な汎化を要求 • 提案されたRAISEモデルはSOTA達成 • 前提も手法も実験も、全体的に複雑怪 奇 14

Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers • 著者： Awni Altabaa, Taylor Webb, Jonathan Cohen, John Lafferty • 抽象関係タスクを解くモデル • トランスフォーマを拡張した「アブスト ラクタ」によって明示的な関係推論 – 関係クロスアテンション：オブジェク トレベルの特徴から関係情報を分離 • 関係タスク、数列予測タスク、数学問題 タスクで、トランスフォーマよりもサン プル効率と精度が大幅に向上 15

Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning • • • • • 著者： Mingde Zhao, ..., Yoshua Bengio コンポジショナルなモデルベース強化学習モデル 空間・時間の抽象化を利用してタスクを自動的に小さなサブタスクに分解 未知の環境での汎化性能を向上 人間が時空間のひとまとまりを一つの意識的な体験と感じることから、着想を得たらし い（発表者談） 16

まとめ • • • • 脳科学・認知科学とAIとの境界領域での研究は、数は少ないものの着実に進んでいる トランスフォーマを取り入れた研究は顕著に増えた 生物学的に妥当な学習アルゴリズムの研究が再び流行っている 人間には簡単だが、AIにはなかなか難しいタスクに注目が集まりつつある – 抽象性 – 関係性 – アブダクション – コンポジショナリティ 17

Brain-Inspired Intelligence (BII) セミナー • • • • 脳とAIの接点における最新論文の輪読会 Weblab Slackチャネル：#brain-inspired-intelligence HP: https://sites.google.com/view/bii-seminar 月１度 水曜 16:00~ 18