【DL輪読会】Slot Abstractors: Toward Scalable Abstract Visual Reasoning

582 Views

August 22, 24

スライド概要

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ICML2024特集 Slot Abstractors: Toward Scalable Abstract Visual Reasoning Haruo Hosoya (ATR / U-Tokyo) 1

2.

書誌情報 • Mondal, S. S., Cohen, J. D., & Webb, T. W. (2024). Slot Abstractors: Toward Scalable Abstract Visual Reasoning. ICML. • http://arxiv.org/abs/2403.03458 2

3.

Abstract visual reasoning • 少数の例から、抽象的なルールを推測し、 一般化する課題 • 人間のintelligenceのテストベッド(IQテ ストなど) • ニューラルネットは不得意 Raven’s Progressive Matrices 3

4.

関係性ボトルネック [Webb+ 2023a] • 抽象化を可能にする帰納バイアスを、アーキテクチャで実現 • 問題の画像(物体)特徴は抽出済みという前提で関係性ボトルネックを実現 [Webb+ 2020; 2021; Kerg+ 2022; Altabaa+ 2023] • Object-Centric Relational Abstraction (OCRA) [Webb+ 2023b] • 物体中心表現(object-centric representation) [Greff+ 2019; Burgess+ 2019; etc] に関係性ボトルネックを導入 • 計算量が高いという問題 • Abstractors [Altabaa+ 2023] • Transformerの拡張 • relational cross-attention(後述)によって関係と物体特徴がdisentangleされる • 本研究の提案Slot Abstractorsは、abstractorsと物体中心表現を統合 4

5.

Slot Abstractors:アーキテクチャ 物体中心表現 [Locatello+ 2020; Webb+ 2023b] 物体表現から抽象化された関係性表現 [Altabaa+ 2023] 5

6.

関係性表現の学習 • Multi-head relational cross-attention • 標準のcross-attentionとの違い • queryとkeyはfeature embeddingから、valueはposition embeddingから作成 • downstreamがpositionに関する情報にのみアクセス→関係性ボトルネック 6

7.

実験:ART • ARTデータセット [Webb+ 2021] 7

8.

実験:SVRT • SVRTデータセット [Fleuret+ 2011] 8

9.

実験:CLEVR-ART • CLEVR-ART [Webb+ 2023b] 9

10.

実験:PGM • PGMデータセット [Barrett+ 2018] 10

11.

実験:V-PROM • V-PROMデータセット [Teney+ 2020] 11

12.

まとめ • 関係性ボトルネックを導入したアーキテクチャSlot Abstractorsを提案 • 物体中心表現とAbstractorsの統合 • 様々なAbstract visual reasoningのタスクで高成績 12

13.

将来展望 • 抽象化や関係性の学習は、現在主流の人工知能は不得意 • 少数例から抽象的な規則を発見して一般化するのは、人間ならでは能力 • アブダクション(仮説の思いつき) • 脳科学では、海馬や前頭前野が関係しているかも、という知見も • 汎用人工知能への糸口? 13

14.

Brain-Inspired Intelligence (BII) セミナー • • • • 脳とAIの接点における最新論文の輪読会 Weblab Slackチャネル:#brain-inspired-intelligence HP: https://sites.google.com/view/bii-seminar 月1度 水曜 16:00~ 14