[DL輪読会]Exploiting Cyclic Symmetry in Convolutional Neural Networks

>100 Views

February 28, 17

スライド概要

2017/2/28
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

2017/2/16 DL輪読会 医学系研究科 D2 山口亮平

2.

Exploiting Cyclic Symmetry in Convolutional Neural Networks • Deep Mindの論文 • Sander Dileman(ゲント大学の博士課程→google)。博士 課程のとき、Kaggle2015のプランクトンコンテストで 優勝。 • ICML16で発表、引用数12(2017/2/17現在) • http://benanne.github.io/2015/03/17/plankton.html • 回転に対するロバスト性をネットワーク内部で再現し た論文。

3.

Motivation <CNN・・・平行移動に対して強い> • Conv層・・・平行移動に対してequivariant • Pooling層・・・平行移動に対してinvariant → ①rotationに対してもinvariantを保ちたい。 ネットワークにそのinvariance/equivariantな性質を組み入れたい。 (data augmentationでは一般化されているかどうか不明なため) ②パラメーター共有を普通のCNNに比べてさらに進めることで、 overfittingリスクを減らせる。

4.

Motivation <CNN・・・平行移動に対して強い> • Conv層・・・平行移動に対してequivariant • Pooling層・・・平行移動に対してinvariant → ①rotationに対してもinvariantを保ちたい。ネットワー クにそのinvariance/equivariantな性質を入れたい。 ②パラメーター共有を普通のCNNに比べてさらに進める ことで、overfittingリスクを減らせる。

5.

limitation ★Rotation:今回は90度の整数倍の回転に絞ってい る。 (30度などの鋭角回転を入れると、画像的な補間 が必要となり、さらに計算量が増えるから、とい う理由で除外している) ★鏡面に関して対象な画像(dihedral symmetry)に関 しても、実装は容易に可能だ、としている。

6.

基本的な考え方 画像を4方向に回転させたものを作成、同じ数のフィルタ を使いfeature mapを4倍作成できる

7.

提案手法 • 以下の3種類の層を組み込むことを提案 cyclic slicing, cyclic pooling, cyclic rolling (cyclic stackingは実際には使っていない)

8.

①cyclic slicing, cyclic pooling http://benanne.github.io/2015/03/17/plankton.html

9.

http://benanne.github.io/2015/03/17/plankton.html

10.

②cyclic rolling T(x )

11.

実験 <多クラス分類> • プランクトンデータセット (121クラス、95*95pixel、3037valid/27299train) • 銀河写真データセット (121クラス、95*95pixel、6157valid/55421train) <領域抽出> • マサチューセッツの航空写真 (80*80pixel,137train/4valid/10test) Baseline CNNをコントロールとし、cyclic slicingなどを挿入すること でどれだけ性能が向上したかを示した。

12.

• Adam使用、プランクトンのみweight decayも併 用 • Data augmentationは、ベースラインCNNにも、 筆者らの提案した手法にも、どちらにも使用し た

14.

実験その①(cyclic slice/pool)

15.

実験その②(cyclic rolling)

16.

<rollingの挿入の仕方> • Roll all(convの後にすべて挿入) • Roll dense(dense layerの後にのみ挿入) • その後に1/2,1/4とついているのは、フィルタの 数をその倍率に縮小した、という意味。

18.

参考 • http://benanne.github.io/2015/03/17/plankton.ht ml • http://icml.cc/2016/reviews/871.txt