[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation

DEEP LEARNING JP [DL Papers] Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation (arXiv preprint 2019) http://deeplearning.jp/ 2019/1/25 1

• http://deeplearning.jp/

書誌情報 • Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation • Chenxi Liu, Liang-Chieh Chen, Florian Schroff, Hartwig Adam, Wei Hua, Alan Yuille, Li Fei-Fei • Johns Hopkins University, Google, Stanford University • https://arxiv.org/abs/1901.02985 • Neural Architecture Searchをセグメンテーション問題に適用 ­ 3GPU, 1day (Cityscape) • PNASと同じ著者 2019/1/25 2

• https://arxiv.org/abs/1901.02985

Neural Architecture Search (NAS) • ネットワークアーキテクチャの自動設計 • 探索対象 ­ レイヤーの種類 ­ レイヤー数 ­ パラメータ数 ­ … 2019/1/25 3

Cloud AutoML • https://cloud.google.com/automl/ 2019/1/25 4

• https://cloud.google.com/automl/

NASの進化 • NAS (2016; ICLR’17) 800GPU (K40), 28days (cifer10) • NASNet (2017; CVPR’18) 450GPU (P100), 3-4days • PNAS (2017; ECCV’18) • ENAS (2018; ICML’18) 1GPU (GTX1080Ti), 16hr • DARTS (2018; ICLR’19) 2019/1/25 5

NASの基本 • Controller RNNがアーキテクチャ をサンプリング (child network) • Child networkを訓練 • 訓練結果をもとにコントローラを更新 • コントローラの訓練方法 ­ 強化学習 ­ 進化計算 ­ ベイズ最適化 2019/1/25 6

Controller RNN (for CNN) http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf 2019/1/25 7

• http://rll.berkeley.edu/deeprlcoursesp17/docs/quoc_barret.pdf

Skip connectionの表現 2019/1/25 8

Controller RNN (for RNN) Cell
 2019/1/25 9

NASNet • CNN向けのアーキテクチャ探索 • 探索空間をCellに限定 • 全体の構造は事前に決めておく 2019/1/25 Cell Normal Cell 
Reduction Cell 
  1/2^n

Controller RNN Softmax 2019/1/25
 11

ENAS • NAS(Net)はChild Network一から収束するまで訓練するから遅い ­ ! Transfer learningしてしまおう ­ Child Network間で重みを共有 • ENASでは探索空間を有向非巡回グラフ(DAG)で定義 • 接続の方法を探索 ­ 各辺に重みがある ­ 重みは共有する 2019/1/25 12

Recurrent Cellの探索 Controller  -   - 
 2019/1/25  13

CNNの探索 (アーキテクチャ) 2019/1/25 14

CNNの探索 (Cell) 2019/1/25 - node 1,2
 15

DARTS • Differentiable Architecture Search • コントローラ方式からの脱却 • ネットワークを微分可能な形式にして探索する 2019/1/25 16

探索空間の表現 2019/1/25 - x: 
 17

訓練方法 - Train
w - Val
α 2019/1/25 18

比較 2019/1/25 From “DARTS: Differentiable Architecture Search” 19

Auto-DeepLab • • • 今まで紹介したNASは分類モデルが対象 NASをセグメンテーションモデルへ拡張 Challenge ­ 従来のNASではCellの探索が中心，ネットワーク構造は固定のものが多い ­ セグメンテーションではspatialな変化も重要 ­ セグメンテーションの場合，高解像度の画像を対象とした探索が重要 ­ その分計算能力が必要となる • • Network levelとcell level networkをjoint training ­ Two-level hierarchical architecture search DARTSと同様に訓練 2019/1/25 20

Cell level search • 構造はNASNetと同様 • 使用するブロック • 2つのinput, 一つの出力 ­ Input候補: 一つ前のCell, 二つ前のCell, 自分のブロックよりの前のブロックの出力 2019/1/25 21

Network level search • セグメンテーションでよく使用されるネットワークの特徴 ­ ある層の出力は，1) 入力の2倍, 2) 入力の1/2, 3) 入力と同じ のいずれか ­ 最小のdownsamplingサイズは32 2019/1/25 
Atrous Spatial Pyramid Pooling 22

(参考) 既存のネットワーク構造 2019/1/25 23

実験結果: 実際に見つかったネットワーク (Cityscape) L=12 Input size: 321x321 3 P100 GPU, 3days 2019/1/25 24

Cityscapes pretrain Cityscapes validation 2019/1/25 25

PASCAL VOC 2012 pretrain 2019/1/25 26

Example 2019/1/25 27

所感 • • • いかに探索空間を絞るかが肝 セグメンテーション向け 改良の余地はまだある ­ E.g., Networkレベルでのskip connection • メモリ使用率? • 基本的に精度をobjectiveとしている • 他の指標 ­ Inference time ­ Memory consumption ­ … 2019/1/25 28

関連論文 • • 主要論文のリスト ­ https://www.ml4aad.org/automl/literature-on-neural-architecture-search/ ICLR’19 ­ DARTS: Differentiable Architecture Search (Liu et al.) [6,7,8] ­ https://openreview.net/forum?id=S1eYHoC5FX ­ SNAS: Stochastic Neural Architecture Search (Xie et al.) [6,7,7] ­ https://openreview.net/forum?id=rylqooRqK7 ­ Graph Hypernetworks for Neural Architecture Search (Zhang et al.) [7,6,7] ­ https://openreview.net/forum?id=rkgW0oA9FX ­ Efficient Multi-Objective Neural Architecture Search via Lamarckian Evolution (Elsken et al.) [6,6,6] ­ https://openreview.net/forum?id=ByME42AqK7 ­ ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware (Cai et al.) [6,6,7] ­ https://openreview.net/forum?id=HylVB3AqYm ­ Learnable Embedding Space for Efficient Neural Architecture Compression (Cao et al.) [5,7,6] ­ https://openreview.net/forum?id=S1xLN3C9YX 2019/1/25 29

• https://www.ml4aad.org/automl/literature-on-neural-architecture-search/
• https://openreview.net/forum?id=S1eYHoC5FX
• https://openreview.net/forum?id=rylqooRqK7
• https://openreview.net/forum?id=rkgW0oA9FX
• https://openreview.net/forum?id=ByME42AqK7
• https://openreview.net/forum?id=HylVB3AqYm
• https://openreview.net/forum?id=S1xLN3C9YX