[DL輪読会]AutoAugment: LearningAugmentation Strategies from Data & Learning DataAugmentation Strategies for Object Detection

AutoAugment: Learning Augmentation Strategies from Data DEEP LEARNING JP & [DL Papers] Learning Data Augmentation Strategies for Object Detection Jun Hozumi, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • • • AutoAugment: Learning Augmentation Strategies from Data • Author: Ekin D. Cubuk*, Barret Zoph*, Dandelion Mane ́, Vijay Vasudevan, Quoc V. Le • Affiliation: Google Brain • CVPR 2019 Learning Data Augmentation Strategies for Object Detection • Author: Barret Zoph∗, Ekin D. Cubuk∗, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens, Quoc V. Le • Affiliation: Google Research, Brain Team • arXiv 26 Jun 2019 AutoMLの背景にあるNeural Architecture Search with Reinforcement Learningから連な る、全自動でモデル性能を向上させたい！というお気持ちを持った研究 2

背景 • 深層学習では大量のデータを学習に使えると高い性能を発揮できる • データ拡張(Data Augmentation)は、モデルの不変性を高める効果的な方法として 、 これまで利用されてきた • 従来の研究ではより良いネットワークアーキテクチャの提案に焦点が当てられていたが、 より良いデータ拡張手法に関して注目されることはあまりなかった • 本研究では、対象とするデータセットに対して効果的なデータ拡張方策を自動的に発見 することを目的とする 3

提案手法: 探索手法 • まず、最適データ拡張手法探索問題を、離散最適化問題として捉える • ポイントは２つ: 探索手法 と 探索空間 • コントローラRNNでデータ拡張方策 S を探索 • • 各バッチで各操作をどのくらいの確率で実行するか バリデーション精度 R がコントローラに戻すが、微分できないので方策勾配法を用いる 4

提案手法: 探索空間の設定 • 各方策は5つのサブ方策を持ち、各サブ方策は順序のある２つの操作を持つ • 各操作は２つのハイパーパラメータを持ち、同確率で無作為に適用される • 操作の実行確率(10%刻みの11段階) と 操作の大きさ（10段階, Invertは除く） 5

提案手法: 画像操作一覧 • 操作は全16種類なので各サブ方策の空間は(16×10×11)2、方策は約2.9×1032通り 6

提案手法: 方策探索手法 • 最適な方策を強化学習を用いて探索する • コントローラー: RNN(単層LSTM) • 学習アルゴリズム: PPO (Proximal Policy Optimization) • 学習時に、訓練データの各ミニバッチごとにサブ方策の1つを適用 • バリデーションデータセットで精度を評価、それを報酬信号として返す 7

実験 • １（直接）: 提案手法をCIFAR-10, • CIFAR-100, SHVN, ImageNetに適用する データ数を削った上で探索し、得られた方策を全データに適用する • CIFAR-10はデータ数50000 -> 4000、SVHNは26032 -> 1000 で探索 • • 良かった5つの方策をつなげて最終的な方策とする ２（転移）: １(ImageNet)で発見した方策を他のデータセットで試す • Oxford 102 Flowers, Caltech-101, Oxford-IIIT Pets, FGVC Aircraft, Stanford Cars 8

結果０ • 探索によって得られた方策 • 詳しくはarXiv版を見てください 9

結果１ • ベースラインとして設定したモデルから大幅に精度を改善できた • ベースラインのデータ拡張は最新のCIFAR-10の手法に基づく 10

結果２ • 探索時は、大量のデータより、それを削って探索エポックを増やしたほうがいい • （当然）データセットごとに最適な方策が異なる結果となった • CIFAR-10では、色に関する変換（コントラストや明るさなど）が有効 • SVHNは色の反転も効果的 • Imagenetは回転も効果的 11

結果３ • ImageNetで発見した方策を他のデータセットに適用しても、良い結果を得られた • 異なるデータセットよりかは、類似のデータセットで見つけた方策のほうが効果的 12

結果４ • たとえ最適な方策でなくても、方策を追加したほうが性能が高まる • PPOという探索手法はこの研究の主眼ではないため、もっといい探索手法があるかもし れないが、探索空間設定とその探索アプローチについては効果的と言えるのではないか 13

Learning Data Augmentation Strategies for Object Detection 画像分類から物体検出へ 14

背景・目的 • 今回はObject Detection（物体検出）のタスクを対象とする • • 物体検出となると、データを増やすことがより困難に • • より高度な検出(ex: Semantic Segmentation)は今後の課題 そもそもの学習データ量が少ないし、データ追加のためのアノテーションも大変 Autoaugmentをそのまま適用するのはいかがなものか？ • そもそも画像分類に用いるデータ拡張手法って物体検出では本当に効果的か？ • バウンディングボックスやその検出物体に対して何をすべき？ 15

提案手法: 探索空間の設定 • データ拡張方策をK=6個のサブ方策の順不同な組み合わせであると定義 • 各サブ方策はN=6個の画像変換列を持つ • つまり、だいたいAutoAugmentとおなじ要領 16

提案手法: 画像操作一覧 • 変換手法は３つに大別される • 操作は全16種類なので各サブ方策の空間は(22×6×6)2、方策は約9.6×1028通り 17

実験 • COCOから5000枚の画像を使用し、ResNet-50 + RetinaNetを学習 • 全部を学習に使うのは無理… • 報酬信号は7392のバリデーションセットのmAP(mean Average Precision) • RNNコントローラーは20000以上の拡張手法を訓練 • 400個のTPUで48時間以上探索させた • 結果、以下の方策に至る 18

結果１ • 今回も得られたデータ拡張方策が精度の改善に効果的 • 効果的な操作なRotate（回転）, Equaize（ピクセル値のヒストグラムの平坦化）, Bbox Only Translate Y（ボックス内のみ上下移動） 19

結果２ • 方策はネットワークアーキテクチャや画像サイズを変更しても有効 • 異なるデータセット（PASCAL VOC 2007）でも有効 20

結果３ • 検出対象の物体が小さい場合や、mAPの高いタスクに対して効果があった 21

まとめ • • この手法は他のデータ拡張手法を併用しても精度の向上にも悪化にもつながらなかった • Manifolod MixupやDropblockなど • 今回の手法のほうが精度が高いので、これだけで十分 この研究で発見された方策の精度の改善状況や転移可能性、データの取得や加工のコス トを考えると、今後もこのようなデータ拡張手法の研究が望まれる 22