Deep Industrial Image Anomaly Detection: A Survey
20.5K Views
April 25, 24
スライド概要
DL輪読会資料
関連スライド
各ページのテキスト
DEEP LEARNING JP [DL Papers] Deep Industrial Image Anomaly Detection: A Survey Takumi Ohkuma http://deeplearning.jp/
自己紹介 経歴 • • • • • 2019年 3月 東京大学 工学部 計数工学科卒業 2021年 3月 東京大学 情報理工学系研究科 創造情報学専攻 修士課程 修了 （修了時に研究科長賞受賞） 2021年 4月 同 博士課程 進学 （休学中） 2021年 6月 Airion株式会社 創業 2022年 7月 AI団体「AcademiX」設立 (link) その他 大熊拓海 Airion Inc. Founder / CTO • • • 東京大学 工学系研究科 講義「深層学習」講師（2020年度-） 松尾研スプリングセミナー講義 監修 (画像認識) 講師 (画像認識/生成モデル) 2021年度未踏アドバンスト事業採択 • Twitter: @shien5963 (link)
3 書誌情報 • 題名：Deep Industrial Image Anomaly Detection: A Survey [1] ※ 本資料における出典の記載の無い図表は全て [1] より引用 • 著者：Jiaqi Liu, Guoyang Xie, Jinbao Wang, Shangnian Li, Chengjie Wang, Feng Zheng, Yaochu Jin (南方科技大学の研究チーム) • 出典：Arxiv • URL: https://arxiv.org/abs/2301.11514 • Code: https://github.com/M-3LAB/awesome-industrial-anomaly-detection
4 概要 • 産業用異常画像検知（Industrial Image Anomaly Detection）に関するサーベイ論文 • ディープラーニングの発展に伴い応用範囲が広がる産業用異常検知に関して、 ネットワークアーキテクチャ、教師データの与え方、損失関数、評価方法、データセット等 の様々な観点から包括的に考察。 • 産業応用特有の問題設定や課題に関する考察を行い、今後の研究の方向性を示唆。 本サーベイの構成
5 概要 プロジェクト用のGithubページが公開 されており、 最新研究の論文やリポジトリに関する 情報がまとめられている。 Commits · M-3LAB/awesome-industrial-anomalydetection (github.com) 2024年4月の時点で数日に1回のレベル で最新の研究が更新されているので、 本分野の研究を追う際に有用なページ であると考えらえる。
6 画像異常検知とは • 入力画像が異常か否かを判別するタスク。 • 一般的な画像分類と異なる点として、「正常画像」以外を全て「異常画像」とする為に異常 画像の範囲が非常に広く、単純な2クラス分類器では対応が難しい。 • 異常を検知するだけでなく、「異常の部位」まで検知するタイプのタスクも存在する。 正常 異常 異常部位 出典[2]
7 画像異常検知の産業応用 • 製造工場や食品工場の生産ラインにおいて、「不良品」の検知・除去は必須課題。 • 不良品が出荷されてしまうと事故等に直結するケースも。 • 多くの工場では、検査員が目視で不良品を検知・除去しており、負担が大きい。 • 画像異常検知AIを生産ラインに導入し、検査員の負担減・コスト減を実現できる。 出展 キーエンス：基礎から学ぶ画像処理の教科書
8 産業応用における課題 • 一般的に生産ラインにおける異常の出現頻度は高くないので、学習に十分な異常画像データ を手に入れるのが難しい。 • 正常画像のみで学習を行う「教師なし学習」が有用。 • 近年では生成AIで異常画像を生成するデータ拡張に関する研究も盛ん。 • 生産ラインを止めない様にする為、一定以上の検出速度が必要。 • 遅延を減らす為、クラウドではなくオンプレミスの計算環境が必要になる場合が多い。 • モデルの軽さも必要。 • 撮像環境 • 実際はこっちに苦労することの方が多い。 • カメラの解像度や照明環境、更には機器の設置方法、異常を検知した場合の自動除去等、 対応しなければいけないことは多い。 • が、本資料はAIのフォーカスしているのでスコープ外とする。
9 教師なし学習 現在の産業用IADの多くが教師なし学習による手法である。 一般に、産業における製造ラインでは異常データの出現頻度が低く、学習に不十分な量をそろ えることが困難である為、正常画像のみから学習する手法（教師なし学習）の有用度が高い。 教師なし手法は大まかに 1. 特徴量埋め込み手法 2. 再構成手法 の2グループに分けられ、次スライドからは上記の両手法について解説する。
10 特徴量埋め込み手法 特徴量埋め込み手法 事前学習モデルを活用し、正常と異常画像の特徴量を区別できる様なネットワークを構築する手法。 最もメジャーな手法であり、事前学習モデルを活用して高精度を実現できる。 代表的な手法の分類 • Teature Student Archtecture • One-Class Classfication • Distribution Map • Memory Bank
11 Teacher Student Archtecture • 事前学習済みのTeacherネットワークに正常 データを入力し、その特徴量（中間層含む） を真似る様にStudentネットワークを学習する。 • テスト時に入ってくる異常データに対して StudentはTeacherの特徴量を上手く模倣できず （正常データのみで学習している為）、両者 の特徴量の差分が大きくなる。 • 両者の差分をAnomaly mapとして比較するこ とで、ピクセル単位の異常検知を行うことが 可能である。 • 本系統の手法は、産業用IADの最もスタンダー ドなものである。
12 Teacher Student Archtecture • 用いるLoss関数やPre-trainedモデルによって、様々な手法が存在する。
13 One-Class Classfication (OCC) • One-Class Classification (OCC) は「特定のクラ スか否か」を判別するクラス分類タスクであ り、IADの分野では「正常か否か」を判断する。 • 多くのOCC系の手法では Support Vector Data Description (SVDD)[3] をベースとしており、 SVDDでは正常データを囲む出来るだけ小さな 超球を求める方針で境界が引かれる。 • 境界からはみ出すデータがある場合には適宜ペ ナルティを加える。 • 以下の資料が詳しい。 サポートベクトルデータ記述法による異常検知 in 機械学習 プロフェッショナルシリーズ輪読会 | PPT (slideshare.net)
14 One-Class Classfication (OCC) • 用いるLoss関数やPre-trainedモデルによって、様々な手法が存在する。
15 Distribution Map • 正規化フロー [4]（次スライドで解説）を用い て、正常画像に対する事前学習ネットワークの 出力特徴量の分布が特定の分布（典型的には正 規分布）に変換するモジュールを学習。 • 分布の変換に使われるモジュールを、「マッピ ングモジュール」と呼ぶ。 • 異常データが入力されると、出力特徴量の正規 分布に対する偏差が大きくなる為（正規分布の 裾に配置される）、偏差の値を異常度とする。 L. Weng. "Flow-based Deep Generative Models."
16 Distribution Map • 正規化フローは本来、正規分布に従う潜在変数𝑧0を可逆関数𝑓𝑖 を用いて変換し、最終的な出力である 𝑧𝑘 = 𝑥でデータ分布を再現する生成モデルである。 • 𝑓𝑖 は可逆関数で、入力𝑥に対する𝑧0 を決定論的に求めることが出来る為、 𝑥の尤度を直接計算出来、こちらを 最大化することで𝑓𝑖 の学習を行う。 • 今回の場合は𝑥が入力画像、 𝑓𝑖 の逆関数がマッピングモジュール、 𝑧0の偏差が異常度である。 出典[5]
17 Distribution Map • 用いるLoss関数やPre-trainedモデルによって、様々な手法が存在する。
18 Memory Bank • 正常データに対する事前学習済み ネットワークの出力をメモリに保存 し、テスト画像の特徴量とメモリに 保存された近傍特徴量との距離を異 常度とするのが基本方針。 • 基本的にはネットワークの学習が必 要無く、ロス関数も必要ない。 • PatchCore [6] 等が特に有名である。 • 本系統手法は現在最も精度の高い手 法とされている。
19 Memory Bank • Memory Bank手法ではLoss関数は必須ではないが、手法によっては特徴量のマッピ ング関数を追加で学習する等の目的でLoss関数を導入している。
20 再構成手法 • 正常画像のみからEncoderとDecoderを自己 教師あり学習させる。テスト時には画像を Encoder, Decoderで再構成し、再構成誤差が 大きい部分を異常として判断する。 • 様々な手法が提案されているが、その多くは 再構成ネットワークの違いであり、本質的な 考え方は似通っている。 • 強力な事前学習モデルを使わない分、画像全 体のレベルの特徴量抽出能力は特徴量埋め込 み手法と比較して低い。 • 一方でピクセルレベルでの再構成誤差を判断 できる為、ピクセルレベルでの異常検知性能 は特徴量埋め込み手法よりも高い。
21 Auto Encoder (AE) • 再構成ネットワークで最も多く用いられ ているのがオートエンコーダーである。 • 基本的には事前学習モデルは用いない。 • 左図に記載の通り様々な手法が存在し、 外部のデータセットを活用して疑似的な 異常画像を作成することで性能を高め る ”DREAM” [7] や、AEの亜種のVAE [8] を用いた方法など多様である。
22 • Generative Adversarial Netowork (GAN) を用いた再構成手法 GAN • 入力画像の一部をマスクし、条件付きで画像保管することで元の画像との差分を 計算し、その値を異常度とする。 • 以下に代表的な手法である Semantic Context based Anomaly Detection Network （SCADN） [9] のアーキテクチャを記載する。
23 教師あり学習 • 本論文ではオマケみたいな扱いになっているが、教師データ（≒アノテーション付き異常画 像）を用いることで、例えば以下の様な事が出来るようになるのは特出に値する。 • 異常画像分類（異常を検知したうえで、異常の種類迄判別する） • 教師ありで物体検出やセマンティックセグメンテーションの学習 出典[10] 異常クラス分類 異常部位のセグメンテーション ※ セグメンテーションは教師なしでも行えるが、 教師データありで行った方がはるかに精度が高い。
24 異常画像生成 • 産業用IADで教師あり学習の応用幅が広がりにくい最たる原因は、生産ラインに出現する異 常製品が少なくデータを集めにくい事である。 • 近年発展著しい生成AIを活用し、少数の異常データを元にデータを拡張することで、教師あ り学習に十分な異常データを手に入れる。 DFMGAN [11] DefectGAN [12] Crop&Paste [13]
25 データセット • 産業用写真の入手が困難な為、 一般的な画像データセットに 比べると比較的サイズが小さ い傾向にある。 • また、ほとんどの画像が実際 の生産ラインで撮像されたも のではない事にも注意が必要。 • 産業用シミュレータの活用等 による異常画像データセット の作成などが期待される。
26 メトリクス • 評価方法としては色々なものが 提案されているが、近年では AU-ROCの様なdetectionや segmentationで使われるメソッ ド新たに用いられる傾向にある。 • 一方で、IADでは領域として小さ い部分の異常検知の重要性が高 い場合が多いので、従来の手法 がそのまま最適とは限らない。
27 性能評価 • 画像レベルの異常検知と、ピクセルレベルの 異常検知で、精度の高い手法が異なる。 • 画像レベルだと、特徴量埋め込み手法の Memory Bankの精度が高い。 • Image AUROCで評価。 • 結果の表が本資料に載せるには大きすぎるの で、詳細は論文参照。 • ピクセルレベルだと、再構成手法のAuto Encoderの精度が高い。 • Pixel AU-PRで評価 • 左図のDRAEMが他よりも精度が高い。
28 今後の展望 1. マルチモーダルデータセットの構築により、X線や超音波等の活用が期待される。 2. 現場応用の為、精度だけでなく「速さ」や「モデルの軽さ」方向も追及する必要がある。 3. 事前学習モデルに関して、現在はImagenet pretrainが主流になっているので、産業画像によ る事前学習モデルの構築が待たれる。 4. 現在は教師なし手法が主流にであり、ラベル付きデータセットが少ない。 特にピクセルレ ベルでのアノテーションを持つ異常検知データセットの作成が待たれる。 5. 生成AIを活用した、異常画像データ生成技術により精度向上が期待できる。
29 引用 1. Liu, Jiaqi, et al. "Deep industrial image anomaly detection: A survey." Machine Intelligence Research 21.1 (2024): 104 -135. 2. Bergmann, Paul, et al. "MVTec AD--A comprehensive real-world dataset for unsupervised anomaly detection." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019. 3. Tax, David MJ, and Robert PW Duin. "Support vector data description." Machine learning 54 (2004): 45-66. 4. Rezende, Danilo, and Shakir Mohamed. "Variational inference with normalizing flows." International conference on machine learning. PMLR, 2015. 5. https://lilianweng.github.io/posts/2018-10-13-flow-models/ 6. Roth, Karsten, et al. "Towards total recall in industrial anomaly detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. 7. Zavrtanik, Vitjan, Matej Kristan, and Danijel Skočaj. "Draem-a discriminatively trained reconstruction embedding for surface anomaly detection." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. 8. Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes." arXiv preprint arXiv:1312.6114 (2013). 9. Yan, Xudong, et al. "Learning semantic context from normal samples for unsupervised anomaly detection." Proceedings of the AAAI conference on artificial intelligence. Vol. 35. No. 4. 2021. 10. Tabernik, Domen, et al. "Segmentation-based deep-learning approach for surface-defect detection." Journal of Intelligent Manufacturing 31.3 (2020): 759-776.
30 引用 11. Duan, Yuxuan, et al. "Few-shot defect image generation via defect-aware feature manipulation." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 37. No. 1. 2023. 12. Zhang, Gongjie, et al. "Defect-GAN: High-fidelity defect synthesis for automated defect inspection." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2021. 13. Lin, Dongyun, et al. "Few-shot defect segmentation leveraging abundant normal training samples through normal background regularization and crop-and-paste operation." arXiv preprint arXiv:2007.09438 (2020).