【人工知能・深層学習】論文紹介：Synthetic Data Generation for Scarce Road Scene Detection Scenario
260 Views
August 25, 24
スライド概要
M2の出口裕希さんが論文「Synthetic Data Generation for Scarce Road Scene Detection Scenarios」の紹介を担当しました。本論文では自律走行での緊急車両の検出精度を高めるため、拡散モデルによるData Augmentationを提案しています。自律走行にかかわらず、データセットに稀であるが重要度の高い事象の検出は極めて重要なタスクです。一方、近年は質の高いデータが枯渇してきていると言われており、AI生成画像によるモデル性能を向上させる技術に関心が寄せられています。
立教大学大学院人工知能科学研究科における瀧雅人准教授が主催する研究室で2020年度からスタートしているまだ若い組織です。 最先端の深層学習について、高度化・説明性向上などをテーマに深く幅広く研究しています。 また医療や神経科学・物理学におけるデータ分析や、産業への社会実装にも携わっています。 研究室内のPaper Reading活動の記録として、研究室学生の発表資料を公開しています。 ご興味をお持ちの方は、HPをご確認ください。
関連スライド
各ページのテキスト
20240706 Journal club 論文紹介 Synthetic Data Generation for Scarce Road Scene Detection Scenarios (20240205)
紹介論文の概要 題名 Synthetic Data Generation for Scarce Road Scene Detection Scenarios Dipika Khullar (Amazon Titan Labs) et al. NeurIPS 2023 Workshop SyntheticData4ML Submissions 論文の概要 AI生成画像を用いてデータセット中に希少な道路上のシナリオを再現し、それらの検出精度を高める From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 1
研究のモチベーション モチベーション 自律走行で緊急車両（パトカー、消防車）を検出することは極めて重要である。一方で、このような希 少なシーンの学習データは限られているため、合成画像を用いることは効果的なアプローチである。 画像生成に深層学習モデルを用いることの課題 課題 原因 1 生成モデルの学習データ不足 希少なシーンを生成させるためには学習データが必要であるが、そも そも十分なデータの準備が困難であるため 2 不十分な多様性とシーンの複雑さ 昨今の画像生成はphoto-realisticにすることに焦点が当てられて おり、現実におけるシーンの複雑さの表現が不十分であるため 3 生成画像へのラベリングが必要な ケースが存在 AIによって生成された画像は、適切に学習させるためラベリングが必 要になる場合があるため 2
提案する画像生成アプローチ アプローチ 1. 実際の背景に、希少な物体を生成 2. 実際の希少な物体に、背景を生成 3. 実際の画像を全体的に代替 アプローチ 1, 2 アプローチ 3 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 3
提案する画像生成アプローチ アプローチ 1. 実際の背景に、希少な物体を生成 2. 実際の希少な物体に、背景を生成 3. 実際の画像を全体的に代替 アプローチ 1, 2 アプローチ 3 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 4
アプローチ1 実際の背景に、希少な物体を生成 画像生成の流れ 1) マスク生成ブロック 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 4) 超解像度モデル 2) 3) 4) 1) From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 5
アプローチ1 実際の背景に、希少な物体を生成 画像生成の流れ 2) 1) マスク生成ブロック 4) 3) 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 4) 超解像度モデル 1) From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 利用可能なバウンディングボックスのうち、他の バウンディングボックスを切断しないものの中から ランダムに選ばれる From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 6
アプローチ1 実際の背景に、希少な物体を生成 画像生成の流れ 2) 1) マスク生成ブロック 4) 3) 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 4) 超解像度モデル 1) From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 事前に設定された、主語（消防車、パトカー ）、述語（運転、駐車）、場所、状態（天 候等）、時間（昼、夜）からPromptを生成 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 7
アプローチ1 実際の背景に、希少な物体を生成 画像生成の流れ 2) 1) マスク生成ブロック 4) 3) 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 4) 超解像度モデル 1) From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 拡散モデルを用いて、マスクされた箇所に、 Promptに基づく画像を生成 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 8
アプローチ1 実際の背景に、希少な物体を生成 画像生成の流れ 2) 1) マスク生成ブロック 4) 3) 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 4) 超解像度モデル 1) From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 超解像度モデルを用いて、高解像度化 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 9
提案する画像生成アプローチ アプローチ 1. 実際の背景に、希少な物体を生成 2. 実際の希少な物体に、背景を生成 3. 実際の画像を全体的に代替 アプローチ 1, 2 アプローチ 3 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 10
アプローチ2 実際の希少な物体に、背景を生成 画像生成の流れ 2) 1) マスク生成ブロック 3) 4) 2) テキストプロンプト作成ブロック 3) テキストに基づく画像生成拡散モデル 1) 4) 超解像度モデル From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 背景を生成するため、天候や街並みを変える ことができる From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 11
提案する画像生成アプローチ アプローチ 1. 実際の背景に、希少な物体を生成 2. 実際の希少な物体に、背景を生成 3. 実際の画像を全体的に代替 アプローチ 1, 2 アプローチ 3 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 12
アプローチ3 実際の画像を全体的に代替 画像生成の流れ 1) 1) テキストプロンプト作成ブロック 2) 2) 超解像度 兼 画像変更モデル From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 超解像度モデルにPromptを条件づける ことで画像全体を変換 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 13
提案手法の性能評価 提案手法による希少シナリオ（緊急車両）検出精度の改善結果 • S1, S2は従来手法と比較して、検出精度が改善傾向にあり、２つを組み合わせると特に効果大 • 興味深いことに、通常の車両の検出精度も向上する傾向 Datasetの意味 • R：実際の画像 • AUG：従来のdata augumentation (Holizontal flipなど) • S1：本論文のアプローチ1 • S2：本論文のアプローチ2 & 3 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 14
本研究の課題 画像生成による残課題 • 拡散モデルの性質上、異常な画像が生成され得るため、学習に悪影響を与えている可能性がある 1. 物体的な相対的な大きさ 2. 物体の数 3. 物体の相対的な位置 From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 15
紹介論文のまとめ 題名 Synthetic Data Generation for Scarce Road Scene Detection Scenarios Dipika Khullar (Amazon Titan Labs) et al. NeurIPS 2023 Workshop SyntheticData4ML Submissions まとめ 提案手法は実データが限られている際に検出精度を高める実用的な手法となり得る。 また、既存のAugumentationの代替にもなる可能性がある From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” From “Synthetic Data Generation for Scarce Road Scene Detection Scenarios” 16