自動運転における物体検出の実問題とアプローチ

自動運転における物体検出の実問題とアプローチ 2023/12/14 1 ©MATSUO INSTITUTE, INC.

アジェンダ • • • • • 自己紹介（2 min） 物体検出における実課題（2 min） 1. 時系列データを用いた物体検出精度向上（8 min） 2. 継続学習による物体検出モデルの運用（6 min） まとめ・質疑（2 min） ©MATSUO INSTITUTE, INC. 2

発表者紹介 髙田 直輝 ● ● ● 佐伯 所属：東京農工大学機械システム工学専攻 西田 研究室D2 (学振DC2特別研究員) 研究：航空機の翼周り流体制御への深層強化 学習適用 略歴： ○ 飛行ロボコン自動操縦部門 (2017 - 2019) ○ RoboMaster Competition(2020 - 2023) ○ JAXAにてアルバイト (2018 - 2022) ○ 2021年06月より松尾研xTIER IV社 プロジェクトメンバー ● ● ● ©MATSUO INSTITUTE, INC. 匡斗 所属：中央大学電気電子情報通信工学専攻 M2 研究：画像のドメイン汎化 略歴： ○ 2021年06月より松尾研xTIER IV社 プロジェクトメンバー ○ 来年度よりTIER IV入社！ 3

TIER IV × 松尾研究所 自動運転に向けた AI 技術開発についての協業 (2020 年〜進行中) ©MATSUO INSTITUTE, INC. 4

自動運転における実課題 自動運転分野においてDNNを用いた物体検出機能は目覚ましい進化を遂げているが， 実運用に際してはコンペティションの精度のみでは測定できない課題が表面化している → 今回は2つの課題例とその対策について紹介 1. 時系列データを用いた物体検出精度向上 ● 時系列データの効率的な処理 ● 検出の不安定さ ● オクルージョンへの対応 2. 継続学習による物体認識モデルの運用 ● ドメイン変化への対応 ○ 新ドメインのデータで追加学習 ○ 破滅的忘却への対処 (元ドメインの性能悪化) ● MLOpsとしての枠組み ○ 増え続けるデータへの対応 t-1 不安定 t データ取得 + 人間 or 教師モデルに よるannotation モデル更新 新ドメインを走行 ©MATSUO INSTITUTE, INC. 5

1. 時系列データを用いた物体検出精度向上 現状 課題 AutowareではLiDAR点群での物体検出のために CenterPoint[Yin, et al, 2021]を利用 複数フレームは使っているが、より長期で見る必要がある • 点群を鳥瞰図に変換するタイプ • • 検出の不安定さ オクルージョンへの対応 上記を計算コストを抑えつつ実現する必要がある ばらつき 未検出 鳥瞰図変換 & 特徴抽出 特徴抽出 & 回帰 ↓自車両 ©MATSUO INSTITUTE, INC. ↓自車両 6

1. 時系列データを用いた物体検出精度向上 | サーベイ結果 サーベイにおけるポイント • • • 計算コストが少ない -> リアルタイムで動作 長い時系列を扱える -> 検出安定性 検出モデルのアーキに非依存 -> 様々なモデルに対応 INT [Xu, et al, 2022] • 過去に検出されたBBox内の点群を保存し、現在の点群と結合 SUIT [Zhou, et al, 2023] • 過去の特徴マップ上で検出された物体それぞれの将来の位置を予測し、 現在の特徴マップに融合 MoDAR [Li, et al, 2023] • 過去に検出されたBBoxを点群として扱い、現在の点群と結合 • Predictionと組み合わせることで、BBoxの座標を更新することができる ©MATSUO INSTITUTE, INC. 7

1. 時系列データを用いた物体検出精度向上 | 3つの手法の比較 手法 INT 説明 BBox内の点群を結合 SUIT MoDAR 鳥瞰図上で、検出物体それぞ れを将来位置に変換 BBoxを点群として扱う + PredictionでBBoxの座標を更新 計算コスト ◯ △ ◯ ✕ 長期記憶 ◯ △ ◯ ◯ 過去物体の座標更新 ✕ △ ✕ ◯ w/o Prediction 現在のフレームから時間的に遠いと、その まま利用した場合情報の価値が小さくなる w/ Prediction • INT : 扱う点群数が少なくなるため、計算コストを抑えつつ長い時系列を扱えるシンプルな手法 • SUIT : 過去フレームの特徴量は1/2, 1/4と減少していくが物体の将来位置を推論でき、情報損失が少ない • MoDAR : Predictionにより長い時系列を扱う中で、時間的に離れたフレームでも 情報損失少なく利用できるが、計算コストがかかる ©MATSUO INSTITUTE, INC. 8

1. 時系列データを用いた物体検出精度向上 | 実験結果 *1, *2について 条件 CenterPointに対し、INT、SUIT、MoDARそれぞれを適用 Waymo Open Datasetにて学習、推論 中心点との距離を閾値としたAverage Precisionで評価 • • • Method • • • 今回の実験ではPredictionを利用せず、検出結果を そのまま利用する *1はオンラインで動かせるように手を加えた実装 *2は論文通りの実装 Frames mAP AP@Car AP@Pedestrian AP@Bicycle Latency[%] CenterPoint 1 66.438 84.715 67.035 47.564 100.000 CenterPoint 3 73.096 87.512 69.903 61.872 148.186 INT 10 72.087 87.563 68.708 59.990 108.900 SUIT 10 73.414 88.373 69.932 61.938 133.273 MoDAR*1 40 72.144 88.649 68.205 59.579 107.438 MoDAR*2 40 74.889 89.334 71.570 63.763 N/A mAPでは性能微増、検出安定性やオクルージョンに対する効果はどうか？ ©MATSUO INSTITUTE, INC. 9

1. 時系列データを用いた物体検出精度向上 | 定性評価 CenterPoint (3 Frames) SUIT CenterPoint(3 Frames) SUIT 検出結果が安定している オクルージョンでも検出 ©MATSUO INSTITUTE, INC. 青: GT, 緑: 検出結果 10

1. 時系列データを用いた物体検出精度向上 | 考察 考察 • 計算コストの削減 • 利用する点群数を抑制 • 精度はほぼ変わらず • 単一フレームに対する検出器自体の精 度が悪いと、精度向上に限界あり • 検出安定性やオクルージョンへの寄与 • 長期間のフレーム利用による効果 改善点 • False Positiveの抑制 CenterPoint(3 Frames) SUIT False Positiveの例 ©MATSUO INSTITUTE, INC. 11

2. 継続学習による物体検出モデルの運用 物体検出モデルの実運用上での課題 ● ドメイン（センサ，地域，時期）の変化 ○ 新しいドメインへの適合 ➡ 追加データセットを用意・追加学習 追加学習なし 従来の追加学習の課題 ● 追加データのみで追加学習 ○ 元ドメインの精度低下（破滅的忘却） ● 毎回新データをデータセットに追加 ○ 継続が現実的でない ● 失敗データを厳選追加 ○ データセットのバランスが崩れる ➡新たに継続学習を用いるアプローチを模索 「走れば走るほど賢くなる」を目指す 追加学習あり 追加学習により，手前の半袖の人物の検出が改善 データ取得 + 人間 or 教師モデル によるannotation 〇 破滅的忘却 △ △ ✖ ✖ 〇 データが増大し続ける バランス悪化 モデル更新 新ドメインを走行 ©MATSUO INSTITUTE, INC. 12

2. 継続学習による物体検出モデルの運用 継続学習とは ● “ 過去に学習した経験を保持しながら新しい知識に対応することによって、 時間をかけて継続的に学習する能力 ” 継続学習 〇 追加学習 〇 [Parisi et al., 2019] 経験を保持 △ 〇 新たな知識 ✖ 〇 物体検出における継続学習手法の動向 に対応 データ取得 + ● 問題設定の分類 人間 or 教師 モデル更新 ○ タスク増分物体検出 (TIOD) モデルによる annotation ○ クラス増分物体検出 (CIOD) 新ドメインを走行 ○ ドメイン増分物体検出 (DIOD) ● アプローチの分類 ○ Replay methods ■ 元ドメインのデータを再利用する手法 ➡ データの増大は避けたい ○ Regularization-based methods ■ 損失関数に正則化を加える手法 ➡ 選定対象とした ○ Dynamic architectures methods ■ モデル構造に変更を加える手法 ➡ 精度の出たモデルを維持したい ©MATSUO INSTITUTE, INC. 13

継続学習による物体検出モデルの運用 選定した継続学習手法 ● 選定方針 ○ 元ドメインのデータセットを用いずに適用可能 ○ 物体検出タスクに適用する上で，実装が簡単 ○ 物体検出タスクでの応用事例がすでにある ● Elastic Weight Consolidation（EWC）[Kirkpatrick et al., 2016] ○ 元のモデルパラメータθから離れすぎないように正則化をかけることで精 度低下を防ぐ手法 Fisher情報行列 EWC 正則化項 ● Learning without fitting (LwF) [Li et al., 2016] ○ Knowledge Distillationを利用して新旧モデルの差を正則化項に加える 手法 ○ 今回は中間層の出力のMSEを損失に加えた ○ ICCV2021で開催の物体検出の継続学習コンペで1stのものを参考 ■ https://davar-lab.github.io/competition/SSLAD-Track-3 LwF ©MATSUO INSTITUTE, INC. 14

• https://davar-lab.github.io/competition/SSLAD-Track-3

2. 継続学習による物体検出モデルの運用 実験条件・結果 ● ● ● ● 画像を用いた2次元物体検出に適用（YOLOX） BaselineモデルはnuScenesデータセットで学習 Baselineを基にTIERIVデータセットを用いて，NuScenes➡TIER IVへのドメイン増分学習 4つの学習条件（内2つにEWC，LwF適用）で両データセットのValidation精度を計測 Fine Tuning (TIER IV) Fine Tuning + EWC (TIER IV) 破滅的忘却が緩和 nuScenesで大きく精度低下 （破滅的忘却が発生） Baseline (Fine Tuningなし) ©MATSUO INSTITUTE, INC. Fine Tuning (nuScenes + TIER IV) 理想の精度だが， データが増え続けてしまう Fine Tuning + LwF (TIER IV) 追加データのみで両ドメイン での精度向上を達成 15

2. 継続学習による物体検出モデルの運用 LwF > EWCとなった理由の考察 ● λ (新旧ドメインの重要度係数)の設定 ○ ○ ● ハイパラであり（今回は一律1e-5），LwFに有利な設定の可能性がある ただし，他手法に適用したベンチマークでもLwFの精度が高い ■ どちらも偶然LwFに有利な設定となっているとは考えにくい 近似の影響 ○ EWCでは損失関数に組み込む旧ドメインでの尤度を，2次統計量であるFisher情報行 列まででガウス分布にラプラス近似している ○ LwFでは新旧モデルの中間層の出力のMSEを損失関数にそのまま組み込み，↑での近 似部分をDNNに押し付けている ○ このため，LwFの方が高次の分布に対応できる可能性がある 共分散行列の逆行列の推定量なので2次統計量 Fisher情報行列 EWC： 平均の推定量なので1次統計量 正則化項 ©MATSUO INSTITUTE, INC. 16

まとめ 時系列データの利用 ● ● 課題（物体検出精度の向上） ○ 時系列データの効率的な処理 ○ 検出の不安定さ ○ オクルージョンへの対応 結果 ○ INT・SUIT・MoDARをCenterPointに適用 ■ 計算コストを抑えられたものの精度向上は微増 ■ 定性的に検出安定性やオクルージョンに対する効果を確認 継続学習 ● ● 課題（ドメイン変化への対応） ○ 追加データのみで追加学習 ➡ 元ドメインの精度低下（破滅的忘却） ○ 毎回新データをデータセットに追加 ➡ 継続が現実的でない ○ 失敗データを厳選追加 ➡ データセットのバランスが崩れる 結果 ○ 継続学習手法EWC・LwFをYOLOXに適用 ■ LwFが追加データのみで新旧ドメインにて精度向上を達成 ©MATSUO INSTITUTE, INC. 17

©MATSUO INSTITUTE, INC. 18