自動運転のMLOpsワークフロー

TIER IV FEBRUARY TIER IV/ 2025 TITLE Information Disclosure Classification: PUBLIC TIER IV TALKS #3 走れば走るほど賢くなるを実現する自動運転のMLOps基盤 2025 / 02 / 20 自動運転のMLOpsワークフロー 1

Speaker 経歴 ~ 2020 .3 東北大学大学院 工学研究科 修士課程 機械学習を用いた流体シミュレーションの物理モデリング ~ 2022.9 Riki Ota ソフトバンク株式会社 MaaSアプリの開発、自動運転事業の企画およびPoCアプリの開発 MLOps Engineer 2022.10~ 株式会社ティアフォー Data/MLチームでMLOps基盤の開発・運用 趣味 テニス、ポーカー、旅行 社内ポーカー ケニア 2

Agenda 1. Learn By Run 2. MLOps Workflow 3. Future Work 3

Learn By Run 01 4

自動運転の走行データ量 車両台数 (走行拠点数) x 単位時間あたりのデータ量 x 走行時間 = 走行データ量 38 97 都道府県 市区町村 Long Range LiDAR (x4) Camera：TIER IV C2-120 (x9) Short Range LiDAR (x4) Camera：TIER IV C2-030 (x1) Camera：TIER IV C2-062 (x1) 5

走行データ (rosbag) のデータ量推移 累積データ量: 1.2PB 累積走行時間: 1万4000時間 6

走行データ (rosbag) の活用先 rosbagに入っている情報 Data Objective 万が一の事故時の検証 センサーデータ リリース評価 (安全性評価) rosbag カメラ画像 点群 評価ツールの改善 Annotation 自動運転ソフトウェアの改善 T4dataset 評価データ 自動運転SWの認識・計画・制御 学習データ 機械学習モデルの改善 走行環境への適応 エラーログ、システムログ、etc. T4 format: https://github.com/tier4/tier4_perception_dataset 7

• https://github.com/tier4/tier4_perception_dataset

Learn By Run Data Collection Data Selection Annotation Data Upload Search & Select Annotation Training Training ML Models Evaluation Deployment Evaluate Autonomous Driving Software OTA Update Operation 各走行環境で走れば走るほど自動運転ソフトウェアが賢くなる ● ● ● 大規模なデータを元にした信頼性・安全性の高いリリース評価 機械学習モデルや自動運転ソフトウェアの基本性能の向上 様々な走行環境への短期間・半自動での適応 8

MLOps Workflow 02 9

MLOps Workflow: Overview Data Collection Data Selection Annotation Training Evaluation Deployment Search & Select Annotation Training ML Models Evaluate Autonomous Driving Software OTA Update Data Upload 3rd Party Annotation Tool Preproc Register Annotation Simulation T4dataset rosbag Data Search Service Build Postproc Annotation Pipeline Analyze Analysis Pipeline CI/CD Pipeline Build ML Pipeline Data Prep Training ML Model 10

MLOps Workflow: Overview Data Collection Data Selection Annotation Training Evaluation Deployment Search & Select Annotation Training ML Models Evaluate Autonomous Driving Software OTA Update Data Upload 3rd Party Annotation Tool ・アノテーションツール連携 ・データフォーマット変換 Preproc Register Annotation Annotation Pipeline CI/CD Pipeline Analyze ・サムネイル画像作成 ・動画作成 ・メタデータ抽出 ・VLMによるタグ付け Simulation T4dataset rosbag Data Search Service Build Postproc Analysis Pipeline Build ・機械学習の実行 ・実験・モデル管理 ML Pipeline Data Prep Training ML Model 11

Annotation Pipeline 3rd Party Annotation Tool ・アノテーションツール連携 ・データフォーマット変換 Preproc Register Annotation Simulation T4dataset rosbag Data Search Service Build Postproc Annotation Pipeline Analyze Analysis Pipeline CI/CD Pipeline Build ML Pipeline Data Prep Training ML Model 12

Annotation Pipeline: Dataset Conversion Workflow rosbag2 rosbag2 to t4 format Non annotated t4 format t4 format to annotation tool format 処理ステータスや変換設定の管理 https://github.com/tier4/tier4_perception_dataset/blob/main/docs/tools_overview.md annotation tool format to t4 format t4dataset Third-Patry Annotation Tool 13

• https://github.com/tier4/tier4_perception_dataset/blob/main/docs/tools_overview.md

Annotation Pipeline: System Overview CI/CD Pipeline Upload Input Data Web.Auto CLI T4dataset Input Data ML Pipeline Annotation Pipeline Execute Preprocess Stage Annotation Stage Postprocess Stage Upload Config File config.yml Third-Party Annotation Tool 14

Annotation Pipeline: System Overview Web.Auto CLI Upload Input Data CI/CD Pipeline Third-Party Annotation Tool Annotation Dataset Input Data Annotation Stage Prerocess Stage ML Pipeline Postprocess Stage Execute Lambda Lambda AWS Batch Lambda AWS Batch AWS Batch Upload Config File config.yml ECR DynamoDB Aurora (Postgres) 15

ML Pipeline 3rd Party Annotation Tool Preproc Register Annotation Simulation T4dataset rosbag Data Search Service Build Postproc Annotation Pipeline CI/CD Pipeline Analyze Analysis Pipeline Build ・機械学習の実行 ・実験・モデル管理 ML Pipeline Data Prep Training ML Model 16

ML Pipeline: Features 実験のステータスや実験設定の管理 モデル管理およびリリース確認 (CI/CD Pipeline Integration) 学習の実行とログの準リアルタイム表示 17

ML Pipeline: System Overview .webauto-ml.yml Source Code Upload Source Code Autoware Evaluator Web.Auto CLI ML Pipeline Execute Build Stage Process Stage Artifact Train Stage CI/CD Pipeline Log Checkpoint T4dataset 18

ML Pipeline: System Overview .webauto-ml.yml Source Code Upload Source Code Bucket Web.Auto ML Dashboard Web.Auto CLI Experiment Run Workflow Build Workflow Preprocessing Workflow Training Workflow CodeBuild SageMaker SageMaker ML Service API Server SQS Artifact Bucket T4dataset Management Service ECR DynamoDB T4dataset Dataset Bucket 19

Analysis Pipeline 3rd Party Annotation Tool Preproc Register Annotation Annotation Pipeline Analyze ・サムネイル画像作成 ・動画作成 ・メタデータ抽出 ・VLMによるタグ付け Simulation T4dataset rosbag Data Search Service Build Postproc Analysis Pipeline CI/CD Pipeline Build ML Pipeline Data Prep Training ML Model 20

Analysis Pipeline: センサーデータの動画作成 3Dアノテーション (Cuboid) の重畳動画 rosbag 点群の重畳動画 Annotation T4 dataset 21

Analysis Pipeline: VLMを利用したタグ付け Dynamic Object: rosbag Segment Segment 0 Sample Frame … Raw Frame … Segment 1 … Segment N … … + Static Object: Traffic Light Traffic Volume: Normal Traffic Event: No event Road Condition: Dry Visibility: Good Road Shape: Straight Weather: Clear プロンプト タグ Amazon Bedrock フロントカメラ画像 Car Amazon OpenSearch Serverless 22

Analysis Pipeline: System Overview Analysis Pipeline for T4dataset Analysis Pipeline for rosbag rosbag Management Service rosbag T4dataset Management Service Asset Bucket T4dataset Asset Bucket Validator Validator Image Extractor Video Generator Metadata Extractor Video Generator Scene Analyzer 23

Future Work 03 24

走行データ量の増加と活用の課題 走行データの増加に対して効率的な活用とコスト最適化が必要 累積データ量: 1.2PB 累積走行時間: 1万4000時間 rosbag 膨大な走行データの中から 特定のデータの選定が困難 Annotation アノテーションコストが高く 気軽にアノテーションが実施できない T4dataset 最終的にT4datasetになる データは全体の極一部 25

Future Work 走行データの効率的な活用と保存コストの最適化 走れば走るほど賢くなる基盤の実現 AD Software Peformance データ保存量の最適化 頻出シーン レアシーン 性能 ○ 性能 ○ 頻出シーン レアシーン 性能 ☓ 性能 ☓ 自動ラベリングによる アノテーションコストの削減 Rarelity 26

Recruitment Information Data Collection Data Selection Annotation Data Upload Search & Select Annotation Training Training ML Models Evaluation Evaluate Autonomous Driving Software Deployment OTA Update Operation MLOps Engineer ● ● ● ● 走行データの分析パイプラインの開発・運用 アノテーションパイプラインの開発・運用 機械学習パイプラインの開発・運用 モデルの性能モニタリングなどを含む機械学習 の基盤システムの開発・運用 27

CONTACT US https://tier4.jp/ Thanks Again ! 28

• https://tier4.jp/