Co-MLOps Platformによる自動運転AI開発の民主化_川端

Co-MLOps Platformによる自動運転AI開発の民主化 株式会社ティアフォー 川端 一成

Speaker 川端 一成 (Kazunari Kawabata) 趣味は釣り、キックボクシング、バンド 川端 ● 学生時代：半導体・低温物性物理の研究 ● CMOSイメージセンサの要素技術・製品開発 ● 北米拠点駐在 ○ ● 針原さん ● センサ技術・AIを活用した新規事業開発 2019年 ティアフォー入社 ○ C1カメラシリーズの開発、製品・事業化をリード ○ 「Edge.Auto」のProduct Owner 2023年10月より現職 / VP of Future Solution ○ Co-MLOps Platformを提案し開発をリード

内容 ● ティアフォーの紹介 ● Co-MLOps Platformとは？ ● Co-MLOps Platformの主要機能説明 ● 参加・導入を検討される方へ 3

内容 ● ティアフォーの紹介 ● Co-MLOps Platformとは？ ● Co-MLOps Platformの主要機能説明 ● 参加・導入を検討される方へ 4

事業概要 自動運転ソフトウェア・プラットフォームの開発 設立 2015年12月 社員数 約400名 拠点 日本：東京、名古屋 北米： Palo Alto 中国：上海 資金調達額 株主 累計約381億円

Vision The Art of Open-Source Reimagine Intelligent Vehicles 自動運転の民主化 自動運転に資するあらゆるテクノロジーを開放し、 様々な組織、個人がその発展に貢献できる持続的 なエコシステムを構築する

ティアフォーの紹介 Automotive HDR Camera Autoware - 業界最高水準の画質 - 車載基準を満たす信頼性 - Autowareプラグアンドプレイ ➢ ➢ オープンソース ○ 20カ国、 500社以上で導入 「自動運転用ソフトウェアの 民主化 」 ➢ ➢ 2022年9月発売、国内外 200社以上が導入 ○ ロボコンなどでも採用実績多数 Amazonでも購入可能 →「車載カメラの 民主化」

ティアフォーの紹介 Automotive HDR Camera Autoware - 業界最高水準の画質 - 車載基準を満たす信頼性 - Autowareプラグアンドプレイ AI開発も民主化しよう🔥 ↓ Co-MLOps ➢ ➢ オープンソース ○ 20カ国、 500社以上で導入 「自動運転用ソフトウェアの 民主化 」 ➢ ➢ 2022年9月発売、国内外 200社以上が導入 ○ ロボコンなどでも採用実績多数 Amazonでも購入可能 →「車載カメラの 民主化」

内容 ● ティアフォーの紹介 ● Co-MLOps Platformとは？ ● Co-MLOps Platformの主要機能説明 ● 参加・導入を検討される方へ 9

AI開発におけるスケーリング則と業界の動向 半導体におけるスケーリング則 Mooreの法則 半導体の集積率が18ヶ月で2倍に、性能は2倍（製造コストは半分） AI開発におけるスケーリング則 Data Centricな AI開発が加速 https://www.nikkei.com/article/DGKKZO80358270Z20C24A4TB0000/ https://x.com/elonmusk/status/1784561310883344542 計算資源、データサイズ、パラメタ数を増やすほど基盤モデルの性能が向上 “Scaling Laws for Neural Language Models”, Jared Kaplan et. al. 自社で大規模な投資による開発環境・データセット構築が可能なプレイヤーのみが 競争優位となる構造を変えられないか？ 10

• https://x.com/elonmusk/status/1784561310883344542
• https://www.nikkei.com/article/DGKKZO80358270Z20C24A4TB0000/
• https://www.intel.com/content/www/us/en/newsroom/resources/moores-law.html#gs.ie6fp1

Co-MLOpsによる自動運転AI開発民主化のアプローチ 解決したい課題 ❏ 大量のデータ収集が可能な数社による支配、 イノベーションの阻害 ❏ Co-MLOps Platformの提案 ✅データやAI技術をパートナー間で共有できる 協調型プラットフォームを提供し協業を加速 🤝 各社個別の技術開発による 業界としての非効率 ✅先行企業にデータの量やバリエーションで対抗し データ、センサ構成、 MLOpsパイプラインなど AI開発の民主化を推進 🚀 集約・共通化できる部分が多い（そのための場がない） 従来のアプローチ ブラックボックス、クローズド M T 本アプローチ オープン、協調・協力 + Global partners 11

TIER IV Co-MLOps Platform ワークフロー データやAI技術を 共有できる場所として提供 ➢ 協調・協力にもとづくイノベーションのためのデータ・ AIプラットフォーム ➢ 参加企業・貢献が増えるほど各社のメリットが増える 🚀 12

TIER IV 2023年に実施したPoCプロジェクト 経緯 PoCにご参加頂いた企業・大学の皆様と 地域分布（世界9地域にて実施） （昨年秋頃）こんなん考えてるんですけ どどうでしょう？ 川端 いいっすね、面白そう やってみましょう パートナー企業の皆様 ↓ ✅各社で各地域のデータ収集（〜1ヶ月間程度） ✅持ち寄りアノテーション・モデル学習（ティアフォーが代表して実施） ✅モデルを各地域のデータで検証→高い認識性能を示した ティアフォー C1カメラ レーン検出用 アノテーション ✅開発したモデルとデータをパートナー企業の皆様に共有 ↓ 良さそうだ、発展させましょう これはいけそうだやろう🔥 🔥🔥🔥🔥🔥 川端 パートナー企業の皆様 プレスリリースリンク https://tier4.jp/media/detail/?sys_id=6bPAmXVNjN49da6SCrzphD&category=NEWS 13

• https://tier4.jp/media/detail/?sys_id=6bPAmXVNjN49da6SCrzphD&category=NEWS

TIER IV Confidential TIER IV PoC レーン認識動画 ➢ ➢ Blue: 実線 Green: 破線 各国、地域で異なるレーン形状、色などを含め高精度に認識が可能 匿名化処理等を施し参加メンバーに成果物を共有（データとモデル） 14

TIER IV Confidential 参加によるメリット🤝 ✅ グローバルで収集される大規模データセットへのアクセス ➢ クラウドアプリ上で検索、統計量可視化、 Active Learning基盤連携等の データは増加 コストは低下 データマネジメントが可能 ✅ MLOpsコスト削減 ➢ （単純計算で） 10社で協業・分担すればコスト 1/10 データ検索 統計量可視化 ✅ 差別化の推進、投資効率・生産性の向上 ➢ Reference AIモデルを活用した開発効率化、差別化領域に戦略的に投資 Reference AIモデルの例 15

TIER IV Confidential TIER IV 日本交通様との協業による大規模データ収集 🤝 車両 https://prtimes.jp/main/html/rd/p/000000072.000040119.html 走行シーン 走行経路の例 16

• https://prtimes.jp/main/html/rd/p/000000072.000040119.html

内容 ● ティアフォーの紹介 ● Co-MLOps Platformとは？ ● Co-MLOps Platformの主要機能説明 ● 参加・導入を検討される方へ 17

自動運転AI開発に必要な3つの要素 AIモデル開発 Data/MLOps基盤 システム/ハードウェア

自動運転AI開発に必要な3つの要素 ・AD/ADAS向け、E2E-AD向けAIモデルを リファレンスとして提供 ・現時点ではご要望の多いVisionベースADAS 向 けリファレンスモデルのご提供を開始 AIモデル開発 ・Co-MLOps Platform上でデータ マネジメントシステムをご提供 ・パートナーシップに基づくグローバル での データ収集を推進し、規模を拡大 Data/MLOps基盤 自社製CameraやLiDARを含むデータ収集シ ステム（Data Recording System, DRS）をリ ファレンス構成としてご提供 システム/ハードウェア どれが欠けても成立しないが、全てを１社でカバーできる企業は限られる → 統合されたオールインワンのPlatformとして提供

TIER IV Active Learning基盤に基づくデータ収集・アノテーション によって継続的にアップデートされる大規模データセット が管理された状態で保存される Co-MLOps Platformの機能アーキテクチャ データ利用者 データ収集パートナー フリート 車両 （DRS搭載） アップローダ （1次選別） データ品質 チェック （2次選別） 自動 アノテーション 匿名化処理 (Edge実装開発中) 共有 データレイク メタデータとして保存し データ検索に利用 シーン 特徴抽出 統計量抽出 Uncertainty評価 （VLM利用） 手動 アノテーション Active Learning基盤 データ収集 優先順位リスト ※学習環境はクラウドとオンプレの ハイブリッドを利用 (本図には含まず ) シーン特徴とモデル性 能のマッピング 学習用データ生成 （将来形） エッジケース Active Learningに基づくMLOps基盤を提供 20

技術トピックの説明 ● Data Recording System (DRS) ○ センサー構成・データサンプル ○ 同期構成 ● データマネジメント・MLOps基盤 ○ 匿名化処理 ←詳細は後ほどの発表でカバー ○ データ検索・統計量可視化機能 ○ アノテーションデータ ○ Active Learning基盤：Uncertainty評価の例 ● Reference AIモデル ○ AD/ADAS用Visionベースモデル

技術トピックの説明 ● Data Recording System (DRS) ○ センサー構成・データサンプル ○ 同期構成 ● データマネジメント・MLOps基盤 ○ 匿名化処理 ←詳細は後ほどの発表でカバー ○ データ検索・統計量可視化機能 ○ アノテーションデータ ○ Active Learning基盤：Uncertainty評価の例 ● Reference AIモデル ○ AD/ADAS用Visionベースモデル

Data Recording System (DRS) LiDAR x4 Camera x8 GNSS ➢ 最新世代のセンサハードウェアを用いて周囲360度を遠距離までカバー ➢ 魚眼カメラやRadarもオプション追加応相談 IMU

DRSの同期構成 同期システム構成概念図 PTP マスター CLK生成 スキャンタイミングのイメージ図 Front INS (GNSS) PTP (Eth) 点群と映像を重畳して表示 右前カメラ (120deg) Phase調整により 任意タイミングでトリガ入力 FSYNC (GMSL2) ECU #1 PTP (Eth) LiDAR #1 LiDAR #2 Cam #1 Cam #2 Cam #3 LiDAR (120deg) Cam #4 FSYNC (GMSL2) ECU #2 LiDAR #3 ➢ 右後ろカメラ (120deg) LiDAR #4 Cam #5 Cam #6 Cam #7 Cam #8 Rear 移動中も周囲車両や道路構造物に対し点 群と映像がきれいに重なる PTP/FSYNCを用いた各デバイスの駆動タイミング制御により高精度な同期を実現 ➢ キャリブレーションも行い高品質なデータ収集をサポート

技術トピックの説明 ● Data Recording System (DRS) ○ センサー構成・データサンプル ○ 同期構成 ● データマネジメント・MLOps基盤 ○ 匿名化処理 ←詳細は後ほどの発表でカバー ○ データ検索・統計量可視化機能 ○ アノテーションデータ ○ Active Learning基盤：Uncertainty評価の例 ● Reference AIモデル ○ AD/ADAS用Visionベースモデル

匿名化処理 Edge匿名化 Face Swapping（生成AIによる顔交換） 「データの共有」を前提とした匿名化機能を実装 AI学習への影響を考慮しFace Swapping機能もPlatform上で提供予定

データ検索・統計量可視化機能 ➢ VLMを用いてシーン特徴を階層的に抽出、データ検索や構成把握に利用 ➢ データ収集やアノテーション計画に反映

提供されるアノテーションデータ QA専任チームによるチェックを通じてデータの品質を確保 パノプティック・ セグメンテーション（ 2D） ● ● 全ての物体に画素レベルでラベルを割 当て 背景や同じ種類の物体間の区別が可 能であり、より複雑なシーンの理解が 可能 信号認識 （2D） ● ● 信号機の領域毎に色や種類、矢印の角 度をラベリング 国内外の信号機に適用可能な汎用性の 高いフォーマットと採用 LiDARバウンディング・ボックス （3D） ● ● 3次元点群に対して物体の位置や形状を バウンディングボックスで定義 物体認識、トラッキング、サイズや向きの 推定に利用可能 年内約１５万フレーム、来年末までに５０万フレーム以上のデータセット構築を計画 （データ収集走行はグローバルで約４万時間を計画）

例：トンネル内・視界不良シーン Uncertainty評価の事例 入力映像 セグメンテーション結果 Uncertaintyスコア分布 Visionベース セグメンテーション（例） p1 (車両) p2 (人) p3 (それ以外) 対応シーンの VLM出力 エントロピーを用いた手法により 推論の不確かさを数値化・分布を可視化 High tag : “視界不良”, “レンズ汚れ” caption : "トンネル内の照明が強く、レンズフレアが発生しているため、視 界が不良です。これにより、車両や道路の詳細情報の認識に支障をきたし ています。また、大型車両が複数存在し、車両間隔が近いこともあり、動体 の検出が難しくなっています... Low Uncertaintyスコアの高いシーンに対してVLM出力を組合せたリーズニングを行い、課題を分類 → データ収集、アノテーション計画に反映しモデル性能を改善

技術トピックの説明 ● Data Recording System (DRS) ○ センサー構成・データサンプル ○ 同期構成 ● データマネジメント・MLOps基盤 ○ 匿名化処理 ←詳細は後ほどの発表でカバー ○ データ検索・統計量可視化機能 ○ アノテーションデータ ○ Active Learning基盤：Uncertainty評価の例 ● Reference AIモデル ○ AD/ADAS用Visionベースモデル

Reference AIモデル Co-MLOps Reference AI Stack Edgeでの動作環境に最適化可能なモデルをPlatform上で提供 ・マルチタスク対応 ・マルチプラットフォーム対応 ・マルチモーダル対応 Visionベースモデルの動作事例 2D/3D object detection Traffic light Semantic segmentation Monocular depth Pseudo-LiDAR Active Learning基盤により効率的に行われるデータ収集・アノテーションに基づき、 モデル性能は継続的にアップデートされPlatform上で提供 🚀🚀🚀

TIER IV Confidential TIER IV CES2025での展示 Co-MLOps Platform展示 Reference AIによる ライブパーセプション データ検索・可視化および Active Learning機能のハンズオン DRSによる ライブセンシング DRS搭載車両を展示 https://tier4.jp/media/detail/?sys_id=3zqR4OBIQ69WhtYmRfXZ6t&category=BLOG 32

• https://tier4.jp/media/detail/?sys_id=3zqR4OBIQ69WhtYmRfXZ6t&category=BLOG

内容 ● ティアフォーの紹介 ● Co-MLOps Platformとは？ ● Co-MLOps Platformの主要機能説明 ● 参加・導入を検討される方へ 33

TIER IV TIER IV Confidential 参加・導入を検討される方へ🤝 Q: データの共有はハードルが高いのですが、それでも参加できますか？ A: 相談可能です。 DRS 1台のご購入から参加いただく事例もあります。実際に開発に有用なデータや 機能であるかご確認いただくためのサンプルデータやトライアル環境のご提供も可能です。 Q: データ収集だけでも参加できますか？ A: Yesです。すでに複数の企業と連携してデータ収集を開始しています。データ収集の貢献度合いに応じた インセンティブの仕組みも検討しています。 Q: アノテーションサービスの提供として貢献できますか？ A: Yesです。QCDなどの観点で常にフローの見直しをかけています。 Q: 開発に興味があるのですが、オープンポジションはありますか？ A: Yesです。全領域で積極的に採用を進めています。ぜひご連絡ください！ その他ご質問がある方はこちらにお問合わせください： [email protected] 34

CONTACT US https://tier4.jp/ Thanks Again !

• https://tier4.jp/