自動運転の会社でなぜデータ基盤が必要なのか？そこで今やっていること

自動運転の会社でなぜデータ 基盤が必要なのか？そこで今 やっていること Satoshi Matsumoto / Hideharu Matsubara Jan 29, 2021 1

INTRODUCTION 2

INTRODUCTION 自己紹介 松本 悟志 Webに関する技術者チームに所属 自動運転車両の管理、配車管理、CI/CDを行うWeb.Auto 自動運転車両、Web.Autoが生成するデータを集約し、利活用する役割 入社1年10ヶ月 思い出に残っていること：入社してすぐに自動運転に関するTV番組の 取材があったこと 3

INTRODUCTION 自己紹介 松原 秀治 Webに関する技術者チームに所属 自動運転車両の管理、配車管理、CI/CDを行うWeb.Auto 自動運転車両、Web.Autoが生成するデータを集約し、利活用する役割 入社1年1ヶ月 思い出に残っていること：西新宿の実証実験 4

INTRODUCTION Web.Autoとは IoT・Cloud技術を用いて、様々な組織・個人が簡単に 自動運転テクノロジーにすぐにアクセスでき、その技 術で抱えている課題を解決する基盤を提供する Fleet Management System (FMS) FMS Console Autoware Drive OTA Update Simulator Vector Map Builder Point Cloud Map Builder Automan

INTRODUCTION FMS Console 経路登録 FMS (運行管理システム) FMSを使い安全・安心な運行管理を実現 各車両の現在地、ステータス、スケジュール、走行経路等が確認可能で、車 両に異常があればすぐに気付き対応することが可能です。 自動運転車両モニタリング 現在地、走行経路、スケジュール、Driveと同等のリアルタイムな映像も確認可能です 。 異常があった際は、ポップアップと音声通知により瞬時に気付くことができます。 巡回経路指示 自動運転車両を使い巡回バスで運行したいユーザに向けて、コンソールから簡単に巡回 するバス停を指定し、スケジュールを登録することが可能です。 地図の更新履歴機能 Vector Map Builderから地図が更新された場合に、その地図の更新履歴が閲覧可能。 走行履歴閲覧機能 自動運転車両の走行履歴を振り返ることができ、どこでエラーが発生したかを確認し、 その時間のROSBAGをダウンロードすることが可能です。 FMS Console 走行履歴閲覧

CONTENTS データがなぜ必要なのか？ どうやってデータを集めているのか？ （話をしないこと） ・Web.Autoの機能に関する詳細な話 7

1. データがなぜ必要なのか？ 8

データが必要となってくるケ ース 自動運転の開発時 機能改善 物体認識の機械学習 9

データが必要となってくるケ ース 自動運転の開発時 品質向上 シュミレーターでの動作確認 10

データが必要となってくるケ ース 自動運転のサービス提供時 自動運転ログ 自動運転中に危険が発生した場合 運転状況が再現できるログを収集 11

データが必要となってくるケ ース 自動運転のサービス提供時 サービスログ 配車到着予想時刻の精度向上 車両メンテナンス 故障検知 12

データ基盤として ・自動運転を開発しやすい基盤 - データのバリエーションが重要 → 開発に必要なデータがあり、取り出すことができる どんなデータなのか可視化（タグ付け）が重要 ・自動運転サービスを運用しやすい基盤 - データの欠損や不整合がないことが重要 - 集計しやすいようにデータを集約管理 → 自動運転の民主化 13

実証実験 2018年 下期以降に ティアフォーが支援した実証実験 これまでに国内で実施 した実証実験 仙 台空港 （ 空港） 長 野県飯 田市 （ VR連 動 ） 愛 知県一 宮市 （ 5G） 滋 賀県草 津市 （ 大学キ ャンパ ス） 日 本郵便 （ 物流） 東 京都江 東区 （ 商業施 設） 豊 田市 （ 道の駅 ） 東 京都お 台場（ 臨海・ 観光） 東 京都新 宿区（ 遠隔監 視・保 険） 大 津市 （ 道の駅 ） 山 口県宇 部市 （ 道の駅 ） 神 奈川県 横須賀 市（リ サーチ パーク ） 東 京都三 宅島（ 離島・ 観光） 大 阪府 （ 鉄道車 両基地 ） セ ントレ ア （ 空港） 大 阪府堺 市 （ 無線充 電） 愛 ・地球 博 記 念公園 （ 公園） 累計実施回数 : 70回 走行場所 : 18都道府県 50市区町村 事故件数 : ゼロ （2019年末時点） エ コパ （ スタジ アム） 愛 知県豊 橋市 （ テーマ パーク ） 14

運用 株式会社eve autonomyとの連携 株式会社eve autonomyは工場敷地内など を対象とした自動搬送ソリューションの 実現を目指したヤマハ発動機株式会社と 設立した合弁会社 自動搬送を運用していく上で 必要な ログの収集、レポート機能の拡充 15

車両以外のデータ 外部連携 ・渋滞情報を配車到着予想時刻に活用 - 回避ルートがあれば動的変更など ・気象情報をサービスに活用 - 運行に支障がある気象状況になる場合 地震、ホワイトアウトなど 16

2. どうやってデータを集めている のか？ 17

蓄積しているデータの概要 現在は実証実験を行いつつ、一部で運用が行われているフェーズ 自動運転ログ - 自動運転車両の改善などに使われる 特徴：データ量が大きい、収集したデータをバッチで処理 リアルタイムログ - 配車到着予想時刻とか、走行情報とか - リアルタイムでモニタリングのために取得 特徴：比較的データサイズは小さく、ストリームでデータを収集 18

自動運転ログ 自動運転車両がRobot Operating System(ROS) で動いているため ROSのメッセージをBagという形式で保存 - 大体1台で1分あたり3GBぐらい - 1日中取得しているわけではないが、自動運転の最中は取得 - 去年の12月は最大6台/dayが西新宿・塩尻の実証実験で走行 リアルタイムログについても同様に取得 - 1車両あたり、20,000〜25,000レコード/dayぐらい 塩尻 西新宿 19

リアルタイムログ 自動運転車両からテレメトリーデータ - AWS IoT Greengrass (AWSのIoT向けサービス) からのデータを取得 - 自動運転車両などが出しているログや、走行情報などを取得 - これらのデータの集計してサマリーテーブルを作っている FMSのサービスのデータベースの変更履歴の取得を実施 - 配車到着予想時刻や、過去の変更データなどを取得 20

システム構成 21

実験データの吸い上げ 社内 実験場 WAN クラウド LAN 自動運転車両 Bag 1. 走行して得たBagファイルを保 存 2.車両情報などのメタデータ付与 共有PC 1. 2. 3. 4. NAS ファイルアップローダー SSDをUSBに接続すると認識し、Bagファイル一覧を取得 Bagファイルのチェックと圧縮 Bagファイルの情報と車両情報など組み合わせたメタファ イルを作成 NAS・クラウドへ圧縮したファイル、メタデータをアップ ロード 22

データの活用 FMSの画面 テスト環境の車両の走行履歴 テスト環境の車両の日々の走行距離（KM/日） 23

データの活用 FMSの画面などから、走行履歴の確認 - 1日単位で集計済みのデータのサマリーテーブル 依頼ベースでの細かい集計作業 - 特定の場所（緯度・経度）に紐づくデータの集計など データ抽出のパイプライン - Bagに含まれるカメラのデータから画像データの抽出 機械学習などに利用 24

データ収集で苦労している点 社内 実 験場 手動 WAN LAN 自 動運転 車両 共 有 PC ク ラウド NAS Bagのアップロードまでのリードタイム - できるだけ早めにアップロードが望まれる（が中々難しい） - 実験車の台数が増えるとスケールが難しい - かなり運用対処をしてもらっている面がある データの変換のためのパイプライン構築まで手が回っていない - Bagファイルが1つのDBのようになっていて処理しづらい - 一部データパイプラインは作り始めている 25

データ収集で苦労している点 価値のあるデータにすることが難しい - データの収集の仕組みについては、仕組み作りを行っている どの車両が、いつ、どこを走行したと言うような切り口では確認 ができるようになってきた - データの量が多く見つけたいデータを見つけることが困難 実際の要望は詳細な事象から、ログを抽出したい 26

今後取り組んでいくこと 現状は最低限必要なデータ収集の仕組みが回り始めたところなので 継続的なので取り組みとして取り組んでいく - データの信頼性の担保 - 取得するデータの拡充 - データのタグ付け・ラベリング データを活用できる基盤の提供 - 目的のデータに辿り着き安くする - 容易にデータの探索ができるようにする仕組みの提供 27

© 2021 Tier IV, Inc. 28