トヨタのxR活用事例ご紹介 ～ ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社 栢野様 発表スライド)
31.1K Views
May 17, 22
スライド概要
関連スライド
各ページのテキスト
HoloLab Conference 2022 トヨタのxR活用事例ご紹介 ～ ホロラボとの開発秘話を中心に 株式会社ホロラボ 上山 晃弘（アキヒロ） トヨタ自動車株式会社 栢野 浩一
1 /55 栢野 浩一（かやの こういち） 仕事 デジタルエンジニアリング （≒DX/デジタルツイン）20年以上 趣味 コンピュータ系 最近は xR ハイキング（登りじゃないやつ）、旅行 出身 三重生まれの名古屋育ち © 2022 Toyota Motor Corporation. All rights reserved.
2 /55 1996年～ 生産技術へデジタルエンジニアリング導入 （創成期＝経験が今も役立つ） 干渉 車両１台分のデータ 作業姿勢 やりにくさ＝品質低下 デジタル試作：新業務が誕生, 20年以上 © 2022 Toyota Motor Corporation. All rights reserved.
3 /55 レイアウト検討 デザイン レビュー デザイン 企画 カタログ ＣＭ 販売 サービスマニュアル パーツカタログ 用品デザインレビュー ｴﾝｼﾞﾝ搭載検討 設計 フルビーグルデータ＠PDM サービス 用品 構成部品表 CAE 評価 計測 生技・工場 品管 作業要領書 作業手順書 荷姿検討 全工程でデータを基準とした業務遂行：データ主体の新業務 © 2022 Toyota Motor Corporation. All rights reserved.
4 /55 2005年～市販CG「車両データ」 海外拠点へ提供（リーダ） カタログ/CM/映画 カーコンフィギュレータ VRイベント 車両CGモデルを提供 ⇒デジタル販促：新業務 15年以上、標準プロセス 革新的な取組 © 2022 Toyota Motor Corporation. All rights reserved.
5 /55 DX：デジタルトランスフォーメーション 新しいサービスや枠組みを提供すること データとITを主体とした 新しい業務、付加価値を実現してきた © 2022 Toyota Motor Corporation. All rights reserved.
6 /55 ・2000初～ サービス性検討、手書きイラストの元ネタ ・2007年～ 修理書等のイラストに3Dデータ活用開始 ・2016年～ xR活用試行に着手（AR, VR, HoloLens,,,） © 2022 Toyota Motor Corporation. All rights reserved.
7 /55 2016/17 2018 2019 2020 2021 現在も改良中） たくさん試行！ 2018 Satya CEO 2019 平野社長 2021 Alex Kipman © 2022 Toyota Motor Corporation. All rights reserved.
8 /55 GR Garageはクルマファンが集い、語らい、一緒になってクルマを楽しむ、 「町いちばんの楽しいクルマ屋さん」を目指しています。 https://toyota.jp/gr/garage/ © 2022 Toyota Motor Corporation. All rights reserved.
9 /55 ①配線図 ③コミュニケーション トヨタ製 Dynamics 365 Remote Assist ②新型車解説 ④トレーニング、ガイド マイクロソフト社 製品 後進リーダ達が要件化し展開 Dynamics 365 Guides © 2022 Toyota Motor Corporation. All rights reserved.
10 /55 ・解り辛かった部品やコネクタ配置を直感的に理解 ・配線に関わる情報を一括表示 © 2022 Toyota Motor Corporation. All rights reserved.
© 2022 Toyota Motor Corporation. All rights reserved.
12 /55 ・機能解説を車両上に表示し、楽しくわかりやすく学習 4WD 空力 ボデー エンジン © 2022 Toyota Motor Corporation. All rights reserved.
空力 © 2022 Toyota Motor Corporation. All rights reserved.
14 /55 ①エンジニアの魅力向上 エンジニアリーダー、新入社員へ将来像紹介 整備学校生対象の体験イベント ②新たなお客様体験の提供 販売店独自にSNS・YouTube上での紹介、集客誘致 ③各種メディアでの紹介 日刊自動車新聞、日刊工業新聞、日経新聞Web 他 © 2022 Toyota Motor Corporation. All rights reserved.
15 /55 特徴：AI形状認識により、ホログラム表示位置を自動化 車両塗装を傷つけない 作業効率 マーカーレス実現は必須 手順 学習 ファイル 1～5MB ①モデルファイルを 用意する 2MB ②学習ファイルへ変換 （Azureサービス） ③Unity 開発アプリ ④HoloLens 2へ 先行段階から開発チームに参加 © 2022 Toyota Motor Corporation. All rights reserved.
© 2022 Toyota Motor Corporation. All rights reserved.
17 /55 特徴：ディーラ配布HoloLensのユーザ、アプリ配信など クラウドベースで機器管理ができる（旧名 Intune） 注:HoloLensでは 機能制限あり（現状） 各種設定 アプリ配信 ユーザ設定 ディーラ展開になくてはならないツール 初期設定工数 大幅に低減 © 2022 Toyota Motor Corporation. All rights reserved.
18 /55 特徴：回路図のSVGフォーマットをHoloLens上で表示 裏話 ・SVG Viewer開発者 と直接コンタクト ・初めて「3D化」した時 50mくらいの巻物 文字が見えない Unityで楽しく開発！ © 2022 Toyota Motor Corporation. All rights reserved.
19 /55 ①Microsoft Azure Remote Rendering (ARR) HoloLens単体では、 描画性能に限界！ クラウドで描画、現場で投影 レンダリングデータ レンダリングサーバー (専用Azureサービス) センサーデータ HoloLens 2 (ARR SDKを使用した UWP Unityアプリケーション) 開発 © 2022 Toyota Motor Corporation. All rights reserved.
20 /55 • ARRを遠隔講習で使 えるようにできる のでは(栢野さん) • ARRとHolo Communicationを 組み合わせ，遠隔 地へのARRモデルと 講師を転送 © 2022 Toyota Motor Corporation. All rights reserved.
21 /55 ネットワーク帯域を圧迫 動作が不 安定 日本リージョンがARRに対応 通信負荷は高い もう少しカイゼンしてみよう！ © 2022 Toyota Motor Corporation. All rights reserved.
22 /55 • ARR + 3Dアバター版 • 通信量低減のため 3Dアバターの利用 を検討（栢野さ ん） • Holo Communication → Azure Kinect Body Trackingを利用。受 信データ量を削減！ © 2022 Toyota Motor Corporation. All rights reserved.
23 /55 課題 • 通信量の問題はある程度解決できたが、やっぱりリアル情報も欲しい(栢野さん) • フォトグラメトリデータを表示してみる • Webカメラからの映像を送信して表示してみる リアル情報も入れてみよう！ © 2022 Toyota Motor Corporation. All rights reserved.
24 /55 • ARR + HoloCommunication + 3Dアバター版 • 通信量の問題を除けばARRとHolo Communicationと3Dアバターを組み合わせて もいいのでは？(栢野さん) → 通信量とパフォーマンス調整。 全部を 一体化 できた!! © 2022 Toyota Motor Corporation. All rights reserved.
ARR + アバター先生 + Holographic Capture (Azure Kinect) w/Real HoloPortation © 2022 Toyota Motor Corporation. All rights reserved.
26 /55 せっかくだから、アレックスさんに報告しよう！ Concept: HoloPortation アバター ＆ リアル ＆ ホログラム メタバース上の初事例をメタバース上で初報告!? © 2022 Toyota Motor Corporation. All rights reserved.
27 /55 • リアルタイム以外でも講習を受けれるようにしたい (栢野さん) • ARRの操作と3Dアバターの動作，音声を記録，再生可能にした。 いつでもどこでも空間記録の再生が可能に！ © 2022 Toyota Motor Corporation. All rights reserved.
28 /55 デジタル工具（Bluetooth Device）との連携 例）トルク値の自動読み取り、記録化 ・工具とタイヤを 形状認識で把握 ・デジタル工具から トルク値を通信し 記録簿に自動記録 © 2022 Toyota Motor Corporation. All rights reserved.
29 /55 Power Appsで使えるように工夫 （世界初!?） HoloLens 2 デジタル工具 仕様上 不可 Bluetooth 今回 Bluetooth Azure Functions Azure Signal R Azure 利用 Power Apps (HoloLens内のブラウザ) © 2022 Toyota Motor Corporation. All rights reserved.
© 2022 Toyota Motor Corporation. All rights reserved.
31 /55 © 2022 Toyota Motor Corporation. All rights reserved.
32 /55 PowerAppsとの連携(Google Spread Sheet版) • PowerAppsにBluetooth接続のトルクレン チからデータを取得する機能は無い • Google スプレッドシートにHoloLens からトルクレンチのデータをアップ ロード • PowerAppsでストレージを読み込ん で表示 • データ送信だけなのでUWPアプリに変更 PC用としてPowerApps組み込み版UWPア プリを作成 © 2022 Toyota Motor Corporation. All rights reserved.
33 /55 • 課題 • トルクレンチデータをGoogle スプレッドシートに保存 しているので，PowerAppsでの表示には時間がかかる • 直接PowerAppsとやり取りができない • 構成がシンプルでない Azure経由とかでできそうじゃない？（栢野） © 2022 Toyota Motor Corporation. All rights reserved.
34 /55 • PowerApps連携(Azure SignalR w/PC) • PowerAppsに即時データ を反映させるには、Azure SignalR利用で可能 • ただしAzure SignalR とPowerAppsの連携方 法はほとんど未公開 • なんとかやってみた • 連携アプリはUWPのため， HoloLens上でも動作 © 2022 Toyota Motor Corporation. All rights reserved.
35 /55 • PowerApps連携 (Azure SignalR w/HL2) • HoloLensとトルクレンチ を接続した状態で HoloLens内のPowerApps が見ることができれば機 材がコンパクトにできる のでは (栢野さん) • トルクレンチとの接続ア プリをバックグラウンド 動作に対応させることで 実現 © 2022 Toyota Motor Corporation. All rights reserved.
36 /55 HoloLensの操作を初めての方でも簡単に！ ・アバターや手モデルで 手順や位置を説明 ・スタッフやマニュアルが なくても操作可能 ・合成音声は まだ 改善の余地あり 鳴き声：CV深田愛衣 (株) ぷろだくしょんバオバブ所属 © 2022 Toyota Motor Corporation. All rights reserved.
37 /55 内容を喋ったり3Dモデルを切り替えできると良さそう！ © 2022 Toyota Motor Corporation. All rights reserved.
38 /55 © 2022 Toyota Motor Corporation. All rights reserved.
39 /55 ヘルプ機能設定をUnity Editor上に実装 • 機能追加時にコードを記 述する必要は無し （誰でもできる） • 音声合成エンジン（Azure 等）や3Dモデルは複数種 類を切り替え可能 • EditorのUIの整理と設定 自動化で、必要最低限の 変更だけで設定完了！ © 2022 Toyota Motor Corporation. All rights reserved.
40 /55 私の想い）先進安全装置や自動運転が発展 ⇒ 人に見えないセンサーや車両の認識情報を、分かり易く可視化し 製品開発・メンテナンス・走行時に役立てることができないか？ 参考事例）VARJO x VOLVO © 2022 Toyota Motor Corporation. All rights reserved.
41 /55 スペース確保 不十分 走行振動で 誤作動 移動体の中では使えない （OS,センサー類未対応） © 2022 Toyota Motor Corporation. All rights reserved.
42 /55 ※最新の情報は後述 （助手席です！） © 2022 Toyota Motor Corporation. All rights reserved.
43 /55 © 2022 Toyota Motor Corporation. All rights reserved.
44 /55 Tracking ・MR表示はできた！ ・表示位置が安定しない どうも赤外線が悪影響 トラッキングの安定化が必要 © 2022 Toyota Motor Corporation. All rights reserved.
45 /55 HMD 内蔵 IMU 車両固定 IMU • LPVR-Duo(LP-Research社) 光学式 トラッキング HMD 内蔵 IMU • 安定したトラッキングが 可能に！ 光学式 トラッキング 車載固定 IMU Sensor Fusion © 2022 Toyota Motor Corporation. All rights reserved.
© 2022 Toyota Motor Corporation. All rights reserved.
47 /55 © 2022 Toyota Motor Corporation. All rights reserved.
Varjo XR-3 © 2022 Toyota Motor Corporation. All rights reserved.
49 /55 JVC HMD-VS1W ・高画質、広視野角 ・ハーフミラーの採用に より実際の操作機器 を肉眼で確認可能 ⇒XRドライブに 向いてそう https://www.jvc.com/jp/pro/hmd/lineup/hmd-vs1w/ まずはやってみた © 2022 Toyota Motor Corporation. All rights reserved.
© 2022 Toyota Motor Corporation. All rights reserved.
51 /55 熱対策を怠ったため、PCが故障。。。 NVIDIA RTX A5000 • PCを小型化 VELUGA-D 1000L ご紹介したXRドライブのシステム導入にご関心あれば、エルザジャパン様まで！ © 2022 Toyota Motor Corporation. All rights reserved.
52 /55 Windows Holographic, version 21H2 まずはやってみた © 2022 Toyota Motor Corporation. All rights reserved. https://docs.microsoft.com/en-us/hololens/hololens2-moving-platform
53 /55 あこがれた映画、SF ずっとやりたかった夢 「デジタルを現場で」 開発者の皆様 ありがとうございます！ © 2022 Toyota Motor Corporation. All rights reserved.
54 /55 ・DX推進のヒントは現場にあり 課題を一番しっているのは現場 目標をしっかり ・若い世代にまかせてみる デジタルネイティブで、センスがいい ・気軽にまずはやってみる、だめならすぐやめる 従来よりはるかに、安い、早い、うまい技術が豊富 xRは働き方改革に確実に役立つ © 2022 Toyota Motor Corporation. All rights reserved.
55 /55 xR・DXで もっといいクルマづくり＆サービス に努めてまいります 誰かの幸せのために ご清聴ありがとうございました © 2022 Toyota Motor Corporation. All rights reserved.