三菱重工のUnityを活用したxRの取り組み

三菱重工のUnityを活用した xRの取り組み 三菱重工業株式会社 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved.

自己紹介 三菱重工業株式会社 技術戦略推進室 先進デザインセンター 和田俊幸 2017年入社 横浜配属 2018年～ VR・ARをはじめ、製品に関わるコンテンツの制作を担当 Unityを使い始める © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 2

自己紹介 エネルギー関連の展示会向け 体験型VRコンテンツ 航空機の展示会向け インタラクティブ映像コンテンツ これらは、Unityを使って、制作したコンテンツですが、 プログラマーではないので、技術的な話はあまりできません https://www.pics.tokyo/works/ooh_mirai-gacha/ https://www.pics.tokyo/works/ooh_mrj-2018_interactive-contents/ © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 3

• https://www.pics.tokyo/works/ooh_mirai-gacha/
• https://www.pics.tokyo/works/ooh_mrj-2018_interactive-contents/

三菱重工とは 多種多様な、大型製品を作っている企業です © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 4

先進デザインセンターとは ・インハウスデザイン部門 ・全社製品に対して、デザインを支援する組織 ・プロダクトデザイン・UIUXデザイン・コンセプトデザインなど 多様なメンバーで、幅広くデザイン業務を行っています © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 5

先進デザインセンターとxR 2012年にCAVEシステムを導入し、VRシステムをデザインレビュー等に活用してきました 当社は、大型かつ受注生産の製品が多いため、設計初期段階でのVR活用により検討を効率化できました ヘッドマウントディスプレイ型のVRシステムが登場したあとも、様々な分野でVRシステムを利用してきました プロジェクション 3面スクリーン モーションセンサ 3Dメガネ CAVEシステムの構成 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 6

先進デザインセンターとxR 三菱重工製品のバリューチェーン全体に対して、VR・MR・ARシステムを適用してきました 取り組んできた内容の一部をご紹介します 営業 展示会でのVR展示 設計 解析 製造 設計部門での デザインレビュー MRでの製造トレーニング ARを使った 製品イメージのPR © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. サービス お客様との 設計仕様の確認 VRを用いた メンテナンス訓練 流体解析の VR可視化 7

宇宙事業へのVR適用について

宇宙ステーション補給機の開発 三菱重工では、国際宇宙ステーションISSに、食料や衣類、実験装置などの補給物資を送り届ける、 宇宙ステーション補給機「こうのとり」（HTV）の製造に関わってきました 国際宇宙ステーション（ISS） ©JAXA © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 宇宙ステーション補給機「こうのとり」（HTV） ©JAXA 9

HTV-Xの開発 2014年の「国際宇宙ステーション（ISS）の2024年までの運用延長」を受け、 宇宙ステーション補給機(HTV)の後継機として、新型宇宙ステーション補給機（HTV-X）の開発を行っています © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 10

HTV-Xの開発 三菱重工は、HTV-Xの中でも、物資を格納する与圧モジュールという部分の設計を担当しています ロケットから切り離されたHTV-Xが、ISSと結合した後、与圧モジュールから宇宙飛行士が荷物を運び出します 与圧モジュール HTV-Xのイメージ図 ©JAXA/三菱重工 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. HTV-XがISSに結合される様子（CG） ©JAXA 11

与圧モジュールでの作業成立性確認 与圧モジュールの設計をするうえで、 荷物の積み下ろしの作業が問題なく成立するかどうかを、宇宙飛行士に確認してもらう必要があります 「こうのとり(HTV)」9号機 与圧モジュール内での作業の様子 ©JAXA © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 設計CAD上での与圧モジュール ©JAXA/三菱重工 12

VRシステムでの作業性検証 設計段階の与圧モジュールのデータを、VRシステムで再現し、 実際に体感してもらうことで作業性検証を行いました © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 13

簡易的なモーショントラッキング VRシステム LeapMotionとトラッカーを使い、手・足・頭の動きをアバターに連動させつつ、 VR体験者は手の細かな動きも確認できるシステムをUnity上で構築しました 周りで見ている人たちは、別のカメラからアバターと与圧モジュールの干渉等も確認できます LeapMotion VR HMD ViveTracker モーショントラッキングの構成 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 14

クルーによる設計レビュー 実際に大西宇宙飛行士と金井宇宙飛行士が、VRシステムを装着し、作業性確認を行いました 与圧モジュールの実機が完成した後にも、宇宙飛行士による作業確認は行われますが、 このVRシステムを活用することで、開発初期段階において設計の妥当性を確認できました 大西宇宙飛行士による作業性検証©JAXA © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 金井宇宙飛行士による作業性検証©JAXA 15

交通事業へのVR適用について

新交通システム 三菱重工では、ゴムタイヤ式新交通システム (AGT：Automated Guideway Transit) を開発しております また、新幹線やメトロなどの交通システムも納入しています 現在までに、国内外合わせて、500両以上の車両を納入しています 三菱重工｜交通システム実績紹介 https://www.mhi.com/jp/products/engineering/projectrecords/transportationsystems.html © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 17

• https://www.mhi.com/jp/products/engineering/projectrecords/transportationsystems.html

新型コロナウィルスの影響 海外のお客様も多いため、営業活動やアフターサービス等、出張での対応も多くありました しかし、2020年に発生した新型コロナウィルスの影響で、海外の現地へなかなか出張がしづらくなり、 海外向けのお客様対応の実施が難しくなってしまいました © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 18

今までの体験をバーチャル空間で コロナ禍でも、今までお客様に提供してきたさまざまサービスを維持するために、 VRの技術を使って、何かできないかと検討をはじめ、プロトタイプの実装をすることになりました バーチャル空間 現実空間 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 19

Virtual Depot 社員やお客様の使い方に合わせたVR体験を提供するプラットフォームとして、 Virtual Depot（Depot：車両基地）を構築しました ②機構の学習 ①車両乗車体験 ③保守トレーニング バーチャル会議室 社内資料閲覧 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 20

①車両乗車体験 コロナ前は、当社工場に来たお客様に実車両を使ったPRをしていました Virtual Depot上では、お客様に乗車体験をしてもらう環境を作りました Super AGT：従来の新交通システムの約2倍に相当する 時速120kmで走行可能な車両 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 21

①車両乗車体験 Virtual Depot上での乗車体験では、SuperAGTのPRポイントをすべて網羅できるような走行ルートを作り、 実車両と同じように加減速をしながら、街中を走り抜けるコンテンツを制作しました 出発前に車両全体を眺める © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. SuperAGTのPRポイントである 急カーブや急勾配での走行や 時速120kmでの走行を再現 車内インテリアもPR 22

②機構の学習 新交通システムの台車構造は特殊で、なかなか図や写真だけでは説明がしづらいです Virtual Depotでは、車両走行時の様子を直感的に理解できるように、現実では覗けない走行中の台車挙動を再現 CADのシミュレーションデータを参考に、カーブ時の台車の動きや油圧機構の動きも再現しました 車体を透過して台車の動きを俯瞰できる © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 選択した部品を透過させたり、 内部の構造を見られる コントローラのボタンで視点切替や 走行速度の変更ができる 23

②機構の学習 今後、応力解析などのシミュレーション結果を台車のモデルに反映したり、 リアルタイムに走行している試験車両のセンサデータ等を反映するなどデジタルツイン化を検討しています 車両構体 台車案内枠 応力解析のイメージ © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 24

③保守トレーニング 海外のお客様に向けた台車保守は、日本から技術者を派遣し、実機を使ってトレーニングしていました しかし、コロナ禍で技術者を派遣できなくなったので、メタバース空間でのトレーニングツールを開発 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 25

③保守トレーニング メタバース空間の中で、双方向で会話をしながら、日本の技術者が作業のコツをレクチャーできます アバターは、人の動きを反映できるので、特殊な作業姿勢なども見せられます 使用する工具を事前に作っておき 持ち替えながら作業を進める © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. アバターの動きで作業姿勢などをレクチャー 26

③保守トレーニング メタバース上で複数人がログインしない場合にも、作業者が自主的にトレーニングできる環境にしています 作業手順書に従って、作業を進めることができます 前方には、次の作業手順が表示されている © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 左手の画板にも手順書があり 細かなポイントを確認できる 27

Virtual Depot 動画 © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 28

おわりに 今回は、一部の事例しかご紹介できませんでしたが、 当社のxRの取り組みにおいて、Unityは欠かせないものとなっています 今後も、xRコンテンツの開発に利用しつつ、 当社製品のDX化にもUnityを活用していきたいと思います © MITSUBISHI HEAVY INDUSTRIES, LTD. All Rights Reserved. 29