三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

三菱重工業との取り組み事例 ～HoloLensなどを活用したコミュニケーションツールの開発など～ 三菱重工業（株） 江口 純裕 （株）ホロラボ 北川 佳紀 HoloLab Inc.

自己紹介：ホロラボ 北川佳紀 • 株式会社ホロラボ プロジェクトマネージャー • 2019/10に入社 • HoloLens 2を含むシステムの開発を中心に、BIM、GIS、 ドローン、点群、深層学習など様々な領域のプロジェク トに従事 HoloLab Inc.

自己紹介：三菱重工業 江口 純裕 • 三菱重工業株式会社 エナジートランジション＆パワー事業本部 GTCC事業部 高砂プロジェクト推進部 プロジェクトグループ エンジニアリング戦略チーム • 火力発電プラントの現場業務の改善を目的とした 現場向けシステムの開発及び運用に従事。 現在は3DデータとXRを用いた業務改革の 企画・提案から開発までを担当。 HoloLab Inc.

火力発電プラントについて 世界中に納入している弊社の火力発電プラント ガスタービン・コンバインドサイクル 発電プラント（GTCC） スチームパワープラント 石炭ガス化複合発電プラント（IGCC） 地熱発電プラント 弊社高砂製作所にて稼働しているGTCCプラント実証設備複合サイクル発電所（第二T地点） 第二T地点の外観写真 HoloLab Inc. 第二T地点GT建屋内（分解点検中） 引用：https://power.mhi.com/jp

• https://power.mhi.com/jp

火力発電プラントについて 火力発電プラントの特徴 ・GTCCプラントは第二T地点の場合230m*125mの広さ ・その中にバルブ、計器など約4000個の機器がある →全ての配置を覚えるのは難しい 3Dモデル ・設計から出るデータは3Dモデル、図面、機器情報がメイン ・国内だけでなく海外での建設PJも多く、 海外のローカルスタッフに作業を教えることが多い →英語圏以外の海外でも仕事が多い。コミュニケーションが課題 系統図 三菱重工業ではホロラボ殿と現場で活用できるツールを開発しました。本日はその一例を御紹介します。 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 遠隔指導アプリ「MRG」 MHI Remote Guidance system HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 遠隔で指導、指示するツールとして、「MRG：MHI Remote Guidance system」を開発 • • • • 2台のHoloLens 2間でカメラ画像の共有、音声通話 HoloLens 2でハンドトラッキングを行い、相手側でハンドアバターを再生 音声認識（文字起こし）→相手側言語への翻訳 指導者側は、指導される側のカメラ画像、ハンドアバターの画像を見て、指導を行う HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 指導中の画面構成 • 指導される側は、ハンドアバターと文字起こし（翻訳）結果だけが表示される • 指導する側は、される側のカメラ映像＋ハンドアバターを見て、位置を調整しつつ指導す る。 指導する側の画面 指導される側の画面 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 ハンドアバターでの指示例（動画） HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 文字起こし、翻訳例（動画） HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 システム構成 現場 Azure Cognitive service RGBカメラ Hololens2 中継サーバ Hololens2 現場状況＋手の表示 現場状況＋説明者の手の表示の送信 手の動きの送信 現場作業員 （被指導者側） 指導者の手の表示 音声の相互通信 HoloLab Inc. ハンドトラッキング 指導者

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 ハンドアバターに期待する効果 ・計器やバルブの位置を示すのであれば、作業指示書や写真でも足りる ・ハンドアバターの場合、具体的な動きを示せるのがメリット ex)右に回すといった指示でも、「どう」右に回すかを示せる。正面からみて右に回す、上から見て右に回す等 ・どのぐらいの早さで回す、何度回すといったことも、言葉だけより動きで伝える方が伝わりやすい ・指示、指導に限らず、コミュニケーション手段として有用だと評価した 現場 【現場の映像】 オフィス ベテラン指導員 経験の浅い作業者 ベテラン指導員の 手がCGで再現 ハンドアバターイメージ 弁調整・監視計器の据え付け・調整などの細かく正確な手順が必要な作業に有効 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 翻訳機能に期待する効果 ・弊社火力発電プラントはこれまでに80カ国以上の国へ納入 ・発電所の建設現場では現地作業員に指導するケースが多い ・MRGでは現状８か国語に対応。利用用途次第で都度追加が可能 （日本語、英語、中国語、韓国語、スペイン語、タイ語、ペルシャ語、トルコ語） ・文字起こしにより、聞き逃しなどにも対応できるため コミュニケーション不足によるミスを防ぐことができる 現場 オフィス ②テキスト：奥のネジ を緩めてください！ ①声：奥のネジを 緩めてください！ オッケーです。はい、大丈夫です。 That’s okay. Yes, I’m fine. ③翻訳： ‫لطفا پيچ را در قسمت‬ ‫（ عقب شل کنيد‬ペルシャ語） 翻訳イメージ コミュニケーションが難しい海外ローカルスタッフに日本国内から的確な指示が可能 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 位置合わせについて MRGでは、指導する側、される側のHoloLens2の位置合わせとして、2パターン用意 1. 指導される側のHoloLens2との相対位置で再生 2. 指導される側の空間に配置したHoloLens2オブジェクトとの相対位置で再生 頭に固定した場合は一人称視点での再生、空間に固定した場合は三人称視点での再生 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 一人称視点の場合 オフィス側 現場側 HoloLens2からの 相対位置で取得 HoloLens2からの 相対位置で再生 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 三人称視点の場合 現場側 オフィス側 HoloLens2からの 相対位置で取得 配置したHoloLens2（オブジェクト） からの相対位置で再生 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 位置合わせのメリット、デメリット • 当初、一人称視点、三人称視点のどちらが良いか、指導するのであれば一人称視点の方 がよいのではないか、といった議論があった。 • 実際に試してみると以下のような特性、ニーズがあった ① 一人称視点は、計器盤の操作や組み立て作業といった、手先の作業の指示がしやす かった デメリットとしては、指導される側が不用意に動くと、指導がしにくいといった面があっ た ② 三人称視点は、手先の動きの指導だけではなく、移動も含めた作業の指導ができるメ リットがあった 但しあまりに広いと指導する側の空間が足りなくなるので、現実的には数m四方程度 までになる HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 HoloRemoteとの関わり • • • • • ホロラボでは、元々「HoloRemote」という遠隔指導アプリがある システム構成はMRGとかなり近く、以下のような構成になっている。 大きな違いは、翻訳、文字起こしがない点と、iPad、PCからの指示になっている点 逆に、撮影したカメラ映像に赤ペンで書いて指示する、といったことができる また、3名以上で同時に接続することができる（MRGは1:1のみ） RGBカメラ Hololens2 中継サーバ iPad、PC 現場状況 現場作業員 （被指導者側） 現場状況の送信 音声の相互通信 HoloLab Inc. 指導者

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 知財の扱い MRGとHoloRemoteは、細かい差異はあるものの、システム構成レベルではかなり近いものと なっている。 ただ、HoloRemoteは弊社プロダクトであり、ライセンス販売を行っているものである。 そのため、HoloRemoteを流用するか、新規で作るか、といった知財の在り方や費用について 議論があった。 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 知財の扱い 1. HoloRemoteとは独立した形で、一から開発する • メリット： • 知財が三菱重工業に一元化され、自由に扱える • デメリット： • 開発費がかさむ。 • 競合となるケースがある。 • MRGで開発したものと類似した機能をHoloRemoteに載せにくい（完全新規で作り 直せば良いが、それを証明するのは難しい） 小規模な弊社ではなかなか実現しにくい。 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 知財の扱い 2. HoloRemoteを元に開発する • メリット： • 開発費用、開発期間が抑えられる • HoloRemoteとMRGの間での機能の移植の際に知財問題にならない • デメリット： • 知財についての契約確定が難しい。 • HoloRemoteのライセンス費用がかかる。 • 競合となる形での外販は難しい 議論の軸としてはこちらで進めることとした HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 知財の扱い 結論として、 • HoloRemoteのカスタマイズバリエーションとして、ライセンス費を継続的に頂く ※HoloRemoteは1年ライセンスの為、それに準拠 • カスタマイズ費用は両社折半 • 専用インフラの構築、維持費用は三菱重工業負担 • カスタマイズ部分や専用インフラの保守費は三菱重工業負担 とした。 HoloLab Inc.

取り組み事例１：遠隔指導アプリ「MRG：MHI Remote Guidance system」 競合化リスクの回避 また、市場での競合を避けるために • 三菱重工業グループ内での使用に限定。それを越える場合は相談 とした。 これらにより、初期の開発費負担は抑えたうえで、今後の制約は少なくなる方向でうまく権利 関係を構築できた。 HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 翻訳アプリ「MCV」 MHI remote Conversation & live Video sharing system HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 概要 • MRGアプリの難点→HoloLens2が2台必要 • 音声通話、カメラ共有、翻訳のみにし、ブラウザアプリとした • 会話内容の記録を重視 MRGはコミュニケーション中心とし記録はなし • MRGアプリからの派生なので、同様にHoloRemote派生の扱い ライセンス費負担有、開発費は折半、権利も双方保持と同じ権利構成で実施 HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 アプリ画面など HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 ログ一覧 HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 CSVログ例 HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 動画例 HoloLab Inc.

取り組み事例２：翻訳アプリ「MCV：MHI remote Conversation & live Video sharing system」 MCVのメリット、デメリット ■メリット • 手軽に海外ローカルスタッフとコミュニケーションが取れる • 文字起こし＋翻訳がテキストで表示されるのは騒音下の現場で有効となる • 会話内容をテキスト保存しているため後で見返すことが出来る • Webブラウザで起動するシステムとして構築したため、ハードの制限が少ない ■デメリット • 文字起こしの品質を保つためには話し方にコツがいる • 技術・専門用語を使うと上手く翻訳出来ないことがある 映像と音声を共有しながら音声文字起こし＋翻訳をすることで ローカルスタッフとのコミュニケーションが容易になる HoloLab Inc.

その他の取り組み事例：ナビゲーションアプリ その他の取り組み事例 プラントのナビゲーションアプリ試行 HoloLab Inc.

その他の取り組み事例：ナビゲーションアプリ ナビの必要性 • • • • 火力発電所には大量の計器や弁があり、なかなか覚えられない 3D CADもあるが、実際は配管の系統図や平面配置図で探している 中二階など複雑な多層構造になっている 普段操作しない機器の場所までは覚えきれない ナビゲーションアプリの必要性 HoloLab Inc.

その他の取り組み事例：ナビゲーションアプリ 実証設備複合サイクル発電所（第二T地点）におけるHoloLens2でのナビゲーションアプリ • 約2年前に、第二T地点において、HoloLens2を使用したナビの試行を行った。 • その際はARマーカーでの位置合わせと、HoloLens2の空間マッピング機能を使用してナビ を行った。 • ただ、空間マッピングのずれを考慮すると１０mおきにARマーカーの設置を行い、再度位 置合わせする必要があった • そのたびにしばらくARマーカーを注視する必要があった。 HoloLens2の価格や稼働時間もあり、ナビとしてはまだ実用が難しかった。 点検データの入力やマニュアルの参照といった面まで含めれば、意義はあった。 HoloLab Inc.

その他の取り組み事例：ナビゲーションアプリ VPSナビアプリ • 改めて、VPS(Visual Positioning System)を使用したナビの試行を行った。 • VPSとしてはImmersalを使用した。 https://immersal.com/ • ナビ端末としてはiPadを使用した。 iPadで撮影 サーバで VPSマップを作成 VPSマップをアプリに 組込 通れる通路などを設定した 3Dモデルと重ね合わせ HoloLab Inc. iPadでナビ使用

• https://immersal.com/

その他の取り組み事例：ナビゲーションアプリ ナビゲーションアプリの効果 • 手動弁の探索時間を比較したときに、経験者が図面のみ渡されて探す時間に比べて 非経験者がナビゲーションアプリを使用して探す時間の方が△35%短かった 10個の手動弁の探索時間の比較（経験者、非経験者） 35 探索時間（分） 30 △35% 25 20 15 10 5 0 経験者 図面のみ 系統図 非経験者 ナビあり ナビアプリ • ARマーカーといった特別な設置物無しでも十分な精度、位置合わせができた プラントに多い多層構造や複雑な環境でも有効なナビゲーションが出来ると評価した HoloLab Inc.

全体まとめ まとめ • 翻訳機能を持ったコミュニケーションツールの意義を確認できた • ハンドアバターの意義を確認できた • VPSを用いたナビアプリの可能性を確認できた 今後の予定 • 実運用に向けた機能追加、インフラ環境の整備等 HoloLab Inc.