Unityを用いた医学・歯学教育用アプリの開発と運用：HMDから裸眼立体視へ

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 SYNC 2022 Unityを⽤いた医学・⻭学教育⽤アプリの 開発と運⽤︓HMDから裸眼⽴体視へ 神奈川⻭科⼤学⻭学部 総合⻭学教育学講座 教授 神奈川⻭科⼤学⼤学院 XR研究所 所⻑ 板宮 朋基 [email protected] ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 Oculus Quest⽤ビューワー Oculus Quest用医用3Dモデル操作閲覧アプリ 開発：板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 HoloLensの⼿術における活⽤ by courtesy of Dr. Iwai & Dr.Sugiyama at Yokohama City University Hospital ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 本⽇の流れ •実⽤例と課題 –VR –AR •裸眼⽴体視ディスプレイの 応⽤例 •今後の展望 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 VR180実写⽴体映像による教育研修会 専⾨医による縫合⼿技の実施例 撮影・アプリ制作︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 AR解剖学修アプリ AR Anatomy 開発︓板宮朋基

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 神奈川⻭科⼤学⻭学部1年⽣がHoloLens 2を体験している様⼦ 神奈川⻭科⼤学⻭学部５年⽣が体験している様⼦ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 VR HMDの利⽤の課題 • • • • • 眼の疲労、VR酔い 頭部の締め付けと重さによる不快感 顔の接触部分の⽪膚炎誘発 眼間距離の設定が必要 マスク装着時のレンズの曇り ・Wang, Y.; Zhai, G.; Chen. S.; Min, X. Assessment of eye fatigue caused by head-mounted displays using eye-tracking. Biomed Eng Online. 2019, 18(1):111. ・Hirota, M.; Kanda, H.; Endo, T.; Miyoshi, T. Comparison of visual fatigue caused by head-mounted display for virtual reality and two-dimensional display using objective and subjective evaluation. Ergonomics. 2019, 62(6):759-766. ・Chang, E.; Kim, H.; Yoo, B. Virtual Reality Sickness: A Review of Causes and Measurements. International Journal of Human Computer Interaction. 2020, Volume 36, Issue 17: 1658-1682. ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 裸眼で⽴体視が可能な空間再現ディスプレイ • • • • • ソニーが2020年10⽉に発売（55万円） ⾁眼で（裸眼で）3Dモデルの⽴体視が可能 HMDやスマートグラスの装着が不要 30cm程度の近接位置でも⽴体感が得られる 3Dモデルの表⽰サイズが精確 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 AR スマートグラス利⽤における課題 • 85cmより近い位置に配置した3Dモデルは真に⽴体 的に⾒えていない – 近い位置に配置したモデルのサイズが実は歪んでいる （横⽅向に少し⻑い） • 装着者ごとに眼間距離(IPD)の設定が必須 →運⽤上⼿間 • ⻑時間装着は困難 →締め付け感、本体の熱さ • 衛⽣上の問題点 Itamiya T, To M, Oguchi T, Fuchida S, Matsuo M, Hasegawa I, Kawana H, Kimoto K. A Novel Anatomy Education Method Using a Spatial Reality Display Capable of Stereoscopic Imaging with the Naked Eye. Applied Sciences. 2021; 11(16):7323. ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 裸眼⽴体視が可能な空間再現ディスプレイ • • • • • • 同時に⼀名のみ⾁眼⽴体視が可能 体験者の顔の位置を⾼速度に認識 レンチキュラーレンズを利⽤した⽴体視 市販アプリはまだない→⾃分で作る必要 VR/ARアプリ開発者ならアプリ開発可能 医療分野への応⽤は本学が世界初（ソニー調べ） https://www.sony.jp/spatial-reality-display/products/ELF-SR1/

• https://www.sony.jp/spatial-reality-display/products/ELF-SR1/

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤解剖学教育アプリ SR Anatomy 開発︓板宮朋基 https://youtu.be/B_-BsVQ3ok4 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤DICOM 3Dビューワー DICOM⽴体視ビューワー DSRView 開発︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤⻭科実習シミュレーター 触覚再現対応⻭科実習⽤シミュレーター試作版 開発︓板宮朋基 本研究はJSPS科研費22K10065の助成を受けたものです。 https://youtu.be/o8qhj_PRRAE ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 https://youtu.be/tUyA-j6eWXs https://youtu.be/DBNdeJPMDmA ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 https://youtu.be/hcaax7uG6dU 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 OBJデータ提供 株式会社インテグラル https://www.integralcorp.jp/skin/manufacturer/canfied-scientific/

• https://youtu.be/B_-BsVQ3ok4
• https://youtu.be/o8qhj_PRRAE
• https://youtu.be/tUyA-j6eWXs
• https://youtu.be/DBNdeJPMDmA
• https://youtu.be/hcaax7uG6dU
• https://www.integralcorp.jp/skin/manufacturer/canfied-scientific/

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの病院での試⽤ 協⼒︓神奈川⻭科⼤学附属病院デジタル⻭科診療科 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 https://youtu.be/SA4MLl3NUcI ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部1年⽣ n=49 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部２年⽣ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 n=49 n=49 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座、慶應義塾⼤学医学部解剖学教室

• https://youtu.be/SA4MLl3NUcI

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの教育効果 ⻭学部２年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部５年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座、慶應義塾⼤学医学部解剖学教室 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの遠隔操作共有 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの教育効果 ⻭学部２年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの遠隔操作共有 遠隔実習⽤3Dモデル操作同期アプリ試作版 開発︓板宮朋基 空間再現ディスプレイの複数接続による 遠隔実習の実施 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 1. 裸眼⽴体視で3Dモデル が⽬の前に実在するか のように⾒えます 2. インターネット経由で 教員と学⽣の操作を共 有し記録します 教員 学⽣（⾃宅） 学⽣（⾃宅） アシスタント 遠隔実習⽤3Dモデル操作同期アプリ試作版 開発︓板宮朋基、中野亜希⼈ 本研究はJSPS科研費22K10065の助成を受けたものです。 https://youtu.be/duBF_uA86p4

• https://youtu.be/duBF_uA86p4

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤VR180ビューワー ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 今後は裸眼⽴体視が主流に︖ キヤノンVRシステム 8K解像度でVR180⽴体 映像を撮影可能 →裸眼⽴体視化 VR180立体映像裸眼立体視表示アプリ 開発：板宮朋基 Looking Glass Portrait⽤ STL/OBJ表⽰アプリ開発︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 今後は裸眼⽴体視が主流に︖ Acer SpatialLabs⽤ビューワーの利⽤例 ⾼精細裸眼⽴体視ディスプレイ内臓ノートパソコン Acer SpatialLabs https://www.acer.com/ac/ja/JP/content/conceptd-spatiallabs-3d-solutions ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 Acer SpatialLabs⽤ビューワーの表⽰例 協⼒︓神奈川⻭科⼤学附属病院デジタル⻭科診療科 Acer SpatialLabs⽤ STL/OBJ表⽰アプリ開発︓板宮朋基 まとめ • VR HMDは⻑時間利⽤時の課題がある – 眼の疲労、VR酔い – 頭部の締め付けと重さによる不快感 – 顔の接触部分の⽪膚炎誘発 – マスク装着時のレンズの曇り • 裸眼⽴体視は⻑時間利⽤・多⼈数利⽤に有⽤ – 3D-CG、実写フォトグラメトリ、実写⽴体映像を表⽰可能 – ハードウェアの調達費⽤がまだ⾼価（1セットあたり約60〜80万円） Acer SpatialLabs用 STL/OBJ表示アプリ開発：板宮朋基 →普及に伴い低価格化される ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布

• https://www.acer.com/ac/ja/JP/content/conceptd-spatiallabs-3d-solutions