【Unite 2018 Tokyo】Unityの医療と教育への応用 ～ちょっと人を助けてみませんか？～

2018/5/7-9 Unityの医療と教育への応用 〜ちょっと人を助けてみませんか？〜 金 太一 東京大学医学部脳神経外科 2018.5.9

自己紹介 金 太一 東京大学医学部脳神経外科 / 助教 ・脳神経外科医として17年 ・手術シミュレーションや医用3DCGの臨床応用 ・使用しているソフト（本日ご紹介する内容のレベル） Unity Modo / Maya / ZBrush / KeyShot Real Flow / Motion Amira 医用画像処理ソフトは使用せず “ 役に立つ、日々使われる ”

本日の内容 1. 医療への応用とニーズを紹介 2. 医療に関わったことがない人や技術こそ活躍で きる 3. Unityで医用画像処理ができるようになる Caution!! 実際の手術のビデオがでます

市場 医療機器（年成長率5.2%） 国内3.8兆円、世界55兆円（2018年） 医療シミュレーション（15%） 世界 1400億円/2019年→2800億円/2022年 日本スリービー・サイエンティフィック社 診断支援ソフトウェア（急速に拡大中） 2020年には770億円（国内） 患者固有のデータではない 仮想シミュレーション（変形など）できるソフト がない 患者固有の3DCGによる手術シミュレー ション CAEヘルスケア社

脳神経外科手術 脳腫瘍の手術 脳幹（正常解剖） 手術に必要なもの 1. 知識 2. 戦略 3. 判断 4. 手先の器用さ 2cm

当施設での3DCGによる手術検討（2008〜） 900症例、論文36本、特許申請 7件

まずは医用画像に慣れてもらいます “ UnityでDICOMデータを扱う ”

医用画像のフォーマット DICOM ・Digital Imaging and Communications in Medicineの略 ・医用画像の国際標準規格 DOCOMのヘッダー情報（←Photoshopでも見られます！） タグ 全ての情報には個別の番号（タグ）が定められている どのタグにどんな内容が入っているか決まっている グループ番号 エレメント番号 データ 0002 0000 200 0002 0001 … 0002 0002 1.2.840.10008.5.1.4.1.1.4 0002 0003 1.2.840.113619.2.312.3596.11861684.12073.136 98 0002 0010 1.2.840.10008.1.2.1 0002 0013 OFFIS_DCMTK_354 0002 0005 ISO_IR 100 0008 0020 20130530 0008 0030 163709 0008 0060 MR 0008 0070 GE MEDICAL SYSTEMS 0008 0060 TOKYO UNIV HOSPITAL 0008 0060 Unspecified

画像への変換 画素データもタグ番号（7fe0, 0010）のデータに格納されている 画像への変換は、複数のタグ情報を組み合わせて画素を抽出し、画素に色を対応付ける 抽出した画素 ピクセルデータ グループ番号 7fe0 グループ番号 エレメント番号 データ 0 0 0 0 0 0 0 ・・・ 8 8 8 9 10 ＋ エレメント番号 データ 0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 7 7 7 7 7 7 8 8 8 8 8 8 8 8 9 0028 0004 Photometric Interpretation 0028 0010 Rows 0028 0011 Columns 0028 0030 Pixel Spacing 0028 0100 Bits Allocated 0028 0106 0028 0101 Bits Stored 0028 0107 Largest Image Pixel Value 0028 0102 High Bit 0028 1050 Window Center 0028 0103 Pixel Representation 0028 1051 Window Width 画像作成に必要なタグ情報 ＋ Smallest Image Pixel Value 画像作成時に参考とするタグ情報

Simple DICOM Loader （DICOMデータを表示するアセット） 2018年5月5日リリース 株式会社Kompath (https://www.facebook.com/Kompath)

Simple DICOM Loader （DICOMデータを表示するアセット） 2018年5月5日リリース 株式会社Kompath (https://www.facebook.com/Kompath)

High Speed CPU-based Marching cubes （DICOMデータから3DCGを作成するアセット （近日中にリリース） 株式会社Kompath (https://www.facebook.com/Kompath)

High Speed CPU-based Marching cubes （DICOMデータから3DCGを作成するアセット （近日中にリリース） 株式会社Kompath (https://www.facebook.com/Kompath)

どうして手術シミュレーションや医用3DCGが必要なのか 現状では何かが不足 課題と解決法（未解決を含む）をご紹 介

課題1. 多すぎる医用画像データ 手術1症例あたり 数十種類 数千枚。。。

課題1. 多すぎる医用画像データ 脳腫瘍 fusion 医用融合３次元画像

医用融合３次元画像処理のなが れ 元画像データの選択 y レジストレーション x z 正規化相互情報量法 セグメンテーション x z レンダリング hybrid rendering Surface Rendering one threshold shading texturing multi-threshold other CG techniques 骨削除 脳変形 ４DCG などなど patent application PCT/JP2014/76958 Volume Rendering 手術シミュレーション 30分〜数時間

課題2. 画像処理時間と用手的操作 リージョングローイング法による脳のセグメンテーション 自動 自動 手動 現状では、 自動セグメンテーションは不可能

課題2. 画像処理時間と用手的操作 機械学習を用いた脳の自動セグメンテーション 学習データ（健常人10例） Deep Learning Frame Work：Chainer 3.1.0 言語：Python3.6 計算機：CPU: Intel(R) Core(TM) i7-6800K 3.40GHz GPU: NVIDIA GeForce GTX 1080 Ti 機械学習 モデル 入力：造影FIESTA（208x480x160） 出力：脳が1、それ以外が0のラベルボクセルデータ 学習率0.5でSGDにて15〜30epoch学習した後Adamを適用 各層のパラメータの初期化：Chainerのデフォルト 融合3次元画像 として使用 テストデータ 学習済モデル 出力データ

課題2. 画像処理時間と用手的操作 機械学習を用いた脳の自動セグメンテーション 学習結果 単純閾値法で３次元化 正解データ （ヒトが用手的に抽出）

課題2. 画像処理時間と用手的操作 単純閾値法 機械学習を用いた脳の自動セグメンテーション 学習結果 正解データ （ヒトが用手的に抽出） 視床にseed pointをおき region growing 1. 学習データを均一にする前処理 ・ラベルの方法（範囲、対象） ・位置姿勢やスケールを補正 ・解像度を一致させる 2. その後の画像処理（region growingにおけるseed point）

課題2. 画像処理時間と用手的操作 機械学習を用いた脳の自動セグメンテーション 10例のテストデータで同等のクオリティの脳3DCGモデルが作成可能であった 本研究は、科学技術振興機構（JST）戦略的創造研究推進事業（CREST）研究領域 「人間と情報環境の共生インタラクション基盤技術の創出と展開」 「データ駆動型知的情報システムの理解・制御のためのインタラクション」による成果です 数千・数万のデータは不要！ というか、ない！ Modo®

課題3. 医用画像の描出能 ・ 解像度 白黒 512x512x200程度（1 voxel ≒ 0.5mm） ←1mmの血管がぎりぎり描出 ←脳神経外科手術で最も重要な血管は1mm前後 ・ 分解能 重要な組織は医用画像にほとんど写っていない 脳幹 Wikipediaより 医師の頭の中でのみ融合 →正しく3次元化できない →情報共有ができない →手術時のリスク↑

課題3. 医用画像の描出能 正常解剖モデルを作る Modo®、Maya® Kakizawa et al., Neurosurgery. 2007 2018

課題3. 医用画像の描出能 知識（正常解剖3DCG）と医用画像との融合 脳幹部海綿状血管腫

課題3. 医用画像の描出能 知識（正常解剖3DCG）と医用画像との融合 脳幹部海綿状血管腫 変形 ・増大方向 ・距離を計測 ・脳幹を超えな い iterative closest point法：ポリゴンのレジストレーショ ン法

課題3. 医用画像の描出能 知識（正常解剖3DCG）と医用画像との融合 脳幹部海綿状血管腫 spinothalamic tract mesencephalic nucleus of V IV lateral lemniscus CST sup & inf colliculus V principal sensory nucleus of V central tegmental tract tectospinal tract tectospinal tract ・5例の海綿状血管腫 ・血管腫と顔面神経核の相対位置関係を予測 motor nucleus of V 術中電気刺激で合致を確認

高精細頭部解剖アプリ 「iRis」 App Storeにて販売中 Unityで開発 臨床応用できるクオリティ 脳神経外科専門医レベルの解剖 株式会社Kompath (https://www.facebook.com/Kompath) 本研究は、内閣府 総合科学技術・イノベーション会議が主導する 革新的研究開発推進プログラム（ＩｍＰＡＣＴ） 「バイオニックヒューマノイドが拓く新産業革命」による成果です

課題4. 診断と手術検討の違い 脳動脈瘤 ≠ 病気の診断 （医用画像データの忠実な可視化） 患者固有のデータが扱える 手術シミュレーション ソフトは存在しない！ 手術検討（シミュレーション） （現実空間の模倣 & どう治療するか）

課題4. 診断と手術検討の違い 脳動脈瘤クリッピングシミュレーター ClipSim Soya VIRTUAL REALITY VR 3Dグラス Leap Motion Shono N, et al., Oper Neurosurg. 14(5), 2018 ・8症例の患者さんでシミュレーション ・6症例でシミュレーションで予想したクリップを実際に使用 した

医療への応用は本当にハードルが高いのか？

課題5. 操作性（UI） バイタルモニター ナビゲーション 手術顕微鏡 診療端末 融合３次元画像 電気生理学的 モニタリング ・超音波 ・術中X線 ・術中CT ・術中MRI ・術中血管撮影 ・術中蛍光造影 ・ ・ ・ 録画システム これ以上、医療機器が増えては・・・ Amira® (Thermo Fisher SCIENTIFIC社)

医用画像ビューワアプリ 「eMma」 eMma : Easy Multi-Medical image Applying 今月リリース予定（無料） iPhoneやiPadでDICOM画像を閲覧する だけのシンプルなアプリ イノベーションを起こす可能性 ・ありそうでなかった ・ 患者さんが自分の画像をもてる ・ どこでも簡単に医用画像が見られる 本研究は、国立研究開発法人科学技術振興機構 戦略的創造研究推進事業（社会技術研究開発） 「研究開発成果実装支援プログラム」による研究成果の一部です

医用3DCGビューワアプリ 「Brain Viewer」 参考書の付録として作成

課題6. 生体組織の仮想変形 物理的整合性は必要か？ ・ 物理的整合性に厳密さは不要 ・ 本当に見たいのは変形させた脳の奥にある解剖構造

課題6. 生体組織の仮想変形 三叉神経痛 ・脳の変形：モーフィング ・血管の移動：リギング

課題7. 視覚的リアリティの追求 聴神経腫瘍 三叉神経 前下小脳動脈 顔面神経 迷走神経 舌咽神経 聴神経 リアリティの追求もほどほどに。。。

課題7. 視覚的リアリティの追求 脳動静脈奇形 1. 2. 3. 4. 5. 6. 視認性向上 観察者の負担軽減 ヒューマンエラー回避 承認欲求、モチベーション向上 特徴量抽出 画像処理の向上・発展 1.金ら、脳神経外科ジャーナル 25(8): 622-630, 2016 2. Manabe H, et al., IWAIT2014: 585-588, 2014

課題8. 流体シミュレーション 1. 数値流体力学 (CFD : computational fluid dynamics) 複雑な形状は解析不可能 X 2. phase-contrast MR angiography AP RL FH 微小血管は解析不可能

血管芽細胞腫 課題8. 流体シミュレーション drainer 4.28 ml/min 0.89 ml/min 3.54 ml/min 7.3 ml/min Modo® ・9例の血管芽細胞腫 ・各血管の速度に順位 ・術中ドップラーで検証 90%合致

いろいろなものへ応用

診断を支援するアプリ Anatomical Knowledge Indicator（AKI）

教育への応用 様々な職種・施設で試用してもらいフィードバック 離島 放射線技師 離島の医師 医学部4年生の講義 手術見学 インドの脳神経外科教授 解剖実習 ハンズオンセミナー 色々な領域への橋渡しとしてUnityが活躍 現場で役に立っているものを教育の場へおとすことに意味がある 患者さん 学生が作ったアプリ

AR/MRの応用 脳腫瘍（脊索腫） ・視野が変わる度にレジストレーション ・奥行き情報がない ・そもそも頻繁に使用しない ジャマと言われた・・・

AR/MRの応用 覚醒下手術 トラクトグラフィー 脳腫瘍 トラクトグラフィー 神経線維を可視化したもの 脳機能画像としてもっとも代表的なも の

AR/MRの応用 仮想情報でなく、現実空間情報を歪める！ 術前画像 開頭直後の脳表写真 Landmark & thin-plate spline method patent 2013-103562 誤差（脳変形後） 0.64±0.88 mm (mean±SE) n=4

自動手術シミュレーション 左顔面けいれ ん 一番知りたいことは「高精細なCG」ではなく、「どう手術する か」 株式会社ポケット・クエリーズと一緒に開発中 手術操作 → エキスパートシステム モデル作成 → ディープラーニング 本研究の一部は、国立研究開発法人日本医療研究開発機構(AMED)の 【術中の迅速な判断・決定を支援するための診断支援機器・システム開発プロジェクト】 「術前と術中をつなぐスマート手術ガイドソフトウェアの開発」の 支援によるものです

自動手術シミュレーション 1. モデルのポジション（体位） ・REZが視野の視野の中心 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、3cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・脳ヘラは脳槽から挿入し、正中側へ移動 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） ・REZ部にある血管を中心として錐体骨側へ最短距離 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異な り、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line S状静脈洞 穴（開頭）は病変とカメラ とを一直線につなぐ円柱上 に 下項線上を移動しながら、メッシュの衝突判定によって、 S状静脈洞にわずかに（2mm）かかる位置に直径3cmの穴を開け る

自動手術シミュレーション 1. モデルのポジション（体位） ・REZが視野の視野の中心 変形表現範囲 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・変形角度と同じ ・脳ヘラは脳槽から挿入し、正中側へ移動 ・先端が病変部から2cmの距離 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） アセット「MEGA-FIERS」を使用して脳の変形を実装 ・REZ部にある血管を中心として錐体骨側へ最短距離 小脳全体の変形 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で 顔面神経と90度の角度となるように設定 ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line

自動手術シミュレーション 1. モデルのポジション（体位） 変形の表現のパラメータ ・REZが視野の視野の中心 ・開頭位置が視野の中心 ・inferior nuchal lineが視野の中心 ・顕微鏡術野を弱角に 2. 開頭位置 ・外側端はS状静脈洞にわずかに接する ・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける 3. 顕微鏡術野 ・開頭位置を拡大 ・X神経が視野の中心 ・VII, VIIIは20〜30度 ・REZが視認できる角度 4. 小脳の変形 ・脳ヘラによる変形（リギング、有限要素） ・脳ヘラは脳槽から挿入し、正中側へ移動 ・脳ヘラの先端はREZ ・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動 5. 責任血管の移動（１本目） ・どの変形機能を実装させるかはまだ未定（リギングが候補） ・REZ部にある血管を中心として錐体骨側へ最短距離 ・VII&VIII神経とX神経の間に ・血管が伸びすぎない程度の量で ・椎骨動脈の移動（２本目、必要時）アルゴリズムは同じ（移動方向がやや異なり、尾側へ） 現時点で人間が入力するパラメータ ・REZの位置 ・脳幹の向き ・inferior nuchal line 変形形状の設定 今回手術する領域 アセット「MEGA-FIERS」を使用して脳の変形を実装

自動手術シミュレーション シナリオシステム ・シナリオデータがあれば、自動で手術実行 手術のうまい人のシナリオデータを用いて、 →異なる症例（CG）に →経験の浅い医師との差分 ・手術手技の定量化 →技量の均てん化 →手術ロボットなどへの応用 →機械学習への応用 ポケット・クエリーズ社と一緒に開発中

おわりに 非連続イノベーションをおこすには 異分野間の連携が重要だと思います ちょっと人を助けてみたい方、 医療や教育への応用に興味のある人、 お気軽にご連絡ください！！