学習型 AI に必要な教師データを取得するために行っている当院での工夫 (2023/06/10)

第24回 東京 MAGNETOM 研究会 2023/06/10 学習型 AI に必要な 教師データを取得するために ⾏っている当院での⼯夫 ⼤阪公⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊 Stability AI Stable Diffusion OpenJourney 講演スライド⇧ • Sacred and wonderful oil painting of a messed up fat cat celebrating the arrival of a new era で⽣成した画像 • 注釈のない画像は Stable Diffusion で⽣成した画像

本⽇の内容 (要約) • Artificial Intelligence (AI) にとって必要なデータ • AI で使⽤するデータを取得するために⾏っている当院での⼯夫 • AI を⽤いた⾃験例の紹介 • AI で成し遂げたい⽬標 講演スライドは こちらからご覧下さい ⇨ Table of Contents で⽣成

本⽇の内容 • Artificial Intelligence (AI) にとって必要なデータ • AI で使⽤するデータを取得するために⾏っている当院での⼯夫 • AI を⽤いた⾃験例の紹介 • AI で成し遂げたい⽬標 講演スライドは こちらからご覧下さい ⇨ Training Datasets で⽣成

AI ができること・していること • ⼊⼒に対して適切な出⼒を出すシステム • 膨⼤な計算を膨⼤なエネルギーを使って 膨⼤な半導体を動作させて解答または選択肢を絞り込む ⇒ 強引なやり⽅ ⇒ 数を撃てば当たるの総当たり戦略 Gaming PC で⽣成 • Machine learning is just statistics ! Illustration of Big Data で⽣成

⼈と AI の⽐較 学習 規則性 判断 機械 学習 判断 Illustration of a doctor's face in a white coat で⽣成 データ セット Illustration of Artificial Intelligence で⽣成

Scikit-Learn Algorithms Cheat-Sheet • Scikit-Learn: Python のオープンソース機械学習ライブラリ ⇒ どの様な AI Model を作るときにどれ位のデータ量が必要かをまとめたチートシート

RadImageNet • ImageNet の画像は⾃然画像 • ⾃然画像と放射線画像は 異なる分布 • ImageNet の画像を放射線画像を 扱う課題の事前学習に使う問題 • RadImageNet は ImageNet の放射線画像版 • RadImageNet は 135 万枚の CT/MR/US と学習済モデル • 事前学習に RadImageNet を 使うことで ImageNet に⽐べ， 精度 (AUC) が上昇 (1~10%) • 今後の医⽤画像に対する AI の基準 Mei, Xueyan, et al. "RadImageNet: An Open Radiologic Deep Learning Research Dataset for Effective Transfer Learning." Radiology: Artificial Intelligence (2022): e210315.

オープンデータ・データセットの利⽤ • ⽶マサチューセッツ⼯科⼤学 (MIT) は 2020 年 6 ⽉ 29 ⽇， ⼈種差別⽤語や⼥性差別を助⻑するとして，“Tiny Images” と ⾔う⼤規模なデータセットをオフラインにした • “Tiny Images” は，⾼度な物体検出技術を開発するために 8000 万枚以上の画像で成り⽴ち，2008 年に作成された • データセット内に問題のあるラベルのついた画像の例 • AI が⼈種や性別の偏⾒や差別を⽰す例は多数ある • 学習させるデータを如何に 公平公正な品質に保つことが課題 • マイノリティが AI によって不利益になってはならない Prabhu, Vinay Uday, and Abeba Birhane. "Large image datasets: A pyrrhic win for computer vision?." arXiv preprint arXiv:2006.16923 (2020). Figure 1 より引⽤

合成データ (Synthetic Data) の登場 • AI の主流である深層学習では膨⼤な教師データが必要不可⽋ • 現実世界に⾜りないデータを補うために “合成データ” を⽤いる • 実際に撮影された “本物” のデータとは異なり， GAN や Diffusion Model などにより⽣成した “偽物” のデータ “ICCV2021” で Microsoft が発表した “Fake it till you make it” は 合成データのみを⽤いて ⼈間の顔を解析できることを実証 ←図11 学習データとして使⽤するために ランダムに⽣成しレンダリングした合成顔 WOOD, Erroll, et al. Fake it till you make it: face analysis in the wild using synthetic data alone. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 3681-3691.

脳画像合成データのオープンソース • AI を⽣成する教師データとなる 医⽤画像は世界的に不⾜している • 英国キングス・カレッジ・ロンドンが， 脳の合成画像を 10 万枚⽣成し， オープンソースとして公開すると発表 • 脳画像の合成技術が普及すれば， 関連研究を⼤きく前進させられると期待 http://amigos.ai/thisbraindoesnotexist/

• http://amigos.ai/thisbraindoesnotexist/

text2img の可能性 • DALL·E mini を⽤いてテキストから放射線画像の⽣成を実⾏ ⇒ 学習データに放射線画像が含まれているので実現可能

⼤量の実画像データの収集が不要な AI • 産業技術総合研究所 (産総研) は 2022 年 6 ⽉ 13 ⽇に AI の学 習に必要な画像データセットを数式から⾃動⽣成し， 学習済みモデルを構築する⼿法を開発したと発表 • プライバシーやラベル付けコストの問題を解消しつつ， 従来⼿法を上回る精度を提供 • 医療分野や交通シーン解析， 物流現場などに適す 学習に使う画像は全て幾何画像 ⇒ データの偏りによる不当な出⼒は避けられる ⇒ タスク処理の⽣成規則も数式で明確に説明 図 1 実画像や⼈の判断による教師ラベルを必要とせず、 数式から⽣成した教師ラベルで学習された画像理解AIの概念図 https://www.aist.go.jp/aist_j/press_release/pr2022/pr20220613/pr20220613.html

• https://www.aist.go.jp/aist_j/press_release/pr2022/pr20220613/pr20220613.html

⽇本医⽤画像データベース (Japan Medical Image Database: J-MID)

本⽇の内容 • Artificial Intelligence (AI) にとって必要なデータ • AI で使⽤するデータを取得するために⾏っている当院での⼯夫 • AI を⽤いた⾃験例の紹介 • AI で成し遂げたい⽬標 講演スライドは こちらからご覧下さい ⇨ What we do to collect training data in our hospital で⽣成

当院の MRI について SIEMENS MAGNETOM Vida (2021 年) PHILIPS Ingenia 3.0T (2014 年) PHILIPS Achieva 1.5T (2009 年） PHILIPS Achieva 3.0T (2009 年)

検査⼿技の統⼀化 • ⼤学病院と⾔うこともあり，医師と技師の距離が近い ⇒ 検査室に常勤医が在室している環境 ⇒ ルーチン検査はなく現場医師の指⽰で検査を実施 • ルーチン検査の設定前 (2010 年以前) ⇒ 担当医師・担当技師により撮像シーケンスに異なった ⇒ 過去に合わせ撮像することが多く， 疾患によって同じ断⾯が得られない場合がある • ルーチン検査の設定後 (2010 年以降) ⇒ 担当医師・担当技師によらず⼀定の⽔準で検査を実施 ⇒ 同じ撮像シーケンスの画像が得られる

頭部単純 MRI • Routine • • • • • T2-Sagittal (Localizer を兼ねて) DWI-Axial T2-Axial T1-Axial FLAIR-Coronal • Option • • • • SWI-Axial CISS-Axial FLAIR-Axial MPRAGE-Sagittal

本⽇の内容 • Artificial Intelligence (AI) にとって必要なデータ • AI で使⽤するデータを取得するために⾏っている当院での⼯夫 • AI を⽤いた⾃験例の紹介 • AI で成し遂げたい⽬標 講演スライドは こちらからご覧下さい ⇨ Assignments using artificial intelligence techniques performed at my Hospital で⽣成

医⽤画像領域で⽤いられる AI 敵対的⽣成ネットワーク (Generative Adversarial Networks: GAN) 物体検出 (Detection) 画像認識 (Segmentation) 画像分類 (Classification) 画像解析 超解像 (Super-Resolution) ノイズ低減 (Denoise) 画像処理 ⾃然⾔語 処理 (Natural Language Processing)

検出モデル Daiju Ueda, Akira Yamamoto, Masataka Nishimori, Taro Shimono, Satoshi Doishita, Akitoshi Shimazaki, Yutaka Katayama, Shinya Fukumoto, Antoine Choppin, Yuki Shimahara, Yukio Miki. Deep learning for MR angiography: automated detection of cerebral aneurysms. Radiology, 2019, 290.1: 187-194.

画像処理の課題 • 画像処理の教師データには統計ノイズの少ない画像や⾼解像度画像が必要 • 装置の幾何学的な制約や撮像時間の最適化のため， 臨床検査以上の画質の画像を取得することが困難 ⇒ ⾃然画像1 を教師データに⽤い放射線画像の画質改善を実現 (JRC2023) 1. AGUSTSSON, Eirikur; TIMOFTE, Radu. Ntire 2017 challenge on single image super-resolution: Dataset and study. In: Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2017. p. 126-135.

deNoise (Study of noise reduction for MRI by Deep Learning@JRC2023) Nex 1 Original deNoise Nex 3 Nex 5 Nex 10 … Field of view (FOV) 256 mm TR 5000 msec TE 100 msec Slice thickness 3 mm Matrix 512×512 NEX of Target Images 1〜9 NEX of Reference Image 10

deNoise (Study of noise reduction for MRI by Deep Learning@JRC2023) • Signal to Noise Ratio (SNR) 𝑆𝐼 𝑆𝑁𝑅 = 2 × 𝑆𝐷 SI: Signal Intensity in ROI SD: Standard Deviation in ROI SNR 22 21 Reference (NEX: 10) 20 19 18 1 2 3 4 5 NEX Original: ー，deNoise: ー，Reference: … ⼤阪公⽴⼤学医学部附属病院 ⽵森⼤智さまの発表スライドより引⽤

Super-Resolution (Physical Assessment of Super Resolution for MRI@JRC2023) Reference (448×448) Target (224×224) SRGAN (448×448) ⼤阪公⽴⼤学医学部附属病院 多久勇太郎さまの発表スライドを改変 Field of View (FOV) 224 mm Slice Orientation Axial TR 49.4 msec TE 1.92 msec Slice Thickness 3 mm Band Width 438 Hz/pix Target of Matrix 224×224 Reference of Matrix 448×448 Photo-Realistic Single Image Super-ResolutionUsing a Generative Adversarial Network Figure 4 (https://arxiv.org/abs/1609.04802)

ChatGPT - 対話を実現する AI ⾮公式のデスクトップアプリもあり • OpenAI は 2022 年 11 ⽉ 30 ⽇に対話型⾔語モデル “ChatGPT” を発表 • ⼊⼒されたの質問に回答，誤りを認めたり，間違った前提に異議を唱えたり，不適切な要求を拒否できる

MRI 検査前の問診を実現する AI • ⼀問⼀答で問診を⾏える • 回答に応じて出⼒が変わる • シングルボードコンピュータで 実現できるモデルも登場 Jetson Nano

本⽇の内容 • Artificial Intelligence (AI) にとって必要なデータ • AI で使⽤するデータを取得するために⾏っている当院での⼯夫 • AI を⽤いた⾃験例の紹介 • AI で成し遂げたい⽬標 講演スライドは こちらからご覧下さい ⇨ Challenges to be accomplished with Artificial Intelligence で⽣成

AI で成し遂げたい⽬標 • 理想 • 紹介状 (主訴) から治療⽅法を提案できる AI • 現実 • • • • • 紹介状から適切な診断科を判断 検査結果から疾患を判断 医師が判断し易いように画質改善 検査結果からイベントを予測 業務改善になり得る AI の導⼊ Artificial Intelligence Capable of Proposing Treatment Methods from Referrals で⽣成 • 葛藤 • Deep Learning で end-to-end に解決し得る課題は意外と少ない ⇒学習データがなくとも AI を⽤いることが⽬的となっている課題が多い

2D から 3D を⽣成する AI • 教師データが豊富にある領域では ⼆次元画像から三次元形状を復元する試みが多数⾏われている． R: Saito, Shunsuke, et al. "PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P.91 の Figure 7 より引⽤ L: Ying, Xingde, et al. "X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2019. P10625 Figure 6 より引⽤

⾮⼈⼯知能技術 Estimation of 3D Shapes in 99mTc-GSA Hepatic Scintigraphy Using Static Images from Two Different Directions@JRC2023 • 少数の投影像から三次元形状の復元 • Computer Vision 技術を⽤いて ⼆⽅向の画像から三次元形状が復元が可能 • 三次元画像解析に応⽤したい 領域抽出を⾏った後の⼊⼒画像 This work was supported by JSPS KAKENHI Grant Number 19K09533.

医⽤画像領域の AI で⽬指したい所 • 医⽤画像領域の AI を実装する最⼤の課題は教師データの取得 ⇒ 公開データは本当に正しいデータなのか不明 ⇒ ⾃施設での臨床応⽤には⾃施設のデータでモデル作成が必須 ⇒ 薬事などの問題が解決しないと実現不可能 • 肺がんや乳がんなどの診断⽀援 AI は教師データが多く， 作成された AI モデルは臨床検査に導⼊されている* が， データの集まらない領域 (疾患) の AI にこそ価値がある ⇒ 医療領域へ AI が展開するには教師なし⼿法の発展が必要 * LUCHINI, Claudio; PEA, Antonio; SCARPA, Aldo. Artificial intelligence in oncology: current applications and future perspectives. British Journal of Cancer, 2022, 126.1: 4-9.

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた 東京⼤学医学部附属病院 上⼭毅先⽣ 東京 MAGNETOM 研究会 世話⼈の先⽣⽅， 深く感謝申し上げます． 講演スライドは こちらからご覧下さい ⇨