人工知能技術を用いた核医学画像処理の基礎 (2022/09/09)

第42回⽇本核医学技術学会総会学術⼤会 2022/09/09 ⼈⼯知能技術を⽤いた 核医学画像処理の基礎 ⼤阪公⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊 Stable Diffusion で⽣成した “新しい時代の到来を祝福するメチャクチャ太った猫の神聖で素晴らしい油絵”

本講演の内容に関連する利益相反事項は ☑ ありませんは

講演スライドについて • 数式は使わず，概念の理解を主としています． • ⼈⼯知能についてまとめたスライドを SlideShare と Docswell で公開しています． SlideShare Docswell

AI を系統⽴てて学習したい⽅へ • コーセラ (Coursera) 機械学習 https://ja.coursera.org/learn/machine-learning • 東京⼯業⼤学 機械学習帳 https://chokkan.github.io/mlnote/ • 筑波⼤学オープンコースウェア https://ocw.tsukuba.ac.jp/course/systeminformation/machine_learning/ コーセラ 東京⼯業⼤学 筑波⼤学

• https://ja.coursera.org/learn/machine-learning
• https://chokkan.github.io/mlnote/
• https://ocw.tsukuba.ac.jp/course/systeminformation/machine_learning/

⾃⼰紹介 [職歴] • 1998 年: オートバイ⽤マフラーの開発・製造 • 2003 年: ⼤阪⼤学医学部附属病院 • 2004 年: 市⽴泉佐野りんくう総合医療センター • 2006 年: 社会医療法⼈仙養会 北摂総合病院 • 2007 年: ⼤阪市⽴⼤学医学部附属病院 (現⼤阪公⽴⼤学医学部附属病院) [研究歴] • 2006 年: モンテカルロシミュレーションを⽤いた医療被ばくの線量評価 • 2010 年: スパースコーディングを⽤いたステレオマッチング • 2013 年: バイラテラルフィルタを⽤いたデノイズ処理 • 2014 年: スパースコーディングを⽤いた超解像 • 2017 年: 深層学習を⽤いた超解像 • 2018 年: 超解像を⽤いたデノイズ処理 • 2019 年: 敵対的⽣成ネットワークを⽤いた放射線画像の⽣成 • 2020 年: ⾮参照画質メトリクスを⽤いた放射線画像の評価 [学会] • 2021 年: ⽇本放射線技術学会 近畿⽀部 研究教育委員会 委員 放射線科医局にて撮影 (2018 年 3 ⽉) 趣味で古い電⼦機器を GAN で再現

講演内容の要約 • AI 概要 • AI の歴史 • 最近の AI 技術 • 医⽤画像領域で⽤いられる AI • 画像解析 • 画像解析 AI の紹介 • データセット • ⼤規模データセット • 画像処理 • 超解像 • 画像評価 • ⾮参照画質メトリクス • まとめ 引⽤元のない画像は Stable Diffusion で⽣成した画像か⾃験例です．

AI とは • 「“学習・推論・判断” といった⼈間の知能のもつ機能を備えた コンピュータシステム (広辞苑第三版より)」という定義 • 医療への AI の応⽤を考えた場合も同じ定義 ウマ イヌ Illustration of Artificial Intelligence で⽣成

AI の歴史 • 技術の歴史: ルールベース⇒機械学習⇒深層学習 ⇒取り扱えるデータ量の増加が各ブームのきっかけ • 2014 年 敵対的⽣成ネットワーク (GAN) • 2018 年 ⾃然⾔語処理 (BERT) • 2020 年 Vision Transformer (ViT) • 2021 年 Multimodal AI (text2image) 引⽤: 総務省 HP 第 1 部 特集 IoT・ビッグデータ・AI 〜ネットワークとデータが創造する新たな価値〜 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

AI ≒ DL？ ルールベース “A の場合 B” 形式の 論理ルールで表現し 与えられた問題に対して ルールを適⽤し解を発⾒ ⼈⼯知能 (Artificial Intelligence: AI) 総合的な概念と技術 機械学習 (Machine Learning: ML) 明⽰的にプログラムせずとも 学習能⼒をコンピュータに与える技術 深層学習 (Deep Learning: DL) 機械学習技術の⼀つである Neural Network の多層化により実現した技術

AI の種類 • 理想: ⼈間のように考えて⾏動できる AI ⇒ 汎⽤的な AI = AGI: Artificial General Intelligence ⇒ 強い AI (Strong AI) • ex) ドラえもん • 現実: ⼈より巧みに⾏える物事が予め定義された⼀つに限定 ⇒ 弱い AI (Narrow AI) • ex) iPhone & Siri，Android & Google アシスタント

AI ができること・していること • ⼊⼒に対して適切な出⼒を出すシステム • 膨⼤な計算を膨⼤なエネルギーを使って 膨⼤な半導体を動作させて解答または選択肢を絞り込む Gaming PC で⽣成 ⇒ 強引なやり⽅ ⇒ 数を撃てば当たるの総当たり戦略 • Machine learning is just statistics ! Illustration of Big Data で⽣成

⼈と AI の⽐較 学習 規則性 判断 機械 学習 判断 Illustration of a doctor's face in a white coat で⽣成 データ セット Illustration of Artificial Intelligence で⽣成

AI の成果・事例 • 画像認識に関する主な事例 • • • • • 物体認識: ⽝や猫の識別や，物体の意味の⾔語化など 不良品の検出: 製造業で作る部品などの検品など 異物混⼊の検出: ⾷品の製造ラインでの異物検出など 病変の検出: 医療⽤画像 (Xp や MMG など) から病変を⾒つけるなど ⾃動運転: 産業界で競争が激化している • ⾳声認識に関する主な事例 • スマートスピーカー: Google Home や Amazon Echo など， ⾳声で問い掛けると，何らかの回答を話す製品 • ⾃然⾔語処理に関する主な事例 • チャット bot: Web サイト上で質問に対する適切な回答を ⾃動的に返し会話を成⽴させるもの (ex: 元⼥⼦⾼⽣ AI「りんな」) • ロボティクス (強化学習) に関する主な事例 • ゲームの⾃動対戦: 2015 年にプロ囲碁棋⼠を AI (AlphaGo) が破った

⾃動運転 • SONY が深層強化学習 プラットフォームを 利⽤して訓練された ⾃律型 AI を発表 • グランツーリスモ SPORT を通じて カーレーシングという 難度の⾼いスポーツを マスターしたことは， AI の⾶躍的進歩 • Nature に掲載 https://www.gran-turismo.com/jp/gran-turismo-sophy/ Gerdes, J. C. (2022). Neural networks overtake humans in Gran Turismo racing game.

• https://www.gran-turismo.com/jp/gran-turismo-sophy/

核融合炉の制御 • DeepMind (Google)が， トカマク型核融合炉の 磁気制御を⾏える AI の開発に成功 • Nature に掲載 Degrave, J., Felici, F., Buchli, J., Neunert, M., Tracey, B., Carpanese, F., ... & Riedmiller, M. (2022). Magnetic control of tokamak plasmas through deep reinforcement learning. Nature, 602(7897), 414-419.

オフサイドの⾃動検知システム • • • • • • FIFA (国際サッカー連盟) は，オフサイドについて，AI で⾃動検出するシステムを開発 2022 年 11 ⽉ 21 ⽇に開幕する FIFA ワールドカップ カタール 2022 で導⼊予定 試合会場に取りつけられた 12 台のカメラで選⼿とボールの動きを捉える 各選⼿の動きは，関節や⼿の先，⾜の先など，29 カ所の監視点を毎秒 50 回のペースで取得 ボール内部のセンサーは加速度などのデータを毎秒 500 回取得し，蹴られたかどうかなどを記録 両チームの選⼿とボールの蹴られたタイミングから，オフサイド の有無を判定 出典 https://www.fifa.com/technical/media-releases/semi-automated-offside-technology-to-be-used-at-fifa-world-cup-2022-tm https://twitter.com/fifa_bryan/status/1542781226557243394

• https://twitter.com/fifa_bryan/status/1542781226557243394

雇⽤の創出と就農者の若返りを AI で解決 • 茶葉は摘採する時期が遅れると 収穫量は多くなるが品質が低下 • 摘採時期は⽣産者の経験や専⽤機器での 分析して⾒極める⽅法が⼀般的 (明確な教師データが存在) • 後継者育成や新規参⼊に摘採時期の判断は困難 ⇒ ⽣産⼒向上と持続性を両⽴する課題の⼀つ • モデルの作成は約 4,000 枚の茶葉の画像および ⾊味調整などを適⽤した合計約 8,500 枚の画像 • 作成したモデルの正確性や実⽤性を 検証するため 2022 年の新茶摘採から 現場実証による試験運⽤ • 2023年から契約産地での本格展開を⽬指す

創薬 • 新薬を開発するためには莫⼤な時間と費⽤が必要 • ⼀つの医薬品が上市されるまでには， 9〜17 年もの歳⽉と数百億〜数千億円の費⽤を要する． • 新薬開発・発売までのプロセス • • • • 基礎研究 (2〜3 年) ⾮臨床試験 (3〜5 年) 臨床試験 (3〜7 年) 承認申請 (1〜2 年) • 近年開発が進められている⾼分⼦化合物などでは開発の難易度が⾼く， 開発期間が⻑くなり，費⽤も増⼤する傾向 • 開発中に有効性が認められないや，重⼤な副作⽤が判明すれば開発断念 ⇒ 開発が成功する確率は約 2.5 万分の 1 とも⾔われている．

AI 創薬 • 新薬の開発では， 薬の標的となるタンパク質を⾒つけ， 新薬候補となるリード化合物を探し出す • AI 創薬の導⼊により， 膨⼤なデータを利⽤できることから， 開発時間の⼤幅な短縮や 優れた性質を持つ分⼦の設計が可能となる ⇒ 創薬にかかる開発期間や費⽤の削減 • 課題 ⇒ AI で抽出した 膨⼤なデータを活⽤するための 環境が整っていない

学習型 AI のまとめ • 定式化の複雑さを⼤量のデータで汎⽤性を⾼めた最適化 ⇒ “データが少ない” や “(普通の) ⼈間が定式化できる” ⇒ 条件であれば数理最適化すれば良い ⇒ 普通の⼈間が定式化できるのであれば AI を使う必要はない ⇒ 医⽤画像領域では需要が⾒込める ⇒ 医療画像領域に限らず AI で導き出した結果に ⇒ 貢献した要因を説明できることが重要 ⇒ (説明可能な AI) Illustration of Artificial Intelligence で⽣成

学習型 AI の弱点 • COVID-19 (新型コロナウイルス感染症) による影響 • マスクにより顔認証ができなくなった • 消費者の購⼊パターンが変わり，購⼊予測が役に⽴たなかった • ラベル付けできる速度に AI の進化は制限される ⇒ ⾃⼰教師あり学習や教師なし学習が主流になれば ⇒ さらなる⾶躍が⾒込まれる a dog is putting with N95 mask で⽣成

⽂章要約サービス AI により⽂章の要約や⽂章校正を⾏い作業効率が向上するサービスが登場 www.digest.elyza.ai ai-tanteki.com shodo.ink

AI による⽂章⽣成 • OpenAI が “GPT-3 に 500 語で学術論⽂を書き， 参考⽂献を追加する” タスクを⼊⼒ ⇒ 科学系雑誌に掲載される ⇒ クオリティの⽂章が ⇒ 2 時間で完成し科学雑誌に投稿

AI による⽂章⽣成 • “核医学”，“完全に理解した” をキーワードに⽂章⽣成した結果 ニュース記事 メール⽂ 職務経歴書 https://www.pencil.elyza.ai

• https://www.pencil.ely

GitHub Copilot • GitHub (ソフトウェア開発の プラットフォーム) が OpenAI と 協⼒し，途中まで記述した ソースコードの続きを ⾃動で補完する機能 GitHub Copilot を公開 • GitHub Copilot は OpenAI が 作成した事前学習済み ⾔語モデル Codex を利⽤ • 公開されているソースコードと ⾃然⾔語を学習対象 • この GitHub Copilot について 学習元となったソースコードの 著作権を侵害しているとする 指摘が相次いでいる

Multimodal Artificial Intelligence マルチモーダル AI • 従来通りに 1 つのモダリティーのみを処理する単⼀の AI モデルは， シングルモーダル AI (Single modal AI)，ユニモーダル AI (Unimodal AI) • 数値/画像/テキスト/⾳声などの複数種類のデータ (= Modality) を 組み合わせて，もしくは関連付けて処理できる単⼀の AI モデル • 2021 年頃から⾃然⾔語とコンピュータビジョンを取り扱う マルチモーダル AI が注⽬ • マルチモーダル AI の代表例としては， テキストから画像を⽣成する DALL·E2 などが挙げられる

AI が⽣成した画像 Stability AI Stable Diffusion Stable Diffusion Sacred and wonderful oil painting of a messed up fat cat celebrating the arrival of a new era. 新しい時代の到来を祝福するメチャクチャ太った猫の神聖で素晴らしい油絵

DALL·E mini (⾔語から画像を⽣成) • DALL·E mini • 画像を説明する短いフレーズを⼊ ⼒すると，⼊⼒されたテキストに 基づいて画像を⽣成するAIモデル DALL·E mini の AI モデルは 3,000 万個のラベル付された画像を分析し， 単語と画素の間にある関係性を抽出することで収集した 統計パターンを利⽤して画像を作成

DALL·E mini (⾔語から画像を⽣成) nuclear medicine => Run radiological technologist => Run radiographer => Run

医⽤画像領域で⽤いられる AI 敵対的⽣成ネットワーク (Generative Adversarial Networks: GAN) 物体検出 (Detection) 画像認識 (Segmentation) 画像分類 (Classification) 画像解析 超解像 (Super-Resolution) ノイズ低減 (Denoise) 画像処理 ⾃然⾔語 処理 (Natural Language Processing)

乳がん • 乳がんの発症を⾼い精度で予測できる AI モデルを MIT が開発 • 2009 年 1 ⽉ 1 ⽇から 2012 年 12 ⽉ 31 ⽇までの 39,571 ⼈ 88,994 件のマンモグラフィを使⽤ • ⼈の⽬では認識できない微細なパターンも特定できるように訓練 • ⼈種に関わらず⾼精度 Above: MIT/MGH AI model identified woman at high risk 4 years (left) before her breast cancer (right):.Image Credit: MIT CSAIL

肺がん • 肺がんの発症を⾼い精度で予測できる AI モデルを Google が開発 • 45,856 件の胸部 CT スクリーニング検査でがんが発⾒された症例 • Google の AI モデルは医師チームよりも がんのケースを 5 ％多く検知でき，誤診率は 11 ％低かった A promising step forward for predicting lung cancer https://www.blog.google/technology/health/lung-cancer-prediction/ End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography Nature Medicine (2019)

核医学画像に対する AI • ⼀般的に核医学画像は放射線画像の中でも統計ノイズが多い • 統計ノイズが多いと数理最適化の妨げとなることが多い • CT や MRI に⽐べて検査件数が少なく， ⼤量のデータを収集することが困難 ⇒核医学検査と AI は相性があまり良くない

アルツハイマー • Alzheimer Disease の早期予測できる AI モデル • 2005 年から 2017 年までの 1,002 ⼈ 2,109 の画像検査を使⽤ (ADNI) • FDG-PET より，アルツハイマー病の最終診断の 平均 75.8 ヶ⽉前に感度 100%，特異度 82% で発⾒可能

副甲状腺 (⾃験例) • 99mTc-MIBI 副甲状腺シンチグラフィによる病変の検出 • 2010 年 6 ⽉から 2019 年 3 ⽉までに⼀次性副甲状腺機能亢進症 (PTPH) と診断された 410 症例の画像を使⽤

先⾏研究との⽐較 • 99mTc-MIBI 副甲状腺シンチグラフィの感度の⽐較 Wei, et al. (2015) Static像 SPECT SPECT/CT 63% 66% 95% CI : 51 - 74% Treglia, et al. (2016) 本研究のモデル SPECT/CT Static像 患者ベース 病変ベース 早期相 遅延相 84% 88% 88% 90% 93% 95% CI : 95% CI : 95% CI : 95% CI : 57 - 74% 78 - 90% 84 - 92% 82 - 92% mFPI=0.58 mFPI=0.47 Static 像のみで SPECT/CT 以上の検出感度

AI の判断基準の可視化 • Grad-CAM Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., & Batra, D. (2017). Grad-cam: Visual explanations from deep networks via gradient-based localization. In Proceedings of the IEEE international conference on computer vision (pp. 618-626).

Grad-CAM による画像の分類根拠 • 近年，AI の可視化が必要だと⾔われている ⇒ AI が分類した根拠を Grad-CAM にて表⽰ • 胸部エックス線写真の撮影⽅向を判断するモデルを作成 (JRC 2021 に採択された演題） • ⾻シンチグラフィで打撲と⾻転移を分類するモデルを作成 (RSNA 2021 に採択された演題) 1. Deep Convolutional Neural Network を利⽤した撮影画像と依頼オーダーの整合性判定 2. Differentiation of trauma and bone metastasis in the ribs of bone scintigraphy using AI, and visualization of the site of interest of AI by Grad-CAM

胸部エックス線写真 (⾃験例) • 撮影された画像と依頼内容が⼀致しているかを判断する AI ⇒ 胸部エックス線写真の撮影⽅向を判断 ⇒ 判断根拠を Grad-CAM で表⽰ AP: 98.6 % の分類精度で判断可能 PA: 99.6 %の 分類精度で判断可能

Grad-CAM の評価 • Grad-CAM を使⽤して得られたカラーマップを 6 領域に分割 • カテゴリ毎にどの領域が影響したかにより評価 AP PA 0.8 % 24.6 % 24.4 % 5.0 % 55.4 % 8.0 % 1.6 % 36.6 % 12.0 % 2.6 % 27.4 % 1.6 % • 縦隔領域が判断に強く影響 ⇒ 判断根拠を数値化しモデルを評価

⾻シンチグラフィ (⾃験例) • ⾻転移の検索や治療効果判定に広く⽤いられている • 肋⾻の⾻転移は，肋⾻に沿った接線⽅向に RI 異常集積が認め られるため，斜位像の追加を⾏うことが多い • 正⾯像のみから肋⾻転移を判断するモデルの作成 右第 4 肋⾻の外傷による RI 異常集積の⼀例 Anterior view of thorax Right oblique view 右第 7 肋⾻と第 8 肋⾻に転移: 斜位画像の追加で診断 左第 1 肋⾻転移: 胸部正⾯像のみで診断可能 Anterior view of thorax Right oblique view

結果 - Correct case 両肋⾻にある複数の⾻転移の症例 Grad-CAM画像と⾻シンチを重ね合わせたもの

結果 - Inaccurate cases 肋⾻にある⾻転移を検出できなかった症例 Grad-CAM画像と⾻シンチを重ね合わせたもの

データセット PARKHI, Omkar M., et al. Cats and dogs. In: 2012 IEEE conference on computer vision and pattern recognition. IEEE, 2012. p. 3498-3505.

データセットの作成 [1/2] • 物体検出 (Detection) / 画像分類 (Classification) ⇒ 医療領域では病変の検出 / 分類に利⽤ • 教師データに疾患のある画像が必要 (正常例は不要) • 画像に対応した病理検査の結果があればベスト！ 標準ディジタル画像データベース[胸部腫瘤陰影像] • 画像認識 (Segmentation) ⇒ 医⽤領域では正常解剖の認識に利⽤ • 正確にラベリングされた教師データが必要 • 正しいデータが多いほど良いデータセット miniJSRT_database [胸部X線画像の肺野領域抽出]

データセットの作成 [2/2] • ⾃施設で偏りのないデータセットを作成するには課題は多い ⇒ 公開されているデータセットの利⽤であれば， アルゴリズムの開発のみ • 画像と病理が紐付いて存在している肺がん，乳がんが多い ⇒ 公開されているデータセットには所⾒間違いが存在 ⇒ 公開データセットを⽤いる場合はチェックが必要 ⇒ チェックしても正解が不明なので正しいラベリングができない

正しい教師データが必要な理由 • 学習時 • 教師あり学習では，AI はデータのバイアスも学習している ⇒ 正しくないデータの持つ特徴を学習して精度が出ないモデルとなる • 検証時 • テストデータの正解は本当に正解なのかを確認することが必要 • 正解が不明だと出⼒された判断が正しい可能性がある ⇒ 作成したモデルの評価が正しく⾏えない https://www.irasutoya.com/2016/12/blog-post_870.html

• https://www.irasutoya.com/2016/12/blog-post_870.html

データセットの作成のまとめ • 教師あり学習は学習データの収集が煩雑なので “教師あり学習” から “教師なし” に移⾏ ⇒ 教師あり学習に⽤いる学習データも量より質へのシフト ⇒ GAN や Transformer は⼤量の学習データが必要 • 機械学習を臨床に応⽤できるのは， “⼤量のデータ” を “⼀貫した基準” で “継続的に集めることができる” 施設

⼤規模データセット RUSSAKOVSKY, Olga, et al. Imagenet large scale visual recognition challenge. International journal of computer vision, 2015, 115.3: 211-252.

ImageNet の登場 • 物体認識ソフトウェアの研究で ⽤いるために設計された ⼤規模な画像データベース • 1400 万を超える画像に⼿作業で アノテーションを⾏い， 画像に写っている物体を提⽰ • 100 万枚以上の画像に バウンディングボックスが付与 • 2 万を超えるカテゴリがあり， その中には “balloon” や “strawberry” と いった数百枚の画像で構成される ⼀般的な物体カテゴリが含まれている RUSSAKOVSKY, Olga, et al. Imagenet large scale visual recognition challenge. International journal of computer vision, 2015, 115.3: 211-252.

JSRT が公開しているデータセット • 標準ディジタル画像データベース［胸部腫瘤陰影像］ http://imgcom.jsrt.or.jp/download/ http://imgcom.jsrt.or.jp/minijsrtdb/

• http://imgcom.jsrt.or.jp/download/
• http://imgcom.jsrt.or.jp/minijsrtd

RadImageNet の登場 • 135 万枚の CT/MR/US と 学習済モデル • RadImageNet を 事前学習に使うこと で ImageNet に⽐ べ， 精度 (AUC) が 1 ~ 10%上昇 • 今後の医⽤画像に 対する AI の基準 Mei, Xueyan, et al. "RadImageNet: An Open Radiologic Deep Learning Research Dataset for Effective Transfer Learning." Radiology: Artificial Intelligence (2022): e210315.

オープンデータ・データセットの利⽤ • ⽶マサチューセッツ⼯科⼤学 (MIT) は 2020 年 6 ⽉ 29 ⽇， ⼈種差別⽤語や⼥性差別を助⻑するとして，“Tiny Images” と ⾔う⼤規模なデータセットをオフラインにした • “Tiny Images” は，⾼度な物体検出技術を開発するために 8000 万枚以上の画像で成り⽴ち，2008 年に作成された • データセット内に問題のあるラベルのついた画像の例 • AI が⼈種や性別の偏⾒や差別を⽰す例は多数ある • 学習させるデータを如何に 公平公正な品質に保つことが課題 • マイノリティが AI によって不利益になってはならない Prabhu, Vinay Uday, and Abeba Birhane. "Large image datasets: A pyrrhic win for computer vision?." arXiv preprint arXiv:2006.16923 (2020). Figure 1 より引⽤

合成データ (Synthetic Data) の可能性 • AI の主流である深層学習では，膨⼤な教師データが必要不可⽋ • 現実世界に⾜りないデータを補うために “合成データ” を⽤いる • コンピュータのアルゴリズムによって⽣成された， 限りなく実際のデータに近い⼈⼯データ “ICCV2021” で Microsoft が発表した “Fake it till you make it” は 合成データのみを⽤いて ⼈間の顔を解析できることを実証 ←図11 学習データとして使⽤するために ランダムに⽣成しレンダリングした合成顔 WOOD, Erroll, et al. Fake it till you make it: face analysis in the wild using synthetic data alone. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 3681-3691.

脳画像合成データのオープンソース • 英国キングス・カレッジ・ロンドンが， 脳の合成画像を 10 万枚⽣成し， オープンソースとして公開すると発表 • AI を⽣成する教師データとなる医⽤画像は 世界的に不⾜している • 脳画像の合成技術が普及すれば， 関連研究を⼤きく前進させられると期待 http://amigos.ai/thisbraindoesnotexist/

• http://amigos.ai/this

⼤量の実画像データの収集が不要な AI • 産業技術総合研究所 (産総研) は 2022 年 6 ⽉ 13 ⽇に AI の学 習に必要な画像データセットを数式から⾃動⽣成し， 学習済みモデルを構築する⼿法を開発したと発表 • プライバシーやラベル付けコストの問題を解消しつつ， 従来⼿法を上回る精度を提供 • 医療分野や交通シーン解析， 物流現場などに適す 学習に使う画像は全て幾何画像 ⇒ データの偏りによる不当な出⼒は避けられる ⇒ タスク処理の⽣成規則も数式で明確に説明 図 1 実画像や⼈の判断による教師ラベルを必要とせず、 数式から⽣成した教師ラベルで学習された画像理解AIの概念図 https://www.aist.go.jp/aist_j/press_release/pr2022/pr20220613/pr20220613.html?utm_source=pocket_mylist

• https://www.aist.go.jp/aist

ImageNet のラベル間違い • ImageNet で公開されている データにはラベル間違いが多数ある • 正しいラベルに修正すると精度向上 BEYER, Lucas, et al. Are we done with imagenet?. arXiv preprint arXiv:2006.07159, 2020.

AI の診断を信じられますか？ • 胸部 X 線検査では様々な疾患を指摘できる ⇒ その中でも肺がんの発⾒が重要 • 胸部 X 線検査の画像は情報量が多い ⇒ 胸部 X 線検査で肺がんを⾒逃す可能性は⾼い • 肺がんは診断後に⼿術が⾏われ，病理所⾒が得られることから， 臨床研究の対象とし易い ⇒ 胸部 X 線検査の⾃動診断に関する研究が多数ある ⇒ 今現在その精度は医師と同等以上

AI の診断を信じられますか？ • 肺がんを研究対象としたオープンデータ・データセットが多数存在 • ⼤規模データセット 3 種類を同じモデル・環境で学習させ， それぞれを別のデータセットで評価しデータセットの影響を評価 ChestX-ray14: 30,805 ⼈/112,120 枚の画像 (アメリカ国⽴衛⽣研究所) CheXpert: 65,240 ⼈/224,316 枚の画像 (スタンフォード病院) MIMIC-CXR: 65,370 ⼈/227,835 枚の画像 (マサチューセッツ⼯科⼤学) ⇒ 学習データと⼀致するテストデータでは良好な結果 ⇒ 学習データと異なるテストデータでは不良な結果 ChestX-ray14 はラベルの信頼性に疑問 Eduardo H. P. Pooch∗, Pedro L. Ballester, Rodrigo C. Barros Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification arXiv:1909.01940v1 [eess.IV] 3 Sep 2019

ドメインシフト • AI の基本的な問題点 • モデルを構築したデータと実際に扱うデータが異なることで性 能が発揮できない現象 • AI 技術は厳密解ではなく統計的に最適解を導く性質が原因 • 放射線画像は施設間格差が⼤きく， AI モデルを作成した施設以外で 学習データ ○ + 検証データ + 臨床適⽤させ難い理由の⼀つ ○ + ○ ○ ○ ○ + ○ + ○ ○ + ○ 重なっている分布でのみ性能を発揮↑ + + +

データやモデルのバイアスに対処 • 実世界の顔認識 • 特定のセンシティブ属性にデータが偏ることは容易に考えられる ⇒ 属性によって認識率に差が⽣じる • 対策するには多数の属性の注釈を⾏う必要があり⾼コストとなる ⇒ センシティブ属性の注釈なしでバイアスを軽減させる⼿法を提案 Figure 3. There are three main modules: DFI, RBM and DBM. The DFI indicates the local distances within a local region. The RBM harmonizes the representation ability in the network architecture, while the DBM balances the contribution in the loss. Cao, Dong, et al. "Domain balancing: Face recognition on long-tailed domains." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.

偏⾒がもたらす不公平 • AI は学習データやアルゴリズムの偏り， 学習データに (潜在的に) 存在する差別や偏⾒ (Bias) によって AI は 不公平で差別的になり得る． • Black Lives Matter (BLM) ⇒ AI を⽤いた顔認証の問題提起 • バイアスの問題 ⇒ AI はバイアスを学習する • 倫理，責任問題 • AI による差別やプライバシー侵害などが懸念 ⇒ AI も社会のルールや倫理を守ることが求められている． ⇒ AI 倫理として，AI の公平性や有益性，説明責任， プライバシー保護などを⽰し始めている．

AI と⼈権の関係性 • AI の成⻑に不可⽋な “ビッグデータ” から⽣じる プライバシー問題の対策が必要 • ヨーロッパ連合 (EU) は “⼀般データ保護規則 (GDPR)” を制定 • 国際連合教育科学⽂化機関 (United Nations Educational, Scientific and Cultural Organization: UNESCO) • 2021 年 11 ⽉ 25 ⽇，AI の倫理に関する国際的な規範を策定 • ⽇本や中国など 193 加盟国が採択し，国際的な規範としては初 • 規範 ⇒ 如何なる⼈も，AI によって経済，政治，精神的に傷つけられてはならない

AI 倫理モデルの作成・影響評価⽅法 https://www.fujitsu.com/jp/about/research/technology/aiethics/

• https://www.fujitsu.com/jp/a

データセット作成が困難な課題 • 教師データが⽤意できない課題では AI を⽤いないことで 良好な結果を得られる場合がある • 公開されているデータが存在しない放射線画像 • 通常の臨床検査から教師データが集められない

2D から 3D を⽣成する AI • 教師データが豊富にある領域では ⼆次元画像から三次元形状を復元する試みが多数⾏われている． R: Saito, Shunsuke, et al. "PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P.91 の Figure 7 より引⽤ L: Ying, Xingde, et al. "X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2019. P10625 Figure 6 より引⽤

データセットの作成が困難な課題 • 安全な脳⾎管内治療の実現を⽬指し， 脳動脈瘤コイルの⾎管造影像から三次元モデルを推定し 脳動脈瘤コイル塞栓術中のコイルの可視化 • 脳動脈瘤コイル塞栓術は年間 50 件程度 • ⼤量のデータを取得することが困難 • 各コイルを留置後に computed tomography (CT) 撮影を⾏わないので， 教師データの取得が不可能 • ファントムを作成しモデル化することで学習は可能だが， 全てのパターンの学習は困難 ⇒ ⼈⼯知能技術を⽤いたアプローチは⾏わない ⇒ 2 ⽅向の⾎管造影像から三次元形状の復元

三次元形状の復元 ⼊⼒ 出⼒ LOZEN, Andrew, et al. Y-stent-assisted coil embolization for the management of unruptured cerebral aneurysms: report of six cases. Acta neurochirurgica, 2009, 151.12: 1663-1672. Fig.2 より引⽤

核医学検査への応⽤ • 肝臓を模した形状を 復元する試み • 統計ノイズの多い 核医学像でも ⼆⽅向の画像から 三次元形状の復元が 可能となった

医⽤画像領域で⽤いられる AI 敵対的⽣成ネットワーク (Generative Adversarial Networks: GAN) 物体検出 (Detection) 画像認識 (Segmentation) 画像分類 (Classification) 画像解析 超解像 (Super-Resolution) ノイズ低減 (Denoise) 画像処理 ⾃然⾔語 処理 (Natural Language Processing)

超解像技術 • ⾼解像度画像と低解像度画像の関係を学習し， 与えられた低解像度画像に⾼解像度化処理を適⽤． 低解像度画像 https://www.irasutoya.com/2016/10/mrict.html ⾼解像度画像

• https://www.irasutoya.com/2016/10/mrict.html

超解像技術のブレイクスルー • スパースコーディングを⽤いた超解像 • Sparse coding Super-Resolution (ScSR) • ScSR を深層学習に置換した超解像 • Super-Resolution Conventional Neural Network (SRCNN) • GAN を⽤いた超解像 • Generative Adversarial Network for Super-Resolution (SRGAN) 1. Yang, J., Wright, J., Huang, T. S., & Ma, Y. (2010). Image super-resolution via sparse representation. IEEE transactions on image processing, 19(11), 2861-2873. 2. Dong, C., Loy, C. C., He, K., & Tang, X. (2015). Image super-resolution using deep convolutional networks. IEEE transactions on pattern analysis and machine intelligence, 38(2), 295-307. 3. Ledig, C., Theis, L., Huszár, F., Caballero, J., Cunningham, A., Acosta, A., ... & Shi, W. (2017). Photo-realistic single image super-resolution using a generative adversarial network. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4681-4690).

元画像では滲んでいる辺縁部分が超解像を適⽤することで細部まで観察することができる． 超解像適⽤前後の CT 画像 元画像 超解像適⽤画像

元画像では辺縁部分が明瞭ではないが超解像を適⽤することでエッジがスムーズに観察できる． 超解像適⽤前後の CT 画像 元画像 超解像適⽤画像

超解像を適⽤することで全ての周波数帯域で分解能特性が改善する． 超解像適⽤前後の MTF 1 0.9 0.8 modulation transfer function 0.7 0.6 ̶: 元画像 …: 超解像適⽤画像 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 spatial frequency [cycles/mm] 0.9 1 1.1 1.2 1.3 1.4 1.5

超解像適⽤前後の PET ⽬標画像 (256×256) 元画像 (128×128) 処理画像 (256×256) PSNR: 41.4361 [dB] • • • • Hoffman Phantom 18F (26 MBq) Biograph 16 (SIEMENS) 収集時間: 30 分間 第 45 回 ⽇本放射線技術学会秋季学術⼤会

超解像適⽤前後の PET 元画像 (256×256) 処理画像 (512×512) • • • • Hoffman Phantom 18F (26 MBq) Biograph 16 (SIEMENS) 収集時間: 30 分間

超解像適⽤前後の⾻シンチグラフィ 元画像 (256×256) 超解像適⽤画像 (512×512)

deNoise • 放射線技術学会 第66回 近畿⽀部学術⼤会 (2022/11/19 ~ 20) で PET 画像に対する deNoise Model を発表

臨床検査の画像評価 • 臨床検査では⽬標画像となり得る⾼画質の画像が得られない • ⽬標画像の取得ができず， 完全参照型メトリクスでの評価ができない • 評価には主観的評価 (視覚評価) が⼀般的となる

画像評価のガイドライン • 電⼦化⽂書の画像圧縮ガイドライン* では 画像評価に PSNR を推奨 ⇒ ⼈間の主観との相関はそれほど強くない ⇒ 低 SNR 領域や PSNR 値が低い領域で ⇒ 視覚評価と相関が悪くなる傾向 * ⼩箱雅彦. 標準化への道 標準化委員会報告 (3) 電⼦化⽂書の画像圧縮ガイドライン. ⽉刊 IM, 2011, 50.5: 21-24.

知覚品質 • ECCV 2018 PRIM Workshop で開催された 超解像コンペティションでは 知覚品質と歪みのトレードオフ問題を踏まえて， 従来の歪みを評価⼿法 (PSNR，SSIM) とは異なる 知覚品質 (Perceptual Score)を評価するメトリクスが導⼊ Perceptual Score = 1/2((10 - Ma et al.) + NIQE) • Ma et al. 3 つの低レベルの統計的特徴から 2 ステージの回帰モデルを構築することでスコアを算出する仕組み • NIQE ⇒ ⾮参照型メトリクスの⼀種

⾮参照画質メトリクスの種類 • ⼊⼒画像の統計的な特徴量を使⽤して画質評価 ⇒ スコアが⼩さいほど知覚品質が良好 • Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) • 既知の歪んだ画像から natural scene statistic (NSS) 特徴量を抽出し， サポートベクター回帰を使⽤して画質スコアを予測 • 教師あり⼿法のため学習済みモデルが必要 • Natural Image Quality Evaluator (NIQE) • モデル学習に使⽤されるデータベースから取得された特徴と 測定したい画像から計算された NSS 特徴との距離を測定する⼿法 • 教師あり⼿法のため学習済みモデルが必要 • Perception based Image Quality Evaluator (PIQE) • PIQE はブロック単位の歪みを推定し，知覚される歪みのある ブロックの局所分散を測定して画質スコアを計算 • 教師なし⼿法のため学習済みモデルを必要としない

第40回 ⽇本核医学技術学会総会学術⼤会 • 教師なし⼿法の PIQE を⽤いて収集時間と収集マトリクスの異 なる PET 画像を評価し，想定し得る結果となった

最後に ‒ AI 技術の現状 • AI 技術は幻滅期* ⇒ 医⽤画像による病変検出は医師の代替 • AI でしかできないことがない • テクノロジーとしての⾯⽩さが少ない • 医療系では明瞭期 (臨床応⽤期) ⇒ AI の普及は臨床の現場で有意義 ⇒ 便利なツールが登場しているので簡単に導⼊可能 • 画像解析・画像処理ともに導⼊の⽬的が明確 ⇒ AI 技術を臨床の現場にどう落とし込むかが課題 ⇒ 研究テーマは臨床の現場にある * ガートナー. ⽇本におけるテクノロジのハイプ・サイクル. 2019年

AI 内製化 • AutoML やノーコード AI 開発サービスの登場により， 現在 AI を導⼊している企業は AI 内製化を進めている． https://inside.ai/news/2021/12/21/ai-researchresults/

• https://inside.ai/news/2021/12/21/ai-researchresults/

Automated Machine Learning (Auto ML) • Auto ML 従来はエンジニアが実施していた機械学習によるデータ予測を ⾃動的に実施する技術の総称 ⇒ サービスにより適⽤範囲が異なるが分類や回帰が主な対象 • • • • • • • AutoML Table (Google) Automated ML (Microsoft) AutoAI (IBM) Prediction One (Sony) DataRobot MatrixFlow Nanonets

TensorFlow.js 2022/06/14 7:25 1 / 1 ページ Shopping Cart Home Catalog Community New & Upcoming Books Ebook Online Learning Order About PDF Catalog 初めてのTensorFlow.js ――JavaScriptで学ぶ機械学習 Feedback 皆さんのご意見をお聞かせくださ い。ご購入いただいた書籍やオラ イリー・ジャパンへのご感想やご 意見、ご提案などをお聞かせくだ さい。より良い書籍づくりやサー ビス改良のための参考にさせてい ただきます。 [feedbackページへ] Gant Laborde 著、あんどうやすし 訳 2022年06月29日 発売予定 368ページ ISBN978-4-87311-993-9 原書: Learning TensorFlow.js フォーマット オライリー・ジャパンで書籍を予約注文: 定価3,960円 内容 目次 関連ファイル TensorFlow.jsの待望の入門書。TensorFlow.jsはGoogleが開発したオープンソ ースのJavaScriptライブラリです。JavaScriptで機械学習したければ選択肢は TensorFlow.jsだけと言っても過言ではありません。本書では、JavaScriptエン ジニアやAIエキスパートを対象に、サンプルを使った実践的なアプローチで TensorFlow.jsの基礎から応用までを解説します。読者はウェブ開発者という立 ち位置を変えずにJavaScriptとブラウザで学べます。JavaScriptでAIを活用しよ うと真剣に考えているエンジニアにお勧めです。 関連書籍 Node.jsデザインパターン 第2版 scikit-learn、Keras、TensorFlowによる実践機械学習 第2版 動かして学ぶAI・機械学習の基礎 生成 Deep Learning ゼロから作るDeep Learning 初めてのJavaScript 第3版 ハンズオンJavaScript ハンズオンNode.js プログラミングTypeScript O'Reilly Japan, Inc. 〒160-0002 東京都新宿区四谷坂町12番22号 [email protected] 新刊情報 カタログ Makezine オラの村 取扱書店 Bookclub フィードバック ご注文 企業概要 個人情報について • Google が開発したオープンソースの JavaScript Library • JavaScript だから汎⽤性が⾼い • 動作速度は？ • TensorFlow (Python) で 学習したモデルを読み込んで， ブラウザ側で推論することも可能

deepImageJ • Segmentation • Denoising • Super-Resolution ⇒ ImageJ/FIJI のプラグイン https://deepimagej.github.io/deepimagej/

• https://deepimagej.githu

deepImageJ の超解像を適⽤した画像 元画像 超解像適⽤画像

まとめ • 最近は学習済みモデルを含む多数の AI が公開 • ⾃施設のデータで学習を⾏わないのであれば導⼊は簡単 ⇒ 臨床検査に導⼊するには倫理的な問題を解決する必要がある • 深層学習の登場により 従来に⽐べて様々な特徴を捉えられるようになった • 深層学習の発展により 従来は全く異なる技術で解かれていた 課題が統⼀的な⼿法で解ける ⇒ 分野間の距離が縮まった

医⽤画像領域の AI • 教師データの作成に医⽤情報が必要 ⇒ 医療従事者の介在が必須 ⇒ 研究 << 臨床: ⽬新しさよりも安定を求める傾向 • 医⽤画像領域の AI を⾏う最⼤の課題は教師データの取得 ⇒ 公開データは本当に正しいデータなのか不明 ⇒ ⾃施設での臨床応⽤には⾃施設のデータでモデル作成が必須 ⇒ 薬事などの問題が解決しないと実現不可能 • 肺がんや乳がんなどの診断⽀援 AI は教師データが多く， 臨床検査に導⼊されているが， データの集まらない領域 (疾患) の AI にこそ価値がある ⇒ 医療領域へ AI が展開するには教師なし⼿法の発展が必要 LUCHINI, Claudio; PEA, Antonio; SCARPA, Aldo. Artificial intelligence in oncology: current applications and future perspectives. British Journal of Cancer, 2022, 126.1: 4-9.

⾦持ちの研究所から出てきた 機械学習の論⽂なんてゴミだ • GESMUNDO, Andrea; DEAN, Jeff. • An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems. • arXiv preprint arXiv:2205.12755, 2022. • 複雑で進化的なマルチタスク学習の アルゴリズムについて書いてあって興味深い • モデルのトレーニング費⽤に必要な計算⼒を ⺠間のクラウドサービスを使ったと 仮定すると 700 万円程度 • 既存のベンチマークで 先⾏研究より精度が 0.03 %向上 https://ezoeryou.github.io/blog/article/2022-05-28-no-trust-from-top-labs-paper.html

• https://e

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた ⼤阪公⽴⼤学医学部附属病院 ⼭永隆史先⽣ 第 42 回 ⽇本核医学技術学会 総会学術⼤会 実⾏委員の先⽣ ⽅， 深く感謝申し上げます．