【DL輪読会】Generative Time Series Models with InterpretableLatent Processes for Complex Disease Trajectories(NIPS 2023)

Generative Time Series Models with Interpretable Latent Processes for Complex Disease Trajectories (NIPS 2023) 松尾研 輪読会 2024.2.9 東京慈恵会医科⼤学 博⼠課程D3 佐野 圭

コンセプト
Time-series Data
𝑥 = 𝑥!:# ∈ 𝑅 $×#
𝑦 = 𝑦!:# ∈ 𝑅 &×#
𝑧 = 𝑧!:# ∈ 𝑅 '×#
Context
𝑐 = {τ, 𝑝, 𝑠}
τ = τ!:# ∈ 𝑅 #
𝑝 = 𝑝!:# ∈ 𝑅 &×#
𝑠 ∈ 𝑅(
実測データXや診断ラベルyの“不規則な”系列データが与えられたときに
X,yに関する未来データを予測したい（疾患進⾏予測など）

モデル概要

Prior Network
𝑝! 𝑧 𝑐 = ∏%"#$ ∏'&#$ 𝒩 𝑧"& µ&! 𝑐" , σ&! 𝑐"
Decoder Netowrk
𝑝( 𝑥 𝑧, 𝑐 ∏%"#$ ∏)∈𝒢 𝒩 𝑥") µ)( , σ)( ∏&∈𝒦 𝐶 𝑥"& 𝑝(&
Guidance Network
𝑝- 𝑦 𝑧, 𝑐 ∏%"#$ ∏/.#$ ∏0∈1

.

0

0

2 .

𝐶 𝑦" ℎ- 𝑧"

, 𝑐"

Generative Model
𝒑𝝍 𝒚, 𝒙, 𝒛 𝒄 = 𝒑" 𝒚 𝒛, 𝒄 𝒑𝝅 𝒙 𝒛, 𝒄 𝒑𝝓 𝒛 𝒄

Inference Model (with LSTM)
𝑻

𝑳

𝒒𝛉 𝒛 𝒙𝟎:𝒌 , 𝒄 = ) ) 𝓝 𝒛𝒍𝒕 𝛍𝒍𝛉 𝒙𝟎:𝒌 , 𝒄 , 𝛔𝒍𝛉 𝒙𝟎:𝒌 , 𝒄
𝒕*𝟏 𝒍*𝟏

潜在変数の事前分布 (Prior Network) Gaussian Distribution Gaussian Process 5 𝑳×𝑻 𝒛 = 𝒛𝟏:𝑻 ∈ 𝑹 3 0 4*2 5 𝑝0 𝑧 𝑐 = ) ) 𝒩 1*2 4*2 0 𝑝0 𝑧 𝑐 = ) GP 𝑧4 𝑚4 𝑐 , 𝑘4 𝑐, 𝑐 6 𝑧14 µ40 𝑐1 , σ40 𝑐1 0 𝑘4 𝑐, 𝑐 6 𝑐 − 𝑐6 7 = σ4 exp − 2λ74 7 zの各要素は正規分布を仮定し 事前学習でその平均と分散を最適化する. ここで時間t⽅向への連続性を考慮するために ガウス過程でモデリングした. 平均関数mとカーネル関数kのパラメータΦに関する最適化問題となる.

学習
𝑝8

𝑝8 𝑦, 𝑥, 𝑧 𝑐
𝑝8 𝑦, 𝑥, 𝑧 𝑐
𝑧 𝑦, 𝑥, 𝑐 =
=
𝑝8 𝑦, 𝑥 𝑐
∫ 𝑝8 𝑦, 𝑥, 𝑧 𝑐 𝑑𝑧
↓
q関数をおいて変分推論

θ∗ , ψ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛:,8 𝐾𝐿 𝑞: 𝑧 𝑥, 𝑐 |𝑝8 𝑧 𝑥, 𝑦, 𝑐
↓
上記の最適化タスク=ELBO最⼤化
最終的なLoss
%

ℒ𝓅 = /
"#4

5!:# 𝑡 , σ
5!:# 𝑡 , 𝑥
2
𝑁𝐿𝐿 µ2
$:7
#$!:% 𝑡 , 𝑥
+α ∗ 𝐶𝐸 π52
78$:9
:;<=; , σ2
:;<=; , µ
:=>" 𝑡 , σ
:=>" 𝑡
2
2
+β ∗ 𝐾𝐿 µ2

ELBO
𝓛𝓚 𝝍, 𝜽; 𝒙, 𝒚, 𝒄 = 𝑬𝒒𝜽 𝒛 𝒙𝟘:𝒌, 𝒄 𝒍𝒐𝒈 𝒑𝝅 𝒙 𝒛, 𝒄
+𝛂𝑬𝒒𝜽 𝒛 𝒙𝟘:𝒌, 𝒄 𝒍𝒐𝒈 𝒑𝜸 𝒚 𝒛, 𝒄
−𝜷𝑲𝑳 𝒒𝜽 𝒛 𝒙𝟎:𝒌, 𝒄 |𝒑𝝓 𝒛 𝒄
Optimization
𝑵

𝝉𝒊

𝝍∗, 𝜽∗ = 𝒂𝒓𝒈𝒎𝒂𝒙𝝍,𝜽 2 2 𝓛𝓴 𝝍, 𝜽; 𝒙𝒊 , 𝒚𝒊 , 𝒄𝒊
𝒊&𝟏 𝒌&𝟎

𝑞∗ 𝑦 𝑥-:/ , 𝑐 = ;𝑝0∗ 𝑦 𝑧, 𝑐 𝑞∗ 𝑧 𝑥-:/ , 𝑐 𝑑𝑧
𝑞∗ 𝑥 𝑥-:/ , 𝑐 = ;𝑝1∗ 𝑥 𝑧, 𝑐 𝑞∗ 𝑧 𝑥-:/ , 𝑐 𝑑𝑧

trajectoryの再構成 Decoder (Z to X) Guidance (Z to y) 𝑞8∗ 𝑧9:: 𝑥9:: , 𝑐9:: 𝑞8∗ 𝑧9:: 𝑥9:: , 𝑐9:: ↓ ↓ 𝓗𝓲 = 𝑬 𝒊 𝒊 𝒒𝛉∗ 𝒛𝟙:𝑻 𝒙𝟙:𝑻 , 𝒄𝟙:𝑻 ↓ 𝑻𝒊 = {𝒙𝒊𝟏:𝑻, 𝒄𝒊𝟏:𝑻} 𝒛𝒊𝟏:𝑻 𝓖 = 𝑬𝒒∗𝜸 𝒛𝟙:𝑻 𝒚𝟙:𝑻, 𝒄𝟙:𝑻 𝒛𝟏:𝑻 ↓ 𝑼 = {𝒚𝟏:𝑻, 𝒄𝟏:𝑻} 適切な潜在変数(系列)が得られれば Xやyの系列データを⽣成可能（Xは再構成）

結果︓実測データ(X)のtrajectory 実測データXには連続値とカテゴリー(陽性or陰性)が混在 連続値はMAE, カテゴリーはF1スコアで評価

結果︓診断ラベル(y)のtrajectory 診断や重症度ラベルの経時的変化を予測 F1スコアで評価

結果︓潜在表現(Z)のtrajectory zのtrajectoryをk-meansでクラスタリング

結果︓潜在表現(Z)のtrajectory 代表症例pidxに類似した 近傍trajectoryを検出. 系列データ同⼠の距離指標 としてDTWを使⽤.

クラスターや近傍に対する洞察 クラスタリングは病気の確率や重症度をよく識別可能 近傍は代表症例によく類似している

まとめ 検査データや診断ラベルの系列データ予測において 臨床データのサンプリングの不規則性・頻回な⽋損が しばしば問題になる. 系列データの潜在変数モデルを考えることで解決し 複雑な臨床データにおける未来予測が可能となった.