[DL輪読会]Learning from Irregularly-Sampled Time Series: A Missing Data Perspective (ICML2020)

DEEP LEARNING JP [DL Papers] “Learning from Irregularly-Sampled Time Series A Missing Data Perspective” Jun Hozumi, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • Title: Learning from Irregularly-Sampled Time Series A Missing Data Perspective • Author: Steven Cheng-Xian Li and Benjamin M. Marlin • University of Massachusetts Amherst • Conf.: ICML 2020 • Paper: https://arxiv.org/abs/2008.07599 • Slides: https://icml.cc/media/Slides/icml/2020/virtual(no-parent)-14-14-00UTC6300-learning_from_i.pdf • スライド中の図表は主に上の2つから引用 2

• https://arxiv.org/abs/2008.07599
• https://icml.cc/media/Slides/icml/2020/virtual(no-parent)-14-14-00UTC-6300-learning_from_i.pdf

本資料の構成 • 手法のキモが2つに分けられるため、それぞれごとに実験を紹介します • 背景、目的 • 提案手法 1: 不規則にサンプリングされたデータの再構成法 • 実験 1 • 提案手法 2: 時系列の再構成法 • 実験 2 • 結論 3

背景 • 実世界の時系列は一定周期でサンプリングできるとは限らない • • • ex. 患者の生体データなど 複数の時系列を観測するとき、すべて同じタイミングで観測できるとは限らない • 観測時刻と観測回数 • すごくスパースになりがち 時系列を取り扱うアルゴリズムの多くは、固定次元のデータを必要とする 4

目的 • • 今回考える問題: （固定長内で）不規則にサンプリングされた時系列から分布を学習する • 学習して、潜在変数の推定や分類を行う • この問題はデータ欠損問題と言い換えられる 本研究の目的: 不規則にサンプリングされた時系列データから分布を学習するためのス ケーラブルなフレームワークを開発する • 最終的に既存手法を上回り、より高速に学習できる手法を示す 5

凡例 • インデックスセットをIとし、𝑡 ⊂ 𝐼がインデックス、そこでの観測を𝑥とする 6

Partial Varational Autoencoder (P-VAE) • tを条件のように扱うVAEを設計する(P-VAE) 7

マスク関数 • 観測されない部分を0とするマスク関数𝑚を導入する • エンコーダへの入力は𝑞𝜙 𝑧 𝑥, 𝑡 = 𝑞𝜙 𝑧 𝑚(𝑥, 𝑡) = 𝒩(𝑧|𝜇𝜙 𝑚 𝑥, 𝑡 , Σ𝜙 𝑚 𝑥, 𝑡 )となる 8

確率的エンコーダの設定 • マスクのされ方によって、正しいとされる出力は複数パターン存在しうる • （決定論的に）VAEをそのまま学習させるということはできない （MNISTの潜在空間） （とり得る再構成結果） 9

Partial Bidirectional GAN (P-BiGAN) • P-VAEをGANの方法で学習する(P-BiGAN) • デコーダの出力が本物に近づくよう(𝑥, 𝑡, 𝑧)の組の識別機𝐷を学習させる 10

正規化項 • P-BiGANの誤差項に正規化項としてVAEの誤差項を加えると学習が改善される （P-BiGANのLoss） 11

実問題への適用法 • P-VAEによって、欠損値補完や分類などの問題に対応できる （欠損値補完の場合） （分類の場合） 12

比較対象: MisGAN • 入力とマスクを同時に学習させるMisGANを比較対象とする 13

実験 1-1 • 90%マスクをかけた状態からの元画像の復元実験 14

実験 1-2 • マスク率を変えて復元実験を行い、FID(Fréchet Inception Distance)を比較 • P-VAEだと画像がぼやけてスコアが悪化しがちだが、P-BiGANだと高スコア 15

手法2: 不規則にサンプリングされた時系列への対処 • [0, T]で不規則にサンプリングされた時系列でこれらを学習するにはどうすればいいか？ 16

デコーダ • デコーダからは一定間隔𝑢で出力 • それらをEpanechnikovカーネル 𝐾 によるスムーザを用いて補完したものを最終的な出力 とする 17

エンコーダ: 連続畳み込み層 • 1次のB-スプライン曲線による連続カーネル𝑤(𝑡)で入力を一定間隔𝑢に畳み込む • • カーネルとマスク関数の相互相関をとる それをCNNエンコーダに入れる 18

アーキテクチャまとめ • 以上の機構を導入することで、P-VAEは不規則にサンプリングされた時系列に対応でき る 19

実験 2 • MIMIC-IIIによる死亡予測（分類）タスク • • 12種類の不規則にサンプリングされた生体時系列データ、平均死亡率8.10% 提案手法によって高速かつ高精度の分類が実現している 20

結論 • 不規則にサンプリングされた時系列データのモデリング手法を提案した • 欠損データに対するエンコーダ・デコーダのフレームワークを提案 • P-VAE • P-BiGAN • （連続）時系列データのモデリング手法を提案 • カーネルスムーザによるデコーダ • 連続畳み込み層 • 提案手法は既存手法に比べ高精度かつ学習時間を大幅に短縮できた 21