分類2 ロジスティクス回帰、決定理論

114 Views

November 16, 26

スライド概要

大学生向けの分類の資料です。

profile-image

コンピュータを使って色々計算しています.個人的な技術に関するメモと講義資料が置いてあります.気が向いた時に資料を修正しています. 公立小松大学臨床工学科准教授 https://researchmap.jp/read0128699

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

データ解析 分類2 ロジスティック回帰、決定理論 藤田 一寿 Ver.20261116 BishopのPRMLとDeep Learning Foundations and Conceptsを参考にしています. 途中式は書いてあります.

2.

確率的生成モデル 発展

3.

確率的生成モデル • 分類を確率的な視点で考えてみる. • データ点𝒙が与えられたとき,それがクラス𝐶𝑘 である事後確率は次のように書ける. • 𝑝 𝐶𝑘 𝒙 • データ点𝒙のとき時のクラスが𝐶𝑘 である確率 • 推論段階で,この条件付き確率分布をモデル化し,その後この分布を用い最適な分類 を決定する. • 条件付き分布𝑝 𝒙 𝐶𝑘 と事前確率𝑝 𝒙 をモデル化すると,ベイズ定理により𝑝 𝐶𝑘 𝒙 は次のように書ける. • 𝑝 𝐶𝑘 𝒙 = 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 𝑝 𝒙 • これを確率的生成モデル(生成的確率モデル)という. • 各クラス条件付き確率𝑝 𝒙 𝐶𝑘 からサンプルを生成する事ができるため生成モデルと呼ば れる. 発展

4.

確率的生成モデル • 2クラス問題の場合,事後分布𝑝 𝐶1 𝒙 はベイズ定理から 𝑝 𝐶1 𝒙 = 𝑝 𝒙 𝐶1 𝑝 𝐶1 𝑝 𝒙 𝐶1 𝑝 𝐶1 1 = = 𝑝 𝒙 ∣ 𝐶1 𝑝 𝐶1 𝑝 𝒙 ∣ 𝐶2 𝑝 𝐶2 𝑝 𝒙 𝑝 𝒙 ∣ 𝐶1 𝑝 𝐶1 + 𝑝 𝒙 ∣ 𝐶2 𝑝 𝐶2 + 𝑝 𝒙 𝐶1 𝑝 𝐶1 𝑝 𝒙 𝐶1 𝑝 𝐶1 1 = 𝑝 𝒙 ∣ 𝐶2 𝑝 𝐶2 1+ 𝑝 𝒙 𝐶1 𝑝 𝐶1 • となる 発展

5.

ロジスティックシグモイド関数 • 𝑝 𝒙∣𝐶2 𝑝 𝐶2 𝑝 𝒙 𝐶1 𝑝 𝐶1 • 𝑝 𝐶1 𝒙 = = exp −𝑎 とおくと 1 1+exp(−𝑎) = 𝜎(𝑎) • と書ける. • 𝜎(𝑎)をlogistic sigmoid関数という.ロジスティックシグモイド関数は次の対称性を満たす. • 𝜎 −𝑎 = 1 − 𝜎(𝑎) • logistic sigmoid 関数の逆関数は • 𝑎 = ln 𝜎 1−𝜎 • で与えられる.これはlogit関数として知られる. 2クラスのときlogit関数は • 𝑎 = ln 𝜎 1−𝜎 = ln 𝑝 𝐶1 𝒙 𝑝 𝐶2 𝒙 • となり,これはlog oddsと呼ばれる. 発展

6.

多クラス問題とソフトマックス関数 • 𝐾 > 2の多クラス問題を考える.このときの事後確率𝑝 𝐶𝑘 𝑥 は • 𝑝 𝐶𝑘 𝒙 = 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 𝑗𝑝 𝒙 𝐶𝑗 𝑝 𝐶𝑗 • ここで 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 = exp(𝑎𝑘 )とおくと • 𝑝 𝐶𝑘 𝒙 = exp 𝑎𝑘 𝑗 exp 𝑎𝑗 • となる.𝑎𝑘 = ln 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 である. • この関数は正規化指数関数として知られ,logistic sigmoid関数の多クラスへの 一般化とみなせる. • また,この関数はsoftmax関数としても知られている. • Softmax関数はmax関数の平滑化バージョンなのでそう呼ばれる. 発展

7.

識別的分類器 discriminative classifier 発展

8.

一般化線形モデル • 別のアプローチとして,一般化線形モデルの関数形式を明示的に使用し,最大 尤度を用い,そのパラメータを直接決定する方法がある. • この直接的なアプローチでは,識別的確率モデルの形式で表現される条件付き 分布𝑝 𝐶𝑘 ∣ 𝒙 により定義された尤度関数を最大化する. • この識別的アプローチの利点の一つは,決定すべき学習可能なパラメータが一 般的に少なくないことである. • 特に,想定したクラス条件付き密度の形が真の分布を近似できていないときで も,予測性能の向上につながる可能性がある. 発展

9.

固定基底関数 • これまでは,下の入力ベクトル𝒙を直接使う分類モデルを考えてきた. • 基底関数ベクトル𝝓 𝒙 を使ってあらかじめ入力の非線形変換を行うことも考え られる.この手法はこれまで取り上げた手法にも適用できる. • この場合,特徴空間𝝓では決定境界は線形だが,もとの𝒙空間では非線形の決 定境界となる. • 右図の特徴空間では線形分離可能だが,もとの観測空間では線形分離可能である必 要はない. 元の空間 特徴空間 発展

10.

ロジスティック回帰 回帰と銘打ってあるが分類手法である.

11.

事後確率とロジスティックシグモイド関数 • 入力ベクトル𝒙を特徴ベクトル𝝓に変換する. • 特徴ベクトルがクラス𝐶1 に所属する確率(事後確率)は • 𝑝 𝐶1 𝝓 = 𝑦 𝝓 = 𝜎 𝒘𝑇 𝝓 • と書ける. 𝜎(⋅)はロジスティックスシグモイド関数である. 1 • 𝜎(𝑎) = 1+exp(−𝑎) • このモデルをロジスティック回帰という.

12.

最尤推定によるパラメタの決定 • ロジスティック回帰モデルを用い正しく分類するためには最適な重みベクトル (パラメタ)を求める必要がある. • 最尤推定を用いパラメタを決定する. 発展

13.

最尤推定によるパラメタの決定 • ここでは2クラス問題を取り扱う. • データ集合𝑋 = 𝝓𝑛 , 𝑡𝑛 , 𝑡 ∈ 0,1 , 𝑛 = 1, … , 𝑁があるとする.このときの尤度関 数は 𝑝 𝒕 𝒘 = 𝑝 𝐶1 𝒘, 𝝓1 𝑡1 1 − 𝑝 𝐶1 𝒘, 𝝓1 1−𝑡1 𝑁 = 𝑝 𝐶𝑛 𝒘, 𝝓𝑛 𝑡𝑛 1 − 𝑝 𝑛=1 𝐶1 𝒘, 𝝓𝑛 𝑁 1−𝑡𝑛 𝑦 𝝓𝑛 𝑡𝑛 1 − 𝑦 𝝓𝑛 = 1−𝑡𝑛 𝑡 𝑦𝑛𝑛 1 − 𝑦𝑛 1−𝑡𝑛 = • となる.ここで𝒕 = 𝑡1 , … , 𝑡𝑁 1−𝑡𝑁 𝑛=1 𝑁 T ⋯ 𝑝 𝐶1 𝒘, 𝝓𝑁 𝑡𝑁 1 − 𝑝 𝐶1 𝒘, 𝝓𝑁 𝑛=1 , 𝑦𝑛 = 𝑦 𝝓𝑛 = 𝜎 𝒘𝑇 𝝓𝑛 とした. 1−𝑡1 なぜ𝑝 𝐶1 𝒘, 𝝓1 𝑡1 1 − 𝑝 𝐶1 𝒘, 𝝓1 なのか. 𝝓1がクラス𝐶1である場合𝑡1 = 1となる.このとき𝑡1 − 1 = 0となる.よって, 𝝓1がクラス𝐶1で ある場合は𝑝 𝐶1 𝒘, 𝝓1 が残り, 𝝓1がクラス𝐶2である場合は𝑝 𝐶2 𝒘, 𝝓1 = 1 − 𝑝 𝐶1 𝒘, 𝝓1 が残る. 𝑝 𝐶1 𝒘, 𝝓1 は 𝝓1 がクラス𝐶1 である確率 を表す.つまり,𝑝 𝐶1 𝒘, 𝝓1 = 𝑝 𝑡1 = 1 𝒘, 𝝓1 となる. また, 𝑦 𝝓 = 𝜎 𝒘𝑇 𝝓 だから,最終的に𝒘は見えなくなる(𝑦𝑛 の中に入っている). 発展

14.

最尤推定によるパラメタの決定 • 誤差関数を負の対数尤度とする.これをクロスエントロピー誤差関数という. 𝑁 𝐸 𝒘 = − ln 𝑝 𝒕 𝒘 = − 𝑦𝑛′ = 𝑛=1 𝑁 =− 𝑑𝜎 𝒘𝑇 𝝓𝑛 𝑑 1 = 𝑑𝒘 𝑑𝒘 1 + exp −𝒘𝑇 𝝓𝑛 −𝝓𝑛 exp −𝒘𝑇 𝝓𝑛 = 1 + exp −𝒘𝑇 𝝓𝑛 2 𝝓𝑛 − exp −𝒘𝑇 𝝓𝑛 = 1 + exp −𝒘𝑇 𝝓𝑛 1 + exp −𝒘𝑇 𝝓𝑛 = 𝝓𝑛 𝜎 −𝒘𝑇 𝝓𝑛 1 − 𝜎 −𝒘𝑇 𝝓𝑛 = 𝝓𝑛 𝑦𝑛 1 − 𝑦𝑛 𝑡 ln 𝑦𝑛𝑛 1 − 𝑦𝑛 1−𝑡𝑛 𝑡𝑛 ln 𝑦𝑛 + 1 − 𝑡𝑛 ln 1 − 𝑦𝑛 𝑛=1 • これを𝒘について微分すると ∇𝐸 𝒘 = − 𝑁 ∇𝐸 𝒘 = 𝑁 𝑦𝑛 − 𝑡𝑛 𝝓𝑛 𝑁 =− 𝑛=1 • となる. 𝑛=1 𝑁 =− 𝑛=1 𝑡𝑛 𝑦𝑛′ −𝑦𝑛′ + 1 − 𝑡𝑛 𝑦𝑛 1 − 𝑦𝑛 𝑡𝑛 𝝓𝑛 𝑦𝑛 1 − 𝑦𝑛 −𝝓𝑛 𝑦𝑛 1 − 𝑦𝑛 + 1 − 𝑡𝑛 𝑦𝑛 1 − 𝑦𝑛 𝑁 𝑡𝑛 𝝓𝑛 1 − 𝑦𝑛 − 1 − 𝑡𝑛 𝝓𝑛 𝑦𝑛 = − 𝑛=1 𝑁 =− 𝑛=1 𝑛=1 𝑁 𝑡𝑛 − 𝑦𝑛 𝝓𝑛 = 𝑡𝑛 − 𝑡𝑛 𝑦𝑛 − 𝑦𝑛 + 𝑡𝑛 𝑦𝑛 𝝓𝑛 𝑦𝑛 − 𝑡𝑛 𝝓𝑛 𝑛=1 • データが一つづつ提供される場合(online学習する場合),入力𝒙𝑛 に対応する勾 配の𝑛番目の項を用いた勾配法を使えば最適な𝒘が求まる. 発展

15.

ニュートン-ラフソン法 • wを尤度関数から解析的に求めるのは難しい.そこでニュートン-ラフソン法( ニュートン法)を用いた反復最適化法を用い,batch学習により最適なwを求め ることにする. • 関数𝐸(𝑤)を最小化するニュートン-ラフソン法の𝒘の更新式は • 𝒘new = 𝒘 − 𝐇 −1 ∇𝐸 𝒘 • と書かれる.𝐇は𝒘に関する𝐸(𝒘)の2階微分を要素とするヘッシアンである. 発展

16.

クロスエントロピーのヘッシアン • ロジスティック回帰におけるクロスエントロピー誤差関数の勾配は次のように 書ける. • ∇𝐸 𝒘 = 𝑁 𝑛=1 𝑦𝑛 − 𝑡𝑛 𝝓𝑛 = 𝚽 T (𝒚 − 𝒕) • ここで𝚽は𝑁×𝑀の行列であり,𝑛番目の行は𝝓T𝑛 で与えられる. 途中式 𝑁 ∇𝐸 𝒘 = 𝑦1 − 𝑡1 𝑦𝑛 − 𝑡𝑛 𝝓𝑛 = 𝑦1 − 𝑡1 𝝓1 + ⋯ + 𝑦𝑁 − 𝑡𝑁 𝝓𝑁 = 𝝓1 , … , 𝝓𝑁 𝑦𝑁 − 𝑡𝑁 𝑛=1 𝜙11 ⋮ = 𝜙1𝑀 ⋯ 𝜙𝑁1 ⋱ ⋮ ⋯ 𝜙𝑁𝑀 ⋮ 𝑦1 ⋮ 𝑦𝑁 𝑡1 − ⋮ 𝑡𝑁 𝜙11 ⋮ = 𝜙𝑁1 ⋯ 𝜙1𝑀 T ⋱ ⋮ 𝒚 − 𝒕 = 𝚽T (𝒚 − 𝒕) ⋯ 𝜙𝑁𝑀 発展

17.

クロスエントロピーのヘッシアン • ヘッシアンは勾配の微分なので • 𝐇 = ∇∇𝐸 𝒘 = 𝚽 T 𝐑𝚽 • となる.𝐑は𝑁×𝑁の対角行列を表し,𝑅𝑛𝑛 = 𝑦𝑛 1 − 𝑦𝑛 である. • 𝐑を重み付け行列という. 途中式 𝐇 = ∇∇𝐸 𝒘 = ∇ 𝚽T 𝒚 − 𝒕 = 𝚽 T diag 𝑦1 1 − 𝑦1 diagは対角行列を表す. = ∇𝚽 T 𝒚 = ∇𝚽T ⋯ 𝑦𝑁 1 − 𝑦𝑁 𝑦1 ⋮ 𝑦𝑁 = 𝚽T 𝑦1 1 − 𝑦1 𝝓1 ⋮ 𝑦𝑁 1 − 𝑦𝑁 𝝓𝑛 𝝓1 ⋮ = 𝚽 T 𝐑𝚽 𝝓𝑁 発展

18.

更新式 • ニューロン-ラフソン法による𝒘の更新式は次のようになる. 𝒘 new =𝒘−𝐇 T −1 T −1 = 𝚽 𝐑𝚽 = 𝚽 𝐑𝚽 −1 T ∇𝐸 𝒘 = 𝒘 − 𝚽 𝐑𝚽 T 𝚽 𝐑 𝚽𝒘 − 𝐑 𝚽T 𝒚 − 𝒕 T T = 𝚽 𝐑𝚽 −1 𝚽 T 𝐑𝚽𝒘 − 𝒚 − 𝒕 −1 T −1 𝚽 T 𝐑𝐳 𝚽 𝐑𝚽𝒘 − 𝚽 𝒚 − 𝒕 T −1 𝒚−𝒕 = 𝚽 𝐑𝚽 • ここで,𝐳は次の式で表される𝑁次元ベクトルである. • 𝐳 = 𝚽𝒘 − 𝐑−1 𝒚 − 𝒕 • 𝑤を求める正規方程式が求まったが,𝑤を求めるためには繰り返し計算をする 必要がある. • 𝐑も𝒘に依存しているため,繰り返し計算し直さねばならない. • このことから,このアルゴリズムを反復再重みつけ最小二乗法(IRLS: Iterative Reweighted Least Squares method)と呼ばれる. 発展

19.

多クラスロジスティック回帰 • 多クラス分類においては,事後確率がソフトマックス関数で与えられることを 以前述べた. • 𝑝 𝐶𝑘 𝝓 = 𝑦𝑘 𝝓 = exp 𝑎𝑘 𝑗 exp 𝑎𝑗 • ここで𝑎𝑘 = 𝒘T𝑘 𝝓である. • 分類を正確に行うためには最適なパラメタ𝒘𝑘 を求める必要がある. • ここでも最尤推定を用いパラメタ𝒘𝑘 を求める. 発展

20.

多クラスロジスティック回帰 • データ集合𝑋 = 𝝓𝑛 , 𝒕𝑛 , 𝒕𝑛 = 𝑡𝑛1 , … , 𝑡𝑛𝑘 , … , 𝑡𝑛𝐾 , 𝑡𝑛𝑘 ∈ 0,1 , 𝑛 = 1, … , 𝑁があると する. • 𝝓𝑛 が所属しているクラスを𝐶𝑘 とした場合,目的変数𝒕𝑛 の𝑘番目の要素が1でそ れ以外は0となる(1-of-k coding). • 尤度関数は • 𝑝 𝐓 𝒘1 , … , 𝒘𝑘 = 𝑁 𝑛=1 𝐾 𝑘=1 𝑝 𝐶𝑘 𝝓𝑛 𝑡𝑛𝑘 = 𝑁 𝑛=1 𝑡𝑛𝑘 𝐾 𝑦 𝑘=1 𝑛𝑘 𝑡 • ここで𝑦nk𝑛𝑘 = 𝑦𝑡 𝝓𝑛 , 𝐓 = 𝒕1 , … , 𝒕𝑛 , … , 𝒕𝑁 とする. • 目的関数(負の対数尤度)は • 𝐸 𝒘1 , … , 𝒘𝑘 = − ln 𝑝 𝐓 𝒘1 , … , 𝒘𝑘 = − 𝑁 𝑛=1 𝐾 𝑘=1 𝑡𝑛𝑘 ln 𝑦𝑛𝑘 • となる.これは多クラス分類問題におけるクロスエントロピーである. 発展

21.

目的関数の勾配 • 𝒘𝑗 に関する目的関数の勾配は • ∇𝒘𝑗 𝐸 𝒘1 , … , 𝒘𝑘 = 𝑁 𝑛=1 𝑦𝑛𝑗 − 𝑡𝑛𝑗 𝝓𝑛 • となる.これを使ったonline学習を行うことができる. 𝑁 ∇𝒘𝑗 𝐸 𝒘𝟏, … , 𝒘𝑘 = −∇𝒘𝑗 1 まず,∇𝒘𝑗 ln 𝑦𝑛𝑗 = 𝑦 ∇𝒘𝑗 𝑦𝑛𝑗 を求める. 𝑛𝑗 ∇𝒘𝑗 𝑦𝑛𝑗 = ∇𝒘𝑗 = 𝝓𝑛 exp 𝑎𝑗 よって 𝐾 𝑡𝑛𝑘 ln 𝑦𝑛𝑘 𝑛=1 𝑘=1 ∇𝒘𝑗 exp 𝑎𝑗 exp 𝑎𝑗 𝑘 exp 𝑎𝑘 − exp 𝑎𝑗 ∇𝒘𝑗 exp 𝑎𝑗 = 2 𝑘 exp 𝑎𝑘 𝑘 exp 𝑎𝑘 2 𝝓𝑛 exp 𝑎𝑗 exp 𝑎𝑗 𝑘 exp 𝑎𝑘 − 𝝓𝑛 exp 2𝑎𝑗 = − 𝝓𝑛 = 𝝓𝑛 𝑦𝑛𝑗 1 − 𝑦𝑛𝑗 2 𝑘 exp 𝑎𝑘 𝑘 exp 𝑎𝑘 𝑘 exp 𝑎𝑘 1 ∇𝒘𝑗 ln 𝑦𝑛𝑗 = ∇ 𝑦 = 𝝓𝑛 1 − 𝑦𝑛𝑗 𝑦𝑛𝑗 𝒘𝑗 𝑛𝑗 𝑁 ∇𝒘𝑗 𝐸 𝒘𝟏, … , 𝒘𝑘 = − 𝐾 𝑡𝑛𝑗 𝝓𝑛 1 − 𝑦𝑛𝑗 + 𝑛=1 𝑘≠𝑗 𝑁 =− 𝐾 𝝓𝑛 𝑡𝑛𝑗 1 − 𝑦𝑛𝑗 − 𝑦𝑛𝑗 𝑛=1 𝑁 =− 𝑡𝑛𝑘 𝑘≠𝑗 𝑁 𝝓𝑛 𝑡𝑛𝑗 + −𝑦𝑛𝑗 = 𝑛=1 𝑡𝑛𝑘 −𝝓𝑛 𝑦𝑛𝑗 1-of-K codingなので 𝝓𝑛 𝑦𝑛𝑗 − 𝑡𝑛𝑗 𝑛=1 𝐾 𝑘=1 𝑡𝑛𝑘 = 1となることを利用した. 1 次に, ∇𝒘𝑗 ln 𝑦𝑛𝑖 = 𝑦 ∇𝒘𝑗 𝑦𝑛𝑖 を求める. 𝑛𝑖 ∇𝒘𝑗 𝑦𝑛𝑖 = ∇𝒘𝑗 − exp 𝑎𝑖 ∇𝒘𝑗 exp 𝑎𝑗 −𝝓𝑛 exp 𝑎𝑖 exp 𝑎𝑗 exp 𝑎𝑖 = = = −𝝓𝑛 𝑦𝑛𝑗 𝑦𝑛𝑖 2 2 𝑘 exp 𝑎𝑘 𝑘 exp 𝑎𝑘 𝑘 exp 𝑎𝑘 1 ∇𝒘𝑗 ln 𝑦𝑛𝑖 = ∇ 𝑦 = −𝝓𝑛 𝑦𝑛𝑗 𝑦𝑛𝑖 𝒘𝑗 𝑛𝑖 発展

22.

ヘッシアン • 𝒘𝑘 に関する目的関数のヘッシアンは • ∇𝒘𝑘 ∇𝒘𝑗 𝐸 𝒘1 , … , 𝒘𝑘 = 𝑁 𝑛=1 𝑦𝑛𝑘 𝐼𝑘𝑗 − 𝑦𝑛𝑗 𝝓𝑛 𝝓T𝑛 • となる.𝐼𝑘𝑗 は𝐾×𝐾の単位行列の要素である. • ヘッシアンが求まれば,Newton-Raphson法を用いたbatch学習が可能となる. 途中式 𝑁 𝑁 𝑦𝑛𝑗 − 𝑡𝑛𝑗 𝝓T𝑛 = ∇𝒘𝑘 ∇𝒘𝑗 𝐸 𝒘𝟏, … , 𝒘𝑘 = ∇𝒘𝑘 𝑘 = 𝑗のとき 𝑛=1 ∇𝒘𝑘 𝑦𝑛𝑗 𝝓T𝑛 𝑛=1 𝑁 1 − 𝑦𝑛𝑗 𝝓𝑛 𝝓T𝑛 ∇𝒘𝑘 ∇𝒘𝑗 𝐸 𝒘𝟏, … , 𝒘𝑘 = 𝑛=1 𝑘 ≠ 𝑗のとき 𝑁 −𝑦𝑛𝑗 𝝓𝑛 𝝓T𝑛 ∇𝒘𝑘 ∇𝒘𝑗 𝐸 𝒘𝟏 , … , 𝒘𝑘 = 𝑛=1 𝑘 = 𝑗のとき1,𝑘 ≠ 𝑗のとき0となるような変数は 𝐾×𝐾の単位行列の要素あるから, 𝑁 𝑦𝑛𝑘 𝐼𝑘𝑗 − 𝑦𝑛𝑗 𝝓𝑛 𝝓T𝑛 ∇𝒘𝑘 ∇𝒘𝑗 𝐸 𝒘𝟏 , … , 𝒘𝑘 = となる. 𝑛=1 発展

23.

ニューラルネットワーク表現 • 線形分類モデルは図のように単層のニューラルネットワークとして表現するこ とができる. • 各基底関数はノードで表され,青のノードはバイアス基底関数𝜙0 を表す.各出力 𝑦1 … 𝑦𝐾 もノードで表される.リンクは対応する重みとバイアスパラメタを表す. • 基底関数𝜙𝑖 𝑥 と出力ユニット𝑦𝑘 を結ぶ重み𝑤𝑖𝑘 に関する誤差関数の導関数を考 えると • ∇𝒘𝑗 𝐸 𝒘1 , … , 𝒘𝑘 = • 𝜕𝐸 𝒘1 ,…,𝒘𝑘 𝜕𝑤𝑖𝑗 = 𝑁 𝑛=1 𝑦𝑛𝑗 − 𝑡𝑛𝑗 𝑁 𝑛=1 𝑦𝑛𝑗 − 𝑡𝑛𝑗 𝜙𝑖 𝒙𝑛 𝝓𝑛 𝑦𝑗 𝜙𝑖 𝑤𝑖𝑗 • この勾配は,各データ点𝑛について,重みを表すリンクの入力端の基底関数の 出力と,出力端における「誤差」 𝑦𝑛𝑗 − 𝑡𝑛𝑗 の形をとっていることが分かる. 発展

24.

決定理論

25.

決定 • 入力𝒙と目標変数𝑡があり,𝒙の新たな値に対する𝒕を予測する. • 回帰問題では𝒕は連続であり,クラス分類では𝒕はクラスラベルを表す. • 訓練データ集合から𝑝 𝒙, 𝒕 を決めることは推論(inference)の例である. • クラス分類における推論問題は,同時分布𝑝 𝒙, 𝐶𝑘 あるいは𝑝 𝒙, 𝒕 を決めること である. • さらにクラス分類では,𝒙が所属するクラスを決定しなければならない.

26.

クラスの選択 • 𝒙がクラスC𝑘 に属する確率𝑝 𝐶𝑘 𝑥 をベイズ定理を用い表すと次のようになる. • 𝑝 𝐶𝑘 𝒙 = 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 𝑝 𝒙 • これらの確率は同時分布𝑝 𝒙, 𝐶𝑘 から求まる. • ここで, 𝑝 𝐶𝑘 を暮らすの事前確率とし, 𝑝 𝐶𝑘 𝒙 を事後確率とする. • 事後確率 𝑝 𝐶𝑘 𝒙 は,入力𝑥を得たことによってベイズ定理により修正された クラスの確率と見なせる. • 𝒙を誤ったクラスに分類する可能性を最小にしたければ,直感的には高い 𝑝 𝐶𝑘 𝒙 を持つクラスを選べば良い.

27.

誤り確率の最小化 • できるだけ誤識別を少なくすることを目標とする. • まず,2クラスの識別問題を考える. • ここで,𝐶𝑘 クラスに所属するデータ点𝒙は領域𝑅𝑘 に属しているとする. • 各クラスに一つずつ対応する領域𝑅𝑘 を決定領域という. • 誤り確率は次のように書ける. • 𝑝 mistake = 𝑝 𝒙 ∈ 𝑅1 , 𝐶2 + 𝑝 𝒙 ∈ 𝑅2 , 𝐶1 = 𝑅 𝑝 𝒙, 𝐶2 𝑑𝑥 + 𝑅 𝑝 𝒙, 𝐶1 𝑑𝑥 1 2 • この誤り確率が小さくなるよう𝒙を割り振りたい. • つまり, 𝑝 𝒙, 𝐶1 > 𝑝 𝒙, 𝐶2 ならば𝒙はクラス𝐶1 に割り振るべきである. • 乗法定理から 𝑝 𝒙, 𝐶𝑘 = 𝑝 𝐶𝑘 ∣ 𝒙 𝑝 𝒙 で,どのクラスでも 𝑝 𝒙 は同じなのだか ら𝒙は𝑝 𝐶𝑘 ∣ 𝒙 が最も大きいクラスに割り振れば良い.

28.

正解率の最大化 • 𝑘クラスの識別問題における正解の確率を考える. • 𝑝 correct = 𝐾 𝑘=1 𝑝 𝒙 ∈ 𝑅𝑘 , 𝐶𝑘 = 𝐾 𝑘=1 𝑅𝑘 𝑝 𝒙, 𝐶𝑘 𝑑𝑥 • 正解の確率は,𝒙を𝑝 𝒙, 𝐶𝑘 が最大となるクラスに割り当てるように領域𝑅𝑘 を選 んだときに最大となる. • 乗法定理から 𝑝 𝒙, 𝐶𝑘 = 𝑝 𝐶𝑘 ∣ 𝒙 𝑝 𝒙 で,どのクラスでも 𝑝 𝒙 は同じなのだか ら𝒙は𝑝 𝐶𝑘 ∣ 𝒙 が最も大きいクラスに割り振れば良い.

29.

識別と損失関数 • 応用では単に誤識別を減らせば良いというわけではない. • 例えば,ガンでない人にガンと診断する間違いより,ガンの人にガンでないと診断 する間違いのほうを減らしたいだろう. • 利用可能な決定や行動の価値や損失を定式化した損失関数(loss function)もし くはコスト関数(cost function)を定式化することで,例で上げたようなより複 雑な識別問題に対応する . • 損失やコストは小さければ小さいほうが良いので,目標は損失関数の最小化と なる.

30.

損失行列 • 損失を識別と正解の組み合わせごとに設定することを考える. • 𝐶𝑘 クラスに所属する𝒙を識別器が𝐶𝑗 クラスであると決定したとしよう. • このときの損失を𝐿𝑘𝑗 とすると,これを𝑘, 𝑗成分とする行列を考えることが出来 る.この行列を損失行列𝐿という. • 例えばガンの場合,次のように設定する. 正解 識別結果 ガン 正常 ガン 正常 0 1000 1 0 • この例では,ガンを正常と判断する間違いをなるべく避けたいため,この場合 の損失が極端に大きくしている.

31.

期待損失の最小化 • 損失を最小にするようクラス分けを行いたい. • そこで損失の期待値(期待損失)を最小にする.損失の期待値は • 𝐸𝐿 = 𝑘 𝑗 𝑅𝑗 𝐿𝑘𝑗 𝑝 𝒙, 𝐶𝑘 𝑑𝑥 • となる. 𝐶𝑘 クラスに所属する𝒙を識別器 が𝐶𝑗 クラスであると決定したと しよう. • 我々の目的はこの期待値を最小にするよう決定領域𝑅𝑗 を選ぶことになる. • 難しいので𝒙が1つのみの場合考える. 𝒙が𝐶𝑗 クラスに割り当てられたとすると期待損 失は • 𝑘 𝐿𝑘𝑗 𝑝 𝑥, 𝐶𝑘 = 𝑘 𝐿𝑘𝑗 𝑝 𝐶𝑘 ∣ 𝑥 𝑝 𝑥 • である. 𝑝 𝑥 は共通なので,𝐸 𝐿 を最小にするには 𝑘 𝐿𝑘𝑗 𝑝 𝐶𝑘 ∣ 𝑥 が最小となるクラ スに割り当てれば良い.つまりこれが期待損失を最小とする決定規則となる.

32.

棄却オプション • クラス分類の間違いが起こるときは, • 𝑝 𝐶𝑘 ∣ 𝑥 の最大値が1より著しく小さく(つまり条件付き確率はどれも低い),𝒙をどのクラスに割 り当ててよいか分からないときか • 同時確率𝑝 𝒙, 𝐶𝑘 が拮抗していて, どのクラスに割り当ててよいか分からないとき • である. • このような場合はクラスを決定するのは難しく,あえて決定を避ける場合もありうる. • 決定するのが難しいとき,決定を避けることを棄却オプション(reject option)という. • 例えば,データのクラス分けを決定するとき,機械学習では判断が難しい場合人の専門家に判断を委 ねる場合,棄却オプションは有効である. • 棄却オプションは, 𝑝 𝐶𝑘 ∣ 𝒙 の最大値が閾値𝜃より小さい時,入力𝒙を棄却することで実現で きる.

33.

推論と決定 • これまでに扱ったクラス分類は,訓練データからモデル𝑝 𝐶𝑘 𝒙 を学習する推 論段階(inference stage)と,その後に事後確率を使って最適なクラスに割り当 てる決定段階(decision stage)がある. • 一方で,両方の問題を同時に解いて,入力𝒙から直接決定関数(識別関数)を 単に学習することも考えられる. • つまり,クラス分類のアプローチは幾つか考えられる.

34.

推論と決定のアプローチ • アプローチ1 • まず,各クラス 𝐶𝑘 の条件付き密度𝑝 𝒙 𝐶𝑘 を個別に決める推論問題を解く.事前クラス確率 𝑝 𝐶𝑘 もそれぞれ別に求める.それからベイズ定理 • 𝑝 𝐶𝑘 𝒙 = 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 𝑝 𝒙 • を使いクラス事後確率𝑝 𝐶𝑘 𝒙 を求める. 𝑝 𝒙 は周辺化により求められる. • 𝑝 𝒙 = 𝑘 𝑝 𝒙, 𝐶𝑘 = 𝑘 𝑝 𝒙 ∣ 𝐶𝑘 𝑝 𝐶𝑘 • 出力だけではなく入力の分布もモデル化するアプローチは,モデルからサンプリングにより入力空間 で人工データ点を生成できるため,生成モデルと呼ばれる. • アプローチ2 • 最初に事後クラス確率𝑝 𝐶𝑘 𝒙 を決定する推論問題を解き,次に決定理論を使ってそれぞれの新た な 𝒙 をクラスの1つに割り当てる.事後確率を直接モデル化するアプローチは識別モデルと呼ばれる. • アプローチ3 • 識別関数𝑓(𝒙)を求める.これは各入力𝒙をクラスラベルに直接マッピングする.例えば,2クラス問 題の場合,𝑓 = 0がクラス𝐶1 を表し,𝑓 = 1がクラス𝐶2 を表すように𝑓 ⋅ の値を2値とするだろう. こ の場合,確率は何の役割も果たさない.

35.

それぞれのアプローチの特徴 • アプローチ1 • 𝒙と𝐶𝑘 の同時分布を見つけなければならないため難しい. • 多くの応用では,𝒙は高次元で,その結果として必要な精度を持つクラスの条件付き 密度を求められる大きな訓練セットが必要となるかもしれない. • 周辺分布𝑝 𝒙 が求められるため,外れ値検出に用いることができる. • 𝑝 𝒙 が低い𝒙は滅多に発生しないので外れ値かもしれない. • アプローチ2 • クラス分類に必要なのは𝑝 𝐶𝑘 𝒙 で,アプローチ2なら直接得られる. • アプローチ1は同時分布𝑝 𝒙, 𝐶𝑘 を推定するために大量のデータを消費してしまう. • アプローチ3 • 訓練データは,単純に𝒙を直接クラスラベルに写像する識別関数𝑓 𝒙 を求めるために 使われる. • アプローチ3では𝑝 𝐶𝑘 𝒙 を求めない.

36.

𝑝 𝐶𝑘 𝒙 が欲しい • 事後確率𝑝 𝐶𝑘 𝒙 を求めたい気持ちがある理由 • リスク最小化 • 損失行列が時間とともに変化するような場合,事後確率が分かっていれば最新の損 失行列を使って期待損失を計算し直せば良い. • 棄却オプション • 事後確率があれば,棄却基準(閾値)を決定でき,棄却データに対する誤分類や期 待損失を最小化できるだろう. • クラス事前確率の補正 • 例えば病気の診断では,病気の場合が極端に少ないため,すべてのデータに対し健 康と決定するだけで良い精度になってしまう. • それを避けるために,各クラスに対して同じくらいのデータ点数にバランスされた データセットを選ぶ方法が考えられる. • この方法では訓練データに修正を加えた効果を補正する必要がある.

37.

クラス事前確率の補正の詳細 • バランスされたデータセットから得られた事後確率 𝑝′ 𝐶𝑘 𝑥 は ′ • 𝑝 𝐶𝑘 𝒙 = 𝑝 𝒙 𝐶𝑘 𝑝′ 𝐶𝑘 𝑝′ 𝒙 • 各クラスに含まれるデータ点の数が均等化されているから,𝑝′ 𝐶𝑘 と 𝑝′ 𝑥 はバランス化されたデータセット特 有の値となる.バランス化されたデータセットのクラス事前確率 𝑝′ 𝐶𝑘 で両辺を割ると • 𝑝′ 𝐶𝑘 𝒙 𝑝 ′ 𝐶𝑘 = 𝑝 𝒙 𝐶𝑘 𝑝′ 𝒙 • さらに両辺にデータセットのクラス事前確率𝑝 𝐶𝑘 をかけると • 𝑝′ 𝐶𝑘 𝒙 𝑝 ′ 𝐶𝑘 𝑝 𝐶𝑘 = 𝑝 𝒙 𝐶𝑘 𝑝 𝐶𝑘 𝑝′ 𝒙 = 𝑝 𝐶𝑘 𝒙 𝑝 𝒙 𝑝′ 𝒙 • よって事後確率𝑝 𝐶𝑘 𝒙 は • 𝑝 𝐶𝑘 𝒙 = 𝑝′ 𝐶𝑘 𝒙 𝑝 ′ 𝐶𝑘 𝑝 𝐶𝑘 𝑝′ 𝒙 𝑝 𝒙 =𝐶 𝑝′ 𝐶𝑘 𝒙 𝑝 ′ 𝐶𝑘 𝐶= 𝑝 𝐶𝑘 𝑘 𝑝′ 𝐶𝑘 𝒙 𝑝 𝐶𝑘 𝑝′ 𝐶𝑘 • 𝐶は規格化定数とみなせば,バランスされたデータセットから得られた事後確率 𝑝′ 𝐶𝑘 𝒙 をクラスの割合 𝑝′ 𝐶𝑘 𝒙 ′ 𝑝 𝐶𝑘 で割り,データセットのクラスの割合𝑝 𝐶𝑘 を書けた値 𝑝′ 𝐶 𝑝 𝐶𝑘 を総和が1になるよう規格化した値 が事後確率𝑝 𝐶𝑘 𝒙 である. 𝑘

38.

𝑝 𝐶𝑘 𝑥 が欲しい • モデルの統合 • 複雑な応用では,問題をより小さな部分問題に分割し,それぞれを別のモジュールで処理したいと思 うかもしれない. • 例えば,医療診断では皮膚画像や血液検査から情報が得られるかもしれない. • この場合,皮膚画像𝒙𝐼 と血液データ𝒙𝐵 を処理するシステムを個別に構築したほうが効果的かもしれ ない. • 𝒙𝐼 と𝒙𝐵 それぞれからクラスの事後確率が計算でき, 各クラスを条件とした𝒙𝐼 と𝒙𝐵 の分布が独立と仮 定する. • 𝑝 𝒙𝐼 , 𝒙𝐵 𝐶𝑘 = 𝑝 𝒙𝐼 𝐶𝑘 𝑝 𝒙𝐵 𝐶𝑘 • この式は,𝒙𝐼 と𝒙𝐵 が条件付き独立であることを表す. 𝐶𝑘 • 𝒙𝐼 と𝒙𝐵 が両方得られたときの事後確率は 𝑥𝐼 𝑥𝐵 𝑝 𝐶𝑘 𝒙𝐼 , 𝒙𝐵 ∝ 𝑝 𝒙𝐼 , 𝒙𝐵 𝐶𝑘 𝑝 𝐶𝑘 ∝ 𝑝 𝒙𝐼 𝐶𝑘 𝑝 𝒙𝐵 𝐶𝑘 𝑝 𝐶𝑘 𝑝 𝐶𝑘 𝒙𝐼 𝑝 𝒙𝐼 𝑝 𝐶𝑘 𝒙𝐵 𝑝 𝒙𝐵 𝑝 𝐶𝑘 𝒙𝐼 𝑝 𝐶𝑘 𝒙𝐵 ∝ 𝑝 𝐶𝑘 ∝ 𝑝 𝐶𝑘 𝑝 𝐶𝑘 𝑝 𝐶𝑘 • で与えられる. 𝑝 𝐶𝑘 は各クラスのデータ点の数から推定する.当然総和が1になるよう規格化する 必要がある. 𝑝 𝑥𝐼 , 𝑥𝐵 は通常このモデルでは因数分解できない.確率を求める利点は調整可能なパラメタについて容易に微分可能にでき,購買ベースの最適化手法が使えることにある.

39.

分類器の精度

40.

分類器の精度 • 分類器の精度の最も単純な尺度は,テストセットにおける正しく分類された データ点の割合だろう. • しかし,損失行列の例で見た通り,重視したい正答や誤答があるかもしれない. • そこで,がん検診の例をもう一度考えてみる. • 検査された各人について,ガンであるかどうかの「真のラベル」があり,分類 器による予測結果もあるとする.

41.

分類器の精度 • ある人について分類器が「ガンである」と予測し,そのが「ガンであった」場合 ,そ の予測はtrue positiveと呼ばれる. • ある人について分類器が「ガンである」と予測し,そのが「ガンでない」場合、その 予測はfalse positiveで呼ばれる. • Type 1 errorとして知られる. • ある人について分類器が「ガンでない」と予測し,そのが「ガンであった」場合 ,そ の予測はfalse negativeと呼ばれる. • Type 2 errorとして知られる. 予測したクラス • ある人について分類器が「ガンでない」と予測し,そのが「ガンでない」場合 ,その 予測はtrue negativeと呼ばれる. 真のクラス ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁

42.

分類器の精度 • 𝑁 = 𝑁𝑇𝑃 + 𝑁𝐹𝑃 + 𝑁𝑇𝑁 + 𝑁𝐹𝑁 • 精度Accuracyは 真のクラス 予測したクラス • 𝑁を検査を受けた人の総数,𝑁𝑇𝑃 はtrue positiveの 数,𝑁𝐹𝑃 はfalse positiveの数,𝑁𝑇𝑁 はtrue negative の数,𝑁𝐹𝑁 はfalse negativeの数とする. ガンだった positive ガンでない negative ガンだった positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative 𝑁𝐹𝑁 𝑁𝑇𝑁 Negative • Accuracy= 𝑁𝑇𝑃+𝑁𝑇𝑁 決定境界 𝑁𝑇𝑃+𝑁𝐹𝑃 +𝑁𝑇𝑁 +𝑁𝐹𝑁 • これはクラス内のデータ点数が不均衡である時,我々 を間違いに導くだろう. Positive 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸 𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶

43.

分類器の精度 真のクラス • Precision = 𝑁 𝑁𝑇𝑃 𝑇𝑃 +𝑁𝐹𝑃 • これは検査で陽性の人が本当にガンに罹患している率の推 定値である. • Recall = 𝑁 予測したクラス • Accuracy以外にも次のような指標が使われる. ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 𝑁𝑇𝑃 𝑇𝑃 +𝑁𝐹𝑁 • Recallはガンに罹患している人が検査で正 しく検出される 確率の推定値である. • False positive rate = 𝑁 𝑁𝐹𝑃 𝐹𝑃 +𝑁𝑇𝑁 • これは正常な人ががんに罹患していると分類される確率の 推定値である. • False discovery rate = 𝑁 𝑁𝐹𝑃 𝑇𝑃 +𝑁𝐹𝑃 • これは陽性と判定された人のうち,実際にはがんに罹患し ていない人の割合を表す。 Negative Positive 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸 𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶

44.

ROC curve • 確率的分類器は事後確率を出力し,閾値(決定境界)を設定することでこれか らクラスを決定できる. Negative 𝑁𝑇𝑃 Positive ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸𝑁𝐹𝑃 /𝑁 = 𝐸,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸,𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 True positive rate = 予測したクラス 真のクラス 𝑁𝑇𝑃+𝑁𝐹𝑁 • 閾値の値を変化させると,type 1 error (false positive)を増加させる代わりに type 2 error (false negative)の誤差を減少させることができる. False positive rate = 𝑁𝐹𝑃 𝑁𝐹𝑃 +𝑁𝑇𝑁

45.

ROC curve • このトレードオフをよく理解するためにROC curve (Receiver Operating characteristics)(Fawcett, 2006)をプロットすることが有用である.下図が 示す通りROC curveはtrue positive率対false positive率のグラフである. Negative 𝑁𝑇𝑃 Positive ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸𝑁𝐹𝑃 /𝑁 = 𝐸,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸,𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 True positive rate = 予測したクラス 真のクラス 𝑁𝑇𝑃+𝑁𝐹𝑁 • 上図の決定境界を−∞から∞に移動したときROC curveがトレースされ,ROC curveの累積割合をプロットすることで作成できる. False positive rate = 𝑁𝐹𝑃 𝑁𝐹𝑃 +𝑁𝑇𝑁

46.

ROC curve • 可能な限り最良の分類器はROC図の左上隅の点で表される. • 左下隅は,すべてをnegativeクラスに割り当てる分類器を表し,TPはないがFPもない. • 右上隅は,すべてをpositiveクラスに割り当てる分類器を表し,FNはないがTNもない. • 右図では,青い曲線で表された分類器は,false positive rateをどう選択しても赤 い曲線の分類器よりtrue positive rateは高く優れている. Negative 𝑁𝑇𝑃 Positive ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸𝑁𝐹𝑃 /𝑁 = 𝐸,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸,𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 True positive rate = 予測したクラス 真のクラス 𝑁𝑇𝑃 +𝑁𝐹𝑁 • しかし,曲線が交差する場合はどちらが優れているかは操作点の選択による. False positive rate = 𝑁𝐹𝑃 𝑁𝐹𝑃+𝑁𝑇𝑁

47.

ROC curve Negative 𝑁𝑇𝑃 Positive ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸𝑁𝐹𝑃 /𝑁 = 𝐸,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸,𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 ROC curveは2クラス以上の問題にも拡張できるが,クラス数が増えると急速に煩雑になる. True positive rate = 予測したクラス 真のクラス 𝑁𝑇𝑃+𝑁𝐹𝑁 • ベースラインとして,各データ点を単純に確率𝜌で癌に確率1 − 𝜌で正常に割り 当てるランダムな分類器を考え𝜌の値を変化させると,下図の斜めの直線で示 さたROC curveをなぞることになる.対角線より下の分類器はランダムな分類 器よりも性能が悪い. False positive rate = 𝑁𝐹𝑃 𝑁𝐹𝑃 +𝑁𝑇𝑁

48.

ROC curve • ROC曲線全体を特徴付ける数値としてArea Under the Curve(AUC)がある. AUCは、文字通りカーブ下の面積を表す。のAUCの値が0.5のとき,ランダム な推測を表し,1.0は完璧な分類器を表す. • もう一つの指標はF-scoreで,これはAccuracyとPrecisionの幾何平均である. 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 = 2𝑁𝑇𝑃+𝑁𝐹𝑃 +𝑁𝐹𝑁 Negative Positive 𝑁𝑇𝑃 真のクラス 予測したクラス 2𝑁𝑇𝑃 ガンだった positive ガンでない negative ガンだった positive True positive False positive 𝑁𝑇𝑃 𝑁𝐹𝑃 ガンでない negative False negative True negative 𝑁𝐹𝑁 𝑁𝑇𝑁 決定境界 真のnegative の分布 真の positiveの 分布 𝑁𝐹𝑃 /𝑁 = 𝐸𝑁𝐹𝑃 /𝑁 = 𝐸,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸,𝑁𝐹𝑁 /𝑁 = 𝐵+𝐶 𝑁𝑇𝑁 /𝑁 = 𝐴+𝐶,𝑁𝑇𝑃 /𝑁 = 𝐷+𝐸 𝑁𝑇𝑃+𝑁𝐹𝑁 2×𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑟𝑒𝑐𝑎𝑙𝑙 True positive rate = • 𝐹= False positive rate = 𝑁𝐹𝑃 𝑁𝐹𝑃+𝑁𝑇𝑁

49.

おまけ

50.

補足:正規方程式 • 入力𝑋 = {𝒙1 , … , 𝒙𝑁 }と対応する目標値𝐭 = 𝑡1 , … , 𝑡𝑁 T からなるデータ集合を考え る. • 入力ベクトル𝒙は特徴ベクトル𝝓(𝒙)に変換されるとし, 目標値は関数𝑦 𝒙, 𝒘 = 𝒘T 𝝓(𝒙)を中心としたガウス分布から生成されるとする. • このときの対数尤度は • ln 𝑝 𝐭 𝒘, 𝛽 = 𝑁 𝑛=1 ln 𝑁 T 𝑡𝑛 𝒘 𝝓 𝒙𝑛 , 𝛽 • となる.𝐸𝐷 (𝒘)は • 𝐸𝐷 𝑤 = 1 2 𝑁 T 𝑡 − 𝒘 𝝓 𝒙𝑛 𝑛=1 𝑛 2 • であり,二乗誤差関数となっている. −1 = 𝑁 2 ln 𝛽 − 𝑁 2 2𝜋 − 𝛽𝐸𝐷 𝒘

51.

補足:正規方程式 • 対数尤度の勾配は • ∇ ln 𝑝 𝐭 𝑤, 𝛽 = 𝛽 𝑁 T 𝑡 − 𝒘 𝝓 𝒙𝑛 𝑛=1 𝑛 𝝓 𝒙𝑛 T • 勾配を0とおけば, • 𝑁 𝑇 𝑛=1 𝑡𝑛 − 𝒘 𝝓 𝒙𝑛 • 𝑁 T 𝑇 𝑡 𝝓 𝒙 − 𝑤 𝑛 𝑛=1 𝑛 𝝓 𝒙𝑛 T = 0 𝑁 T 𝝓 𝒙 𝝓 𝒙 =0 𝑛 𝑛 𝑛=1 • が得られる.これを𝑤について解くと, T • 𝑤= 𝚽 𝚽 −1 𝚽T𝑡 • が得られる.これは最小二乗法の正規方程式として知られる.また𝚽は計画行 列と呼ばれる.