ヘフティングの不等式からデータセットのサイズ算出

テストデータセットの 適切なサイ ズ ヘフティングの不等式による算出

問題背景 - N件サンプリングして、アノテーションすることでテストデータセット作成 ⇒適切なNの値は何なのだろうか？ ⇒ヘフティングの不等式を用いる方法があるらしい。 - - https://www.r-bloggers.com/2021/01/what-is-a-good-test-set-size-2/#:~:text=The%20Decision %20Theory,could%20have%20used ※結構自分で考えた部分が多いので、間違いなどあれば指摘してくださるとありが たいです。

• https://www.r-bloggers.com/2021/01/what-is-a-good-test-set-size-2/#:~:text=The Decision Theory,could have used

ヘフティングの不等式とは？ - ある確率変数の平均値(あるいは、和)が、その期待値よりもｔ以上離れる確率の上 限を示めす不等式

ヘフティングの不等式のイメージ ※わかりやすさのため正規分布 させてますが、どのような分布で もあてはまります。

ヘフティングの不等式_tを大きくすると? - 許容範囲tを大きくすると、右辺の値gは小さくなる。 単純に許容範囲が広くなったことで、「ハズレ判定」される部分が小さくなる

ヘフティングの不等式_Nを大きくすると？ - サンプル数Nを大きくすると、右辺の値gは小さくなる。 分布が尖って、同じ許容範囲tでも斜線面積は小さくなる。(ref: 中心極限定理)

ヘフティングの不等式_aとbの差が大きくなると？ - abの差分を大きくすると、右辺の値gは大きくなる。 値のスケールが大きくなり、分布がなだらかになって、同じ許容範囲 tでも斜線面積は小さくなる。

テストデータを作るにあたっての前提 - 手元にあるモデル - - 文章分類モデル 精度の測り方 - インスタンスごとに精度指標 (precision, recall, f1-score)を算出 その平均値を、そのモデルの精度とする。 (=テストの結果)

ヘフティングの不等式を適用すると？ - Z_iを各インスタンスごとに算出される精度指標とする。 - S_nは、その平均値 a, bは、Zの定義域(precision, recall, f1であれば0~1)

ヘフティングの不等式を適用すると？ - テストの結果(ここでいうと、精度指標の平均値S_n)が信頼できるときは？ = 精度指標の期待値E[S_n]にかなり近いとき = 誤差が許容範囲内tの内側に収まる確率が高いとき

具体的に - 設定 - - recallの平均値で精度を図る。 許容できる小さい誤差を t=0.01 「信頼できる確率」を 95% ヘフティングの不等式を変形すると以下が得られる。

Nを色々動かしたときの右辺の値 - 設定 - - recallの平均値で精度を図る。 許容できる小さい誤差をt=0.01 「信頼できる確率」を95% 上の設定だと、N=18,500件程度テストデータを用意すれば、算出した結果が誤差0.01の 範囲に収まると見込める。

Nとtを色々動かした結果 - 信頼できる確率(95%)と精度指標(recall)は、変えたくない。 テストデータのサイズNと許容できる誤差tは、制御できる変数。 ⇒Nとtを変えて、妥協点を探る。(N=500, t=0.06?)