Fisher's protected LSD法におけるFWER（Family-Wise Error Rate）の制御

2025年04月16日 第11回大阪SAS勉強会 Fisher‘s Protected LSD法における Family Wise Error Rate の制御 株式会社ピープロ・ジャパン 臨床研究推進グループ 牛尾 英孝 Ppro-Japan Co.,Ltd. 1

免責事項 本発表で述べる意見や見解は,演題発表者個人のものです。 所属する組織の意見を代表するものではありません。 2

本演題の内容 3群（対照群と2用量の比較）の場合に限り, Fisher‘s protected LSD法では,FWERを事前に設定し た有意水準α以下に制御できることが知られている。 本発表では, Fisher‘s protected LSD法の概要,3群 および4群比較（対照群と3用量の比較 ）における FWERについて,SASによるシミュレーションも含めて 検討したものを紹介する。 3

目的および想定する統計学的な仮説 ✓プラセボ群に対する試験治療薬10mg,20mgの2用量の効果について 検討したい。 ✓主な目的は試験治療薬10mg,20mgがプラセボ群に対して差がある かどうかを検証すること。 ✓プラセボ群と試験治療薬群（10mg,20mg）に差がないことを帰無 仮説とする。 4

具体的な解析計画 ✓各群のアウトカムは互いに独立にµ_p, µ_10mg, µ_20mg,分散σ2 （既知）の正規分布に従うと仮定する。 ✓「µ_p=µ_10mg=µ_20mg」を帰無仮説とし,投与群を要因とする 分散分析を行う。 ✓3群で差がみられた場合（分散分析で有意の場合）,各々の差を多重 性を調整の上で解析する。 5

具体的な解析手法の検討 多重比較の方法としてBonferroni 法は保守的だから好ましくない？ 6

具体的な解析手法の検討 多重比較の方法としてBonferroni 法は保守的だから好ましくない？ プラセボ群（対照群）との比較が目 的なので,今回はDunnet法が適切な のでは？ 7

具体的な解析手法の検討 多重比較の方法としてBonferroni 法は保守的だから好ましくない？ 事前の分散分析で有意差がつかな かったけれど,多重比較ではいずれ かの比較で有意差がついていた可 能性もあるのでは？。 プラセボ群（対照群）との比較が目 的なので,今回はDunnet法が適切な のでは？ 8

具体的な解析手法の検討 多重比較の方法としてBonferroni 法は保守的だから好ましくない？ 事前の分散分析で有意差がつかな かったけれど,多重比較ではいずれ かの比較で有意差がついていた可 能性もあるのでは？。 プラセボ群（対照群）との比較が目 的なので,今回はDunnet法が適切な のでは？ いずれの場合でも事前の分散分析は そもそも必要なのだろうか？ 9

具体的な解析手法の検討 多重比較の方法としてBonferroni 法は保守的だから好ましくない？ 事前の分散分析で有意差がつかな かったけれど,多重比較ではいずれ かの比較で有意差がついていた可 能性もあるのでは？。 プラセボ群（対照群）との比較が目 的なので,今回はDunnet法が適切な のでは？ いずれの場合でも事前の分散分析は そもそも必要なのだろうか？ 各々の比較における有意水準αを調整することなく,FWERを α以下に制御できる方法として, Fisher‘s Protected LSD法があ ります。 10

Fisher‘s Protected LSD法 data sample; call streaminit(20250416); do TRT01PN = 0 to 2; do id=1 to 17; if TRT01PN in (0,1) then AVAL = rand("Normal", 0, 1); else AVAL = rand("Normal", 1, 1); output; end; end; run; proc glm data = sample; class TRT01PN; model AVAL = TRT01PN; means TRT01PN / lsd alpha=0.05 cldiff; run; 11

Fisher‘s Protected LSD法 data sample; call streaminit(20250416); do TRT01PN = 0 to 2; do id=1 to 17; if TRT01PN in (0,1) then AVAL = rand("Normal", 0, 1); else AVAL = rand("Normal", 1, 1); output; end; TRT01PNの比較におけるt統計量（誤 end; 差の平均平方を用いて算出）がtの棄 run; 却値より大きい場合に有意となる。 proc glm data = sample; class TRT01PN; model AVAL = TRT01PN; means TRT01PN / lsd alpha=0.05 cldiff; run; 12

3群のFisher‘s Protected LSD法 Bonferroni法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg Fisher‘s Protected LSD法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg 13

3群のFisher‘s Protected LSD法 H1,H2の検定において,有意水準αを （検定の回数）2で割り,個々の検定を 有意になりにくくするが,FWERをα以 下に制御することができる。 Bonferroni法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg H1,H2： 有意水準2.5% H1,H2の検定において,有意水準αのまま にして検定を実施してもFWERをα以下に 制御することができる。 Fisher‘s Protected LSD法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg H1,H2： 有意水準5% 14

3群のFisher‘s Protected LSD法 H1,H2の検定において,有意水準αを （検定の回数）2で割り,個々の検定を 有意になりにくくするが,FWERをα以 下に制御することができる。 Bonferroni法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg H1,H2： 有意水準2.5% H1,H2の検定において,有意水準αのまま にして検定を実施してもFWERをα以下に 制御することができる。 Fisher‘s Protected LSD法 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg H1,H2： 有意水準5% LSD法では,事前に分散分析を実行することで,有意差をつきにくくする。 15

3群のFisher‘s Protected LSD法 3群の場合では,個々の比較の有意水準を調整することな く,FWERを事前に設定した有意水準（ここでは５％とする） 以下に制御することができていることを検証してみる。 proc power; twosamplemeans test=diff meandiff=1 stddev=1 alpha=0.05 power=0.8 ntotal=.; H1：µ_p vs µ_10mgで効果量差＝1を仮定。 H2：µ_p vs µ_20mgで効果量差＝1.2を仮定。 より多くのサンプルを必要とするH1を前提とする。 H1の比較にて,有意水準α＝0.05,検出力80％とする。 run; 16

SASを用いたシミュレーション ods graphics off; µ0=µ_10mg=µ_20mg ods exclude all; ods noresults; µ0=µ_10mg≠µ_20mg options nosource nonotes; µ0≠µ_10mg=µ_20mg %let count_significant = 0; %let count_fwer = 0; µ0≠µ_10mg≠µ_20mg %macro simulate; %do iter = 1 %to 100000; /*H1が（H1,H2のうちのいずれか１つが）真に対応するデータの生成 */ data sample; call streaminit(20250416+&iter.); do TRT01PN = 0 to 2; do id=1 to 17; if TRT01PN in (0,1) then AVAL = rand("Normal", 0, 1); else AVAL = rand("Normal", 1, 1); output; end; end; run; 17

SASを用いたシミュレーション /*投与群を要因とする分散分析を実行 */ ods output ModelANOVA = ANOVA; proc glm data = sample; 帰無仮説 H012 ：µ_0=µ_10mg=µ_20mg class TRT01PN; model AVAL = TRT01PN; quit; ods output close; %let CHECK = 0; /*分散分析で有意となったものをカウント */ data _null_; 有意水準５％ set ANOVA(obs = 1); if ProbF < 0.05 then do; call symputx('CHECK', 1); call symputx('count_significant', %eval(&count_significant + 1)); end; run; 18

SASを用いたシミュレーション /* 分散分析で有意の場合のみ, Fisher‘s Protected LSD法を実行 */ %if &CHECK = 1 %then %do; ods output CLDiffs = LSD; proc glm data = sample; class TRT01PN; model AVAL = TRT01PN; means TRT01PN / lsd alpha=0.05 cldiff; run; quit; ods output close; Fisher‘s Protected LSD法 /* FWERエラーの判定 */ data _null_; set LSD; if Comparison = “0 - 1" and Significance = 1 then call symputx('count_fwer', %eval(&count_fwer + 1)); run; 真である帰無仮説H1が棄却される回数をカウント %end; 19

SASを用いたシミュレーション %put Iteration=&iter CHECK=&CHECK Significant Count=&count_significant FWER Count=&count_fwer; %end; %mend; %simulate; %put ==== シミレーション結果の確認 ====; %put “分散分析で有意になった回数 = &count_significant"; %put "FWERエラーになった回数 = &count_fwer"; 20

SASを用いたシミュレーション %put Iteration=&iter CHECK=&CHECK Significant Count=&count_significant FWER Count=&count_fwer; %end; %mend; %simulate; %put ==== シミレーション結果の確認 ====; FWERを有意水準５％以下 に制御できている。 %put “分散分析で有意になった回数 = &count_significant"; %put "FWERエラーになった回数 = &count_fwer"; 21

Fisher‘s Protected LSD法に関する検証 ✓3群の比較（プラセボ群を対照とした試験治療薬10mg,20mgの2用量 の効果の検討）では,FWERは事前に設定した有意水準α以下に制御さ れていることがシミレーション結果からも確認できた。 ✓4群の比較（プラセボ群を対照とした試験治療薬10mg,20mg,40mg の3用量の効果の検討）についても, Fisher‘s Protected LSD法を用い た際, FWERは事前に設定した有意水準α以下に制御されるのか？につ いて解説し,3群の場合と同様にSASを用いて確かめてみる。 22

4群のFisher‘s Protected LSD法（1） 【CASE①：µ_p＝µ_10mg＝µ_20mg＝µ_40mg】 FWER＝分散分析にて 帰無仮説が棄却される確率 ≦α H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg H3：µ_p vs µ_40mg 【CASE②：µ_p≠µ_10mg≠µ_20mg≠µ_40mg】 H1～H3の中に真である帰無仮説が存在しないので, FWERは生じない。 23

4群のFisher‘s Protected LSD法（2） 【CASE③：µ_p＝µ_10mg＝µ_20mg≠µ_40mg】 FWER＝分散分析にて帰無仮説が棄却される確率 ×分散分析にて帰無仮説が棄却されるかつ,H1～H2 のうち少なくとも1つが棄却される確率 H1～H3のうちいずれか2つが真 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg FWER ＝(分散分析で有意)×(1-(1−α)2 ) ≦α は常には成り立たない。 24

4群のFisher‘s Protected LSD法（2） 【CASE③：µ_p＝µ_10mg＝µ_20mg≠µ_40mg】 FWER＝分散分析にて帰無仮説が棄却される確率 ×分散分析にて帰無仮説が棄却されるかつ,H1～H2 のうち少なくとも1つが棄却される確率 H1～H3のうちいずれか2つが真 FWERを有意水準α以下 FWERに制御できていない。 H1：µ_p vs µ_10mg H2：µ_p vs µ_20mg ＝(分散分析で有意)×(1-(1−α)2 ) ≦α は常には成り立たない。 25

4群のFisher‘s Protected LSD法（3） 【CASE④：µ_p＝µ_10mg≠µ_20mg≠µ_40mg】 FWER＝分散分析にて帰無仮説が棄却される確率 ×分散分析にて帰無仮説が棄却されるかつ,H1が棄却 される確率 H1～H3のうちいずれか1つが真 H1：µ_p vs µ_10mg FWER ＝(分散分析で有意)×(1-(1-α)) ≦α 26

SASを用いたシミュレーション ods graphics off; ods exclude all; ods noresults; options nosource nonotes; %let count_significant = 0; %let count_fwer = 0; 【CASE②：µ_p＝µ_10mg＝µ_20mg≠µ_40mg】 %macro simulate; %do iter = 1 %to 10000; /*【CASE②（４群のうち,いずれか１つの群が異なる場合）】に対応するデータの生成 */ data sample; call streaminit(20250416+&iter.); do TRT01PN = 0 to 3; do id=1 to 17; if TRT01PN in (0,1,2) then AVAL = rand("Normal", 0, 1); else AVAL = rand("Normal", 1, 1); output; end; end; run; 27

SASを用いたシミュレーション /* FWERエラーの判定 */ data _null_; set LSD; if Comparison in ("0 - 1", "0 - 2") and Significance = 1 then call symputx('count_fwer', %eval(&count_fwer + 1)); run; %end; 真である帰無仮説H1,H2が棄却される回数をカウント %put Iteration=&iter CHECK=&CHECK Significant Count=&count_significant FWER Count=&count_fwer; %end; %mend; %simulate; 28

SASを用いたシミュレーション %put ==== シミレーション結果の確認 ====; %put “分散分析で有意になった回数 = &count_significant"; %put "FWERになった回数= &count_fwer"; 29

SASを用いたシミュレーション %put ==== シミレーション結果の確認 ====; FWERを有意水準α以下 %put “分散分析で有意になった回数 = &count_significant"; に制御できていない。 %put "FWERになった回数= &count_fwer"; 3群の場合では,帰無仮説の真偽がどのような場合であっても FWERをα以下に制御できているが、4群では事前の分散分析 を実行しても制御できていない場合が生じうる。 30

まとめと考察 ✓4群の比較（プラセボ群を対照とした試験治療薬10mg,20mg,40mg の3用量の効果の検討）については, Fisher‘s Protected LSD法を用い た際, FWERを事前に設定した有意水準α以下に制御できない場合（本 発表のCASE②）が生じる。計画段階では帰無仮説の真偽は不明のため, 適切な手法とは言えない。 Dunnet法であればFWERを有意水準α以下に制御できる。 その場合,事前の分散分析を実施する必要はない。 31

参考文献 Masayuki Hirose. - 統計学入門一歩先へ 多重比較の前に分散分析をやらないといけないの？ - https://mstour.hatenablog.com/entry/2021/09/28/195015（最終アクセス 2025/04/14） 浜田知久馬.『新版 実用SAS生物統計ハンドブック [SAS9.4 R3.2.0対応]』サイエンス社 (2017) 土居正明. 多重性制御の基礎理論（閉検定手順）計量生物学Vol.36. Special Issue. S99–S121(2015) 32

• https://mstour.hatenablog.com/entry/2021/09/28/195015

Thank you for your kind attention!! 株式会社 ピープロ・ジャパン 臨床研究推進グループ 〒541-0041 大阪市中央区北浜2丁目2番22号 TEL：06-6121-2181 Fax：06-6121-6717 Mail：[email protected] https://p-pro.info/japan 33

• https://p-pro.info/japan