この章で目指すこと
推定は「もっともらしい母数を数で表す」作業でした。統計的仮説検定は、「ある主張をひとまず基準として置いたとき、今のデータはその主張と両立するか」を定量的に調べる仕組みです。
重要なのは、検定が「仮説が真だと証明する」方法ではないことです。帰無仮説が正しいと仮定した場合に、観測結果以上に極端な結果がどれほど起こりにくいかを測り、あらかじめ決めた規則で判断します。
| 研究で得られた情報 | 知りたい問い | 代表的な検定 | 何を判断するか |
|---|
| 連続測定値、既知の分散 | 平均は基準値と異なるか | Z検定 | 標準化平均との差 |
| 連続測定値、未知の分散 | 平均は基準値と異なるか | t検定 | 標本平均と標本分散 |
| 2群のばらつき | 分散は等しいか | F検定 | 分散比 |
| 分類・頻度表 | 観測度数はモデルと合うか | カイ二乗適合度検定 | 観測度数と期待度数のずれ |
| 2つのカテゴリ変数 | 2変数は独立か | カイ二乗独立性検定 | クロス表のずれ |
| 一般の統計モデル | 制約付きモデルで十分か | 尤度比・Wald・スコア | 推定値、尤度、局所勾配 |
初めて読むときの順番最初は 1〜4 節で、帰無仮説・対立仮説・有意水準・p値と、Z/t/F検定の使い分けを身に付けます。次に 5〜7 節で尤度比・Wald・スコア、カイ二乗検定、検出力を学びます。Neyman–Pearson補題、一様最強力検定、不偏検定の一般論は最後に進んでください。
この章を通す小さな例
ある化合物を投与した細胞の生存率(%)を n=16 ウェルで測定し、標本平均 Xˉ=74.0、不偏標準偏差 S=8.0 を得たとします。基準条件の平均生存率は 70% とします。
「この化合物は生存率を変えるか」という問いを、まず両側の仮説
H0:μ=70,H1:μ=70
として書きます。母分散は未知なので、後で
T=S/nXˉ−70=8/474−70=2.00
という t 統計量を使います。この例を通じて、「どの量を標準化するか」「片側・両側で何が変わるか」「p値をどう報告するか」を確認します。
仮説を置くH0 と H1、片側・両側
標準化する →
検定統計量Z、t、F、尤度比、カイ二乗
確率へ戻す →
有意水準・p値第1種過誤と判断規則
設計へ戻す →
検出力第2種過誤、効果量、標本数
1. 仮説検定の言葉を整理する
1.1 帰無仮説と対立仮説
帰無仮説 H0 は、比較の基準となる仮説です。「差がない」「効果がない」「既存モデルからずれていない」という形に置くことが多く、等号を含みます。対立仮説 H1 は、研究上検出したいずれを表します。
| 研究上の問い | 帰無仮説 H0 | 対立仮説 H1 | 検定 |
|---|
| 平均が基準と異なるか | μ=μ0 | μ=μ0 | 両側検定 |
| 平均が基準より高いか | μ≤μ0 | μ>μ0 | 右片側検定 |
| 平均が基準より低いか | μ≥μ0 | μ<μ0 | 左片側検定 |
片側か両側かは、データを見る前に研究目的から決めます。「有意になった方向だけ片側にする」のは、第1種過誤を大きくするため不適切です。
1.2 検定方式、棄却域、検定統計量
標本 X=(X1,…,Xn) を受け取ったとき、帰無仮説を棄却するかを 0 または 1 で返す規則を
φ(X)={10H0 を棄却するH0 を棄却しない
と書き、検定方式と呼びます。φ(X)=1 となる標本値の集合が棄却域です。
実際には、データを1つの数にまとめた検定統計量 T(X) を作り、T が大きい、小さい、または絶対値が大きいときに棄却します。
| 対立仮説 | 極端な値 | 棄却域の典型 |
|---|
| H1:μ>μ0 | T が大きい | T>c |
| H1:μ<μ0 | T が小さい | T<c |
| H1:μ=μ0 | $ | T |
1.3 第1種過誤、第2種過誤、有意水準
帰無仮説が正しいのに棄却する誤りが第1種過誤、対立仮説が正しいのに棄却しない誤りが第2種過誤です。
α=PH0(H0 を棄却),β(θ)=Pθ(H0 を棄却しない)(θ∈Θ1).
有意水準 α は、第1種過誤を許す上限として実験前に決めます。通常の 0.05 は「5%の確率で誤って棄却してよい」という意味ではなく、同じ規則を何度も使ったときの誤棄却率を5%以下に制御する設計値です。
「棄却しない」は「帰無仮説が正しい」とは違う棄却できなかった理由は、帰無仮説が正しいことのほか、標本数が少ない、ばらつきが大きい、効果が小さい可能性もあります。答案では「H0を採択」よりも「H0を棄却しない」と書く方が正確です。
2. サイズ、レベル、有意確率(p値)
2.1 サイズ α の検定とレベル α の検定
帰無仮説が複数の母数値を含むとき、検定方式のサイズは
size(φ)=θ∈Θ0supPθ{φ(X)=1}
です。帰無仮説の中で最も棄却されやすい母数値でも、誤棄却確率がちょうど α ならサイズ α の検定です。
θ∈Θ0supPθ{φ(X)=1}≤α
ならレベル α の検定です。サイズは実際の最大値、レベルは許容上限です。単純帰無仮説 H0:θ=θ0 では両者は同じ意味になります。
2.2 p値は「H0の下での極端さ」
観測統計量を tobs とします。右片側検定なら、p値は
p=PH0{T≥tobs}
です。両側検定で帰無分布が0対称なら
p=PH0{∣T∣≥∣tobs∣}=2PH0{T≥∣tobs∣}
です。p値は「H0が正しい確率」でも、「結果が偶然である確率」でもありません。H0を仮定したときに、今回以上にH0と合いにくいデータが得られる確率です。
2.3 有意確率の読み方
有意水準5%で p=0.032 なら、事前に決めた規則に従えばH0を棄却します。ただし、効果の大きさ、信頼区間、研究デザイン、複数比較、臨床的な重要性は別に確認します。
| 結果 | 正しい読み方 | 誤った読み方 |
|---|
| p<0.05 | H0の下ではこの結果は比較的まれ | H0が5%未満の確率で正しい |
| p≥0.05 | 指定した水準では棄却できない | 効果がないことが証明された |
| 小さいp値 | データとH0の整合性が低い | 効果が大きい |
3. 正規母集団に関する検定
3.1 Z検定:母分散が既知の平均検定
X1,…,Xn∼iidN(μ,σ2)
で σ2 が既知とします。H0:μ=μ0 の下で、第五章の結果より
Z=σ/nXˉ−μ0∼N(0,1).
右片側 H1:μ>μ0 のレベル α 検定は
Z>z1−α
で棄却します。両側なら左右に α/2 ずつ配り、
∣Z∣>z1−α/2
です。zq は標準正規分布の q 分位点です。
3.2 t検定:母分散が未知の平均検定
現実には σ2 は未知なので、標本標準偏差
S2=n−11i=1∑n(Xi−Xˉ)2
で置き換えます。正規母集団なら
σ/nXˉ−μ0∼N(0,1),σ2(n−1)S2∼χn−12
が独立なので、比
T=S/nXˉ−μ0=V/(n−1)Z∼tn−1
を得ます。したがって通し例では自由度15の t 分布で T=2.00 を評価します。
2標本t検定では、比較の単位と分散仮定を最初に確認します。対応のある測定なら各ペアの差 Di に対する1標本t検定です。独立2群かつ等分散を仮定するならプールした分散を使い、等分散を仮定しにくいならWelchのt検定を使います。
3.3 F検定:正規母集団の分散比
独立な正規標本から得た不偏分散 S12,S22 に対し、H0:σ12=σ22 の下で
F=S22S12∼Fn1−1,n2−1.
分子・分母を入れ替えると逆数になるため、両側検定では片側に寄せず、両端の棄却域または適切な両側p値を使います。F検定は正規性からの逸脱に影響を受けやすく、実データでは分散の確認を可視化やロバストな方法と合わせます。
Z・t・Fの使い分け平均を検定し母分散が既知ならZ、未知ならt、分散比ならFです。t検定の分母は「標本標準偏差」ではなく「標準誤差 S/n」であることを必ず書きます。
4. 一般のモデルを検定する:尤度比、Wald、スコア
一般のパラメトリックモデルでは、同じ帰無仮説を3つの角度から検定できます。大標本では、適切な正則条件の下で3者はいずれもカイ二乗分布に近づきます。
| 検定 | 比べる場所 | 直感 |
|---|
| 尤度比検定 | H0の最尤値と全体の最尤値 | 制約を外すと尤度はどれだけ改善するか |
| Wald検定 | 推定値とH0の距離 | 推定値はH0から標準誤差何個分離れているか |
| スコア検定 | H0での尤度の傾き | H0の場所で尤度はまだ改善する方向を持つか |
4.1 尤度比検定
制約なしの最尤推定値を θ^、H0 の制約下での最尤推定値を θ~ とします。尤度比は
Λ=L(θ^)L(θ~),0<Λ≤1
です。制約を付けると最大尤度は上がらないので、Λ が小さいほどH0と合いません。
G2=−2logΛ=2{ℓ(θ^)−ℓ(θ~)}.
Wilksの定理より、H0の下で制約の個数を q とすると
G2dχq2.
正規平均での導出
σ2 既知、H0:μ=μ0 のとき、定数を除く対数尤度は
ℓ(μ)=−2σ21i=1∑n(xi−μ)2.
恒等式
i=1∑n(xi−μ0)2=i=1∑n(xi−xˉ)2+n(xˉ−μ0)2
を使うと、
G2=σ2n(xˉ−μ0)2=Z2.
両側Z検定が、尤度比検定と同じ検定統計量に到達することが分かります。
4.2 Wald検定
1母数のH0を H0:θ=θ0 とすると、
W=Var(θ^)(θ^−θ0)2
です。H0からの距離を推定標準誤差で割って2乗した量で、H0の下で Wdχ12 です。多母数なら
W=(θ^−θ0)TVar(θ^)−1(θ^−θ0)
となります。単変量の「差÷標準誤差」の二乗が、行列版ではマハラノビス距離になっただけです。
4.3 スコア検定
スコア関数を
U(θ)=∂θ∂ℓ(θ)
とします。H0の値 θ0 では、まだ最尤推定を計算せず、そこでの傾きと情報量だけを使って
R=I(θ0)U(θ0)2dχ12
を作ります。大規模なモデルで制約なし推定が重いときに便利です。
詳細な証明・一般化を開くここを閉じたままでも、統計検定1級の本線は学べます
3検定が漸近的に一致する理由
H0の近くで対数尤度を2次Taylor展開すると、尤度の差、推定値の距離、H0での傾きは、同じ二次形式で近似されます。1母数では
ℓ(θ^)−ℓ(θ0)≈21I(θ0)(θ^−θ0)2,かつ U(θ0)≈I(θ0)(θ^−θ0) なので、尤度比、Wald、スコアはいずれも I(θ0)(θ^−θ0)2 に近づきます。有限標本や境界付近、強く歪んだ尤度では差が出るため、3者が常に同じp値を返すわけではありません。
5. カイ二乗適合度検定と独立性検定
5.1 適合度検定
k 区分の観測度数を O1,…,Ok、H0の下での期待度数を E1,…,Ek とします。Pearsonのカイ二乗統計量は
X2=j=1∑kEj(Oj−Ej)2
です。各区分の「ずれ」を期待度数で標準化して二乗し、全区分で足しています。H0で母数を r 個推定したなら、漸近自由度は
df=k−1−r
です。−1 は度数和が標本サイズ n に固定される制約、−r はデータから推定した母数の分です。
期待度数が小さい区分が多いとカイ二乗近似が悪くなります。隣接する区分を理論的に妥当な形で併合するか、正確検定・シミュレーションを検討します。
5.2 クロス表における独立性検定
r×c クロス表で、行和を Ri、列和を Cj、総数を n とします。行と列が独立なら、セル (i,j) の期待度数は
Eij=nRiCj
です。これは「行i に入る確率 Ri/n」と「列j に入る確率 Cj/n」を掛けて n 倍したものです。
X2=i=1∑rj=1∑cEij(Oij−Eij)2dχ(r−1)(c−1)2.
有意でも、どのセルが差を主に作ったか、効果量(オッズ比、リスク比、CramérのVなど)、研究上の交絡は別に確認します。
6. 検出力関数と研究デザイン
6.1 検出力関数
母数が θ のときにH0を棄却する確率
π(θ)=Pθ{φ(X)=1}
を検出力関数といいます。θ∈Θ0 では誤棄却確率、θ∈Θ1 では真の効果を検出する確率です。
右片側Z検定で、真の平均との差を標準誤差で割った標準化効果を
δ=σ/nμ−μ0
とします。H1の下では Z∼N(δ,1) なので、臨界値 z1−α に対して
π(μ)=Pμ(Z>z1−α)=1−Φ(z1−α−δ).
標本数 n を増やすと δ は n に比例して大きくなり、検出力が上がります。
6.2 有意水準と検出力のトレードオフ
標本数と効果が固定なら、α を小さくするほど臨界値は遠くなり、第1種過誤は減りますが検出力も下がります。研究計画では、偽陽性のコスト、見逃しのコスト、実現可能な標本数を合わせて決めます。
医薬研究で「統計的に有意でなかった」結果を解釈するときは、p値だけでなく、事前に設定した検出力、信頼区間の幅、臨床的に意味のある最小効果を確認します。
7. Neyman–Pearson補題と一様最強力検定
7.1 最強力検定
単純仮説
H0:θ=θ0,H1:θ=θ1
について、同じサイズ α の検定の中で、θ1 における検出力が最大の検定を最強力検定といいます。
Neyman–Pearson補題は、尤度比
fθ0(x)fθ1(x)
が大きいときに棄却する検定が、サイズ α の最強力検定であることを示します。H1の下でより起こりやすく、H0の下で起こりにくい標本を優先して棄却する、という素直な規則です。
7.2 単調尤度比と一様最強力(UMP)検定
複合対立仮説 H1:θ>θ0 の全ての θ に対して最強力なら、一様最強力(UMP)検定です。
統計量 T(X) に関して尤度比が単調に増える、すなわち単調尤度比を持つ1母数指数型分布族では、T が大きいときに棄却する片側検定がUMPになることがあります。
例えば Xi∼N(μ,σ2)(σ2既知)で H1:μ>μ0 なら、Xˉ が大きいほど大きな平均を支持するため、Xˉ>c 型のZ検定はUMPです。
7.3 不偏検定
標準用語では、対立仮説のどの点でも検出力がサイズ以上である検定を不偏検定といいます。
π(θ)≥α(θ∈Θ1).
両側検定では一般にUMP検定が存在しないため、対称性などの条件の下で一様最強力不偏(UMPU)検定を考えます。「普遍検定」という表現は標準的な専門用語ではないため、この章では不偏検定として整理します。
最強力性を問われたら単に「尤度比が大きい方を棄却」と書かず、(1) H0とH1、(2) 尤度比、(3) サイズがαになる臨界値、(4) 単調尤度比なら片側UMP、の順に書きます。両側検定でUMPを安易に主張しないことが大切です。
8. 医薬・生命科学と情報科学での読み方
8.1 有効性、安全性、バイオマーカー
有効性の主要評価項目だけでなく、安全性、有効性の部分集団、複数バイオマーカーを同時に調べると、検定回数が増えます。各検定を5%で行っても、研究全体の偽陽性率は5%ではありません。主要評価項目、探索的解析、事前規定したサブグループを区別し、多重性調整や外部検証を検討します。
バイオマーカー研究では、p値が小さくても予測性能や臨床的有用性は保証されません。効果量、信頼区間、キャリブレーション、外部データでの再現性を併記します。
8.2 機械学習での仮説検定
モデルAとBの精度差を同じテストデータで比較すると、2つの精度は独立ではありません。各症例での予測の組を使うMcNemar検定のように、対応を保った検定が必要になる場合があります。
さらに、特徴選択・ハイパーパラメータ探索・モデル選択をテストデータで何度も行うと、テストセットが実質的に学習へ使われ、p値や性能推定が楽観的になります。検定以前に、訓練・検証・最終テストの役割を分けることが重要です。
9. 統計検定1級での答案の型
- 母数、標本分布、H0 と H1 を書く。
- H0の下での検定統計量の分布を導く、または引用する。
- 有意水準 α から棄却域またはp値を定める。
- 観測値を代入し、棄却/棄却しないを明記する。
- サイズ、自由度、独立性、正規性、期待度数などの条件を添える。
答案の最後の一文「p値は…であり、あらかじめ定めた有意水準…では帰無仮説を棄却する(しない)。ただし、この結論は効果量の大きさそのものを意味しない。」まで書くと、判断と解釈を分けられます。
10. 数理統計問題
問題1:右片側Z検定
X1,…,X25∼iidN(μ,16) とします。Xˉ=11.2 を観測しました。H0:μ≤10、H1:μ>10 を有意水準 0.05 で検定してください。
解答1
H0の境界 μ=10 で
Z=4/25Xˉ−10=0.811.2−10=1.50
は標準正規分布に従います。右片側5%の臨界値は z0.95=1.645 です。1.50<1.645 なのでH0は棄却しません。p値は 1−Φ(1.50)≈0.0668 であり、5%より大きいことからも同じ結論です。
答案で気をつけることH0:μ≤10 でも、棄却確率が最大になる境界 μ=10 で帰無分布を計算します。
問題2:両側t検定
通し例の n=16,Xˉ=74,S=8 を用い、H0:μ=70、H1:μ=70 を有意水準 0.05 で検定してください。
解答2
T=8/1674−70=2.00∼t15(H0).
両側5%の臨界値は t15,0.975≈2.131 です。∣2.00∣<2.131 なのでH0は棄却しません。両側p値は約 0.064 です。
問題3:分散比のF検定
独立な正規標本から n1=11,S12=18、n2=16,S22=8 を得ました。H0:σ12=σ22 の下で用いる検定統計量と自由度を答えてください。
解答3
F=S22S12=818=2.25.
H0の下で F∼F10,15 です。分子・分母の自由度はそれぞれ n1−1=10,n2−1=15 です。両側検定なら、片側の上側確率だけで判断せず、両端に有意水準を配ります。
問題4:尤度比検定とZ検定
Xi∼N(μ,σ2)、σ2既知とします。H0:μ=μ0 に対する尤度比検定統計量 G2 が Z2 に等しいことを示してください。
解答4
制約なし最尤推定値は μ^=Xˉ、H0下の推定値は μ~=μ0 です。対数尤度の差は
ℓ(Xˉ)−ℓ(μ0)=2σ21{i∑(Xi−μ0)2−i∑(Xi−Xˉ)2}.
平方和分解より波括弧内は n(Xˉ−μ0)2 です。よって
G2=2{ℓ(Xˉ)−ℓ(μ0)}=σ2n(Xˉ−μ0)2=Z2.
問題5:Wald検定とスコア検定
Poisson標本 Xi∼Poisson(λ) で、H0:λ=λ0 を考えます。Wald統計量とスコア統計量を求めてください。
解答5
最尤推定値は λ^=Xˉ、漸近分散は λ/n なので、推定値を代入したWald統計量は
W=Xˉ/n(Xˉ−λ0)2.
対数尤度は ℓ(λ)=∑i{Xilogλ−λ}+const. なので、
U(λ0)=λ0∑iXi−nλ0,In(λ0)=λ0n.
したがってスコア統計量は
R=In(λ0)U(λ0)2=nλ0(∑iXi−nλ0)2.
いずれもH0の下で漸近的に χ12 に従います。
問題6:カイ二乗適合度検定
4分類の観測度数が (28,22,27,23)、H0の下の確率が全て 1/4 とします。Pearson統計量を求め、自由度を答えてください。
解答6
総数は100なので各期待度数は25です。
X2=25(28−25)2+25(22−25)2+25(27−25)2+25(23−25)2=2526=1.04.
母数は推定していないので、自由度は 4−1=3 です。
問題7:クロス表の独立性検定
薬剤群と対照群の反応者数が次の通りでした。独立性の下での期待度数を全セルについて求めてください。
| 反応 | 非反応 | 計 |
|---|
| 薬剤 | 30 | 20 | 50 |
| 対照 | 18 | 32 | 50 |
| 計 | 48 | 52 | 100 |
解答7
期待度数は行和×列和÷総数です。薬剤・反応セルでは
E11=10050×48=24.
同様に薬剤・非反応は26、対照・反応は24、対照・非反応は26です。自由度は (2−1)(2−1)=1 です。
問題8:検出力関数
右片側Z検定 H0:μ≤μ0、H1:μ>μ0 を考えます。母標準偏差 σ、標本数n、有意水準αのとき、真の平均がμである場合の検出力を求めてください。
解答8
棄却域は
σ/nXˉ−μ0>z1−α
です。整理すると Xˉ>μ0+z1−ασ/n です。Xˉ∼N(μ,σ2/n) より、
π(μ)=1−Φ(z1−α−σ/nμ−μ0).
問題9:Neyman–Pearson補題
X∼Bernoulli(p) について、H0:p=0.2 対 H1:p=0.8 を考えます。X=1 のとき棄却する規則が尤度比の大きい側を棄却していることを確認してください。
解答9
尤度比は
f0.2(1)f0.8(1)=0.20.8=4,f0.2(0)f0.8(0)=0.80.2=41.
X=1 の方がH1の下で相対的に起こりやすいため、尤度比の大きい X=1 側を棄却域に置きます。ただしこの非ランダム化検定のサイズは0.2であり、任意の小さい α を正確に作るにはランダム化が必要な場合があります。
問題10:単調尤度比と片側検定
Xi∼N(μ,σ2)、σ2既知で H0:μ≤μ0 対 H1:μ>μ0 を考えます。なぜ Xˉ が大きいときに棄却する検定が自然かを説明してください。
解答10
任意の μ1>μ0 に対し、尤度比の対数は定数を除いて
logL(μ0)L(μ1)=σ2n(μ1−μ0)Xˉ+const.
です。μ1−μ0>0 なので、これは Xˉ の増加関数です。したがって Xˉ が大きい標本ほどH1を支持し、単調尤度比から右片側のZ検定はUMPになります。
11. 医薬・生命科学の問題
問題1:細胞生存率の片側t検定
化合物処理後の生存率が基準70%より高いかを、n=9,Xˉ=76,S=9 から有意水準5%で検定してください。
解答1
H0:μ≤70,H1:μ>70.
T=9/976−70=2.00∼t8(H0).
右片側5%の臨界値は約1.860なので、2.00>1.860 です。H0を棄却し、生存率が70%より高いことを支持するデータです。ただし、ウェルが独立な実験単位か、別日に再現したかは別に確認します。
問題2:有害事象率と片側検定
既知の有害事象率を5%とします。新規製剤で100例中10例に有害事象が起きました。「率が5%を超えるか」を考えるとき、片側検定のH0とH1を答え、どちら向きの棄却域を使うか説明してください。
解答2
H0:p≤0.05,H1:p>0.05.
観測された有害事象数が大きいほどH1を支持するので、上側(右片側)棄却域を使います。小標本や期待度数が小さい場合は、正規近似より正確な二項検定を優先します。
問題3:遺伝子型と反応の独立性
遺伝子型(AA、Aa、aa)と反応(あり、なし)の関連をクロス表で検定するとき、帰無仮説、自由度、注意点を答えてください。
解答3
H0は「遺伝子型と反応は独立」です。3×2 表なので、自由度は
(3−1)(2−1)=2
です。期待度数が小さいセルがあるなら、カテゴリ併合、正確法、モデル化を検討します。集団構造や治療群などの交絡があれば、単純な独立性検定だけでは因果的な解釈はできません。
問題4:2群のばらつき比較
2つの測定法の再現性を比べるためにF検定を行う際、正規性が怪しいときの注意を説明してください。
解答4
F統計量の正確なF分布は正規母集団を仮定します。外れ値や歪みがあると分散比が大きく影響を受けるため、残差図・箱ひげ図を確認し、必要ならロバストな分散比較や変換、bootstrapを併用します。F検定の非有意は「再現性が同じ」の証明ではありません。
問題5:多重バイオマーカーとp値
20個の候補バイオマーカーをそれぞれ有意水準5%で検定しました。全ての帰無仮説が正しいとして、少なくとも1つが偶然有意となる確率を独立近似で求めてください。
解答5
どれも有意でない確率は (1−0.05)20=0.9520 です。よって少なくとも1つが有意となる確率は
1−0.9520≈0.642.
5%より大きく、複数比較を無視できません。実際には検定間の相関もありますが、主要評価項目の事前指定やFDR・FWERの制御を検討します。
問題6:AI分類器の比較
同じ患者群に対する2つのAI分類器の正解・不正解を比較するとき、独立な2標本の比率検定をそのまま使いにくい理由を説明してください。
解答6
同じ患者に対する2モデルの予測結果は対応しており、正解率の推定値は独立ではありません。患者ごとの「Aだけ正解」「Bだけ正解」という不一致対を用いるMcNemar検定など、対応を保つ方法を使います。さらに、モデル選択に使ったデータで最終検定を行わないことも必要です。
12. まとめ
- 仮説検定はH0を条件として、データの極端さを測る判断規則である
- 有意水準は第1種過誤の上限、p値はH0の下での極端さである
- 正規母集団では、既知分散ならZ、未知分散ならt、分散比ならFを使う
- 尤度比・Wald・スコアは、一般モデルでH0からのずれを測る3つの方法である
- カイ二乗検定では期待度数、自由度、独立な観測単位を確認する
- 検出力は効果量、標本数、ばらつき、有意水準で決まり、研究設計の段階で考える
- Neyman–Pearson補題は単純仮説での最適検定を与え、単調尤度比は片側UMP検定につながる
- p値だけで結論を作らず、効果量、信頼区間、研究デザイン、複数比較、再現性を合わせて解釈する