A/Bテスト有意差・必要サンプルサイズ計算
A/Bテストの訪問数とコンバージョン数を入力すると、コンバージョン率の差が偶然とは言いにくいかどうかを、2標本比率のz検定（プール分散）で判定します。p値・z値・相対改善率・差の信頼区間を表示し、両側/片側も切り替えられます。「必要サンプルサイズ」ではテスト開始前に各群に必要な人数を見積もれます。計算はブラウザ内で行われ、入力内容がサーバーに送信されることはありません。平均や標準偏差を調べたいときは 統計計算機、損益分岐点を知りたいときは 損益分岐点計算 もご利用ください。
🔒 ブラウザ内で完結・入力データはサーバーに送信されません
注意事項
- 2標本比率のz検定（プール分散）による正規近似です。各群の訪問数が小さい、またはコンバージョン率が0%や100%に近いと近似が粗くなります。期待度数が5未満のセルがあると警告を表示します。
- 有意差ありは「偶然だけで説明しにくい」という意味にとどまり、Bが必ず勝つことや、差が事業上意味のある大きさであることは保証しません。差の大きさは信頼区間で確認してください。
- 途中経過を何度も見て、有意になった時点でテストを止めると、実際より有意になりやすくなります（ピーキング問題）。サンプルサイズ計算で人数を決め、その人数に達してから判定してください。
- 複数のパターンや複数の指標を同時に比べる場合は、多重比較の補正（ボンフェローニ補正など）が別途必要です。このツールは1回の比較（A対B）を前提としています。
- 片側検定は「BがAより高い」場合だけを調べます。Bが下がった場合を見逃すため、迷うときは両側検定を使ってください。信頼区間は常に両側です。
- サンプルサイズは、各群に同数を割り当てる場合の値です。訪問者ごとの重複カウントや、曜日による変動などは考慮していません。
用語解説
p値
「本当は差がない」と仮定したときに、今回以上に大きな差が偶然出る確率です。小さいほど偶然では説明しにくくなります。「Bが勝つ確率」ではない点に注意してください。
有意水準（α）
有意差ありと判定する基準となる確率で、一般に5%を使います。p値がαを下回ると有意差ありとし、差がないのに誤って有意と判定する確率（第一種の過誤）をα以下に抑えます。
検出力（1 − β）
本当に差があるときに、それを有意差として見つけられる確率です。一般に80%以上を目標にします。検出力が低いと、差があっても見逃しやすくなります。
信頼区間
真の差が含まれていると見込める範囲です。95%信頼区間が0をまたがなければ、5%水準で有意差ありと対応します。幅が広いほど、差の大きさが不確かです。
相対改善率
Aに対してBのコンバージョン率がどれだけ上がったかを、Aの率に対する割合で表したものです。Aが2%、Bが2.5%なら、差は0.5ポイントで相対改善率は+25%です。
よくある質問
p値が0.05未満なら、Bが勝ったと言えますか？
p値が0.05未満なら「偶然だけで説明しにくい差」とは言えますが、Bが必ず勝つ・差が事業上十分大きい、とまでは言えません。p値は「Bが勝つ確率」ではなく、差がないと仮定したときにこの程度の差が出る確率です。差の大きさは信頼区間で確認してください。
両側検定と片側検定はどちらを使えばよいですか？
迷ったら両側検定を使ってください。片側検定は「BがAより高いか」だけを調べるため、p値が両側の半分になって有意になりやすい反面、Bが悪化した場合を見逃します。片側を使うなら、テストを始める前に決めておく必要があります。
必要サンプルサイズはどう決まりますか？
現在のコンバージョン率、検出したい最小の改善、有意水準（通常5%）、検出力（通常80%）から計算します。改善が小さいほど、またコンバージョン率が低いほど、必要な訪問数は大きく増えます。たとえば5%を6%にする場合は各群約8,100訪問が目安です。
途中で有意になったらテストを止めてもよいですか？
おすすめしません。結果を何度も確認して有意になった時点で止めると、実際には差がなくても有意と判定される確率が大きく上がります。サンプルサイズ計算で人数を決め、その人数に達してから1回だけ判定してください。
訪問数が少ないときの結果は信頼できますか？
このツールは正規近似を使うため、期待度数（訪問数×コンバージョン率など）が5未満のセルがあると精度が下がり、警告を表示します。その場合は訪問数を増やしてから再確認するか、フィッシャーの正確確率検定など別の方法を検討してください。
このページをシェア