会員登録フォームのA/Bテスト｜何件集まったら判定してよいか

なぜ「前後の比較」ではなくA/Bテストなのか

フォームを直した週と、その前の週の登録数を比べる方法は手軽ですが、その間にはセール、季節、広告の出し方、天気まで、フォーム以外のたくさんのことが変わっています。登録が増えても、どれのおかげかは分かりません。

A/Bテストでは、同じ期間に来た人を、くじ引きのように無作為にAとBへ振り分けます。セールや季節の影響はAにもBにも同じように届くので、残った差はフォームの違いによるものと考えやすくなります。直す項目の見つけ方は会員登録フォームはどの項目で離脱しているかで紹介しました。この記事は、その次の「直した案が本当に良いのか確かめる」段階の話です。

marketingLABOのフォームのA/Bテストの仕組み

marketingLABOで作ったフォームには、A/Bテストの機能があります。仕組みを先に押さえておくと、結果を読み違えにくくなります。

1. 始め方：フォームの編集画面で「ABテスト追加」を押すと、今のフォームがA、そのコピーがBになり、既定では50:50で振り分けられます。Bを編集して、比べたい違いを1つ入れます。
2. 比率：「配信比率設定」で、各バリアントを表示する割合を%で変えられます(合計は常に100%)。C以降のバリアントも追加できます。
3. 同じ人には同じフォーム：一度振り分けられた訪問者には、同じブラウザである限り同じバリアントが表示されます。開くたびにAとBが入れ替わることはありません。
4. 結果：「結果を見る」で、バリアントごとの表示数・CV数・CV率・平均入力時間と、Aを基準にしたp値を見られます。p値が0.05未満のときは★が付きます。画面には「サンプル数が十分(各バリアント100表示以上)になってから判断してください」という注意も出ます。
5. 一時停止：一時停止すると振り分けが止まり、訪問者にはAだけが表示されます。再開すれば振り分けが戻ります。
6. 終了：終了するときは、勝ったバリアントを選んで「採用して終了」します。以後はそのフォームに統一されます。勝者を決めずに終了することもできますが、あとから勝者を選び直すことはできません。

何を変えるか：1回のテストで1つだけ

BではAから1か所だけ変えます。項目を減らし、ボタンの文言も変え、特典の説明も足すと、登録が増えてもどれが効いたのか分かりません。会員登録やメルマガ登録のフォームで試しやすいのは、次のような違いです。

差が小さそうな変更(文字の色、余白など)は、あとで説明するとおり、判定に非常に多くの件数が必要になります。表示数の少ないフォームでは、項目を減らすなど、効果が大きく出そうな変更から試すほうが現実的です。

p値を平たく言うと

p値は、「もし本当はAとBに差がないとしたら、今回くらい(またはそれ以上)の差が偶然に出る確率」の目安です。p値が小さいほど、「偶然だけでこの差が出たとは考えにくい」ことを示します。0.05未満を「統計的に有意」とするのは、差がないのに差があると判断してしまう誤りを20回に1回くらいまでは受け入れる、という慣習的な線引きです。

marketingLABOのp値は、Aを基準に、各バリアントと「CVした／しなかった」の2×2の表を作り、カイ二乗検定で計算しています。ペンシルベニア州立大学の統計学の講義資料(STAT 509)は、2つの割合を比べる方法として正規近似のz検定、カイ二乗検定(z検定の2乗にあたる)、連続性補正つきのカイ二乗検定、フィッシャーの正確検定を挙げ、正規近似やカイ二乗による近似は、表の各マスの期待される件数が5より大きいときに役に立ち、そうでなければフィッシャーの正確検定を勧めています。アメリカ国立標準技術研究所(NIST)の統計ハンドブックも、標本が十分に大きければ正規近似を、小さければフィッシャーの正確検定を使う方法を紹介しています。

p値の読み方で特に注意したいのは、アメリカ統計学会(ASA)が2016年に公表した声明の原則です。

1. p値は、調べている仮説が正しい確率や、データが偶然だけで生じた確率を表すものではない。
2. 結論や事業上の判断を、p値がある線を超えたかどうかだけで決めるべきではない。
3. p値や統計的有意性は、効果の大きさや結果の重要さを表すものではない。

つまり、p値が0.05を下回っても「Bのほうが必ず良い」とは言えませんし、0.05を上回っても「差がない」と決まったわけでもありません。CV率の差がどのくらいか、その差が売上の上でどれほど意味があるかと合わせて判断します。

件数が少ないと、どう見えるか

同じくらいのCV率の差でも、件数によってp値は大きく変わります。次の表は、AのCV率が10%のときに、Bが違う結果になった場合を、marketingLABOと同じカイ二乗検定(補正なし)で計算した架空の例です。

各100表示では、CV率が1.5倍(10%と15%)でも有意になりません。2倍になってようやく0.05を下回ります。同じ2ポイントの差(10%と12%)でも、各1,000表示では有意にならず、各4,000表示なら有意になります。管理画面の「各バリアント100表示以上」は、これより少ない件数では判断しないための最低限の目安で、100表示あれば十分という意味ではありません。

何件集まったら判定してよいか

必要な件数は、始める前に計算できます。STAT 509の講義資料は、2つの割合を同じ人数ずつで比べるときの1グループあたりの人数を、おおよそ次の式で示しています(両側検定)。

n = 2 × (z(1−α/2) + z(1−β))² × p̄(1−p̄) ÷ (p1 − p2)²

p1, p2 … AとBのCV率(見込み)
p̄ … p1とp2の平均
α … 有意水準(0.05なら z = 1.96)
1−β … 検出力。本当に差があるときに見つけられる確率(80%なら z = 0.84)

この資料は、効果の大きさを半分にすると必要な人数が4倍になる、とも説明しています。有意水準5%・検出力80%で計算すると、目安は次のようになります(架空の例)。

目安の使い方は単純です。今のCV率と、「これくらい上がるなら採用したい」というCV率を決め、必要な表示数を出します。フォームの1日の表示数で割れば、テストに必要な日数が分かります。日数があまりに長くなるなら、差の小さい変更を試すのはやめ、効果の大きい変更に切り替えます。あわせて、どのマスの件数も少なすぎないよう、各バリアントのCV数とCVしなかった数が、どちらもおおむね5件を超えているかも確かめます。

途中で何度ものぞいて止めない

A/Bテストでいちばん多い失敗は、毎日結果を見て、p値が0.05を下回った日にテストを止めることです。p値は件数が増えるあいだ上下に揺れるので、何度も見ていれば、本当は差がなくても、どこかで0.05を下回る日が来やすくなります。

臨床試験の分野では、この問題が古くから知られています。James Lind Libraryの解説によると、マクファーソンが1974年に示したとおり、たまっていくデータを10回、調整せずに検定すると、5%のはずの「差がないのに差があると判断してしまう」確率が20%近くにまで上がります。臨床試験では、途中で何回、いつ検定するかを、あらかじめ計画に書いておくことが求められます。

フォームのテストでも考え方は同じです。始める前に「各バリアント○表示になるまで」「最低でも1週間(曜日の偏りをならすため)」と決め、その時点で1回だけ判定します。途中で結果を見るのは、エラーで片方のフォームが送れなくなっていないかを確かめるためだけにします。

バリアントを3つ、4つと増やすときも注意が要ります。NISTのハンドブックは、2つずつの比較を何度も繰り返すと、全体の有意水準が1回の比較で決めた水準どおりにならないと説明しています。marketingLABOのp値はそれぞれAとの比較なので、バリアントが多いほど、どれかが偶然★になりやすくなります。件数の少ないフォームでは、AとBの2つで比べるのがおすすめです。

進め方の手順

1. 離脱率レポートを見て、直す項目を1つ決める。
2. 今のCV率と、採用したいCV率を決め、必要な表示数と日数を見積もる。
3. ABテストを追加し、Bで1か所だけ変える。比率は50:50のままにする。
4. 自分のスマホとパソコンで、AとBの両方を最後まで送信できるか確かめる。
5. 決めた件数と日数がたまるまで、判定しない。
6. CV率の差、p値、平均入力時間を合わせて見て、採用するほうを選んで終了する。
7. 結果(何を変え、何件で、どうなったか)を記録し、次に直す項目を決める。

よくある質問

Q. 50:50以外の比率にしてもよいですか？
できますが、合計の件数が同じなら、半分ずつに分けたときがいちばん早く差を見つけられます。Bの出来に不安があり、まず一部の人にだけ出したいときなどに限って比率を下げます。比率を途中で変えると、期間ごとに客層が違う組み合わせを比べることになるので、テスト中は変えないようにします。

Q. p値が0.05を下回らないまま、予定の件数になりました。
「この件数では差が見つからなかった」という結果です。差がないと決まったわけではありません。CV率の差が小さいなら、手間の少ないほう、お客さまに聞く項目が少ないほうを採用するのも1つの判断です。

Q. ポップアップの文言もA/Bテストできますか？
marketingLABOでは、ポップアップバナーのA/Bテストはできません。バナーごとの表示回数とクリック数は見られるので、期間を分けて比べることはできますが、その場合は前後比較になり、この記事で説明した偶然の偏りを取り除けない点に注意してください。

フォームは全プランで使えます(フォームの数はフリー1つ、ライト3つ、スタンダード無制限)。登録したあとに送るメールは会員登録後のステップメールの組み方で紹介しています。無料で登録して試してみてください。プランの違いは料金をご覧ください。

参考にした資料

Penn State Eberly College of Science「STAT 509: Design and Analysis of Clinical Trials, Lesson 8 Sample Size and Power」(2026年10月12日確認): https://online.stat.psu.edu/stat509/Lesson08

NIST/SEMATECH e-Handbook of Statistical Methods「7.3.3. How can we determine whether two processes produce the same proportion of defectives?」(2026年10月12日確認): https://www.itl.nist.gov/div898/handbook/prc/section3/prc33.htm

NIST/SEMATECH e-Handbook of Statistical Methods「7.4.7. How can we make multiple comparisons?」(2026年10月12日確認): https://www.itl.nist.gov/div898/handbook/prc/section4/prc47.htm

American Statistical Association「ASA Releases Statement on Statistical Significance and P-Values」(2016年3月7日、2026年10月12日確認): https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf

James Lind Library「Long overdue recognition of Klim McPherson’s 1974 article on sequential analysis of trial data」(2026年10月12日確認): https://www.jameslindlibrary.org/articles/long-overdue-recognition-of-klim-mcphersons-1974-article-on-sequential-analysis-of-trial-data/