ABテストは、改善施策の効果を客観的に判断する手法です。しかし、中小規模のサイトでは実施できない場合が多くあります。理由は、判断に必要なデータ量が集まらないためです。
データが足りない状態でABテストを行うと、偶然の差を「効果があった」と誤読します。これは何もしないより悪い状態です。誤った結論に基づいて、以降の判断が歪むためです。
この記事では、ABテストをやるべき条件と、条件を満たさない場合の代替手段を解説します。
この記事でわかること
・ABテストが成立する条件
・必要なデータ量の考え方
・条件を満たさない場合の代替手段
・テストの設計手順
・結果を誤読しないための注意点
ABテストが成立する条件
| 条件 | 理由 |
|---|---|
| 対象ページのアクセス数が十分にある | データが貯まらないと差を判断できない |
| CV数が一定量ある | CVRの差を見るにはCV件数が必要 |
| 流入の質が安定している | 広告の出稿状況が変わると比較にならない |
| テスト期間中に他の変更をしない | 変数を1つに絞る |
| 実施と検証の体制がある | 設定して放置では意味がない |
1番目と2番目が満たせないケースが大半です。月間のCV数が数件のサイトでABテストを行っても、その数件の差は偶然の範囲に収まります。
CV数が少ないサイトでのABテストは、偶然を効果と誤読する装置になります。
データ量が足りない場合は、テストではなく別の手段を使ってください。
必要なデータ量の考え方
厳密な計算には統計的な手法が必要ですが、実務では次の観点で判断できます。
- 現在のCVRを確認する
- 検出したい差の大きさを決める：どのくらいの改善なら意味があるか
- 差が小さいほど、必要なデータ量は増える
- 月間のCV数が2桁に満たない場合、判断は難しい
3番目が実務上の落とし穴です。「CVRが10%改善したか」を判断するには、「50%改善したか」を判断するより、はるかに多いデータが必要になります。
そして、小さな改善を検出しようとするほど、テスト期間は長くなります。数か月かけて判断するのであれば、その間に別の改善を実施したほうが早い場合があります。
条件を満たさない場合の代替手段
ABテストができないことは、改善できないことを意味しません。
| 手段 | 内容 | 向いている状況 |
|---|---|---|
| 前後比較 | 変更前後の同期間で比較する | データ量が中程度 |
| 明らかな問題の修正 | テスト不要。直せば改善する | 速度、リンク切れ、情報不足 |
| ユーザビリティテスト | 少人数に実際に操作してもらう | どこで迷うかを知りたい |
| ヒートマップ | ページ内の挙動を見る | 離脱箇所を特定したい |
| 問い合わせ内容の分析 | よく聞かれる質問から不足情報を知る | どの企業でも可能 |
| 広告クリエイティブでの検証 | 配信量が多く判断が速い | 訴求の検証 |
2番目を優先してください。送料が書かれていない、フォームの項目が多すぎる、スマートフォンで崩れている——これらはテストで確認するまでもなく、直すべき問題です。
ユーザビリティテストの方法はユーザビリティテストのやり方｜低コストで始める実践手順、ヒートマップはヒートマップ分析のやり方｜何を見て、どこを直すのかを参照してください。
広告クリエイティブでの検証
サイトのABテストが難しい場合でも、広告のクリエイティブであれば検証が速く回ります。配信量を調整でき、複数パターンを同時に配信できるためです。
ここで得た「効いた訴求」は、サイトのファーストビューや見出しにも展開できます。検証の考え方はバナーデザインの作り方｜クリックされる設計と評価の仕方を参照してください。
テストの設計手順
条件を満たしている場合の進め方です。
- 仮説を1つ書く：「◯◯だから離脱している。△△すれば改善する」
- 変更する要素を1つに絞る：複数変えると原因が特定できない
- 成功の基準を先に決める：どの指標が、どれだけ動けば採用するか
- 期間を先に決める：結果を見てから期間を変えない
- 実施する
- 期間終了まで判断しない：途中経過で止めない
- 結果を記録する：効かなかった施策も記録する
3番目と4番目を先に決めることが最も重要です。結果を見てから基準や期間を決めると、都合の良い解釈が可能になります。
仮説の立て方
| 良くない仮説 | 良い仮説 |
|---|---|
| ボタンの色を変えたらどうなるか | ボタンが背景に埋もれて気づかれていない。色のコントラストを上げれば気づかれる |
| 見出しを変えてみる | 検索語と見出しが一致しておらず、期待と違うと判断されている |
| 写真を差し替える | 素材写真のため実在感がなく、信頼につながっていない |
「どうなるか試す」は仮説ではありません。なぜそうなっていると考えるかを書いてください。仮説がなければ、結果が出ても次に活かせません。
結果を誤読しないために
| やりがちな誤り | 起きること | 対処 |
|---|---|---|
| 途中経過で判断する | 初期の偏りを結果と誤読 | 期間終了まで見る |
| 勝った時点で止める | 偶然の差を採用する | 期間を先に決める |
| 複数の指標から良いものを選ぶ | 都合の良い結果だけ見る | 主指標を先に決める |
| 期間中に他の変更をする | 原因が特定できない | 変更を止める |
| 季節変動を考慮しない | 外部要因を効果と誤読 | 前年同期も確認する |
| サンプルの偏りを見ない | 特定の流入元に偏っている | 流入元の構成を確認 |
2番目は「勝ちで止める」と呼ばれる誤りです。テスト中に一時的に差が開く瞬間は必ずあります。そこで止めれば、どんな施策でも「効果があった」という結論を作れてしまいます。
6番目も重要です。テスト期間中に広告の出稿を増やすと、流入の質が変わります。比較しているのは施策の差ではなく、流入の差になっている可能性があります。
効かなかった結果も記録する
ABテストの多くは、明確な差が出ません。これは失敗ではなく、「その要素は結果に影響していない」という情報です。
- 同じ検証を繰り返さない：担当者が変わっても分かる
- 影響の大きい要素が絞れる：どこを触るべきかが見えてくる
- 他ページへの展開判断ができる：効いた要素は横展開する
- 投資判断の材料になる：効果のない領域に費用をかけない
記録には、仮説・変更内容・期間・結果・解釈を残してください。数字だけでは、後から読んでも意味が分かりません。
よくある失敗
失敗1：データ量が足りない状態で実施する
偶然の差を効果と誤読します。CV数が2桁に満たない場合は、別の手段を使ってください。
失敗2：複数の要素を同時に変える
差が出ても、何が効いたか分かりません。
失敗3：途中で勝っているほうを採用する
どんな施策でも「効果があった」という結論を作れてしまいます。
失敗4：明らかな問題を放置してテストする
速度、リンク切れ、情報不足はテスト不要です。直してください。
失敗5：効かなかった結果を記録しない
同じ検証を繰り返すことになります。
よくある質問
Q. 月間何件のCVがあればABテストできますか？
検出したい差の大きさによって変わるため、一律の基準はありません。ただし月間のCV数が1桁の場合、実務的には判断が困難です。まず前後比較や、明らかな問題の修正を優先してください。
Q. どのくらいの期間実施すべきですか？
曜日による変動を考慮し、少なくとも1週間の倍数で設定してください。平日と休日で行動が違う商材では、この考慮が必要です。期間は開始前に決め、結果を見てから延長しないでください。
Q. ツールは必要ですか？
ABテスト用のツールを使う方法と、広告側で遷移先を分ける方法があります。ツールを使う場合、表示速度への影響と、表示の切り替わりが見える現象の有無を確認してください。
Q. SEOに悪影響はありますか？
通常のABテストで問題になることは稀ですが、検索エンジンに対して異なる内容を見せる実装や、テスト後も複数の同内容ページを残す状態は避けるべきです。実施方法については検索エンジンの公式ガイドラインで最新情報を確認してください。
Q. 差が出なかった場合はどうしますか？
「その要素は結果に影響していない」という情報が得られています。次はより影響の大きそうな要素——ファーストビューの内容、フォームの項目数、価格の提示方法など——を検証してください。
まとめ
ABテストは客観的な判断手法ですが、成立には条件があります。対象ページのアクセス数とCV数が足りない状態で実施すると、偶然の差を効果と誤読します。これは何もしないより悪い結果を招きます。
月間のCV数が1桁の場合は、テストではなく別の手段を使ってください。明らかな問題の修正、ユーザビリティテスト、ヒートマップ、問い合わせ内容の分析——いずれも少ないデータで判断できます。
実施する場合は、仮説を1つ書き、変更する要素を1つに絞り、成功の基準と期間を開始前に決めてください。結果を見てから基準を決めると、どんな施策でも「効果があった」という結論を作れてしまいます。
そして、差が出なかった結果も記録してください。「その要素は影響していない」という情報は、次にどこを触るべきかを絞り込む材料になります。
当社ではホームページ制作および改善支援において、データ量に見合った検証方法を選んで進めています。資料では改善の進め方をまとめていますので、自社の状況を整理したい方はぜひダウンロードしてご活用ください。
