ABテストとは？やり方の手順と有意差の考え方、一か所だけ変える理由

最終更新：2026年10月12日

ABテストとは、訪問者をランダムに2つのグループに分け、一か所だけ違うA案とB案を同じ期間に見せて、どちらが成果を上げるかを比べる検証のことです。広告のバナー、LPの見出し、メールの件名、申し込みボタンの文言など、ウェブ上の「比べられるもの」なら何にでも使えます。結論を先に書くと、ABテストのやり方でいちばん大事な決まりは「一度に変えるのは一か所」です。複数を同時に変えて勝っても、何が効いたのかが分からず、次の打ち手に使えません。手順と有意差の考え方を表にまとめ、「ABテストは意味ない」と言われる理由まで書きました。

ABテストとは？意味と手順・有意差の考え方の一覧

ABテストとは、条件をそろえた2つのグループで「変えた一か所」の効果だけを取り出す、小さな比較実験です。A/Bテスト、スプリットテストとも呼ばれます。感想を集めることでも、良し悪しを議論することでもなく、原因と結果を切り分けるための方法です。

やることを手順に分けると、次のようになります。

手順4と5に出てくる「有意差」は、ABテストでいちばん誤解されやすい言葉です。判定に使う用語を、意味と読み違えやすい点に分けて一覧にしました。

表の二つを並べると、ABテストの骨格が見えてきます。手順は「何を比べたか」をはっきりさせるため、有意差は「その差が偶然ではないか」を確かめるためにあります。どちらが欠けても、テストの結果は判断の根拠になりません。

ABテストの由来──比較実験の考え方はフィッシャーから

ABテストの土台にある「ランダムに分けて比べる」発想は、統計学者ロナルド・フィッシャー（Ronald A. Fisher）が1935年の著書「The Design of Experiments（実験計画法）」で体系化したものです。もとは農業試験の方法で、畑を無作為に割り当てることで、土の良し悪しのような見えない要因を両方の区画に均等に散らす考え方でした。

ランダムに分ける意味は、ウェブでもまったく同じです。くじ引きで訪問者を二つに分ければ、熱心な人もそうでない人も、スマホの人もパソコンの人も、両方にほぼ均等に入ります。同じ期間に並べて流せば、曜日や天気、広告の出稿量といった外の要因もA案とB案に等しくかかります。条件をそろえたうえで残った差だけが、変えた一か所のせいだと言えます。

ただ、「ABテスト」という呼び名を最初に使った人や時期は、ぼくが調べた範囲でははっきりしませんでした。ダイレクトメールの時代から、宛先を二つに分けて反応を比べる方法は使われていて、ウェブの普及とともにこの呼び名が定着した、と考えるのが実態に近いと思います。

ウェブでの大規模な実践については、マイクロソフトで実験基盤を率いたロン・コハヴィ（Ron Kohavi）らの「Trustworthy Online Controlled Experiments」（Cambridge University Press、2020年）が定番です。日本語版は「A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは」（KADOKAWA、2021年）として出ています。コハヴィとステファン・トムキの寄稿「The Surprising Power of Online Experiments」（Harvard Business Review、2017年）では、Bing（マイクロソフトの検索エンジン）で優先度が低いとされ半年以上放置されていた広告見出しの表示変更が、テストしてみると収益を12％押し上げ、米国だけで年1億ドルを超える規模の効果になったと紹介されています。会議室での優先順位と実際の効果は、それくらい一致しないことがあります。

ABテストのやり方──一度に変えるのは一か所

ABテストのやり方で、ほかの何より先に守るべきなのは「B案で変えるのは一か所だけ」という決まりです。見出しと写真とボタンを同時に変えたB案が勝っても、勝因が見出しなのか写真なのかボタンなのかは、データのどこにも残りません。勝ったのに、次に何をすればいいかが分からない。それがABテストでいちばんもったいない結果です。

この失敗が起きやすいのは、制作の現場では「全部少しずつ良くする」のが自然な動きだからです。広告会社にいた頃、修正の打ち合わせのたびに見出しも写真もボタンの色も少しずつ変わり、最終的には最初の案と何もかもが違うものになっていく光景はよく見ました。作品として良くするなら、それで構いません。でもテストとして比べるなら、それでは何も学べません。作る仕事と比べる仕事は、手の動かし方が逆になります。

一か所に絞るための実務の手順は、次の3つです。

• 仮説を一文で書く。「初めての人は料金が分からず申し込みをためらっている。だからボタンの手前に料金の目安を置けば申し込み率が上がる」のように書くと、変える場所が自動的に一つに決まる
• B案を作ったら、A案との差分を言葉で全部書き出す。二つ以上書けてしまったら、まだ絞り切れていない
• どうしても複数を変えたいときは、テストを分けて順番に回す。同時に比べたいなら、多変量テスト（後述）を選ぶ

「一か所」の大きさは、ボタンの色のような小さな要素に限りません。オファーそのもの（無料期間の有無など）や、訴求の軸そのもの（価格で売るか、時間で売るか）を一か所として入れ替えることもできます。大事なのは、変えたものを一言で名指しできることです。名指しできれば、勝っても負けても「この層は◯◯で動く／動かない」という学びが残ります。その学びを次の仮説へ渡していく回し方はPDCAサイクルとは？古いと言われる理由とOODAとの違いで書いています。

どこをテストするかは、人がいちばん多く通る場所、そして多く離れていく場所から選ぶと効果が大きくなります。ページごとの離れ方の見方は離脱率の計算方法と直帰率との違いにまとめました。判定に使う指標を一つに絞るときは、それが最終目標（KGI）につながっているかを確かめておくと安全です。指標の階層の考え方はKPIとKGIの違いの比較表が参考になると思います。判定の指標をCVR（コンバージョン率）に置くときの計算方法はCVRとは？計算方法と平均、CTRとの関係で書いています。

ABテストの有意差──「勝った」と言える条件

ABテストで「B案が勝った」と言えるのは、事前に決めた人数が集まった時点で、統計的な有意差があり、かつその差が事業として意味のある大きさだったときです。有意差だけでも、差の大きさだけでも足りません。

よくある読み違いは、p値を「B案が勝つ確率」だと思ってしまうことです。米国統計学会（ASA）が2016年に出した「p値と統計的有意性に関する声明」では、p値は仮説が正しい確率を示すものではないこと、効果の大きさや結果の重要性を測るものではないこと、科学的な結論や意思決定をp値が特定の閾値を越えたかどうかだけで決めるべきではないことが原則として示されています。有意差は「偶然とは言いにくい」という目安であって、「大きく効いた」という意味ではありません。

判定のときは、次の3つを順番に確かめます。

もうひとつ、被害の大きい失敗があります。結果を毎日のぞいて、有意差が出た日に止めてしまうことです。検定は「決めた人数に達した時点で一度だけ判定する」前提で作られているので、のぞくたびに判定していると、偶然の揺れを差と見誤る確率が設計より大きく膨らみます。のぞくのは構いません。止めるのをやめる。終了日を始める前に決めておくのは、そのための約束です。

必要な人数は、いまの数値と見たい差の大きさから計算します。元の数値が小さいほど、見たい差が小さいほど、必要な人数は跳ね上がります。ツールや無料の計算機で事前に出しておき、集まる見込みがないなら、変える一か所をもっと大きなもの（オファーや訴求の軸）に替えて、大きな差を狙う設計に切り替えます。

ABテストは意味ない？2026年時点での注意点

「ABテストは意味ない」と言われるのは、ABテストそのものが無力だからではなく、人数が足りない・期間が短い・変えた場所が多い、のどれかで判断に使えない結果が量産されているからです。設計を守れば、ABテストはいまも原因と結果を切り分けるいちばん確かな方法の一つです。

2026年時点の日本で、実務上気をつけたい点は3つあります。

一つめは、ツールの前提が変わったことです。無料で使われていたGoogle オプティマイズはGoogle の公式ヘルプにあるとおり、2023年9月30日で提供を終えました。いまは有料のテストツールを使うか、広告媒体やメール配信ツールに組み込まれた比較機能を使うのが一般的です。媒体の機能を使うときは、配信の最適化で片方に表示が偏っていないか、本当にランダムに分かれているかを確かめておく必要があります。

二つめは、小さなサイトほどABテストが成立しにくいことです。月に数百人しか来ないページで小さな差を測ろうとしても、答えが出る前に季節や商品のほうが変わってしまいます。その場合は、数人に実際に使ってもらって、どこで手が止まるかを観察するユーザーテストのほうが早く問題が見つかります。自分で売る側になってから、ぼくもこの順番で考えるようになりました。数を測れないときは、目で見る方法に切り替えます。

三つめは、短期の数字で勝つ案が長期で負けることがある点です。値引きや強い煽りの文言は、数週間のテストでは申し込み率をほぼ確実に上げます。でも、値引き待ちの習慣やブランドへの不信は、テスト期間の数字には映りません。人の判断を動かす心理の使い方と、その線引きはマーケターが知っておくべき10個の心理学的法則でも整理しています。ABテストで測れるのは、測った期間の、測った指標だけです。

ABテストに関するよくある質問

ABテストとRCT（ランダム化比較試験）の違いは何ですか？

考え方は同じで、ABテストはウェブやマーケティングで行うランダム化比較試験だと捉えてかまいません。どちらも対象を無作為に分け、介入の有無以外の条件をそろえて効果を比べます。違うのは場面と規模で、RCTは医療や政策の評価で使われることが多く、ABテストはウェブ上で短期間に大人数を対象に回すことが多い、という程度の差です。

ABテストと多変量テストは何が違いますか？

ABテストは一か所だけを変えた2案を比べる方法、多変量テストは複数の要素の組み合わせを同時に比べる方法です。多変量テストは一度に多くを確かめられますが、組み合わせの数だけ案が増えるので、必要な人数も大きく増えます。大量の訪問者がある事業でなければ、一か所ずつのABテストを順番に回すほうが確実です。

ABテストは何日くらい回せばいいですか？

日数から決めるのではなく、必要な人数が集まる日を先に計算し、そのうえで最低でも1週間は回します。平日と休日で人の行動が変わるので、曜日を一周しないテストは偏りやすいからです。給料日や大型の販促をまたぐなら、二周させたほうが安全です。

有意差が出なかったテストは失敗ですか？

失敗ではありません。差が出ないという結果は、変えた一か所が生活者の判断をあまり左右していない、という発見です。次はそこを触らなくてよいと分かります。ただし、人数が足りずに差が見えなかっただけの可能性もあるので、事前に必要な人数を計算しておくと、この二つを区別できます。

おわりに──変えたものを一つと数えられるか

ABテストは、良い案を選ぶための道具だと思われがちです。でも本当の役目は、何が効いたのかを一つに特定することにあります。勝ち負けは結果にすぎず、残るべきなのは「この層は、これで動く」という一行の理解です。

B案を作り終えたら、始める前にA案との違いを数える。二つ以上あったら、そのテストはまだ始めない。それだけで、結果の読み方がまるで変わります。

テストが失敗したのではない。変えたものを数えていなかっただけ。

この一行を手元に置いておくと、ABテストの結果が会議の勝ち負けではなく、次の打ち手の材料に変わっていくと思います。