有意差とは？p値と0.05の意味をわかりやすく、ABテストの落とし穴

最終更新：2026年10月17日

有意差とは、「本当は差がない」と仮定したとき、観測された差が偶然だけでは起こりにくいと判断できる差のことで、その判断にはp値を使います。p値とは、帰無仮説（差がないという仮の前提）が正しいとき、観測された結果か、それ以上に極端な結果が得られる確率です。マーケティングのABテストでいえば、「B案が勝った」と言ってよいかを確かめる判定の言葉です。何人集めればよいかを決めるサンプル数の話はテストを始める前の設計の問題で、有意差は集めたあとの結果をどう読むかの問題です。結論を先に書くと、有意差は「効果が大きい」ことも「仮説が正しい」ことも保証しません。p値の正確な意味と誤解3つ、0.05の由来、ABテストの「勝ち」判定の落とし穴まで、架空の広告データの表で整理しました。

有意差とは？p値の意味と、よくある誤解3つの一覧

有意差とは、p値が事前に決めた有意水準（多くは0.05）を下回ったときに「統計的に有意な差がある」と呼ぶ判定のことです。言い換えると、「差がないのに、偶然これほどの差が出る」可能性が小さいので、差がないという前提を退ける、という手続きです。

p値の定義をもう一度ていねいに書くと、「帰無仮説が正しいとき、観測された結果か、それ以上に極端な結果が得られる確率」です。ポイントは「帰無仮説が正しいとき」という条件が先に置かれていることにあります。p値は、差がない世界を仮定したうえで計算した数字であって、仮定そのものが正しい確率ではありません。

この条件を読み飛ばすと、誤解が生まれます。米国統計学会（ASA）が2016年に出した声明「The ASA Statement on p-Values: Context, Process, and Purpose」（The American Statistician、第70巻2号）と、サンダー・グリーンランドら7人の研究者による解説論文「Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations」（European Journal of Epidemiology、2016年）をもとに、代表的な誤解を3つにまとめました。

ASA声明は6つの原則を示していて、ほかにも「科学的な結論やビジネスの意思決定は、p値が特定の閾値を越えたかどうかだけで決めるべきではない」（原則3）と書いています。有意差は判断の材料の一つであって、判断そのものではありません。

0.05の由来──フィッシャーの1925年の本

有意水準の0.05は、統計学者ロナルド・フィッシャー（Ronald A. Fisher）が1925年の著書「Statistical Methods for Research Workers」（エディンバラのOliver and Boyd刊）で示した目安が広まったものです。自然の法則から導かれた数字ではありません。

フィッシャーはこの本の正規分布の節で、P＝0.05、つまり「20回に1回」にあたる値は1.96、ほぼ2であり、偏差が有意かどうかを判断する限界としてこの点をとるのが便利だ、という趣旨のことを書いています。標準偏差のおよそ2倍という、手計算の時代に扱いやすい区切りだったわけです。

そのあと、有意水準を実験の前に決めて「本当は差がないのに差ありと判断する誤り」と「本当は差があるのに見逃す誤り」の二つを管理する考え方を、イェジ・ネイマンとエゴン・ピアソンが1933年の論文「On the Problem of the Most Efficient Tests of Statistical Hypotheses」（Philosophical Transactions of the Royal Society of London, Series A、第231巻）で整えました。いまのABテストツールの判定は、おおむねこの二つの流れを混ぜた形で使われています。

0.05が「便利な目安」として始まったことは知っておいて損はありません。0.049と0.051のあいだに、世界が切り替わるような境目はないからです。

ABテストの「勝ち」判定の落とし穴──早期停止と多重比較

ABテストで有意差を読み違える原因の大半は、検定の計算ではなく、検定の前提を崩す使い方にあります。代表的なのが、途中で何度ものぞいて有意になった日に止める「早期停止」と、たくさんの案や指標を一度に比べる「多重比較」です。

まず早期停止です。LPのボタン文言のA案とB案を、それぞれ1日1,000人ずつに見せたとします。数字はすべて説明のための例で、p値は二つの割合の差の検定（両側）で計算しました。

3日目にのぞいた人は「B案がCVR1.5倍、p＜0.05で有意」と報告したくなります。でも予定どおり14日間回すと、差は2.07％対2.18％まで縮み、p値は0.53です。3日目の差は、始まったばかりの揺れだった可能性が高いと読めます。

のぞくたびに判定すると、偶然を差と見誤る確率は設計の5％より大きくなります。本当は差がないA案とB案（CVRはどちらも2％、1日1,000人ずつ）で14日間、毎日のぞいて一度でもp＜0.05になったら止める、という運用を20,000回シミュレーションしてみると、「有意な差あり」と判定してしまった割合は約22％でした（ぼくが計算した例です）。最終日に一度だけ判定した場合は約5％なので、のぞいて止めるだけで誤りが4倍ほどに増えます。

次に多重比較です。有意水準5％の検定を、互いに関係のない比較で何回も繰り返すと、少なくとも1回は偶然で「有意」が出る確率は、1−0.95の回数乗で計算できます。

バナーを5案並べて全部を元の案と比べる、CVR・CTR・滞在時間・直帰率・客単価の5指標を全部見る、年代別・デバイス別・地域別に分けて有意な層を探す。どれも比較の数が増えているので、どこかで「有意」が出ても驚くことではありません。ボンフェローニ補正は有意水準を比較の数で割る簡単な方法で、厳しめに判定したいときの目安になります。いちばん確かなのは、判定に使う指標と比較を、テストの前に一つに決めておくことです。

実務でどう使うか──有意差を読む手順

実務で有意差を読むときは、「有意か」を最後に見るくらいの順番がちょうどいいと思います。先に見るべきなのは、差の大きさと、テストの約束が守られたかどうかです。

テストの結果報告に「有意差あり」の一語が出ると、そこで採用が決まりかけることがあります。ぼくも、それが何日目の数字なのかを確かめないまま、うなずきかけたことがあります。よくある誤読の型と、正しい読み方を対にしました。

判定の手順は次の4つです。

• 約束を確かめる：判定の指標・必要な人数・終了日を、テストの前に決めていたか。途中で変えていないか
• 差の大きさを見る：CVRが何ポイント動いたか、それは売上やCPAに直すといくらか。ランダムに分けて比べる方法そのものはABテストのやり方と有意差の考え方に、CVRの計算はCVRの計算方法と平均にまとめています
• 有意かを見る：決めた人数に達した時点で、有意水準を下回ったか
• 仮説で説明できるかを見る：勝った理由を、始める前に書いた仮説で説明できるか。説明できない勝ちは、もう一度確かめる

この順番にしておくと、「有意だけど小さすぎて採用しない」「有意ではないが差が大きいので人数を増やして確かめ直す」といった判断が自然にできるようになります。広告が本当に上乗せした成果を測りたい場合は、比べる相手の置き方が変わるので、インクリメンタリティの測り方とジオテストもあわせて読むと整理しやすいと思います。

2026年時点の注意点──「有意差」という言葉との付き合い方

2026年時点で、有意差という言葉は統計学の世界でも見直しの議論が続いています。0.05で白黒をつける使い方そのものが、誤解を生む原因だと指摘されてきたからです。

ASAの2016年の声明のあと、2019年にはThe American Statistician誌（第73巻の別冊）に、ロナルド・ワッサースタインらの論説「Moving to a World Beyond “p < 0.05″」が載り、「統計的に有意」という言い方自体をやめることが提案されました。これは学会の公式声明ではなく、編集者による論説という位置づけです。2016年の声明の側も、統計家はp値を補ったり置き換えたりする方法として、信頼区間のように「差がどれくらいか」を推定する方法を使うことが多いと書いています。区切りで白黒をつけるより、差の大きさと不確かさの幅を一緒に示す、という方向です。

マーケティングの現場で気をつけたいのは、ツールの表示です。ABテストツールの中には、p値ではなく、ベイズ統計にもとづく「B案が勝つ確率」のような数字を出すものがあります。その数字はp値とは別の計算で出したもので、「勝つ確率95％」と「p＜0.05」は同じ意味ではありません。どちらの数字なのか、何を前提に計算しているのかを、ツールの説明で一度確かめておくと読み違いが減ります。

もう一つは、配信の自動調整です。広告媒体の比較機能では、反応の良い案に配信が寄っていくことがあり、二つの案がランダムに同じ条件で見られているとは限りません。有意差の計算は、ランダムに分けたことを前提にしています。前提が崩れていれば、どれだけ小さなp値でも判断の根拠にはなりません。

有意差・p値に関するよくある質問

p値とは簡単に言うと何ですか？

「本当は差がない」と仮定したとき、今回の結果か、それ以上に極端な結果が出る確率です。p値が小さいほど、差がないという前提とデータが合いにくいことを示します。仮説が正しい確率や、効果の大きさを示す数字ではありません。

p値が0.05以下なら、必ず効果があると言えますか？

言えません。0.05は偶然で差が出る可能性をどこまで許すかの目安で、5％の検定でも、差がないときに20回に1回は有意な結果が出ます。効果があると判断するには、差の大きさ、テストの設計が守られたか、仮説で説明できるかも合わせて確かめます。

有意差とサンプル数の関係は？

同じ差でも、人数が多いほどp値は小さくなり、有意になりやすくなります。そのため、人数がとても多いと事業には意味のない小さな差まで有意になり、人数が少ないと大きな差でも有意になりません。テストを始める前に、見たい差の大きさから必要な人数を決めておくことが前提です。

ABテストで有意差が出なかったら、どうすればいいですか？

まず、事前に計算した人数に届いていたかを確かめます。届いていたなら、変えた要素は成果をあまり左右していないという発見として記録し、次はもっと大きな要素を変えます。届いていなかったなら、差がなかったのか見えなかったのかは分からないので、人数を増やして確かめ直します。

おわりに──有意差は、何を教えてくれる言葉か

有意差は、マーケティングの会議でいちばん強い言葉の一つです。「有意差あり」と書かれた瞬間に、議論が終わってしまうことがあります。でもp値が教えてくれるのは、差がないと仮定した世界で、この結果がどれくらい起こりにくいかだけです。効果の大きさも、仮説が正しい確率も、次も勝つかどうかも、その一語には入っていません。

だから「有意か」の前に、「差はどれくらいか」「約束どおりに回したか」を聞く。その二つが答えられて初めて、有意差は判断の材料として働きます。

有意差は、効いた証拠ではない。偶然では片づけにくいという合図。

次に「有意差あり」の報告を受け取ったら、差の大きさと終了日を一緒に聞いてみてほしいと思います。