サンプルが増えれば「偶然」の確率も上がる
これは、「何ヵ月も連絡を取っていなかった人のことをふと思い出したら、その瞬間にメールが来た!」という一見すると驚くような偶然も、「誰かのことをふと思い出してもメールは来ない」という人が世界中に何千人、何万人いるのだろうかと考えたら、それほど驚くことではないのと同じ論理だ。あることが起きる確率が100万分の1だとしても、サンプルが数百万人いれば、かなりの回数になる。
偶然の結果が生じる機会を増やしていけば、いずれ実際に起きることは間違いないが、膨大な数のなかから特定の事例を選んだというだけで、それが単なる偶然ではないという証拠にはならない。確かに、1回だけの検定でp<0・05の基準を満たしても、偶然の結果に惑わされたという可能性はあるだろう。しかし、そのリスクは、p値ハッキングがおこなわれた場合に比べて大幅に低い。p値ハッキングがおこなわれると、複数回の検定のうちどれか1つが誤解を招くリスクが増大する。
(本稿は、『Science Fictions あなたが知らない科学の真実』の一部を抜粋・編集したものです)