同じ研究課題に対して数多くの「p値」を計算してはいけない
いずれのp値ハッキングも同じ間違いの例であり、皮肉なことに、p値がそれを回避するために発明されたもの、すなわちランダムな偶然性を利用している。
p値はノイズとシグナルを区別しやすくするために設計されているが、同じ研究課題に対して数多くのp値を計算すると、この能力は失われる。データや統計的検定に何らかの調整を加えるたびに、サイコロをもう1回振っているようなもので、ランダムな変動を拾って「本物」と判断する確率が高くなるのだ。
先ほど見たように、p＜0・05の閾値は、仮説が間違っていた（たとえば、新薬が実際には効かない）場合に5％の確率で偽陽性の結果が出るという意味である。ただし、この5％という値は、1回の検定に対するものだ。簡単な計算をすればわかるように、仮説が間違っている世界では、統計的な検定の数を増やすと偽陽性の結果が出る可能性は雪だるま式に高くなる。
（関連性のない）5つの検定をおこなった場合に少なくとも1つの偽陽性が発生する可能性が23％なら、20の検定をすれば64％になる。このように何回も検定をおこなうと、フィッシャーが提案した5％の許容範囲をはるかに超える。そのときp値は、シグナルを見分ける助けになるどころか、ノイズの海に沈み始める。
（本稿は、『Science Fictions あなたが知らない科学の真実』の一部を抜粋・編集したものです）
新刊書籍のご案内
スチュアート・リッチー／定価2090円（本体1900円＋税）
［著者］スチュアート・リッチー（Stuart・Richie）
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師
2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。X（旧Twitter）は@StuartJRitchie.
［訳者］矢羽野 薫（やはの・かおる）
翻訳者
主な訳書に『人間はどこまで耐えられるのか』（河出書房新社）、『運のいい人の法則』（角川文庫）、『ヤバい統計学』（CCCメディアハウス）、『マイクロソフトでは出会えなかった天職』『ザッポス伝説2.0 ハピネス・ドリブン・カンパニー』（ダイヤモンド社）などがある。
英・米メディア騒然の書、
とうとう日本上陸！
既存の本で知ったウンチクを
得意げに語る人に読ませたい、真実の書。
