「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。
科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。
鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？
そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions あなたが知らない科学の真実』だ。
単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。
今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。
Photo: Adobe Stock
数値の誤りをどう見抜くか
科学論文において数値の誤りはどのくらいあるのだろうか。2016年に心理学者のミシェル・ナウテンが率いるオランダの研究者グループがその解明に挑んだ。彼らが使ったツールは「スタットチェック（統計チェック）」というアルゴリズムで、いわば「統計学のためのスペルチェッカー」だ。
科学論文をスタットチェックにかけると、論文中の数字を徹底的に調べてp値の間違いを指摘する。統計的検定の数値の多くが互いに依存しているため、一部の数値がわかれば、ほかの数値を再現できる（ピタゴラスの定理のおかげで、直角三角形の2辺の長さがわかれば、斜辺の長さを計算で求められるのと同じだ）。p値と他の関連する数値が矛盾しているなら、おそらく何かが正しくないのだろう。
論文3万件以上をチェック
ナウテンたちは1985～2013年に主要な8つの心理学誌に掲載された論文3万件以上をスタットチェックにかけた。この膨大なサンプルから発見されたことは、実に厄介だった。
関連する統計を含む論文の半数近くに、少なくとも1つの数値的な矛盾が見つかったのだ。公平を期して言えば、その大半は軽微なもので、全体の結果にはほとんど影響を与えていなかった。
ただし、なかには結論に大きな影響を与えるものもあった。実に13％の論文が、結果の解釈を完全に変えるかもしれない重大な誤りをおかしていた（たとえば、統計的に有意なp値を有意でないp値に変えたり、その逆もあった）。
もちろん、このような矛盾は、単純なタイプミスやコピー・アンド・ペーストのミスから意識的な不正行為まで、さまざまな理由で起こり得る。スタットチェックは科学的な文脈において誤りを強調するためのもので、真相究明をするわけではない。
