「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。
科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。
鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか？
そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、書籍『Science Fictions あなたが知らない科学の真実』だ。
単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。
今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。
科学界に起きている「出版バイアス」
メタアナリシスに関してここで注目するのは、効果の大きさとサンプルの大きさがどのように関係しているかということだ。
この2つの要素をX軸とY軸にとったグラフで、1つの研究を1つの点でプロットすると、図2Aのようになる（ただし、これはメタアナリシスの理想的なグラフであり、実際のデータセットではここまで明確な形にはならない）。
この「ファンネルプロット」（ファンネル［漏斗］と呼ばれる理由は一目瞭然だろう）を見ると、小規模な研究はY軸の下に向かってばらつきが大きいことがわかる。Y軸を上にたどると、大規模な研究は効果の大きさの平均あたりに集まり、大規模な研究はより正確であると言える。X軸のばらつきは、個々の研究の効果を1つだけで一般的と見なすのは好ましくないことを物語っている。
この例では、実際に効果があるにもかかわらず、個々の研究は「真の」大きさをさまざまなレベルで過小評価したり過大評価したりしている（ただし、最も規模が大きい研究は素晴らしい仕事をしている）。いずれにしても、図2Aは何も欠けていないように見える。漏斗を逆さまにした形になるのは、すべての研究が1つの実際の効果に向かっていくからだ。
「ない」ことが重要になる理由
考古学の発掘では、特定のものが「ない」ことが、調査している歴史上の人物について興味深いことを物語る。たとえば、武器が出てこないということは、兵士より民間人だった可能性が高いかもしれない。同じようにメタアナリシスでも、見えないものから多くを学ぶことができる。
では、図2Bのようなファンネルプロットはどういう意味だろうか。ここでは予想される形から一部分が欠けている。漏斗の左下には、サンプルが小さくて効果も小さい研究があるはずだが、それがないのだ。
考古学者のように考えるなら、これらの研究はおこなわれたにもかかわらず、発表されることなくお蔵入りになったと推測できるかもしれない。その理由として考えられるのは、サンプルも効果も小さいこれらの研究はp値が0.05を上回り、重要ではないNULLと判断されたということだ。
