「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。
科学の「再現性の危機」をご存じだろうか。心理学、医学、経済学など幅広いジャンルで、過去の研究の再現に失敗する事例が多数報告されているのだ。
鉄壁の事実を報告したはずの「科学」が、一体なぜミスを犯すのか?
そんな科学の不正・怠慢・バイアス・誇張が生じるしくみを多数の実例とともに解説しているのが、話題の新刊『Science Fictions あなたが知らない科学の真実』だ。
単なる科学批判ではなく、「科学の原則に沿って軌道修正する」ことを提唱する本書。
今回は、本書のメインテーマである「再現性の危機」の実態に関する本書の記述の一部を、抜粋・編集して紹介する。
サンプルは何人いれば十分なのか?
2013年に心理学者のジョセフ・シモンズらは、オンラインで集めた参加者に食べ物や政治などの好みに関する一連の質問に答えてもらい、彼らの性別や年齢、身長など基本的な人口動態学的データも収集した。続いてこのサンプルをさまざまなグループ(男性と女性、リベラル派と保守派など)に分けて、いくつかの変数についてグループの差を記録した。
そして、これらをもとに、ある違いが存在することを知らないときに、その違いを検出できたと確信するために必要な参加者の数を算出した。
たとえば、身長と性別の関連性──男性は女性より平均的に背が高い──は、わずか男女6人ずつの調査で確実に証明できることがわかった。この効果は大きく、したがって明確である。
もうひとつの例は、「サンプルのなかの年配者は、自分は退職年齢に近いと言う傾向があるか」というものだ。シモンズによれば、この効果は年長者と年少者が9人ずついれば検出できる。
研究結果が「意味あるもの」になるために
ただし、たとえば次のような効果はもっと多くのサンプルが必要になる。
→(香辛料が好きな人と嫌いな人がそれぞれ26人)。
・リベラル派は保守派より社会的正義を重視する傾向がある
→(リベラル派と保守派がそれぞれ34人)。
・男性は女性より平均して体重が重い
→(男女それぞれ46人)。
このような検証の目的は、科学者に自分の研究で想定している効果の大きさについて現実的に考えさせて、結果を意味のあるものにするために必要なサンプルのサイズを決めさせることだ。「男性は女性より体重が重い」という仮説を確実に検証するために十分な大きさのサンプルでなければ、あなたの理論が示唆する特定の効果を明らかにできるだけの検定力はないだろう。