その矛盾は「過失」か？「バイアス」か？

　ナウテンたちの分析結果で特に興味深いのは、過失とバイアスの関係だ。スタットチェックが指摘する矛盾は、論文の筆者にとって有利なものが多い。つまり、数字の間違いは、より自分の仮説に合致させるものであるという傾向が見られた。

これらが完全に無作為なタイプミスであれば、平均して特定の側に寄ることはないだろう。しかし、バイアスについて私たちが知っていることから予想できるように、科学者は結果が自分の意に沿わない場合はもう一度、見直したがる。一方で、自分の理論を裏づける誤った結果は、再確認するにはあまりにも惜しいものだ。

「GLIMテスト」で数値の矛盾を見抜く

　論文で報告されている数値が正しいかどうかを調べる「GRIM（粒度に関連する平均値の不整合）テスト」は、明らかに洗練されていない名前だが実に洗練された手法である。

データ探偵のニック・ブラウンとジェームズ・ヘザーズが考案したこのテストは、ある数字の集合の平均（特に算術平均）が、その集合に含まれる数字の件数を考えたときに意味を成すかどうかを調べる。たとえば、自分の仕事にどのくらい満足しているかを0～10で評価するアンケートをおこなう（点数は「4」「5」など整数のみで「3・7」は不可とする）。最も単純な例として、2人に回答させて平均値を出す。つまり、2つの点数を足して2で割る。このとき小数点以下の桁に注目すると、回答者が2人のとき、その平均の小数点以下は「・00」か「・50」にしかならない。もし平均が4・40なら、何かが間違っていることになる。整数を半分に割って、そのような小数点以下が出ることはあり得ないからだ。