「でも、かなり多くの対象をひとまとめにして評価するのであれば、代理変数は真の値、この場合は『研究の質』そのものに近づいていきます。『1000人の研究者』という単位に対してならば、研究の質やパフォーマンスの高さは、論文の量や質に関する指標の高さと関連付けられます。ある程度、数がまとまらないと、大きな単位にならないと、意味ある議論ができません」(調氏)

 しかし、同じ指標で一人の研究者の研究の質を評価すると、どうなるだろうか?

「1人に対して、代理変数によってその人の研究の質を測るということですよね? まず、単位が非常に小さいわけです。この場合は、代理変数と真の値のブレが、大きく出る可能性があります。個人を評価するのは危険です。『個人』という小さな単位を対象にしていることと、『代理変数で評価している』という問題から、二重に信用ならなくなります」(調氏)

 逆に、一人の研究者が研究の場を選ぶときには、どうだろうか?

「同じです。『指標で高いか低いか』は、研究の場としての質と関係あります。でも、その研究所が『自分にとって』良い研究の場かどうかは、指標では評価できません」(調氏)

 筆者はついつい、生活保護問題に想像を及ぼしてしまう。生活保護問題も、数多くの指標によって、数々の評価が行われている。でも、指標の選び方や適用が妥当かどうかについては、充分に検討されているとは限らない。特に生活保護基準の「高いのか?」「低いのか?」を議論する場面では、指標の選択・適用・解釈について「なんでもあり」になってしまうという残念な現状がある。社保審・生活保護基準部会の委員の多くは、その「なんでもあり」に強い抵抗を示し続けているけれども……。

 では、「世界大学ランキング」は、何を評価しているのだろうか? 結果は、何を意味しているのだろうか?

上海交通大学、QS、Times Higher Education
三大世界大学ランキングの違い

 さまざまな目的・手法のもと、数多くの「世界大学ランキング」が公開されている。ここでは、有名な3つの世界大学ランキング「世界大学学術ランキング(上海交通大学)」「世界大学ランキング(Times Higher Education誌)」「QS世界大学ランキング(英国Quacquarelli Symonds社)」の3つについて、歴史と特徴を簡単に説明する。