「多くの局面においては、比較そのものに意味がないような比較で序列づけをしている気がします。もちろん、ある状況においては必要なこともあるのですが」(調氏)

 意味のない評価指標がなければ、意味のない比較や序列づけもなくなるかもしれない。

「でも、評価指標が必要な場合は、もちろん、数多くあります。たとえば『大学の教員公募で、100人が応募してきた』というときに、論文データベースを利用して、ある程度は論文の数や質に関する指標でスクリーニングして絞り込んで、絞り込んだ何人かに対して詳細に論文を読んで評価するという方法が考えられます。評価にかけられる時間も人的リソースも限られている中で、『より良い評価方法を』と考えると、そういうふうにならざるを得ません」(調氏)

 企業の採用試験も、おおむねそのように「スクリーニングしてから詳細に個々人を」というシステムになっていることが多いだろう。

「でも、この方法では、2002年にノーベル化学賞を受賞する以前の田中耕一さんが応募してきたら、まったく評価できないことになるんです。英語で書かれた、論文データベースに入る論文は非常に少なく、被引用数も多くはなかったですから」(調氏)

 背景には、「代理変数」「単位」の2つの問題がある。

使い方によっては「二重に信用ならない」
評価指標というものの価値

「まず、『研究を評価する』という場面では、研究の質を評価したい。そこで、論文の数・各論文の被引用数に、論文が掲載された雑誌を評価する指標を加えて評価することが多いわけですが、これって『研究の質』そのものではありませんよね? 『研究の質』そのものの評価指標は作れないので、『代理変数』として、そのようなものを評価しているわけです。もちろん、『研究の質』と関係はありますし、近いものではありますが」(調氏)

 より「研究の質」と近い代理変数は何なのか? その時の「研究の質」をどの程度表しているか? このようなことも、研究され続けてきている。