AIの中はブラックボックス
アルゴリズム妄信は危険

 驚くべきことに、実はこのコンパスへのインプットデータには、人種は含まれていないのだ。だが、出身地域、学歴、年収等、人種と相関の高い属性がセットとなって、人種を特定したのと同じ結果を出していた。

 タン氏らのグループは、コンパスで使われているのと同様のアルゴリズムを持ったAIを使って、同じように学習させて、AIに偏見が生じるかを調べた。その結果、プロパプリカの指摘と同じことが起こったという。

 この結果は、いくつかの重大な示唆を我々に提供するものだ。まず、AIといえど倫理的に中立にはならず、偏見を持ち得るということだ。これが再犯率予測や、人事採用など、人の人生を左右する決定に使われるならば、我々はその危険性を十分に認識しなくてはならない。

 AIの中はブラックボックスだ。数理モデルや統計手法では記述できないようなものを学習するのがAIなので、その内側は開発者にもわからない。ましてや因果関係の特定など無理だ。仮にAIが「因果はないが相関の高い属性」を勝手にシグナルとして使っていたとしても、それを知ることができない。つまりAIのアルゴリズムを盲信することは相当危険だということを、我々は知っておかねばならない。

 もうひとつの重要な示唆は、人がファストシンキングを行う際のバイアスは、熟慮の極致ともいえるAIでも起こりえるという点だ。筆者は、AIは公平な判断ができるというのは、間違いだろうと思う。むしろ、AIはバイアスまで含めた学習が可能なシステムなのだ。

 例えばオランダの大学とIBMが昨年公開した「AIによるレンブラントの新作」は、レンブラントの独特の筆使いや色味、つまり彼特有のバイアスのかかったテクニックをAIに学ばせることによって成し得た偉業だ。バイアスや独特のクセなどを学ばせる方が、AIにはむしろ向いている課題なのだと思う。

 このように考えると、AIの人事選考は効率的かもしれないが、中立だとも公平だともいえない。特に、選考データの中に、性別や学歴を含めているならば、なおさらだ。それらを選考基準のシグナルとしてAIが「勝手に」使ってしまう可能性がある。そして結果として「性差別」「学歴差別」を生む。

 AIを人事に活用するアイディア自体には私も大いに賛成である。だが、AIが万能ではないこと、そして偏見的アルゴリズムを生む可能性のあることは、十分に留意すべきだと思っている。