元マイクロソフト社員が暴いた
AIが持つ「人種偏見」

 AIを使う場合、一度システムができてしまえば、処理スピードは比べ物にならないくらい早くなるので、人事部の負担も減る。

 三菱総研のサービスでは、エントリーシートのAIによる選考と人による選考を比較した結果、AI選考による候補者の方が、最終面接に残る確率が2倍高かったという結果を出したという。

 人事部の負担も減り、選考の正確性も上がるならば、このシステムは非常に優れているように思えるかもしれないが、筆者はこのシステムには危険性があると考えている。

 元マイクロソフト社員で、現在コーネル大学の博士課程に在籍するサラ・タン氏を筆頭著者として、マイクロソフト社員ら4名が、最近発表した論文には興味深い結果が示されていた。

 彼女らは、アメリカで実際に使われているAIによる「ローン融資決定」と「犯罪者再犯率予測」のアルゴリズムを検証し、その「偏見」を暴いているのだ。

 犯罪者再犯予測の例を挙げよう。アメリカでは、逮捕された人物がその後、また罪を犯す確率を予測するプログラムを、AIを使って開発。実際に運用している。「コンパス」と呼ばれるそのプログラムの予測は、FBIの監視対象人物を選定したり、刑期を決定する際に活用されている。

 タン氏らが論文を発表する前に、米国の非営利・独立系の報道機関であるプロパブリカが、このコンパスのバイアスについて指摘していた。それは白人と黒人では、予測のバイアスが違うというものだ。

 コンパスの予測が間違っていたとき、その内容は2種類に分かれる。

 一つは「コンパスは再犯しないと予測したが、実際には再犯した」という間違い。もうひとつは「コンパスは再犯すると予測したが、実際には再犯しない」という間違いだ。

 簡単にいえば、前者は「犯罪者を善良な人と思う間違い」であり、後者は「善良な人を犯罪者と思う間違い」である。

 プロパプリカは、この2つの間違いが、黒人と白人にどの程度起こっているかを調べた。その結果、コンパスは、白人に対しては「犯罪者を善良な人と思う間違い」をしやすいのに対して、黒人に対しては「善良な人を犯罪者と思う間違い」をしやすいことが分かった。つまりAIは人種について偏見を持っていたのだ。