カタリーナ「でも、最初から最後までAIに評価を委ねる運用にはなっていないはずでしょ？」

佐藤部長「本来は、AIの評価スコアを素案として、考課者が二次評価で調整し、最終的に我々人間が評価することになっています」

カタリーナ「じゃあ、どうしてAIの評価を鵜呑みにしたの？」

AI評価の「ブラックボックス化」がもたらすリスク

佐藤部長「それは……正直なところ、AIのアルゴリズムが複雑すぎて、なぜそうした評価を出してきたのかよく理解できなかったんです。私も疑問に感じたところはありましたが、検討する十分な時間が取れなくて。客観的スコアリングに基づくものだから間違いないだろうと……」

カタリーナ「AIを活用した意思決定は『ブラックボックス化』されやすいと言われているわ」

佐藤部長「ブラックボックス化？」

カタリーナ「AIが膨大なデータから自動的に評価などを決定する際、あなたが言ったように『なぜその評価になったか』というプロセスや根拠が理解できず、説明できない状態のことよ」

佐藤部長「なるほど」

カタリーナ「会社には広い人事裁量権が認められている。でもそれは、『合理的理由』があることが前提よ。AIが算出した評価の根拠がブラックボックスである以上、それは独断と同じで人事権の濫用とみなされるばかりか、労働契約法違反や説明責任の欠如で訴訟につながるリスクだってあるのよ」

佐藤部長「訴訟！そ、そんな……」

カタリーナ「人事評価は、給与に直結する。なぜその評価になったのかを本人にきちんと説明する義務が、あなたにはあるでしょう？AIの画面を見せるだけじゃ、説明したことにはならないわ」

佐藤部長「はぁ……」

　佐藤はうなだれ、深いため息をついた。

カタリーナ「とにかく、今回の真相を調査して、評価プロセスを見直すこと。そして、部下には誠実に評価について説明を行うことよ」