確かに、大勢のビザ申請が却下されている場合、駄目もとでビザ取得に挑戦した人が多いとみなされて「疑わしさ」が増す、というのは理解できる。だが、純粋に国籍だけに基づいて特定の人物の申請を却下するように設定されたビザ審査システムの場合は、そういう問題ではない。この恥ずべき真実を突きつけられた内務省は、法廷での争いを避けるために、問題のアルゴリムを廃止して再度開発することに同意した。

アルゴリズムはパターンを誇張し
偏見までも増幅させる

　アルゴリズムは既存のパターンを誇張し、場合によっては偏見までも増幅させる。作り手が投入したものを、学習してより強固なものにする。なぜなら、アルゴリズムの判断材料はそれしかないからだ。そのため、常に人間がしっかりと見張っておく必要がある。

　また、こうしたアルゴリズムの管理者は、アルゴリズムが出した判断が常識に反していると思われる場合には、とりわけ注意が必要なことを肝に銘じておくべきだ。もし、人間の公務員が真っ当ではない判断や、不合理な判断をしている場合、世間はただ大目に見るようなことはしないはずだ。それゆえ、機械が同じことをしはじめたときにも、疑問を投げかけるのは当然のことだ。

　英国では、警察という制度はかなり恣意的な地理的境界線によって管轄範囲が定められている。各警察の管轄地域の人口は、それぞれ大きく異なっている。広大で豊かな地方を担当している警察もあれば、凶悪犯罪が多い都市の中心部を担当する警察もある。こうした各警察に、政府はどのようにして予算を割り当てているのだろうか。その答えは「アルゴリズム」だ。

　ただ、その「警察予算算定アルゴリズム（PAF）」には多くの問題がある。これは並外れて複雑なアルゴリズムで、多くのデータソースからのデータ入力や、データ入力後の数え切れないほどの微調整という作業が要求される。

　しかも、入力される内容自体がすでに要注意だ。警察が「市民を安心させる」「犯罪ではない出来事で支援を行う」「サッカーの試合の警備に当たる」ためにそれぞれ使った時間数などの入力項目は、2008年以降は収集されていないデータに基づいている。

　ちなみに、ベリーやウェイクフィールドでは、地元のサッカークラブが破産して解散しているので、現在それらの都市で警察が「サッカーの試合の警備に当たる」時間は以前よりずっと少ないはずだ。入力データのそのほかのおもなデータソースは、「警察犯罪認知件数」だ。