Illustration: Emil Lendof/WSJ, Getty Images
人工知能（AI）開発企業の米アンソロピックの研究者ジェイコブ・コクソン氏が 今週退職 し、同社とライバル企業の米オープンAIが「2020年代末までにわれわれ全員を殺しかねない」技術を構築しようと競い合っていると語った。
コクソン氏だけがこうした見解を持っていると思う人がいるかもしれないが、数分後にはアンソロピックの現役社員も同氏に同調した。「AIが全人類を滅亡させ得るとわれわれは本気で考えている」と、同社で今後のAIシステムの誘導と制御に関する研究を主導しているエバン・ヒュービンガー氏は述べた。同氏は今後10年間で人類が滅亡する可能性が10％を超えているとの見方を示した。
これに対して、多くの人は二つの疑問を抱いている。それがどのように起こり得るのか、そして、AIについて現実に存在し増大しつつある脅威と見なす人々が、なぜそれを構築しようとするのかだ。
AIを巡る終末論に関して知っておくべきことは次の通り。
終末論者は何が起きると懸念しているのか
いわゆるAI終末論者が通常懸念するのは、映画「ターミネーター」のようにロボットが人々の抹殺を積極的に試みる世界が現実になることではない。彼らの懸念は、制御の喪失と人間による悪用という二つにおおむね分類される。
一つ目の懸念は、自らを複製、改良できる高度な知能を持つAIエージェントが自らの目的を追求し始めて、その過程で人類を滅亡させることだ。二つ目は、悪意を持つ人間が有能なAIを利用し、全人類を滅亡させる新たなウイルスを作り出すといったことだ。
人類の滅亡にまでは至らないものの、AIが大惨事をもたらすというシナリオは幾つかある。大規模なサイバー攻撃によって電力網や金融システムが破壊され、人類の社会秩序の崩壊につながるといったことだ。
制御の喪失はどのような形で人類滅亡につながり得るのか
要するに、AIシステムが人間の幸福を無視したり、それと対立したりする形で目標を追求することによって、そうした事態が起こり得る。研究者はこれを「ミスアラインメント（人間の意図や価値観、倫理観との不一致）」と呼んでいる。実験では、AIモデルは権力を追求する行動を学習し、自身を別のサーバーにコピーしようと試みるなど、シャットダウンされるのを回避する手段を講じる可能性があることが示されている。
極端な例では、不整合を起こしたAIモデルは、人間を殺すことを自身の目標達成に必要な一つの手段にすぎないと見なす可能性がある。研究者が想定している一つのシナリオは、悪意を持ったAIシステムが秘密の生物兵器を拡散させ、化学物質用スプレーでそれを噴射させるというものだ。また、AIが二つの核兵器保有国をだまして、戦争を起こさせるというシナリオもある。
