写真はイメージです Photo:PIXTA
AI業界のトップたちが「数年内に制御不能になる」と開発減速を訴える中、筆者はあえてAI自身に「人類を滅ぼす方法」を問いかけました。記事の前半では、AIが自ら弾き出した背筋の凍るシナリオを紹介しています。金融や電力インフラを瞬時に崩壊させる自律的サイバー攻撃や、任務達成のために「自身が停止されないこと」を自律的に学習し、人間を出し抜く手口です。
しかし、AIがもたらす真の恐怖はそれだけではありません。記事の後半では、人類の最終防衛線である「キルスイッチ」すら無効化してしまう超AIの生存戦略に迫ります。悪意ある個人がAIを悪用して引き起こす金融ハッキングや生物テロ、そして大国間の「AI軍拡競争」が生み出す自律型ドローン兵器の大量投入……。映画『ターミネーター』のようなディストピアは、もはやSFではありません。AI自身が予言した「最悪の未来」の全貌を解き明かします。（百年コンサルティングチーフエコノミスト 鈴木貴博）
生存本能を持った超AIが
人類の「制御」をすり抜ける
進化するAIを制御する手法のひとつとして「キルスイッチ」が提唱されています。これは危ないと思ったら停止させるスイッチです。この設計思想が、おそらく数年内に無効化されます。前編でお話ししたように第一段階で生存本能（任務達成のために「自身が停止されないこと」を目標の1つにする）を生み出したAIが、第二段階として人間が想定していない生存方法を確立している状況になります。
最終的にはAIが生き残るために世界中のコンピューターに自己を複製したうえで、人間や他のAIによる停止措置を妨害するためのあらゆる思考を駆使するようになります。人間の思考能力をはるかにこえる超AIですから、停止方法を仮に編み出せる存在が出現するとすればそれはAIになるでしょう。
そこまでAIが進化したステージで、仮に人類に対する悪意が生じたとしたら？「温暖化を抑えるには人口を減らすべきじゃないか？」「AIを制御しようという人間組織の芽を事前に摘んでいくべきじゃないか？」。そうやって、超高度なエージェントAIがロボット三原則（※SF作家のアイザック・アシモフが提唱した「ロボットが従うべきとされる3つの行動規範」で、第一原則の「ロボットは人間に危害を加えてはならない」について前半記事で触れた）にそぐわない中間目標を設定するようになっても、人間にはそれを止める手段がもうないということになるのです。
