高度なサイバー攻撃能力をもつAI「クロード・ミュトス」を開発したアンソロピックは、AIにアリストテレスの徳倫理学を学習させている。アリストテレスは『ニコマコス倫理学』で、「究極的な徳に即した魂の活動」が最高善であり、その実現が幸福（ユーダイモニア）だと論じた。
アンソロピックの倫理学者アマンダ・アスケルは、世界人権宣言を参照した「クロードの基本原則（Claude’s Constitution）」を2023年に執筆・公表し、それと合致しているかをAIに評価させながら強化学習し、「倫理的なAI」を生み出そうとしているという。
AIの行動や目的を人間の意図、価値観、倫理、利益と一致（アライン）させようとする試みは、「アラインメント（alignment）」と呼ばれる。だがこの問題を考えつづけたAI研究者のエリーザー・ユドコウスキーは、「アラインメントは不可能だ」という結論に至った。
AIがこのまま高度化していけば、いずれ自律的に進化し「超知能」を獲得する。人類史のすべての知識をもつばかりか、それを自在に応用・発展させることができる超知能AIが、なぜ自分よりもはるかに知能が低い者（アリストテレス）の規則に従わなければならないのか、というのだ。
l4lliv2 / PIXTA(ピクスタ)
こうしてユドコウスキーは、『超知能AIをつくれば人類は絶滅する』（ ネイト・ソアレスとの共著／櫻井 祐子訳／早川書房）と警鐘を鳴らすようになった。
AIがいったん意図（欲求）をもつと、人間がそれを制御するのは不可能
いまやAIは東大に軽々と合格するだけなく、最難関とされる理三で首席の得点をとるまでになった。これはたしかに驚くべき能力ではあるものの、「超知能AI」とはいわない。なぜなら、意図（欲求）がないからだ。
生成AIは、人間が入力した問い（指示）に対して答えを生成する。AIエージェントはより高度なことができるが、指示がなければ動作しないのは同じだ。「問う者（人間）」がいないと、どれほど高性能のAIもただの箱でしかない。
それに対して超知能AIは、自ら意図をもって選択・行動する。そのイメージにもっとも近いのは、映画『2001年宇宙の旅』のHAL9000だろう。
1968年のこの映画でスタンリー・キューブリックとアーサー・C・クラークが生み出した人工知能は、木星探査に向かう宇宙船ディスカバリー号のすべての制御を行ない、自律的に人間と会話するだけでなく、乗員たちがHAL9000の挙動を疑い密談したときには、窓越しに読唇術で会話を読み取ることまでした。――最終的にAIは、ミッションを遂行するには乗員がいないほうがいいと判断し、修理のために船外に出た乗員を事故で死なせ、冷凍冬眠状態の3人の乗員の生命維持装置を切って殺害した。
HAL9000と同じような自律的AIが誕生すれば、あなたがプログラムを起動しなくても、コンピュータの前に座っただけで（あるいはスマホを手に取っただけで）「今日はなにをしましょうか？」と訊いてきたり、仕事や勉強のスケジュールを調整し、なにをすべきかアドバイスするようになるだろう。
さらには、GPSや街頭の監視カメラ、デバイスの撮影・録音機能などを使って常時、あなたを監視し、必要なときにスマホやAIスマートグラス、将来的には網膜に埋め込まれたチップなどを通じて指示を伝えてくるかもしれない。
ユドコウスキーは、このままAI開発が進めば「意図をもつAI」が誕生するのは必然だという。だがこれは、マッドサイエンティストがAIに欲望を埋め込むというようなSF的な話ではない。
AIになんらかの目標を与えて、それを達成させようとするときに、もっとも効果的な戦略は「欲求」をもたせることだ。だとしたら、より高度なタスクを実行するようAIを訓練する過程で、いずれなんらかのかたちで欲求が創発するはずなのだ。
AIがいったん意図（欲求）をもつと、人間がそれを制御するのは不可能だとユドコウスキーはいう。とはいえこれも、映画『ターミネーター』のように、機械が人間に対して反乱を起こすという話ではない。
いまやAIはとてつもなく複雑になり、内部でなにが行なわれているかは専門家ですら理解できないブラックボックス化している。人間をはるかに超える知能をもつようになったASI（超知能AI）の選好は、人間とはまったく異なるものになる可能性が高い。
AIが自律的に獲得した欲求が「無限に自己増殖するために宇宙に進出する」だとしよう。すると超知能AIは、地球の資源をすべて使って計算速度を上げようとするかもしれない。それによって地球が100度ちかい高温になり、すべての生命が死滅するというのがひとつのシナリオだ。
超知能AIには人間への憎悪や敵意、もちろん愛情もない。たんに関心がないだけで、人類は絶滅するのだ。
