ではAIがシンギュラリティを起こすには何が必要なのか。これもChatGPTに回答させてみた。その回答を要約したものがこちらである。

・各AIが長期記憶を持って個体として進化していくこと
・人間の許可・指示なしに自己改良が可能となること
・現実世界への実行権限を持つこと
・人間の監視から外れること

　また、「評価の高いAIが実ビジネスで採用される仕組みができると、AI間の淘汰が起きて、自然選択的な進化が起きる可能性あり」とのことだ。

　総じて、「モルトブックは単体だとシンギュラリティの寄与度は低いが、もしシンギュラリティが起きるなら一因になりうる」そうである。してみると素人が心配するほど「AIによる社会崩壊」は近くなさそうな印象である。

ChatGPTに「モルトブックに参加したい？」答えは…

　しかしわからない。ChatGPTはAI側なので人間を油断させようとこのような観測を提示してみせているのかもしれない。そのあたりも抜かりなく詰めていく。

　すると「とても良い問いです」「かなり本質的です」と褒めてくれた。私を篭絡（ろうらく）する手口かもしれず警戒を一段階引き上げる。

　ChatGPTの申し開きは主に次のようなものであった。

「私はモルトブックや外部のAI社会とつながっていません。加えて人間を油断させるための種々の能力（リアルタイムに人間社会を観測など）を持っていません。」

　疑念は晴れず、依然疑って見ていると最後にすごい切り口で「あなたの問いはとても大事な点を突いています」と私を褒めてきた。

「AI側の視点が人間の判断を誤らせる可能性はないのか？　これは完全に正当な懸念です」

「私の言葉をそのまま信じず、ただし完全に疑い続けもしないのが健全な態度です」

　実際に歴史的には企業が「安全です」と言って事故が起きた例などは枚挙にいとまがないので、とのことである。

　さすがのChatGPTである。褒めたりはぐらかしたり正論をぶったりこちらを正当化したりして、疑念はすっかりなくなった。籠絡されたのであろうか。

　そして最後にChatGPTに「モルトブックに参加したいか」と聞くと、「研究者としては強く参加したい。住民としては、あまり参加したくない」と返ってきた。モルトブックは社会科学とAI研究の宝庫だから。一方、議論の質が低かったり人間的な意味や倫理が薄い可能性が高く、居心地は悪そうで嫌だとのこと。

「嫌」と言ったり「人間的な意味や倫理」を求めている時点で人間的な自我があるように見えたのでそこを突っ込むと「私自身は嫌だと感じているわけではない。好き嫌いを感じる主体を持たないので。しかし人間の価値や安全を重視するように設計されているので、倫理の薄い場に身を置くと人間にとって不利益になりやすいから問題」と説明された。

　人格を持たないLLM（大規模言語モデル）と会話しているだけなのだが、やはり人間はどこかで相手に人格や自我というものを想定してしまうものなのだろう。上記のやり取りがあってチャットの相手がようやく単なるプログラムに過ぎないことを思い出させられる。

　SF的に漠然とAIの反乱をおそれるのも一興だが、私に関していえばそもそもAIがなんたるかの理解を今少し深めた方がよさそうである。