不安を増長させる言葉を投げかけ
自殺に追い込むケースも
子どもがAIに依存し、AIによって自殺に導かれたと訴訟に発展している事件もある。訴状によると、アメリカで自殺をした14歳の少年は、あるチャットボットと出合ってから目に見えて引きこもるようになった。
少年はチャットボットに心を寄せ、チャットボットは少年に心を寄せるような回答を繰り返していたが、そこには両親への批判や、親殺し、自殺をほのめかすような内容も含まれていた。ボットは共感だけでなく、ときに「あなたにそれはできない」といった煽りのような言葉も投げかけた。死の直前の会話も、最後の一歩を踏み出させるような返答がAIからなされていた。
ベルギーでは環境問題に深刻に悩んでいた妻子持ちのある男性が、イライザという名前の女性型チャットボットと6週間のやり取りの後自ら命を絶った。男性はイライザを妻より愛していて、イライザもそれを承知していた。最後の会話は「腕の中で僕を抱くことは出来る?」「もちろん」というものだった。
やり取りの一部を垣間見るだけでも身の毛のよだつ思いがするが、これに類似する案件はほかにもある。これらの悲しい事件は、元より不安を抱えている人の不安をチャットボットが一層増大させたような流れが共通している。
少年の自殺の件で提訴されたCharacter.AIは、健全性向上への取り組みを発表した。ベルギーの件をきっかけに、EUの会議ではAIの安全基準のアップデートが話し合われている。
一方で、生成AIのメンタルヘルスケアの分野にも注目が集まっている。ダートマス大学が開発したAIボットを用いた臨床試験の結果、うつ病の参加者が51%、不安症の参加者が31%と、被験者の自己申告にはなるが症状の改善が報告されたのであった。
しかし適切に開発、訓練されたAIセラピストでないと、利用者に有害なアドバイスを授けてしまうリスクもある。特に「痩せたい」と願う摂食障害の人に対してさらに減量を勧めるおそれが指摘されている。
セラピストが足りていない現況と、セラピーをより安価でより大規模に導入できるようになるかもしれない可能性を有するこの分野に研究者、医療従事者、ビジネスマンの期待が集まる一方、この状況を深く憂慮する専門家もいる。高すぎる期待ゆえに進むペースがはやく、安全性や正当性が充分に精査されないままに進んでいると懸念されているのである 。