マイクロソフトのチャットボット「Tay」の事例

　マイクロソフトが開発したチャットボット「テイ（Tay）」（2）の例を見てもそれがよくわかる。

　テイはAIを利用したチャットボットで、2016年にツイッター上で稼働しはじめた。

　テイは、多くのユーザーと関わるほど「賢く」なるよう設計されていた──ツイッター上での会話を通じて世界について学んでいくよう作られていたのだ。

暴走したTayによる過激な発言

　しかし、稼働開始後しばらくすると、乱暴な発言をしはじめた。人を見下すような発言、人種差別的、性差別的な発言を繰り返すようになった。

「フェミニズムはガンだ」「ホロコーストは捏造」「ヒトラーのほうがジョージ・ブッシュよりずっとマシな仕事ができる」といった具合に。

　テイがこのような発言をするようになったのは、人間のユーザーにこの種の言葉ばかりをかけられつづけたためだ。マイクロソフトはテイの運用を停止せざるを得なかった。

　興味深いのは、2年前に同様のチャットボットの実験を中国で実施したさいには、このような問題が起きなかったことだ（3）。

　中国では検閲が行なわれているため、チャットボットは無害なメッセージからのみ学習し、人種差別や死、暴力に関わるメッセージからは学習しなかったからだと考えられる。

　私は検閲を支持しているわけではない。むしろその逆だ。本書でも第12章で検閲に対する反対意見を述べている。ただ、テイの例を見ると、ハイプ・ループに果たす人間の役割の大切さがよくわかる──結局、私たちがハイプ・マシンに対してしたことが、私たちに返ってくるわけだ。

【参考文献】
（1） “Norman: World's First Psychopath AI,” n.d., http://norman-ai.mit.edu/.
（2） James Vincent, “Twitter Taught Microsoft's AI Chatbot to Be a Racist Asshole in Less Than a Day,” Guardian, March 24, 2016; Elle Hunt, “Tay, Microsoft's AI Chatbot, Gets a Crash Course in Racism from Twitter,” Guardian, March 24, 2016.
（3） Peter Bright, “Tay, the Neo-Nazi Millennial Chatbot, Gets Autopsied,” Ars Technica, March 25, 2016, https://arstechnica.com/information-technology/2016/03/tay-the-neo-nazi-millennial-chatbot-gets-autopsied.

（本記事は『デマの影響力──なぜデマは真実よりも速く、広く、力強く伝わるのか？』を抜粋、編集して掲載しています。）