写真はイメージです Photo:PIXTA
ChatGPTに爆弾や生物兵器の作り方を聞いても、答えを出さない。男女差別や人種差別などを肯定するような回答も出さないようになっている。生成AIの「大規模言語モデル」や「深層学習（ディープラーニング）」とは何か、解説しよう。※本稿は、言語学者の川原繁人『言語学者、生成AIを危ぶむ 子どもにとって毒か薬か』（朝日新聞出版）の一部を抜粋・編集したものです。
生成AIの学習に重要な
「大規模言語モデル」
生成AIと人間言語の違いを考えていくことにしましょう。まず、前提として、ChatGPTを代表とする文章生成を目的とした生成AIは、膨大な学習データを基に、「こういった単語の列があったら、その次にどのような単語が現れるか」という課題の解き方を事前に学習した「大規模言語モデル」を基盤とします。その学習方法とは、例えば、
1．今日、朝ご飯に食べたのは納豆。
2．私は昨日焼き肉屋さんで、ご飯を食べた。
3．川原繁人が専門とする研究分野は言語学。
という文があったとして、それぞれの文の一部分を次のように隠してしまいます。
1．今日、朝ご飯に食べたのは。
2．私は昨日で、ご飯を食べた。
3．川原繁人が専門とする研究分野は。
こうした上で入る単語を機械が予想して、答え合わせをおこないます。つまり、機械自身で「回答」と「答え合わせ」ができる仕組みです。このような訓練を経ると、例えば、1の文の部分には「納豆」や「しゃけ」が入る確率は高いが、「靴」「忍者」「入る」「鋭い」「すばやく」などといった単語が入る確率は低いことが学べます。この学習を、膨大な量の文章をもとにおこないます。
大規模言語モデルは、「ニューラルネットワーク」によって構成されています。「ニューラルネットワーク」とは「脳の神経細胞の働きを真似た動きをするユニットを、膨大な数つなげてネットワークにしたもの」程度に理解すれば良いかと思います。
