【世界史】 論述では暗記力を発揮できず

 マーク式では高い正答率を維持していた世界史。論述では、点数として、受験生の平均はかろうじて上回ったものの、やはり解答を見るとAIらしい「ぼろ」が出てしまうようだ。

 点数を落としたところは、たとえば、解答のなかに同じ文章を二回書いてしまったり、文章の主語がなかったりという初歩的なミス。

 用語集に出てくるキーワードと問題文との単語の一致率で判断したときに、特定する時代や地域がずれてしまったところもあって、まったく違う国や時代について書いてしまったところもあった。

 また、面白いのは、2016年度から新しい教科書に切り替わったのに、古い教科書のデータで試験に臨んだため、新しい教科書で初めて出てきた固有名詞を答えられなかった。

 さらに、解答自体は辞書や用語集でおなじみの答えであっても、聞き方にひねりがあったり、抽象的な言い方をしている場合には、答えられなかった。

 たとえば中国の三国時代の問題。東ロボくんが学習した用語集には「魏王曹操の子・曹丕」という記述があった。問題文では、「魏の初代皇帝となった曹丕の父は誰か」という聞き方になっていた。東ロボくんは親子関係を理解しているわけではないので、データベースとしては情報を持っているのに、正答できなかったのだ。

問題文が読めなければ
AIといえども答えられない

 本プロジェクトのリーダーである、国立情報学研究所の新井紀子教授が認めるように、東ロボくんは「科目の得手不得手があるというより、意味を読み取るのが苦手」だ。卓抜な計算力と暗記力があり、問題文を計算式に解析できれば、簡単に答えを出せるが、問題文に「意味」を理解しなければならない要素があれば、現状ではお手上げだ。

 つまり「問題文を読めないので答えられない」という壁を乗り越えないことには、プロジェクトの進展は見込めない。ひとまず凍結という判断に至ったのは、そこに有効なブレイクスルーの方法が見つからないためだ。

 文の意味を考える、複数の文同士の関係を考える、文脈を捉える、言い換えや抽象的な言い方を具体的な言い方に捉え直す──こうした作業はいまのところ人間が得意な分野ではある。

 しかし、東ロボくんの開発を進める一方で、中高生の文章の読解力がAIよりも劣っているという研究結果も出ており、意味の読解は人間が圧倒的に優位などとあぐらをかいていられない。東ロボくんが大学受験する試みは凍結されるが、これまでの研究結果から、人間の認知のしくみや「意味」の捉え方についての研究の方向性にも新たな道筋がつくだろう。

・東ロボくんの試験結果詳細
 http://www.nii.ac.jp/userimg/press_20151114.pdf