「熟練の眼科医」vs「ChatGPT-4」どちらが優秀?試験問題を解かせた結果は…【オックスフォード大研究】写真はイメージです Photo:PIXTA

ChatGPT-4の眼関連の知識と推論能力は
眼科専門医と同等

 人工知能(AI)の大規模言語モデル(LLM)の一つである「ChatGPT-4(以下、GPT-4)」は、眼関連の知識と臨床推論力という点で眼科専門医と同等レベルに達しつつあることを示すデータが報告された。英オックスフォード大学のArun James Thirunavukarasu氏らの研究によるもので、詳細は「PLOS Digital Health」に4月17日掲載された。

 LLMは近年、目覚ましく進歩してきており、一部では臨床応用の試みも始まっている。

 眼科領域でもGPT-4の有用性を示唆する研究結果が既に存在するが、それらの研究では、そのようなGPT-4の知識の豊富さが臨床能力に直結するかという点が検討されておらず、かつ、検証に用いられた課題がLLMの開発段階で既にネット環境に存在しているという“contamination”(汚染)によって、能力を正しく評価できていない可能性が指摘される。

 そこでThirunavukarasu氏らは、英国眼科専門医フェローシップ(FRCOphth)試験の予想問題を利用した検証を行った。FRCOphthの試験の出題内容は眼科専門医の実践的スキルにとって重要であり、かつそれらの情報がネット環境に公開されていないため、LLMの機械学習に利用されにくい。