OpenAIが今月発表した新プラン「ChatGPT Pro」が、月額3万円と高額だが、最高性能の「o1」モデルが利用できると話題になっている。従来の「GPT-4o」が使えるプランは3000円だったので、実に10倍の高価格なのだ。o1は10倍の価格を払う価値があるくらい優秀なのだろうか?同じく月額3000円で利用できる生成AI「Claude」も含めて、3者にどれくらい性能差があるのか、過酷なテストを20個行ってみることにした。本記事では実際にビジネスパーソンが仕事の現場で行いそうなタスクを10個選び、テストした結果を詳しくお伝えする。(ITライター 柳谷智宣)
>>「3万円のChatGPT Pro VS 3000円のGPT-4oで20番勝負!(前編)」から読む
月額3万円!最上位のChatGPT o1 pro modeをテストする
OpenAIが12月5日に発表したChatGPTの新プラン「ChatGPT Pro」が話題になっている。Proでは「o1」モデルの無制限利用ができるようになった。月額200ドル(約3万円)と強気の価格だが、前回の記事で試した通り、ChatGPT Proの「o1 pro mode」(以下、o1 pro)の実力は相当なものだった。
本記事では、前回に続き、比較する生成AIの料金プランと利用するモデルは、前編と同様に以下の3つだ。ChatGPTだけではなく、Anthropic社の生成AI「Claude」も一緒にテストしている。
・Claude Proプラン「Claude 3.5 Sonnet」(以下、Claude):月額20ドル(約3000円)
・ChatGPT Pro「o1 pro mode」(以下、o1 pro):月額200ドル(約3万円)
前編では、大学入試試験の過去問や運転免許テストなど違いがはっきりしそうなプロンプトで10種類のテストをしたが、後編ではビジネス編と題して、実際にビジネスパーソンが業務で行いそうなこと、生成AIの出番がありそうなシーンを想定して出力を比較してみた。
(テスト11)500文字/3000文字を一発で出力できるか
(テスト12)「です・ます調」、「だ・である調」を守れるか
(テスト13)実用的なビジネスアイデアを出せるか(中小企業向けコスト削減策)
(テスト14)仕事の悩み相談に乗ってもらえるか
(テスト15)説得力アップのため、提案の理由付けを考えてもらう
(テスト16)適当に箇条書きした指示から、気の利いたメールを書いてもらう
(テスト17)情報量の多い画像をわかりやすく解説してもらう
(テスト18)複雑なExcelファイルの分析、データ抽出
(テスト19)連載原稿のタイトルを考えてもらう
(テスト20)単行本をまるごと執筆してもらう
※テスト1~10については前編で紹介
次のページからは、ChatGPT 4o、Claude 3.5 Sonnet、ChatGPT o1 pro modeに同じプロンプトを記入し、それぞれがどれくらいの実力なのかを見ていこう。月額3万円の「o1 pro mode」は、月額3000円のChatGPT 4oやClaude 3.5 Sonnetの10倍の性能を出せるだろうか?