Claude、GPT、Gemini。「結局どれが一番いいの？」と調べると、SWE-benchだのGPQAだの、見慣れない言葉とスコアの羅列が出てきます。

正直、何を見ればいいのか分からないまま、なんとなくで選んでいませんか。僕も最初はそうでした笑

この記事を読み終えるころには、「自分の使い方なら、この数字を見ればいい」がはっきり分かるようになります。最後に、用途ごとに自由に並べ替えられる比較表も用意したので、それを触れば一目で選べます。

via Introducing Claude Opus 4.8

「ベンチマーク」って何？

すごくざっくり言うと、AIの実力を、いろんな角度から数字にしたものです。

学校の模試をイメージすると早いです。国語、数学、英語と科目ごとに点数が出ますよね。あれと同じで、AIにも「プログラミングの点数」「推論の点数」「画像を読む点数」みたいに、分野ごとのテストがあるんです。

ルールも模試と同じくらい単純で、基本は数字が高いほど優秀。それだけです。

なんでこんなものが必要かというと、各社が「うちのAIが世界一です」と言うだけでは比べようがないからです。同じ試験を全モデルに受けさせて、初めて横並びで比較できる。それがベンチマークの役割です。

ここまで分かれば、もう8割は理解したようなものです👍

「総合1位」を探すと、失敗する

ここがいちばん大事なところです。

模試で「5教科の合計点が一番高い人」がいても、その人が数学も一番とは限りませんよね。英語だけなら別の人がトップ、ということが普通に起きます。

AIもまったく同じです。全部の分野で1位の「最強モデル」は存在しません。コードを書かせたら強いモデル、じっくり考えさせたら強いモデル、画像を読ませたら強いモデル。それぞれ得意分野が違います。

だから「総合的に一番賢いのはどれ？」という問いの立て方だと、いつまでも答えが出ません。正しい問いは「自分がやりたいことに、一番合うのはどれ？」です。

そこで、よくある使い方を4つに分けて、それぞれ「どのベンチマークを見ればいいか」を紹介します。自分に当てはまるところだけ読んでもらえれば大丈夫です。

用途1：コードを書かせたい（開発者向け）

AIにプログラミングを任せたい人は、この3つを見てください。

• SWE-bench Verified ──
  実際のソフトウェアのバグを、AIが自力で直せるかを測るテスト。現場のプログラマーの仕事をどれだけ肩代わりできるかの代表的な指標です。
• SWE-bench Pro ──
  上のさらに難しい版。複数のファイルにまたがる、本番に近い複雑な修正が求められます。ガチで実務に使うなら、こっちの数字が効いてきます。
• Terminal-Bench ──
  ターミナル（黒い画面にコマンドを打つ、あの開発者がよく使う操作画面）で、AIが自分で考えて作業を進められるかを測ります。

コードを書かせるのが目的なら、この3つの数字が高いモデルを選べば、まず外しません。

用途2：人生相談・壁打ち相手

考えごとの相手にしたい、悩みを整理したい、複雑なテーマを一緒に深掘りしたい。そういう「対話の深さ」を求める人は、推論力を測るベンチマークを見ます。

• GPQA Diamond ──
  物理や化学、生物の大学院レベルの難問。ネットで検索してもすぐには答えが出ない、専門家でも悩むような問題を解く力です。要は「深く考える力」の指標だと思ってください。
• Humanity’s Last Exam ──
  直訳すると「人類最後の試験」。あらゆる分野の専門家が作った超難問の集まりで、AIの知識と思考力の限界を測ります。
• ARC-AGI-2 ──
  初めて見るルールを、その場で見抜いて当てはめるパズル。暗記では解けないので、「未知の状況への応用力」に近いものが分かります。

この3つが高いモデルは、表面的な受け答えではなく、こちらの意図を汲んで深く付き合ってくれる傾向があります。

用途3：仕事を任せたい（ビジネス戦略・実務サポート）

資料を作る、データを分析する、複数のツールを横断して作業を進める。そういう実務を任せたい人は、ここを見ます。

• GDPval-AA ──
  実在するいろんな職業の実務タスクを、人間の専門家と比べてどこまでこなせるかを測ったもの。「仕事の即戦力度」みたいな指標です。
• Finance Agent v2 ──
  財務の分析や意思決定を、AIがエージェント（自分で考えて作業を進める働き手）としてこなせるかを測ります。
• MCP Atlas ──
  いくつもの外部ツールを、正しい順番で呼び出して連携させられるか。「道具を使い分けて、段取りよく仕事する力」だと考えてください。

実務でガッツリ働いてもらうなら、この軸が参考になります。

用途4：画像を読ませたい（資料・図表の理解）

ここは少し補足が必要です。「画像を作る」のではなく、「画像を読ませて理解させる」用途の話です。スクリーンショットから情報を抜き出す、グラフを読み取らせる、資料を画像のまま渡して中身を把握させる、といった使い方ですね。

• MMMU-Pro ──
  画像と文章をセットで渡して、大学レベルの問題を解けるか。総合的に「見て理解する力」を測ります。
• CharXiv Reasoning ──
  複雑なグラフやチャートから、必要な情報を読み取って考える力。資料の図表を読ませたいなら、ここが効きます。
• OSWorld-Verified ──
  AIが実際のパソコン画面を見て、マウスやキーボードを操作してタスクをこなせるか。「人の代わりにPCを操作する力」です。

画像を渡して仕事をさせたいなら、この3つを見てください。

あとは、自分で確かめてください

ここまで「用途ごとに見るべきベンチマーク」を紹介してきました。でも、文章で読むだけだとピンと来ないですよね。

なので、実際に触って並べ替えられる比較表を作りました。

ベンチマーク表

使い方は簡単です。ベンチマークの行をクリックすると、そのスコアが高い順にモデルが並び替わります。

1位から順にバッジが付くので、「この用途ならどのモデルが上か」が一目で分かります。「シンプル
/ フル」「開発者向け / 一般向け」のタブで、表示するベンチマークを絞り込むこともできます。

OpenAI、Anthropic、Googleの主要モデルを横並びにして、それぞれのスコアが「何を測っているか」の説明も添えてあります。並び替えながら眺めるだけで、各モデルの得意・不得意が見えてくるはずです。

自分の用途のベンチマークで並べ替えて、好きなように比較してみてください。

おわりに

ベンチマークは、「これさえ見れば絶対正解」という魔法の数字ではありません。あくまで、自分の用途に合うモデルを選ぶための地図です。

地図の読み方さえ分かれば、もう「なんとなく」で選ぶ必要はなくなります。コードを書かせたいならこの数字、相談相手にしたいならこの数字。軸を持って選べるようになると、AIとの付き合い方そのものが変わってきます。

雰囲気で選んでいた今日までと、自分の用途で選べる明日と。その差は、地図を一枚持っているかどうかだけです ჱ̒⸝⸝•̀֊•́⸝⸝)