モデルの発表には、ベンチマークスコアの表がつきものです。ベンチマークが何を測り、何を測れないかを知っておけば、見当違いの数字でモデルを選ばずに済みます。
仕組み
ベンチマークは、タスク、モデルへのプロンプトの与え方、採点ルールの 3 つを固定します。よく知られた例を 2 つ挙げます。
| ベンチマーク | 何をテストするか | 規模 | 採点 |
|---|---|---|---|
| MMLU(2020) | 幅広い知識。“57 tasks including elementary mathematics, US history, computer science, law, and more”(訳:初等数学、米国史、コンピューターサイエンス、法律などを含む 57 のタスク) | 57 科目 | 正解率 |
| SWE-bench(2023) | “editing the codebase to address the issue”(訳:課題に対処するようにコードベースを編集する)ことで、実際の GitHub issue を修正する | 12 の Python リポジトリから 2,294 問 | 解決した issue の割合 |
音声にも独自のベンチマークがあります。リーダーボードは文字起こしモデルを単語誤り率で順位付けし、低いほど優秀です。
ベンチマークは古くなります。MMLU の公開時、最大の GPT-3 モデルは “over random chance by almost 20 percentage points on average”(訳:平均でランダムな回答を 20 ポイント近く上回った)程度でした。SWE-bench の公開時、最も良いモデルだった Claude 2 が解決できた issue は 1.96% でした。かつてモデルをよく見分けられたベンチマークも、モデルが進歩すると差がつかなくなることがあります。ベンチマークがいつ作られたか、今の典型的なスコアはどれくらいかを確認してください。
なぜ重要か
- 汚染。 Xu らのサーベイは、ベンチマークデータ汚染を、モデルが “inadvertently incorporate evaluation benchmark information from their training data”(訳:学習データから評価ベンチマークの情報を意図せず取り込む)ことと説明し、それが “inaccurate or unreliable performance during the evaluation phase”(訳:評価段階での不正確または信頼できない性能)につながるとしています。
- カバー範囲の狭さ。 Python のコーディングベンチマークは、アラビア語のカスタマーサポートについてほとんど何も語りません。自分のタスクに合ったベンチマークを選び(どのリーダーボードが何を測るか)、自分のデータでの評価で確かめてください。
- 設定でスコアは変わる。 プロンプトの形式、few-shot の例、推論(reasoning)の予算、提供環境のすべてが結果を動かします。同じ条件で実行したスコア同士だけを比べてください。
- 審査員も独自のバイアスを持ち込む。 自由回答のベンチマークは LLM-as-a-Judge を使うことが多いので、どの審査員と評価基準を使ったかを確認してください。
モデルを乗り換える前に LLM を評価するでは、自分のトラフィックから小さなテストセットを作る方法を紹介しています。
BroadNet Inference の場合
BroadNet は独自のベンチマーク結果もいくつか公表しています。BroadNet の自己申告として扱ってください。BroadNet Transcribe Arabic(Cohere Transcribe がベース)について、BroadNet は単語誤り率を MASC の方言音声で 21.1、FLEURS のアラビア語で 3.8 と報告し、Open Universal Arabic ASR Leaderboard での順位を 37 件中 2 位 (2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位) としています。Gemma 4 VL 26B については、240 件の本番の会話を 3 人の審査員がブラインドで評価し、BroadNet 自身のチャットボットパイプラインの 6 ステップ中 5 ステップで Claude Sonnet と同等だったと報告しています。これは 1 社のパイプラインでの結果で、一般的なベンチマークではありません。採用を決める前に、自分で評価を実行してください。$5 の初回クレジットは、Gemma 4 VL 26B と 2 つの文字起こしモデルに使えます。