---
title: "LLM ベンチマークとは？スコアの見方、限界、汚染 | BroadRouter"
description: "LLM ベンチマークは、MMLU や SWE-bench のように、モデルを採点・比較するための固定の公開テストセットです。仕組みと、スコアが自社の評価の代わりにならない理由を解説します。"
url: https://broadrouter.com/ja/glossary/llm-benchmark/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/llm-benchmark/)（2026-11-16 更新）。

# LLM ベンチマーク（LLM benchmark）

更新日 2026-11-16

LLM ベンチマークとは、知識問題、コーディング、音声認識など 1 つの能力で言語モデルを測り比べるための、固定された（通常は公開の）タスクと採点方法です。スコアはそのテストでの相対的な能力を示し、自社のワークロードでの実力は示しません。

別名： LLM ベンチマーク、ベンチマークスコア、モデルのベンチマーク、LLM 性能評価、リーダーボード、LLM benchmark、model benchmark、benchmark score

モデルの発表には、ベンチマークスコアの表がつきものです。ベンチマークが何を測り、何を測れないかを知っておけば、見当違いの数字でモデルを選ばずに済みます。

## 仕組み

ベンチマークは、タスク、モデルへのプロンプトの与え方、採点ルールの 3 つを固定します。よく知られた例を 2 つ挙げます。

| ベンチマーク | 何をテストするか | 規模 | 採点 |
| --- | --- | --- | --- |
| MMLU（2020） | 幅広い知識。“57 tasks including elementary mathematics, US history, computer science, law, and more”（訳：初等数学、米国史、コンピューターサイエンス、法律などを含む 57 のタスク） | 57 科目 | 正解率 |
| SWE-bench（2023） | “editing the codebase to address the issue”（訳：課題に対処するようにコードベースを編集する）ことで、実際の GitHub issue を修正する | 12 の Python リポジトリから 2,294 問 | 解決した issue の割合 |

音声にも独自のベンチマークがあります。リーダーボードは文字起こしモデルを[単語誤り率](https://broadrouter.com/ja/glossary/word-error-rate/)で順位付けし、低いほど優秀です。

ベンチマークは古くなります。MMLU の公開時、最大の GPT-3 モデルは “over random chance by almost 20 percentage points on average”（訳：平均でランダムな回答を 20 ポイント近く上回った）程度でした。SWE-bench の公開時、最も良いモデルだった Claude 2 が解決できた issue は 1.96% でした。かつてモデルをよく見分けられたベンチマークも、モデルが進歩すると差がつかなくなることがあります。ベンチマークがいつ作られたか、今の典型的なスコアはどれくらいかを確認してください。

## なぜ重要か

-   **汚染。** Xu らのサーベイは、ベンチマークデータ汚染を、モデルが “inadvertently incorporate evaluation benchmark information from their training data”（訳：学習データから評価ベンチマークの情報を意図せず取り込む）ことと説明し、それが “inaccurate or unreliable performance during the evaluation phase”（訳：評価段階での不正確または信頼できない性能）につながるとしています。
-   **カバー範囲の狭さ。** Python のコーディングベンチマークは、アラビア語のカスタマーサポートについてほとんど何も語りません。自分のタスクに合ったベンチマークを選び（[どのリーダーボードが何を測るか](https://broadrouter.com/ja/blog/artificial-analysis-alternatives/)）、自分のデータでの[評価](https://broadrouter.com/ja/glossary/eval/)で確かめてください。
-   **設定でスコアは変わる。** プロンプトの形式、few-shot の例、推論（reasoning）の予算、提供環境のすべてが結果を動かします。同じ条件で実行したスコア同士だけを比べてください。
-   **審査員も独自のバイアスを持ち込む。** 自由回答のベンチマークは [LLM-as-a-Judge](https://broadrouter.com/ja/glossary/llm-as-judge/) を使うことが多いので、どの審査員と評価基準を使ったかを確認してください。

[モデルを乗り換える前に LLM を評価する](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)では、自分のトラフィックから小さなテストセットを作る方法を紹介しています。

## BroadNet Inference の場合

BroadNet は独自のベンチマーク結果もいくつか公表しています。BroadNet の自己申告として扱ってください。[BroadNet Transcribe Arabic](https://broadrouter.com/ja/models/cohere-transcribe-arabic/)（Cohere Transcribe がベース）について、BroadNet は単語誤り率を MASC の方言音声で 21.1、FLEURS のアラビア語で 3.8 と報告し、Open Universal Arabic ASR Leaderboard での順位を 37 件中 2 位（2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位） としています。[Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) については、240 件の本番の会話を 3 人の審査員がブラインドで評価し、BroadNet 自身のチャットボットパイプラインの 6 ステップ中 5 ステップで Claude Sonnet と同等だったと報告しています。これは 1 社のパイプラインでの結果で、一般的なベンチマークではありません。採用を決める前に、自分で評価を実行してください。$5 の初回クレジットは、Gemma 4 VL 26B と 2 つの文字起こしモデルに使えます。

## よくある質問

### ベンチマークと評価（eval）の違いは何ですか？

ベンチマークは、多くのチームがモデルを比較できる共通の公開テストです。評価は自分のテストセットで、実際のプロンプトから作り、自社のプロダクトに必要な観点で採点します。候補を絞るのにベンチマーク、決めるのに評価を使ってください。

### ベンチマーク汚染とは何ですか？

テスト問題やそれに近いコピーが、モデルの学習データに入り込むことです。モデルは能力ではなく記憶で高得点を取れるため、スコアが実力を過大に示します。

### ベンダーが公表するスコアは信頼できますか？

主張として扱ってください。どのベンチマークのバージョン、設定、プロンプトを使ったか、誰かが結果を再現したか、公開リーダーボードでも同じ結果が出ているかを確認してください。

## 関連項目

-   [評価（eval、LLM evaluation）](https://broadrouter.com/ja/glossary/eval/)（用語）
-   [LLM-as-a-Judge（LLM による評価）](https://broadrouter.com/ja/glossary/llm-as-judge/)（用語）
-   [単語誤り率（WER、word error rate）](https://broadrouter.com/ja/glossary/word-error-rate/)（用語）
-   [ハルシネーション（hallucination）](https://broadrouter.com/ja/glossary/hallucination/)（用語）
-   [オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/)（用語）
-   [プロバイダーを乗り換える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)（記事）
-   [Artificial Analysis の代替サイト：2026 年に LLM を比較できる場所](https://broadrouter.com/ja/blog/artificial-analysis-alternatives/)（記事）
-   [アラビア語向け LLM API の選び方：何をテストすべきか](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)（記事）
-   [アラビア語の音声認識 API：2026 年の選び方](https://broadrouter.com/ja/blog/arabic-speech-to-text-api-buyers-guide/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-llm-benchmark&utm_content=page-cta) ·

**出典**

-   [Hendrycks ほか、Measuring Massive Multitask Language Understanding（MMLU）、arXiv 2009.03300（2026-11-15 確認）](https://arxiv.org/abs/2009.03300)
-   [Jimenez ほか、SWE-bench: Can Language Models Resolve Real-World GitHub Issues?、arXiv 2310.06770（2026-11-15 確認）](https://arxiv.org/abs/2310.06770)
-   [Xu ほか、Benchmark Data Contamination of Large Language Models: A Survey、arXiv 2406.04244（2026-11-15 確認）](https://arxiv.org/abs/2406.04244)
-   [BroadNet、BroadNet Transcribe Arabic のモデルページ：公表 WER とリーダーボード順位（2026-11-16 確認）（英語）](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
