---
title: "乗り換え前の LLM 評価：評価セットと LLM-as-a-Judge | BroadRouter"
description: "実トラフィックから小さな評価セットを作り、コードによるチェックとバイアスを抑えた LLM ジャッジで採点し、移行前に品質・コスト・レイテンシを比較します。"
url: https://broadrouter.com/ja/blog/evaluate-llm-before-switching/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/evaluate-llm-before-switching/)（2026-11-14 更新）。

# プロバイダーを乗り換える前に LLM を評価する方法

BroadNet Inference チーム · 約 5 分で読めます · 公開日 2026-11-14

正解が分かっている実際のプロンプトを 50〜200 件集めます。両モデルをまずコードで採点し、コードで判定できない部分だけ LLM ジャッジを使います。順序を入れ替えて位置バイアスを打ち消し、第 3 のモデルファミリーのジャッジを自分のラベルで検証し、コストとレイテンシを含む合格基準を実行前に決めます。

## 要点

-   評価セットは作ったプロンプトではなく実際のログから作り、難しいケースや失敗したケースも含めてください。
-   決定的なチェック（JSON がパースできる、フィールドが一致する、テストが通る）を優先し、LLM ジャッジはコードで確認できない品質だけに使ってください。
-   LLM ジャッジには位置バイアス、冗長性バイアス、自己優遇バイアスがあります。各ペアを順序を入れ替えて 2 回判定してください。
-   100 ケースでスコア 80% の場合、95% の誤差幅は約 ±8 ポイントです。小さな差はノイズです。
-   コスト、レイテンシ、重要ケースでの劣化なしを含む合格基準を、事前に決めておいてください。

**このページの内容**

1.  実トラフィックから評価セットを作るには？
2.  どのチェックをコードにし、どれをジャッジにしますか？
3.  LLM-as-a-Judge では何がうまくいかないのですか？
4.  並べて比較するにはどう実行しますか？
5.  どれくらいの差なら本物ですか？
6.  判断基準はどう決めるべきですか？
7.  BroadNet Inference の位置づけ

LLM を乗り換える前に評価するには、正解の分かっている 50〜200 件の実際のプロンプトで両方のモデルを動かします。まずコードのチェックで採点し、コードで判定できないところだけバイアスを抑えた LLM ジャッジを使います。コストとレイテンシを記録し、合格基準は事前に決めておきます。

コードの変更自体は小さなものです。[OpenAI 互換 API](https://broadrouter.com/ja/glossary/openai-compatible-api/) なら、[ベース URL](https://broadrouter.com/ja/glossary/base-url/) とモデル ID だけです。その部分は[移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/)で、料金・制限・プライバシーは[プロバイダーのチェックリスト](https://broadrouter.com/ja/blog/choose-llm-api-provider-checklist/)で扱っています。難しいのは、新しいモデルが**自分のタスクで**同じくらい良いかどうかを知ることです。公開リーダーボードはその答えになりません。[Artificial Analysis とその代替サイト](https://broadrouter.com/ja/blog/artificial-analysis-alternatives/)は候補を絞り込むためのものです。自分のトラフィックから作った小さな[評価（eval）](https://broadrouter.com/ja/glossary/eval/)セットなら、1〜2 日の作業で答えが出ます。

## 実トラフィックから評価セットを作るには？

1.  \*\*[使用ログ](https://broadrouter.com/ja/blog/llm-api-usage-logging/)から最近のリクエストを 300〜1,000 件取り出します。\*\*マスキングを済ませてからにしてください。
2.  \*\*タスクの種類でグループ分けします。\*\*抽出、分類、要約、チャットの返信、コード編集、ツール呼び出し。
3.  \*\*種類ごとに 10〜40 件をサンプリングします。\*\*量が多い、またはリスクの高い種類は多めにします。長いプロンプト、英語以外の入力、ユーザーから苦情のあったケースも含めてください。
4.  \*\*それぞれの期待される結果を書きます。\*\*正確な値、スキーマ、通るべきテスト、または短い評価基準（「返金期限に触れている。ポリシーをでっち上げていない」）。
5.  \*\*重要なケースにタグを付けます。\*\*請求書の合計の誤りや指示の漏洩は、少し劣る言い回しとは同列ではありません。
6.  \*\*バージョン管理で固定します。\*\*新しい失敗を見つけたらケースを追加し、モデルを良く見せるために削除することは決してしないでください。

## どのチェックをコードにし、どれをジャッジにしますか？

各ケースに、信頼できる中で最も安いチェックを使います：

| タスク | チェック | ジャッジが必要？ |
| --- | --- | --- |
| JSON 抽出 | パースでき、スキーマ検証を通り、フィールドが期待値と一致 | 不要 |
| 分類 | ラベルが期待値と一致 | 不要 |
| コード編集 | テストが通る | 不要 |
| ツール呼び出し | 正しい関数で、引数が検証を通る | 不要 |
| 要約 | 必要な事実を含み、元の文書にない事実がない | 場合による |
| チャットの返信、トーン、有用性 | 評価基準 | 必要 |

決定的なチェックは無料で再現性があり、おだてようがありません。できるだけ多くのケースをコードのチェックに回してください。

## LLM-as-a-Judge では何がうまくいかないのですか？

[LLM-as-a-Judge](https://broadrouter.com/ja/glossary/llm-as-judge/) は、評価基準に沿ってほかのモデルの回答を採点するモデルです。MT-Bench の研究（Zheng ほか）では、強いジャッジは 80% 以上の割合で人間の好みと一致し、人間同士の一致率とほぼ同じでした。同じ論文は、設計で回避すべきバイアスも挙げています：

| バイアス | 起きること | 対策 |
| --- | --- | --- |
| 位置 | 先（または後）に示された回答を好む | 各ペアを順序を入れ替えて 2 回判定し、両方が一致したときだけ勝ちとする |
| 冗長性 | 長い回答を好む | 正確さと簡潔さを評価する基準にし、プロンプトで長さを制限する |
| 自己優遇 | 自分のスタイルの回答を好む | 両候補とは別のモデルファミリーのジャッジを使う |
| 推論の弱さ | 数学やコードの誤りを見逃す | そうしたケースはコードのチェックに置き換える |

実務からのルールがあと 2 つあります。**ジャッジを固定すること**：比較の間はずっと、同じモデルバージョン、同じプロンプト、temperature 0 を使います。そして**キャリブレーションすること**：30〜50 ペアに自分でラベルを付け、ジャッジにも判定させ、たいていの場合に自分と一致するときだけ信頼します。Arize の評価器ガイドも同じ助言（“Collect 20–100 examples”（訳：20〜100 件の例を集める）、人間のラベル付き）をしており、大きな数値スケールより pass/fail のようなカテゴリラベルを推奨しています。

## 並べて比較するにはどう実行しますか？

すべてのケースで両候補を動かし、ジャッジにはモデル名を伏せ、順序を入れ替え、コストと時間を記録します：

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

入れ替えのルールにより、ジャッジが両方の位置でそのモデルを選んだときだけ勝ちになり、食い違いはすべて引き分けになります。食い違いの割合そのものも役に立ちます。割合が高ければ、ジャッジか評価基準があいまいすぎるということです。`max_tokens=4000` に注意してください。推論モデルでは思考も上限に数えられ、上限が低いと失敗のように見える空の回答が返ります。[推論モデルが空の応答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)をご覧ください。

## どれくらいの差なら本物ですか？

評価スコアはサンプルです。n ケースでの合格率 p の標準誤差は √(p × (1 − p) ÷ n) で、95% の誤差幅はその約 2 倍です。

| ケース数 | 合格率 | 95% の誤差幅 |
| --- | --- | --- |
| 50 | 80% | 約 ±11 ポイント |
| 100 | 80% | 約 ±8 ポイント |
| 200 | 80% | 約 ±6 ポイント |
| 400 | 80% | 約 ±4 ポイント |

つまり 100 ケースで 82% 対 79% なら、前者のほうが良いとは示せていません。代わりに**ケースごとの差**を見てください。どのケースが合格から不合格に変わったか。それは合計より多くを語り、重要なケースでは 1 件の反転が乗り換えを決めることもあります。

## 判断基準はどう決めるべきですか？

結果に左右されないよう、評価を実行する前に書いておきます。実用的なテンプレートです：

1.  重要タグの付いたケースで、1 件も劣化がないこと。
2.  全体の合格率が、現行モデルより誤差幅を超えて低くないこと。
3.  p95 レイテンシが予算内であること。測り方は [TTFT とスループット](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)をご覧ください。
4.  成功 1 ケースあたりのコストが低いこと。高い場合は、その品質に見合うと合意した額の範囲内であること。月額の差は [LLM API コスト計算ツール](https://broadrouter.com/tools/llm-api-cost-calculator/)で見積もってください。
5.  シャドー期間：本番トラフィックの一部を新しいモデルにも送り、両方を記録し、比較してから切り替えること。

カスタムモデルを検討している場合も、同じ評価セットが出発点になります。プロンプトと検索で十分な場合については[ファインチューニングの前に](https://broadrouter.com/ja/blog/fine-tuning-readiness/)で説明しています。

## BroadNet Inference の位置づけ

BroadNet Inference は 1 つの OpenAI 互換エンドポイントで複数のモデルファミリーを提供しており、[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/)、[GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/)、[Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) などがあります。そのため、候補モデルと別ファミリーのジャッジを同じクライアントとキーで動かせます。すべてのレスポンスにはコスト比較に使えるトークン使用量が含まれ、新規アカウントには $5 のクレジットが付きます。ただし、チャージなしではそのクレジットで動くのは [Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) だけなので、大きなモデルを比較するには少額のチャージを予定してください。評価ハーネスやホスト型のジャッジツールはありません。上のコードはご自身で実行してください。アラビア語のワークロードなら、テストすべき点を [アラビア語向け LLM の選び方](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)にまとめています。価格の並列比較は[比較ページ](https://broadrouter.com/compare/)にあります。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[LLM-as-a-Judge（LLM による評価）](https://broadrouter.com/ja/glossary/llm-as-judge/)

LLM-as-a-Judge とは、言語モデルが他のモデルの出力を採点する評価手法です。1 つの回答を評価基準で採点するか、2 つの回答から良いほうを選びます。人手の判断をはるかに安く近似できますが、先に出た回答や長い回答を好むなどの既知のバイアスがあります。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[評価（eval、LLM evaluation）](https://broadrouter.com/ja/glossary/eval/)

eval（evaluation の略）とは、言語モデルやプロンプトを繰り返し検証できるテストです。固定した入力のセット、良い出力の条件、各出力を採点する採点者（コード、人間、別のモデル）で構成され、バージョン同士を比較できます。

[temperature（温度）](https://broadrouter.com/ja/glossary/temperature/)

temperature（温度）とは、言語モデルの出力のランダム性を決めるサンプリングのパラメーターです。トークンのスコアをこの値で割ってから確率にするため、低いと最有力のトークンが支配的になり、高いと分布が平らになって確率の低いトークンも選ばれやすくなります。

[プリペイドクレジット（prepaid credit）](https://broadrouter.com/ja/glossary/prepaid-credit/)

プリペイドクレジットとは、使用前に API アカウントに入金しておくお金です。リクエストごとに費用が残高から差し引かれ、残高がなくなると、チャージするまで従量課金のリクエストは止まります。支出は支払った額までに抑えられます。

[LLM ベンチマーク（LLM benchmark）](https://broadrouter.com/ja/glossary/llm-benchmark/)

LLM ベンチマークとは、知識問題、コーディング、音声認識など 1 つの能力で言語モデルを測り比べるための、固定された（通常は公開の）タスクと採点方法です。スコアはそのテストでの相対的な能力を示し、自社のワークロードでの実力は示しません。

[TTFT（最初のトークンまでの時間）](https://broadrouter.com/ja/glossary/time-to-first-token/)

TTFT（最初のトークンまでの時間）とは、言語モデルにリクエストを送ってから最初の出力トークンが届くまでの時間です。ネットワーク、サーバーでの待ち行列、モデルがプロンプト全体を読むプリフィルを含むため、プロンプトの長さと負荷に応じて伸びます。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

## よくある質問

### LLM の評価セットには何件の例が必要ですか？

大きな劣化を見つけるなら 50 件で足ります。5〜10 ポイント程度の差を見るには 200 件必要です。件数より網羅性が大切なので、すべてのタスクの種類と既知の失敗ケースを含めてください。

### LLM-as-a-Judge は信頼できますか？

ある程度は信頼できます。MT-Bench の研究では、強いジャッジは 80% 以上の割合で人間の好みと一致し、人間同士の一致率とほぼ同じでした。一方で位置バイアス、冗長性バイアス、自己強化バイアスも見られたため、バイアスを抑え、抜き取りで確認してください。

### ジャッジのモデルは、テスト対象のモデルと同じでよいですか？

よくありません。ジャッジは自分の回答に似た回答を好む傾向があります。別のモデルファミリーのジャッジを使い、比較の間は 1 つのバージョンに固定してください。

### LLM 評価における位置バイアスとは何ですか？

品質に関係なく、先（または後）に示された回答をジャッジが好む傾向です。各ペアを順序を入れ替えて 2 回判定し、両方の順序で一致したときだけ勝ちとすることで対処します。

### コストとレイテンシも同じ評価で比較すべきですか？

はい。評価の呼び出しごとにトークンと時間を記録してください。スコアが 2 ポイント高くても、コストやレイテンシが 3 倍なら、乗り換えるべきではないかもしれません。

## 続けて読む

-   [LLM API プロバイダーの選び方：20 項目のチェックリスト](https://broadrouter.com/ja/blog/choose-llm-api-provider-checklist/)
-   [OpenAI 互換 API への移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/)
-   [アラビア語向け LLM API の選び方：何をテストすべきか](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)
-   [LLM API の利用ログ：ユーザー別・機能別のコストと PII のマスキング](https://broadrouter.com/ja/blog/llm-api-usage-logging/)
-   [LLM のレイテンシ：TTFT、トークン/秒、エンドツーエンドの違い](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)
-   [ファインチューニングの前に：解決すべき問題を定義する](https://broadrouter.com/ja/blog/fine-tuning-readiness/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**出典**

-   [Zheng ほか、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena、arXiv 2306.05685（2026-11-14 取得）](https://arxiv.org/abs/2306.05685)
-   [Arize ドキュメント、評価器のベストプラクティス（2026-11-14 取得）](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [BroadNet Inference API リファレンス（2026-11-14 取得）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-evaluate-llm-before-switching&utm_content=sources)
-   [BroadNet Inference の機械可読な価格、pricing.json（2026-11-14 取得）（英語）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-evaluate-llm-before-switching&utm_content=sources)
