BroadRouter

プロバイダーを乗り換える前に LLM を評価する方法

BroadNet Inference チーム · 約 5 分で読めます · 公開日

正解が分かっている実際のプロンプトを 50〜200 件集めます。両モデルをまずコードで採点し、コードで判定できない部分だけ LLM ジャッジを使います。順序を入れ替えて位置バイアスを打ち消し、第 3 のモデルファミリーのジャッジを自分のラベルで検証し、コストとレイテンシを含む合格基準を実行前に決めます。

LLM を乗り換える前に評価するには、正解の分かっている 50〜200 件の実際のプロンプトで両方のモデルを動かします。まずコードのチェックで採点し、コードで判定できないところだけバイアスを抑えた LLM ジャッジを使います。コストとレイテンシを記録し、合格基準は事前に決めておきます。

コードの変更自体は小さなものです。OpenAI 互換 API なら、ベース URL とモデル ID だけです。その部分は移行チェックリストで、料金・制限・プライバシーはプロバイダーのチェックリストで扱っています。難しいのは、新しいモデルが自分のタスクで同じくらい良いかどうかを知ることです。公開リーダーボードはその答えになりません。Artificial Analysis とその代替サイトは候補を絞り込むためのものです。自分のトラフィックから作った小さな評価(eval)セットなら、1〜2 日の作業で答えが出ます。

実トラフィックから評価セットを作るには?

  1. **使用ログから最近のリクエストを 300〜1,000 件取り出します。**マスキングを済ませてからにしてください。
  2. **タスクの種類でグループ分けします。**抽出、分類、要約、チャットの返信、コード編集、ツール呼び出し。
  3. **種類ごとに 10〜40 件をサンプリングします。**量が多い、またはリスクの高い種類は多めにします。長いプロンプト、英語以外の入力、ユーザーから苦情のあったケースも含めてください。
  4. **それぞれの期待される結果を書きます。**正確な値、スキーマ、通るべきテスト、または短い評価基準(「返金期限に触れている。ポリシーをでっち上げていない」)。
  5. **重要なケースにタグを付けます。**請求書の合計の誤りや指示の漏洩は、少し劣る言い回しとは同列ではありません。
  6. **バージョン管理で固定します。**新しい失敗を見つけたらケースを追加し、モデルを良く見せるために削除することは決してしないでください。

どのチェックをコードにし、どれをジャッジにしますか?

各ケースに、信頼できる中で最も安いチェックを使います:

タスク チェック ジャッジが必要?
JSON 抽出 パースでき、スキーマ検証を通り、フィールドが期待値と一致 不要
分類 ラベルが期待値と一致 不要
コード編集 テストが通る 不要
ツール呼び出し 正しい関数で、引数が検証を通る 不要
要約 必要な事実を含み、元の文書にない事実がない 場合による
チャットの返信、トーン、有用性 評価基準 必要

決定的なチェックは無料で再現性があり、おだてようがありません。できるだけ多くのケースをコードのチェックに回してください。

LLM-as-a-Judge では何がうまくいかないのですか?

LLM-as-a-Judge は、評価基準に沿ってほかのモデルの回答を採点するモデルです。MT-Bench の研究(Zheng ほか)では、強いジャッジは 80% 以上の割合で人間の好みと一致し、人間同士の一致率とほぼ同じでした。同じ論文は、設計で回避すべきバイアスも挙げています:

バイアス 起きること 対策
位置 先(または後)に示された回答を好む 各ペアを順序を入れ替えて 2 回判定し、両方が一致したときだけ勝ちとする
冗長性 長い回答を好む 正確さと簡潔さを評価する基準にし、プロンプトで長さを制限する
自己優遇 自分のスタイルの回答を好む 両候補とは別のモデルファミリーのジャッジを使う
推論の弱さ 数学やコードの誤りを見逃す そうしたケースはコードのチェックに置き換える

実務からのルールがあと 2 つあります。ジャッジを固定すること:比較の間はずっと、同じモデルバージョン、同じプロンプト、temperature 0 を使います。そしてキャリブレーションすること:30〜50 ペアに自分でラベルを付け、ジャッジにも判定させ、たいていの場合に自分と一致するときだけ信頼します。Arize の評価器ガイドも同じ助言(“Collect 20–100 examples”(訳:20〜100 件の例を集める)、人間のラベル付き)をしており、大きな数値スケールより pass/fail のようなカテゴリラベルを推奨しています。

並べて比較するにはどう実行しますか?

すべてのケースで両候補を動かし、ジャッジにはモデル名を伏せ、順序を入れ替え、コストと時間を記録します:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

入れ替えのルールにより、ジャッジが両方の位置でそのモデルを選んだときだけ勝ちになり、食い違いはすべて引き分けになります。食い違いの割合そのものも役に立ちます。割合が高ければ、ジャッジか評価基準があいまいすぎるということです。max_tokens=4000 に注意してください。推論モデルでは思考も上限に数えられ、上限が低いと失敗のように見える空の回答が返ります。推論モデルが空の応答を返す理由をご覧ください。

どれくらいの差なら本物ですか?

評価スコアはサンプルです。n ケースでの合格率 p の標準誤差は √(p × (1 − p) ÷ n) で、95% の誤差幅はその約 2 倍です。

ケース数 合格率 95% の誤差幅
50 80% 約 ±11 ポイント
100 80% 約 ±8 ポイント
200 80% 約 ±6 ポイント
400 80% 約 ±4 ポイント

つまり 100 ケースで 82% 対 79% なら、前者のほうが良いとは示せていません。代わりにケースごとの差を見てください。どのケースが合格から不合格に変わったか。それは合計より多くを語り、重要なケースでは 1 件の反転が乗り換えを決めることもあります。

判断基準はどう決めるべきですか?

結果に左右されないよう、評価を実行する前に書いておきます。実用的なテンプレートです:

  1. 重要タグの付いたケースで、1 件も劣化がないこと。
  2. 全体の合格率が、現行モデルより誤差幅を超えて低くないこと。
  3. p95 レイテンシが予算内であること。測り方は TTFT とスループットをご覧ください。
  4. 成功 1 ケースあたりのコストが低いこと。高い場合は、その品質に見合うと合意した額の範囲内であること。月額の差は LLM API コスト計算ツールで見積もってください。
  5. シャドー期間:本番トラフィックの一部を新しいモデルにも送り、両方を記録し、比較してから切り替えること。

カスタムモデルを検討している場合も、同じ評価セットが出発点になります。プロンプトと検索で十分な場合についてはファインチューニングの前にで説明しています。

BroadNet Inference の位置づけ

BroadNet Inference は 1 つの OpenAI 互換エンドポイントで複数のモデルファミリーを提供しており、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B などがあります。そのため、候補モデルと別ファミリーのジャッジを同じクライアントとキーで動かせます。すべてのレスポンスにはコスト比較に使えるトークン使用量が含まれ、新規アカウントには $5 のクレジットが付きます。ただし、チャージなしではそのクレジットで動くのは Gemma 4 VL 26B だけなので、大きなモデルを比較するには少額のチャージを予定してください。評価ハーネスやホスト型のジャッジツールはありません。上のコードはご自身で実行してください。アラビア語のワークロードなら、テストすべき点を アラビア語向け LLM の選び方にまとめています。価格の並列比較は比較ページにあります。

よくある質問

LLM の評価セットには何件の例が必要ですか?

大きな劣化を見つけるなら 50 件で足ります。5〜10 ポイント程度の差を見るには 200 件必要です。件数より網羅性が大切なので、すべてのタスクの種類と既知の失敗ケースを含めてください。

LLM-as-a-Judge は信頼できますか?

ある程度は信頼できます。MT-Bench の研究では、強いジャッジは 80% 以上の割合で人間の好みと一致し、人間同士の一致率とほぼ同じでした。一方で位置バイアス、冗長性バイアス、自己強化バイアスも見られたため、バイアスを抑え、抜き取りで確認してください。

ジャッジのモデルは、テスト対象のモデルと同じでよいですか?

よくありません。ジャッジは自分の回答に似た回答を好む傾向があります。別のモデルファミリーのジャッジを使い、比較の間は 1 つのバージョンに固定してください。

LLM 評価における位置バイアスとは何ですか?

品質に関係なく、先(または後)に示された回答をジャッジが好む傾向です。各ペアを順序を入れ替えて 2 回判定し、両方の順序で一致したときだけ勝ちとすることで対処します。

コストとレイテンシも同じ評価で比較すべきですか?

はい。評価の呼び出しごとにトークンと時間を記録してください。スコアが 2 ポイント高くても、コストやレイテンシが 3 倍なら、乗り換えるべきではないかもしれません。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く