---
title: "Nilai LLM sebelum bertukar: set eval dan hakim LLM | BroadRouter"
description: "Bina set eval daripada trafik sebenar, beri skor dengan semakan kod dan hakim LLM yang dinyahbias, dan bandingkan kualiti, kos serta kependaman sebelum berhijrah."
url: https://broadrouter.com/ms/blog/evaluate-llm-before-switching/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/evaluate-llm-before-switching/) (dikemas kini 2026-11-14).

# Cara menilai LLM sebelum bertukar penyedia

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan 2026-11-14

Kumpulkan 50 hingga 200 prompt sebenar dengan hasil baik yang diketahui. Beri skor kepada kedua-dua model dengan semakan kod dahulu, dan gunakan hakim LLM hanya jika kod tidak dapat memutuskan. Tukar susunan jawapan untuk membatalkan bias kedudukan, gunakan hakim daripada keluarga model ketiga, semak hakim itu dengan label anda sendiri, dan tetapkan peraturan lulus, termasuk kos dan kependaman, sebelum menjalankannya.

## Perkara utama

-   Bina set eval daripada log sebenar, bukan prompt rekaan, dan masukkan kes yang sukar dan yang gagal.
-   Utamakan semakan deterministik (JSON berjaya dihurai, medan sama, ujian lulus). Gunakan hakim LLM hanya untuk kualiti yang tidak dapat disemak oleh kod.
-   Hakim LLM menunjukkan bias kedudukan, panjang jawapan dan keutamaan diri. Nilai setiap pasangan dua kali dengan susunan ditukar.
-   Dengan 100 kes, skor 80% mempunyai margin 95% kira-kira ±8 mata. Perbezaan kecil hanyalah hingar.
-   Tetapkan peraturan lulus lebih awal, termasuk kos, kependaman dan tiada regresi pada kes kritikal.

**Dalam halaman ini**

1.  Bagaimanakah anda membina set eval daripada trafik sebenar?
2.  Semakan manakah patut dibuat oleh kod dan mana oleh hakim?
3.  Apakah yang boleh menjadi salah dengan LLM sebagai hakim?
4.  Bagaimanakah anda menjalankan perbandingan bersebelahan?
5.  Sebesar manakah perbezaan yang sebenar?
6.  Apakah sepatutnya peraturan keputusan?
7.  Di manakah kedudukan BroadNet Inference

Untuk menilai LLM sebelum bertukar, jalankan kedua-dua model pada 50 hingga 200 prompt sebenar dengan hasil baik yang diketahui. Beri skor dengan semakan kod dahulu dan hakim LLM yang dinyahbias hanya jika kod tidak dapat memutuskan, log kos dan kependaman, dan tetapkan peraturan lulus lebih awal.

Perubahan kod itu sendiri kecil: dengan [API serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/) ia hanyalah [base URL](https://broadrouter.com/ms/glossary/base-url/) dan ID model. [Senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/) merangkumi bahagian itu, dan [senarai semak penyedia](https://broadrouter.com/ms/blog/choose-llm-api-provider-checklist/) merangkumi harga, had dan privasi. Bahagian yang sukar ialah mengetahui sama ada model baharu sama baik **untuk tugas anda**. Papan pendahulu awam tidak menjawabnya; [Artificial Analysis dan alternatifnya](https://broadrouter.com/ms/blog/artificial-analysis-alternatives/) sesuai untuk membina senarai pendek. Set [eval](https://broadrouter.com/ms/glossary/eval/) kecil yang dibina daripada trafik anda sendiri yang menjawabnya, dalam sehari dua kerja.

## Bagaimanakah anda membina set eval daripada trafik sebenar?

1.  **Tarik 300 hingga 1,000 permintaan terkini** daripada [log penggunaan](https://broadrouter.com/ms/blog/llm-api-usage-logging/) anda, selepas penyuntingan data sensitif.
2.  **Kumpulkan mengikut jenis tugas**: pengekstrakan, pengelasan, peringkasan, balasan chat, suntingan kod, panggilan alat.
3.  **Ambil sampel 10 hingga 40 bagi setiap jenis**, lebih banyak untuk jenis yang bervolum tinggi atau berisiko tinggi. Masukkan prompt panjang, input bukan bahasa Inggeris dan kes yang diadukan pengguna.
4.  **Tulis hasil yang dijangka** bagi setiap satu: nilai tepat, skema, ujian yang mesti lulus, atau rubrik ringkas (“menyebut tempoh bayaran balik; tiada dasar rekaan”).
5.  **Tag kes kritikal.** Jumlah invois yang salah atau arahan yang terbocor tidak sama dengan nada yang sedikit kurang baik.
6.  **Bekukan set itu** dalam kawalan versi. Tambah kes apabila anda menemui kegagalan baharu, jangan sekali-kali padam kes supaya sesuatu model kelihatan lebih baik.

## Semakan manakah patut dibuat oleh kod dan mana oleh hakim?

Gunakan semakan boleh dipercayai yang paling murah bagi setiap kes:

| Tugas | Semakan | Perlu hakim? |
| --- | --- | --- |
| Pengekstrakan JSON | Berjaya dihurai, lulus skema, medan sama dengan jangkaan | Tidak |
| Pengelasan | Label sama dengan jangkaan | Tidak |
| Suntingan kod | Ujian lulus | Tidak |
| Panggilan alat | Fungsi betul, argumen lulus pengesahan | Tidak |
| Ringkasan | Mengandungi fakta yang diperlukan; tiada fakta yang tiada dalam sumber | Kadangkala |
| Balasan chat, nada, kebergunaan | Rubrik | Ya |

Semakan deterministik adalah percuma, boleh diulang dan mustahil dibodek, jadi alihkan sebanyak mungkin kes kepada semakan kod.

## Apakah yang boleh menjadi salah dengan LLM sebagai hakim?

[LLM sebagai hakim](https://broadrouter.com/ms/glossary/llm-as-judge/) ialah model yang menilai jawapan model lain berdasarkan rubrik. Kajian MT-Bench (Zheng et al.) mendapati hakim yang kuat bersetuju dengan keutamaan manusia lebih 80% masa, lebih kurang sekerap manusia bersetuju sesama sendiri. Kertas yang sama menamakan bias yang perlu anda tangani dalam reka bentuk:

| Bias | Apa yang berlaku | Mitigasi |
| --- | --- | --- |
| Kedudukan | Lebih suka jawapan pertama (atau kedua) yang ditunjukkan | Nilai setiap pasangan dua kali, susunan ditukar; kira kemenangan hanya jika kedua-duanya bersetuju |
| Panjang jawapan | Lebih suka jawapan yang lebih panjang | Rubrik yang memberi ganjaran kepada ketepatan dan keringkasan; hadkan panjang dalam prompt |
| Keutamaan diri | Lebih suka jawapan dalam gayanya sendiri | Hakim daripada keluarga model yang berbeza daripada kedua-dua calon |
| Penaakulan lemah | Terlepas ralat dalam matematik atau kod | Gunakan semakan kod untuk kes tersebut |

Dua lagi peraturan daripada amalan. **Pinkan hakim**: versi model yang sama, prompt yang sama, temperature 0, sepanjang perbandingan. Dan **kalibrasikannya**: labelkan 30 hingga 50 pasangan sendiri, jalankan hakim padanya, dan percayainya hanya jika ia kebanyakan masa bersetuju dengan anda. Panduan penilai Arize memberikan nasihat yang sama (“Collect 20–100 examples”; Terjemahan: kumpulkan 20–100 contoh) dengan label manusia, dan mengesyorkan label kategori seperti lulus/gagal berbanding skala angka yang besar.

## Bagaimanakah anda menjalankan perbandingan bersebelahan?

Jalankan kedua-dua calon pada setiap kes, sembunyikan identiti daripada hakim, tukar susunan, dan log kos serta masa:

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

Peraturan pertukaran bermaksud sesuatu model menang hanya apabila hakim memilihnya dalam kedua-dua kedudukan; sebarang percanggahan dikira seri. Kadar percanggahan itu sendiri berguna: kadar yang tinggi bermaksud hakim atau rubrik terlalu kabur. Perhatikan `max_tokens=4000`: pada model penaakulan, pemikiran dikira dalam had itu, dan had yang rendah menghasilkan jawapan kosong yang kelihatan seperti kegagalan. Lihat [mengapa model penaakulan memulangkan balasan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).

## Sebesar manakah perbezaan yang sebenar?

Skor eval ialah sampel. Bagi kadar lulus p merentas n kes, ralat piawai ialah √(p × (1 − p) ÷ n), dan margin 95% kira-kira dua kali ganda itu.

| Kes | Kadar lulus | Margin 95% |
| --- | --- | --- |
| 50 | 80% | kira-kira ±11 mata |
| 100 | 80% | kira-kira ±8 mata |
| 200 | 80% | kira-kira ±6 mata |
| 400 | 80% | kira-kira ±4 mata |

Jadi model yang mendapat 82% berbanding 79% pada 100 kes belum terbukti lebih baik. Lihat **perbezaan setiap kes** sebaliknya: kes manakah yang bertukar daripada lulus kepada gagal? Itu memberitahu anda lebih banyak daripada jumlah keseluruhan, dan pada kes kritikal satu pertukaran boleh menentukan keputusan untuk bertukar.

## Apakah sepatutnya peraturan keputusan?

Tulis sebelum anda menjalankan eval, supaya hasilnya tidak dapat memesongkannya. Templat praktikal:

1.  Tiada regresi pada mana-mana kes yang ditag kritikal.
2.  Kadar lulus keseluruhan tidak lebih rendah daripada model semasa melebihi margin ralat.
3.  Kependaman p95 dalam bajet anda; lihat [TTFT vs throughput](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) untuk cara mengukurnya.
4.  Kos setiap kes yang berjaya lebih rendah, atau lebih tinggi hanya dengan jumlah yang telah dipersetujui berbaloi untuk kualiti itu. Kira perbezaan bulanan dengan [kalkulator kos API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/).
5.  Tempoh bayangan: hantar sebahagian trafik langsung kepada model baharu, log kedua-duanya, dan bandingkan sebelum beralih sepenuhnya.

Set eval yang sama ialah titik permulaan jika anda mempertimbangkan model tersuai: [sebelum penalaan halus](https://broadrouter.com/ms/blog/fine-tuning-readiness/) menerangkan bila prompt dan retrieval sudah memadai.

## Di manakah kedudukan BroadNet Inference

BroadNet Inference menyajikan beberapa keluarga model di sebalik satu endpoint serasi OpenAI, termasuk [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) dan [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/), jadi calon dan hakim daripada keluarga berbeza boleh dijalankan melalui klien dan kunci yang sama. Setiap respons membawa penggunaan token untuk perbandingan kos, dan akaun baharu bermula dengan kredit $5; tanpa tambah nilai, kredit itu hanya menjalankan [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/), jadi rancang tambah nilai kecil untuk membandingkan model yang lebih besar. Ia tidak menyertakan harness penilaian atau alatan hakim yang dihoskan; anda menjalankan kod di atas sendiri. Untuk beban kerja bahasa Arab, [memilih LLM untuk bahasa Arab](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/) menyenaraikan apa yang perlu diuji. Harga bersebelahan ada di [halaman perbandingan](https://broadrouter.com/compare/).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Eval (penilaian LLM)](https://broadrouter.com/ms/glossary/eval/)

Eval (singkatan bagi evaluation, penilaian) ialah ujian berulang bagi model bahasa atau prompt: satu set input tetap, penerangan tentang rupa output yang baik, dan penggred (kod, manusia atau model lain) yang memberi skor kepada setiap output supaya versi boleh dibandingkan.

[Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/)

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/ms/glossary/prepaid-credit/)

Kredit prabayar ialah wang yang ditambah ke akaun API sebelum digunakan. Setiap permintaan menolak kosnya daripada baki, dan apabila baki habis, permintaan bermeter berhenti sehingga anda menambah nilai. Ia mengehadkan perbelanjaan kepada jumlah yang telah anda bayar.

[API serasi OpenAI (OpenAI-compatible API)](https://broadrouter.com/ms/glossary/openai-compatible-api/)

API serasi OpenAI ialah API HTTP yang menerima format permintaan dan respons yang sama seperti OpenAI API, contohnya POST /v1/chat/completions, jadi SDK dan alat OpenAI boleh menggunakannya dengan hanya menukar base URL, kunci API dan nama model.

[Base URL (URL asas)](https://broadrouter.com/ms/glossary/base-url/)

Base URL ialah alamat akar tetap sesuatu API, seperti https://api.example.com/v1, yang diletakkan oleh klien di hadapan setiap laluan endpoint, seperti /chat/completions. Dalam SDK serasi OpenAI, menukar base URL, bersama kunci API dan ID model, menghalakan kod yang sama kepada penyedia lain.

[Fine-tuning (penalaan halus)](https://broadrouter.com/ms/glossary/fine-tuning/)

Fine-tuning ialah proses meneruskan latihan model bahasa yang telah dilatih dengan set data yang lebih kecil dan khusus tugas, seperti contoh perbualan, supaya pemberatnya berubah dan ia melaksanakan tugas atau gaya itu dengan lebih konsisten tanpa memerlukan arahan atau contoh panjang dalam setiap prompt.

[LLM-as-a-judge (LLM sebagai hakim)](https://broadrouter.com/ms/glossary/llm-as-judge/)

LLM-as-a-judge ialah kaedah penilaian di mana model bahasa menilai output model lain, sama ada memberi skor kepada satu jawapan berdasarkan rubrik atau memilih yang lebih baik antara dua jawapan. Ia menghampiri pertimbangan manusia pada kos jauh lebih rendah tetapi mempunyai bias yang diketahui, seperti memihak kepada jawapan pertama atau lebih panjang.

[Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/)

Masa ke token pertama (TTFT) ialah masa dari penghantaran permintaan kepada model bahasa sehingga token output pertama tiba. Ia termasuk masa rangkaian, giliran menunggu di pelayan dan prefill, iaitu langkah model membaca seluruh prompt, jadi ia meningkat dengan panjang prompt dan beban.

## Soalan lazim

### Berapa banyakkah contoh yang saya perlukan dalam set eval LLM?

Lima puluh cukup untuk mengesan regresi besar, 200 untuk melihat perbezaan sekitar 5 hingga 10 mata. Liputan lebih penting daripada saiz, jadi masukkan setiap jenis tugas dan kes kegagalan yang anda ketahui.

### Bolehkah LLM sebagai hakim dipercayai?

Sebahagiannya. Dalam kajian MT-Bench, hakim yang kuat bersetuju dengan keutamaan manusia lebih 80% masa, lebih kurang sekerap manusia bersetuju sesama sendiri. Mereka juga menunjukkan bias kedudukan, panjang jawapan dan peningkatan diri, jadi nyahbiaskan dan buat semakan rawak.

### Patutkah model hakim sama dengan model yang diuji?

Tidak. Hakim cenderung memihak kepada jawapan yang menyerupai jawapan mereka sendiri. Gunakan hakim daripada keluarga model yang berbeza, dan kekalkannya pada satu versi sepanjang perbandingan.

### Apakah itu bias kedudukan dalam penilaian LLM?

Hakim lebih suka jawapan yang muncul dahulu, atau kedua, tanpa mengira kualiti. Atasinya dengan menilai setiap pasangan dua kali dengan susunan ditukar dan mengira kemenangan hanya apabila kedua-dua susunan bersetuju.

### Patutkah saya membandingkan kos dan kependaman dalam eval yang sama?

Ya. Log token dan masa bagi setiap panggilan eval. Model yang mendapat skor dua mata lebih tinggi pada tiga kali ganda kos atau kependaman mungkin masih pilihan pertukaran yang salah.

## Teruskan membaca

-   [Cara memilih penyedia API LLM: senarai semak 20 perkara](https://broadrouter.com/ms/blog/choose-llm-api-provider-checklist/)
-   [Beralih ke API serasi OpenAI: senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/)
-   [Log penggunaan API LLM: kos setiap pengguna dan ciri, PII disunting](https://broadrouter.com/ms/blog/llm-api-usage-logging/)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/)
-   [Sebelum penalaan halus: tentukan masalah yang hendak diselesaikan](https://broadrouter.com/ms/blog/fine-tuning-readiness/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**Sumber**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685 (diambil 2026-11-14)](https://arxiv.org/abs/2306.05685)
-   [Dokumentasi Arize, amalan terbaik penilai (diambil 2026-11-14)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [Rujukan API BroadNet Inference (diambil 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-evaluate-llm-before-switching&utm_content=sources)
-   [Harga BroadNet Inference yang boleh dibaca mesin, pricing.json (diambil 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-evaluate-llm-before-switching&utm_content=sources)
