---
title: "Đánh giá LLM trước khi đổi: bộ eval và LLM-as-a-judge"
description: "Dựng bộ eval nhỏ từ traffic thật, chấm bằng kiểm tra code và LLM chấm điểm đã giảm thiên lệch, rồi so sánh chất lượng, chi phí và độ trễ trước khi chuyển."
url: https://broadrouter.com/vi/blog/evaluate-llm-before-switching/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/evaluate-llm-before-switching/) (cập nhật ngày 2026-11-14).

# Cách đánh giá LLM trước khi đổi nhà cung cấp

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày 2026-11-14

Thu thập 50 đến 200 prompt thật có kết quả đúng đã biết. Chấm cả hai model bằng kiểm tra bằng code trước, chỉ dùng LLM chấm điểm khi code không quyết định được. Đảo thứ tự câu trả lời để triệt thiên lệch vị trí, dùng model chấm từ họ model thứ ba, đối chiếu với nhãn của bạn, và chốt quy tắc đạt, gồm chi phí và độ trễ, trước khi chạy.

## Ý chính

-   Dựng bộ eval từ log thật, không phải prompt tự nghĩ ra, và đưa vào cả các ca khó và ca từng thất bại.
-   Ưu tiên kiểm tra tất định (JSON parse được, trường khớp, test pass). Chỉ dùng LLM chấm điểm cho những phẩm chất code không kiểm tra được.
-   LLM chấm điểm có thiên lệch vị trí, độ dài và tự ưu ái. Hãy chấm mỗi cặp hai lần với thứ tự đảo ngược.
-   Với 100 ca, điểm 80% có biên sai số 95% khoảng ±8 điểm. Chênh lệch nhỏ chỉ là nhiễu.
-   Quyết định quy tắc đạt từ trước, gồm chi phí, độ trễ và không thụt lùi ở các ca quan trọng.

**Trong trang này**

1.  Dựng bộ eval từ traffic thật như thế nào?
2.  Kiểm tra nào nên bằng code, kiểm tra nào cần model chấm?
3.  LLM-as-a-judge hay sai ở đâu?
4.  Chạy so sánh song song như thế nào?
5.  Chênh lệch bao nhiêu mới là thật?
6.  Quy tắc quyết định nên là gì?
7.  BroadNet Inference ở đâu trong bức tranh này

Để đánh giá một LLM trước khi chuyển đổi, hãy chạy cả hai model trên 50 đến 200 prompt thật có kết quả đúng đã biết. Chấm điểm bằng kiểm tra bằng code trước, chỉ dùng một LLM chấm điểm đã giảm thiên lệch khi code không quyết định được, ghi lại chi phí và độ trễ, và chốt quy tắc đạt từ trước.

Thay đổi code tự nó rất nhỏ: với một [API tương thích OpenAI](https://broadrouter.com/vi/glossary/openai-compatible-api/), chỉ là một [base URL](https://broadrouter.com/vi/glossary/base-url/) và một model ID. [Checklist chuyển đổi](https://broadrouter.com/vi/blog/openai-compatible-api-migration-checklist/) bao quát phần đó, và [checklist chọn nhà cung cấp](https://broadrouter.com/vi/blog/choose-llm-api-provider-checklist/) bao quát giá, giới hạn và quyền riêng tư. Phần khó là biết model mới có tốt ngang **cho tác vụ của bạn** hay không. Bảng xếp hạng công khai không trả lời được câu đó; [Artificial Analysis và các lựa chọn thay thế](https://broadrouter.com/vi/blog/artificial-analysis-alternatives/) dùng để lập danh sách rút gọn. Một bộ [eval](https://broadrouter.com/vi/glossary/eval/) nhỏ dựng từ traffic của chính bạn thì trả lời được, chỉ với một hai ngày công.

## Dựng bộ eval từ traffic thật như thế nào?

1.  **Lấy 300 đến 1.000 request gần đây** từ [log mức dùng](https://broadrouter.com/vi/blog/llm-api-usage-logging/), sau khi đã che dữ liệu nhạy cảm.
2.  **Nhóm theo loại tác vụ**: trích xuất, phân loại, tóm tắt, trả lời chat, sửa code, tool call.
3.  **Lấy mẫu 10 đến 40 ca mỗi loại**, nhiều hơn cho loại có khối lượng lớn hoặc rủi ro cao. Đưa vào prompt dài, đầu vào không phải tiếng Anh và các ca người dùng từng phàn nàn.
4.  **Viết kết quả mong đợi** cho từng ca: một giá trị chính xác, một schema, một test phải pass, hoặc một rubric ngắn (“có nhắc đến thời hạn hoàn tiền; không bịa chính sách”).
5.  **Gắn thẻ các ca quan trọng.** Tổng hóa đơn sai hay chỉ dẫn hệ thống bị lộ không giống với giọng văn kém hơn một chút.
6.  **Đóng băng bộ eval** trong version control. Thêm ca khi phát hiện lỗi mới, không bao giờ xóa ca để model trông tốt hơn.

## Kiểm tra nào nên bằng code, kiểm tra nào cần model chấm?

Dùng cách kiểm tra rẻ nhất mà vẫn đáng tin cho từng ca:

| Tác vụ | Kiểm tra | Cần model chấm? |
| --- | --- | --- |
| Trích xuất JSON | Parse được, schema hợp lệ, các trường khớp mong đợi | Không |
| Phân loại | Nhãn khớp mong đợi | Không |
| Sửa code | Test pass | Không |
| Tool call | Đúng hàm, tham số hợp lệ | Không |
| Tóm tắt | Có các dữ kiện bắt buộc; không có dữ kiện ngoài nguồn | Đôi khi |
| Trả lời chat, giọng văn, mức hữu ích | Rubric | Có |

Kiểm tra tất định không tốn tiền, lặp lại được và không thể bị nịnh, nên hãy đẩy càng nhiều ca sang kiểm tra bằng code càng tốt.

## LLM-as-a-judge hay sai ở đâu?

Một [LLM-as-a-judge](https://broadrouter.com/vi/glossary/llm-as-judge/) là model chấm câu trả lời của các model khác theo một rubric. Nghiên cứu MT-Bench (Zheng et al.) cho thấy model chấm mạnh đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng mức con người đồng ý với nhau. Cũng bài báo đó chỉ ra các thiên lệch bạn phải thiết kế để tránh:

| Thiên lệch | Điều xảy ra | Cách giảm |
| --- | --- | --- |
| Vị trí | Ưu ái câu trả lời được đưa ra trước (hoặc sau) | Chấm mỗi cặp hai lần, đảo thứ tự; chỉ tính thắng khi cả hai lần đồng ý |
| Độ dài | Ưu ái câu trả lời dài hơn | Rubric thưởng cho sự đúng đắn và ngắn gọn; giới hạn độ dài trong prompt |
| Tự ưu ái | Ưu ái câu trả lời theo văn phong của chính nó | Dùng model chấm từ họ model khác với cả hai ứng viên |
| Suy luận yếu | Bỏ sót lỗi trong toán hoặc code | Dùng kiểm tra bằng code cho các ca đó |

Thêm hai quy tắc từ thực tế. **Cố định model chấm**: cùng phiên bản model, cùng prompt, temperature 0, trong suốt quá trình so sánh. Và **hiệu chỉnh nó**: tự gắn nhãn 30 đến 50 cặp, chạy model chấm trên chúng, và chỉ tin nó nếu phần lớn kết quả khớp với bạn. Hướng dẫn evaluator của Arize đưa ra cùng lời khuyên (“Collect 20–100 examples” (bản dịch: thu thập 20–100 ví dụ) có nhãn của con người) và khuyến nghị dùng nhãn phân loại như pass/fail thay vì thang điểm số lớn.

## Chạy so sánh song song như thế nào?

Chạy cả hai ứng viên trên mọi ca, giấu danh tính với model chấm, đảo thứ tự, và ghi lại chi phí và thời gian:

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

Quy tắc đảo thứ tự nghĩa là một model chỉ thắng khi model chấm ưu ái nó ở cả hai vị trí; mọi bất đồng đều tính là hòa. Tỷ lệ bất đồng tự nó cũng hữu ích: tỷ lệ cao nghĩa là model chấm hoặc rubric quá mơ hồ. Lưu ý `max_tokens=4000`: với model suy luận, phần suy nghĩ cũng tính vào giới hạn, và giới hạn thấp sẽ tạo ra câu trả lời rỗng trông như thất bại. Xem [vì sao model suy luận trả về phản hồi rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).

## Chênh lệch bao nhiêu mới là thật?

Điểm eval là mẫu. Với tỷ lệ đạt p trên n ca, sai số chuẩn là √(p × (1 − p) ÷ n), và biên sai số 95% khoảng gấp đôi con số đó.

| Số ca | Tỷ lệ đạt | Biên sai số 95% |
| --- | --- | --- |
| 50 | 80% | khoảng ±11 điểm |
| 100 | 80% | khoảng ±8 điểm |
| 200 | 80% | khoảng ±6 điểm |
| 400 | 80% | khoảng ±4 điểm |

Vì vậy một model đạt 82% so với 79% trên 100 ca chưa được chứng minh là tốt hơn. Thay vào đó hãy xem **chênh lệch theo từng ca**: ca nào chuyển từ đạt sang trượt? Những ca đó cho bạn biết nhiều hơn tổng điểm, và ở các ca quan trọng, một lần chuyển có thể quyết định việc đổi model.

## Quy tắc quyết định nên là gì?

Viết nó ra trước khi chạy eval, để kết quả không thể bẻ cong nó. Một mẫu thực tế:

1.  Không thụt lùi ở bất kỳ ca nào được gắn thẻ quan trọng.
2.  Tỷ lệ đạt tổng thể không thấp hơn model hiện tại quá biên sai số.
3.  Độ trễ p95 nằm trong ngân sách; xem [TTFT và throughput](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) để biết cách đo.
4.  Chi phí mỗi ca thành công thấp hơn, hoặc chỉ cao hơn một mức đã thống nhất là xứng với chất lượng. Tính chênh lệch hằng tháng bằng [công cụ tính chi phí API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/).
5.  Một giai đoạn chạy bóng: gửi một phần traffic thật tới model mới, ghi log cả hai, và so sánh trước khi chuyển hẳn.

Cùng bộ eval đó là điểm xuất phát nếu bạn đang cân nhắc một model tùy chỉnh: [trước khi fine-tune](https://broadrouter.com/vi/blog/fine-tuning-readiness/) nói về khi nào prompt và truy xuất là đủ.

## BroadNet Inference ở đâu trong bức tranh này

BroadNet Inference phục vụ nhiều họ model sau một endpoint tương thích OpenAI, gồm [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) và [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/), nên các ứng viên và một model chấm từ họ khác có thể chạy qua cùng client và key. Mọi phản hồi đều kèm mức dùng token để so sánh chi phí, và tài khoản mới bắt đầu với $5 tín dụng; nếu không nạp tiền, tín dụng đó chỉ chạy được [Gemma 4 VL 26B](https://broadrouter.com/vi/models/gemma-4-vl-26b/), nên hãy dự tính nạp một khoản nhỏ để so sánh các model lớn hơn. BroadNet không có sẵn bộ khung đánh giá hay công cụ model chấm được host; bạn tự chạy đoạn code ở trên. Với tác vụ tiếng Ả Rập, [chọn LLM cho tiếng Ả Rập](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/) liệt kê những gì cần kiểm thử. Giá đặt cạnh nhau có trên [trang so sánh](https://broadrouter.com/compare/).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Eval (đánh giá LLM)](https://broadrouter.com/vi/glossary/eval/)

Eval (viết tắt của evaluation, đánh giá) là một bài kiểm thử lặp lại được cho model ngôn ngữ hoặc prompt: một tập input cố định, mô tả thế nào là đầu ra tốt, và một bộ chấm điểm (code, con người hoặc một model khác) chấm từng đầu ra để có thể so sánh các phiên bản.

[LLM-as-a-judge (LLM làm giám khảo)](https://broadrouter.com/vi/glossary/llm-as-judge/)

LLM-as-a-judge là phương pháp đánh giá trong đó một model ngôn ngữ chấm đầu ra của model khác: chấm một câu trả lời theo rubric hoặc chọn câu tốt hơn trong hai câu. Nó gần với đánh giá của con người, rẻ hơn nhiều, nhưng có thiên lệch như ưu tiên câu đầu tiên hoặc câu dài hơn.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[Temperature (nhiệt độ)](https://broadrouter.com/vi/glossary/temperature/)

Temperature là tham số sampling điều chỉnh mức ngẫu nhiên trong đầu ra của model ngôn ngữ. Model chia điểm của từng token cho temperature trước khi đổi thành xác suất: giá trị thấp làm token khả dĩ nhất chiếm ưu thế, giá trị cao làm phân phối phẳng hơn nên token ít khả dĩ được chọn thường hơn.

[Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/)

Thời gian tới token đầu tiên (TTFT) là khoảng thời gian từ lúc gửi request tới model ngôn ngữ cho tới khi token đầu ra đầu tiên đến. Nó gồm thời gian mạng, thời gian xếp hàng trên server và prefill, bước model đọc toàn bộ prompt, nên tăng theo độ dài prompt và tải.

[Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/)

Throughput (thông lượng), trong việc phục vụ LLM, là tổng khối lượng công việc một hệ thống hoàn thành trong một đơn vị thời gian trên mọi request đồng thời, thường đo bằng token đầu ra mỗi giây hoặc request mỗi giây. Nó khác với tốc độ từng luồng, tức tốc độ một request nhận token của nó.

## Câu hỏi thường gặp

### Bộ eval LLM cần bao nhiêu ví dụ?

50 ví dụ là đủ để bắt các lần thụt lùi lớn, 200 để thấy chênh lệch khoảng 5 đến 10 điểm. Độ bao phủ quan trọng hơn số lượng, nên hãy đưa vào mọi loại tác vụ và các ca thất bại đã biết.

### LLM-as-a-judge có đáng tin không?

Một phần. Trong nghiên cứu MT-Bench, các model chấm mạnh đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng mức con người đồng ý với nhau. Chúng cũng có thiên lệch vị trí, độ dài và tự đề cao, nên hãy giảm thiên lệch và kiểm tra ngẫu nhiên.

### Model chấm điểm có nên trùng với model đang được kiểm thử không?

Không. Model chấm thường ưu ái câu trả lời giống văn phong của chính nó. Hãy dùng model chấm từ một họ model khác, và cố định một phiên bản trong suốt quá trình so sánh.

### Thiên lệch vị trí trong đánh giá LLM là gì?

Model chấm ưu ái câu trả lời xuất hiện trước, hoặc sau, bất kể chất lượng. Khắc phục bằng cách chấm mỗi cặp hai lần với thứ tự đảo ngược và chỉ tính thắng khi cả hai thứ tự cho cùng kết quả.

### Có nên so sánh chi phí và độ trễ trong cùng bộ eval không?

Có. Ghi lại token và thời gian cho mọi lần gọi eval. Một model cao hơn hai điểm nhưng tốn gấp ba chi phí hoặc độ trễ vẫn có thể là lựa chọn sai.

## Đọc tiếp

-   [Cách chọn nhà cung cấp API LLM: checklist 20 điểm](https://broadrouter.com/vi/blog/choose-llm-api-provider-checklist/)
-   [Chuyển sang API tương thích OpenAI: checklist khi chuyển đổi](https://broadrouter.com/vi/blog/openai-compatible-api-migration-checklist/)
-   [Chọn API LLM cho tiếng Ả Rập: cần test những gì](https://broadrouter.com/vi/blog/choosing-an-llm-for-arabic/)
-   [Ghi log sử dụng API LLM: chi phí theo người dùng, tính năng, ẩn PII](https://broadrouter.com/vi/blog/llm-api-usage-logging/)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/)
-   [Trước khi fine-tune: xác định vấn đề cần giải quyết](https://broadrouter.com/vi/blog/fine-tuning-readiness/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**Nguồn**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685 (truy cập ngày 2026-11-14)](https://arxiv.org/abs/2306.05685)
-   [Tài liệu Arize, các thực hành tốt cho evaluator (truy cập ngày 2026-11-14)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [Tài liệu tham khảo API BroadNet Inference (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-evaluate-llm-before-switching&utm_content=sources)
-   [Giá máy đọc được của BroadNet Inference, pricing.json (truy cập ngày 2026-11-14) (tiếng Anh)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-evaluate-llm-before-switching&utm_content=sources)
