Để đánh giá một LLM trước khi chuyển đổi, hãy chạy cả hai model trên 50 đến 200 prompt thật có kết quả đúng đã biết. Chấm điểm bằng kiểm tra bằng code trước, chỉ dùng một LLM chấm điểm đã giảm thiên lệch khi code không quyết định được, ghi lại chi phí và độ trễ, và chốt quy tắc đạt từ trước.
Thay đổi code tự nó rất nhỏ: với một API tương thích OpenAI, chỉ là một base URL và một model ID. Checklist chuyển đổi bao quát phần đó, và checklist chọn nhà cung cấp bao quát giá, giới hạn và quyền riêng tư. Phần khó là biết model mới có tốt ngang cho tác vụ của bạn hay không. Bảng xếp hạng công khai không trả lời được câu đó; Artificial Analysis và các lựa chọn thay thế dùng để lập danh sách rút gọn. Một bộ eval nhỏ dựng từ traffic của chính bạn thì trả lời được, chỉ với một hai ngày công.
Dựng bộ eval từ traffic thật như thế nào?
- Lấy 300 đến 1.000 request gần đây từ log mức dùng, sau khi đã che dữ liệu nhạy cảm.
- Nhóm theo loại tác vụ: trích xuất, phân loại, tóm tắt, trả lời chat, sửa code, tool call.
- Lấy mẫu 10 đến 40 ca mỗi loại, nhiều hơn cho loại có khối lượng lớn hoặc rủi ro cao. Đưa vào prompt dài, đầu vào không phải tiếng Anh và các ca người dùng từng phàn nàn.
- Viết kết quả mong đợi cho từng ca: một giá trị chính xác, một schema, một test phải pass, hoặc một rubric ngắn (“có nhắc đến thời hạn hoàn tiền; không bịa chính sách”).
- Gắn thẻ các ca quan trọng. Tổng hóa đơn sai hay chỉ dẫn hệ thống bị lộ không giống với giọng văn kém hơn một chút.
- Đóng băng bộ eval trong version control. Thêm ca khi phát hiện lỗi mới, không bao giờ xóa ca để model trông tốt hơn.
Kiểm tra nào nên bằng code, kiểm tra nào cần model chấm?
Dùng cách kiểm tra rẻ nhất mà vẫn đáng tin cho từng ca:
| Tác vụ | Kiểm tra | Cần model chấm? |
|---|---|---|
| Trích xuất JSON | Parse được, schema hợp lệ, các trường khớp mong đợi | Không |
| Phân loại | Nhãn khớp mong đợi | Không |
| Sửa code | Test pass | Không |
| Tool call | Đúng hàm, tham số hợp lệ | Không |
| Tóm tắt | Có các dữ kiện bắt buộc; không có dữ kiện ngoài nguồn | Đôi khi |
| Trả lời chat, giọng văn, mức hữu ích | Rubric | Có |
Kiểm tra tất định không tốn tiền, lặp lại được và không thể bị nịnh, nên hãy đẩy càng nhiều ca sang kiểm tra bằng code càng tốt.
LLM-as-a-judge hay sai ở đâu?
Một LLM-as-a-judge là model chấm câu trả lời của các model khác theo một rubric. Nghiên cứu MT-Bench (Zheng et al.) cho thấy model chấm mạnh đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng mức con người đồng ý với nhau. Cũng bài báo đó chỉ ra các thiên lệch bạn phải thiết kế để tránh:
| Thiên lệch | Điều xảy ra | Cách giảm |
|---|---|---|
| Vị trí | Ưu ái câu trả lời được đưa ra trước (hoặc sau) | Chấm mỗi cặp hai lần, đảo thứ tự; chỉ tính thắng khi cả hai lần đồng ý |
| Độ dài | Ưu ái câu trả lời dài hơn | Rubric thưởng cho sự đúng đắn và ngắn gọn; giới hạn độ dài trong prompt |
| Tự ưu ái | Ưu ái câu trả lời theo văn phong của chính nó | Dùng model chấm từ họ model khác với cả hai ứng viên |
| Suy luận yếu | Bỏ sót lỗi trong toán hoặc code | Dùng kiểm tra bằng code cho các ca đó |
Thêm hai quy tắc từ thực tế. Cố định model chấm: cùng phiên bản model, cùng prompt, temperature 0, trong suốt quá trình so sánh. Và hiệu chỉnh nó: tự gắn nhãn 30 đến 50 cặp, chạy model chấm trên chúng, và chỉ tin nó nếu phần lớn kết quả khớp với bạn. Hướng dẫn evaluator của Arize đưa ra cùng lời khuyên (“Collect 20–100 examples” (bản dịch: thu thập 20–100 ví dụ) có nhãn của con người) và khuyến nghị dùng nhãn phân loại như pass/fail thay vì thang điểm số lớn.
Chạy so sánh song song như thế nào?
Chạy cả hai ứng viên trên mọi ca, giấu danh tính với model chấm, đảo thứ tự, và ghi lại chi phí và thời gian:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Quy tắc đảo thứ tự nghĩa là một model chỉ thắng khi model chấm ưu ái nó ở cả hai vị trí; mọi bất đồng đều tính là hòa. Tỷ lệ bất đồng tự nó cũng hữu ích: tỷ lệ cao nghĩa là model chấm hoặc rubric quá mơ hồ. Lưu ý max_tokens=4000: với model suy luận, phần suy nghĩ cũng tính vào giới hạn, và giới hạn thấp sẽ tạo ra câu trả lời rỗng trông như thất bại. Xem vì sao model suy luận trả về phản hồi rỗng.
Chênh lệch bao nhiêu mới là thật?
Điểm eval là mẫu. Với tỷ lệ đạt p trên n ca, sai số chuẩn là √(p × (1 − p) ÷ n), và biên sai số 95% khoảng gấp đôi con số đó.
| Số ca | Tỷ lệ đạt | Biên sai số 95% |
|---|---|---|
| 50 | 80% | khoảng ±11 điểm |
| 100 | 80% | khoảng ±8 điểm |
| 200 | 80% | khoảng ±6 điểm |
| 400 | 80% | khoảng ±4 điểm |
Vì vậy một model đạt 82% so với 79% trên 100 ca chưa được chứng minh là tốt hơn. Thay vào đó hãy xem chênh lệch theo từng ca: ca nào chuyển từ đạt sang trượt? Những ca đó cho bạn biết nhiều hơn tổng điểm, và ở các ca quan trọng, một lần chuyển có thể quyết định việc đổi model.
Quy tắc quyết định nên là gì?
Viết nó ra trước khi chạy eval, để kết quả không thể bẻ cong nó. Một mẫu thực tế:
- Không thụt lùi ở bất kỳ ca nào được gắn thẻ quan trọng.
- Tỷ lệ đạt tổng thể không thấp hơn model hiện tại quá biên sai số.
- Độ trễ p95 nằm trong ngân sách; xem TTFT và throughput để biết cách đo.
- Chi phí mỗi ca thành công thấp hơn, hoặc chỉ cao hơn một mức đã thống nhất là xứng với chất lượng. Tính chênh lệch hằng tháng bằng công cụ tính chi phí API LLM.
- Một giai đoạn chạy bóng: gửi một phần traffic thật tới model mới, ghi log cả hai, và so sánh trước khi chuyển hẳn.
Cùng bộ eval đó là điểm xuất phát nếu bạn đang cân nhắc một model tùy chỉnh: trước khi fine-tune nói về khi nào prompt và truy xuất là đủ.
BroadNet Inference ở đâu trong bức tranh này
BroadNet Inference phục vụ nhiều họ model sau một endpoint tương thích OpenAI, gồm DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, nên các ứng viên và một model chấm từ họ khác có thể chạy qua cùng client và key. Mọi phản hồi đều kèm mức dùng token để so sánh chi phí, và tài khoản mới bắt đầu với $5 tín dụng; nếu không nạp tiền, tín dụng đó chỉ chạy được Gemma 4 VL 26B, nên hãy dự tính nạp một khoản nhỏ để so sánh các model lớn hơn. BroadNet không có sẵn bộ khung đánh giá hay công cụ model chấm được host; bạn tự chạy đoạn code ở trên. Với tác vụ tiếng Ả Rập, chọn LLM cho tiếng Ả Rập liệt kê những gì cần kiểm thử. Giá đặt cạnh nhau có trên trang so sánh.
