BroadRouter

Cách đánh giá LLM trước khi đổi nhà cung cấp

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày

Thu thập 50 đến 200 prompt thật có kết quả đúng đã biết. Chấm cả hai model bằng kiểm tra bằng code trước, chỉ dùng LLM chấm điểm khi code không quyết định được. Đảo thứ tự câu trả lời để triệt thiên lệch vị trí, dùng model chấm từ họ model thứ ba, đối chiếu với nhãn của bạn, và chốt quy tắc đạt, gồm chi phí và độ trễ, trước khi chạy.

Để đánh giá một LLM trước khi chuyển đổi, hãy chạy cả hai model trên 50 đến 200 prompt thật có kết quả đúng đã biết. Chấm điểm bằng kiểm tra bằng code trước, chỉ dùng một LLM chấm điểm đã giảm thiên lệch khi code không quyết định được, ghi lại chi phí và độ trễ, và chốt quy tắc đạt từ trước.

Thay đổi code tự nó rất nhỏ: với một API tương thích OpenAI, chỉ là một base URL và một model ID. Checklist chuyển đổi bao quát phần đó, và checklist chọn nhà cung cấp bao quát giá, giới hạn và quyền riêng tư. Phần khó là biết model mới có tốt ngang cho tác vụ của bạn hay không. Bảng xếp hạng công khai không trả lời được câu đó; Artificial Analysis và các lựa chọn thay thế dùng để lập danh sách rút gọn. Một bộ eval nhỏ dựng từ traffic của chính bạn thì trả lời được, chỉ với một hai ngày công.

Dựng bộ eval từ traffic thật như thế nào?

  1. Lấy 300 đến 1.000 request gần đây từ log mức dùng, sau khi đã che dữ liệu nhạy cảm.
  2. Nhóm theo loại tác vụ: trích xuất, phân loại, tóm tắt, trả lời chat, sửa code, tool call.
  3. Lấy mẫu 10 đến 40 ca mỗi loại, nhiều hơn cho loại có khối lượng lớn hoặc rủi ro cao. Đưa vào prompt dài, đầu vào không phải tiếng Anh và các ca người dùng từng phàn nàn.
  4. Viết kết quả mong đợi cho từng ca: một giá trị chính xác, một schema, một test phải pass, hoặc một rubric ngắn (“có nhắc đến thời hạn hoàn tiền; không bịa chính sách”).
  5. Gắn thẻ các ca quan trọng. Tổng hóa đơn sai hay chỉ dẫn hệ thống bị lộ không giống với giọng văn kém hơn một chút.
  6. Đóng băng bộ eval trong version control. Thêm ca khi phát hiện lỗi mới, không bao giờ xóa ca để model trông tốt hơn.

Kiểm tra nào nên bằng code, kiểm tra nào cần model chấm?

Dùng cách kiểm tra rẻ nhất mà vẫn đáng tin cho từng ca:

Tác vụ Kiểm tra Cần model chấm?
Trích xuất JSON Parse được, schema hợp lệ, các trường khớp mong đợi Không
Phân loại Nhãn khớp mong đợi Không
Sửa code Test pass Không
Tool call Đúng hàm, tham số hợp lệ Không
Tóm tắt Có các dữ kiện bắt buộc; không có dữ kiện ngoài nguồn Đôi khi
Trả lời chat, giọng văn, mức hữu ích Rubric Có

Kiểm tra tất định không tốn tiền, lặp lại được và không thể bị nịnh, nên hãy đẩy càng nhiều ca sang kiểm tra bằng code càng tốt.

LLM-as-a-judge hay sai ở đâu?

Một LLM-as-a-judge là model chấm câu trả lời của các model khác theo một rubric. Nghiên cứu MT-Bench (Zheng et al.) cho thấy model chấm mạnh đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng mức con người đồng ý với nhau. Cũng bài báo đó chỉ ra các thiên lệch bạn phải thiết kế để tránh:

Thiên lệch Điều xảy ra Cách giảm
Vị trí Ưu ái câu trả lời được đưa ra trước (hoặc sau) Chấm mỗi cặp hai lần, đảo thứ tự; chỉ tính thắng khi cả hai lần đồng ý
Độ dài Ưu ái câu trả lời dài hơn Rubric thưởng cho sự đúng đắn và ngắn gọn; giới hạn độ dài trong prompt
Tự ưu ái Ưu ái câu trả lời theo văn phong của chính nó Dùng model chấm từ họ model khác với cả hai ứng viên
Suy luận yếu Bỏ sót lỗi trong toán hoặc code Dùng kiểm tra bằng code cho các ca đó

Thêm hai quy tắc từ thực tế. Cố định model chấm: cùng phiên bản model, cùng prompt, temperature 0, trong suốt quá trình so sánh. Và hiệu chỉnh nó: tự gắn nhãn 30 đến 50 cặp, chạy model chấm trên chúng, và chỉ tin nó nếu phần lớn kết quả khớp với bạn. Hướng dẫn evaluator của Arize đưa ra cùng lời khuyên (“Collect 20–100 examples” (bản dịch: thu thập 20–100 ví dụ) có nhãn của con người) và khuyến nghị dùng nhãn phân loại như pass/fail thay vì thang điểm số lớn.

Chạy so sánh song song như thế nào?

Chạy cả hai ứng viên trên mọi ca, giấu danh tính với model chấm, đảo thứ tự, và ghi lại chi phí và thời gian:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

Quy tắc đảo thứ tự nghĩa là một model chỉ thắng khi model chấm ưu ái nó ở cả hai vị trí; mọi bất đồng đều tính là hòa. Tỷ lệ bất đồng tự nó cũng hữu ích: tỷ lệ cao nghĩa là model chấm hoặc rubric quá mơ hồ. Lưu ý max_tokens=4000: với model suy luận, phần suy nghĩ cũng tính vào giới hạn, và giới hạn thấp sẽ tạo ra câu trả lời rỗng trông như thất bại. Xem vì sao model suy luận trả về phản hồi rỗng.

Chênh lệch bao nhiêu mới là thật?

Điểm eval là mẫu. Với tỷ lệ đạt p trên n ca, sai số chuẩn là √(p × (1 − p) ÷ n), và biên sai số 95% khoảng gấp đôi con số đó.

Số ca Tỷ lệ đạt Biên sai số 95%
50 80% khoảng ±11 điểm
100 80% khoảng ±8 điểm
200 80% khoảng ±6 điểm
400 80% khoảng ±4 điểm

Vì vậy một model đạt 82% so với 79% trên 100 ca chưa được chứng minh là tốt hơn. Thay vào đó hãy xem chênh lệch theo từng ca: ca nào chuyển từ đạt sang trượt? Những ca đó cho bạn biết nhiều hơn tổng điểm, và ở các ca quan trọng, một lần chuyển có thể quyết định việc đổi model.

Quy tắc quyết định nên là gì?

Viết nó ra trước khi chạy eval, để kết quả không thể bẻ cong nó. Một mẫu thực tế:

  1. Không thụt lùi ở bất kỳ ca nào được gắn thẻ quan trọng.
  2. Tỷ lệ đạt tổng thể không thấp hơn model hiện tại quá biên sai số.
  3. Độ trễ p95 nằm trong ngân sách; xem TTFT và throughput để biết cách đo.
  4. Chi phí mỗi ca thành công thấp hơn, hoặc chỉ cao hơn một mức đã thống nhất là xứng với chất lượng. Tính chênh lệch hằng tháng bằng công cụ tính chi phí API LLM.
  5. Một giai đoạn chạy bóng: gửi một phần traffic thật tới model mới, ghi log cả hai, và so sánh trước khi chuyển hẳn.

Cùng bộ eval đó là điểm xuất phát nếu bạn đang cân nhắc một model tùy chỉnh: trước khi fine-tune nói về khi nào prompt và truy xuất là đủ.

BroadNet Inference ở đâu trong bức tranh này

BroadNet Inference phục vụ nhiều họ model sau một endpoint tương thích OpenAI, gồm DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, nên các ứng viên và một model chấm từ họ khác có thể chạy qua cùng client và key. Mọi phản hồi đều kèm mức dùng token để so sánh chi phí, và tài khoản mới bắt đầu với $5 tín dụng; nếu không nạp tiền, tín dụng đó chỉ chạy được Gemma 4 VL 26B, nên hãy dự tính nạp một khoản nhỏ để so sánh các model lớn hơn. BroadNet không có sẵn bộ khung đánh giá hay công cụ model chấm được host; bạn tự chạy đoạn code ở trên. Với tác vụ tiếng Ả Rập, chọn LLM cho tiếng Ả Rập liệt kê những gì cần kiểm thử. Giá đặt cạnh nhau có trên trang so sánh.

Câu hỏi thường gặp

Bộ eval LLM cần bao nhiêu ví dụ?

50 ví dụ là đủ để bắt các lần thụt lùi lớn, 200 để thấy chênh lệch khoảng 5 đến 10 điểm. Độ bao phủ quan trọng hơn số lượng, nên hãy đưa vào mọi loại tác vụ và các ca thất bại đã biết.

LLM-as-a-judge có đáng tin không?

Một phần. Trong nghiên cứu MT-Bench, các model chấm mạnh đồng ý với lựa chọn của con người hơn 80% số lần, gần bằng mức con người đồng ý với nhau. Chúng cũng có thiên lệch vị trí, độ dài và tự đề cao, nên hãy giảm thiên lệch và kiểm tra ngẫu nhiên.

Model chấm điểm có nên trùng với model đang được kiểm thử không?

Không. Model chấm thường ưu ái câu trả lời giống văn phong của chính nó. Hãy dùng model chấm từ một họ model khác, và cố định một phiên bản trong suốt quá trình so sánh.

Thiên lệch vị trí trong đánh giá LLM là gì?

Model chấm ưu ái câu trả lời xuất hiện trước, hoặc sau, bất kể chất lượng. Khắc phục bằng cách chấm mỗi cặp hai lần với thứ tự đảo ngược và chỉ tính thắng khi cả hai thứ tự cho cùng kết quả.

Có nên so sánh chi phí và độ trễ trong cùng bộ eval không?

Có. Ghi lại token và thời gian cho mọi lần gọi eval. Một model cao hơn hai điểm nhưng tốn gấp ba chi phí hoặc độ trễ vẫn có thể là lựa chọn sai.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity