Mỗi lần ra mắt model đều kèm bảng điểm benchmark. Hiểu một benchmark đo được gì, và không đo được gì, giúp bạn không chọn model dựa trên con số sai.
Cách hoạt động
Một benchmark cố định ba thứ: các tác vụ, cách đưa prompt cho model và quy tắc chấm điểm. Hai ví dụ nổi tiếng:
| Benchmark | Kiểm tra gì | Quy mô | Chấm điểm |
|---|---|---|---|
| MMLU (2020) | Kiến thức trải trên “57 tasks including elementary mathematics, US history, computer science, law, and more” (Bản dịch: 57 tác vụ gồm toán tiểu học, lịch sử Mỹ, khoa học máy tính, luật và nhiều lĩnh vực khác) | 57 môn | Độ chính xác |
| SWE-bench (2023) | Sửa issue GitHub thật bằng cách “editing the codebase to address the issue” (Bản dịch: chỉnh sửa codebase để xử lý issue) | 2,294 bài từ 12 repository Python | Tỉ lệ issue được giải quyết |
Giọng nói có benchmark riêng: các bảng xếp hạng sắp xếp model chép lời theo word error rate, càng thấp càng tốt.
Benchmark cũng cũ đi. Khi MMLU được công bố, model GPT-3 lớn nhất cải thiện “over random chance by almost 20 percentage points on average” (Bản dịch: trung bình cao hơn mức đoán ngẫu nhiên gần 20 điểm phần trăm). Khi SWE-bench được công bố, model tốt nhất là Claude 2 giải quyết được 1.96% số issue. Một benchmark từng phân biệt tốt các model có thể không còn làm được khi model tiến bộ, vì vậy hãy xem benchmark được tạo khi nào và điểm số thông thường hiện nay là bao nhiêu.
Vì sao quan trọng
- Nhiễm dữ liệu. Bài khảo sát của Xu và cộng sự mô tả nhiễm dữ liệu benchmark là khi model “inadvertently incorporate evaluation benchmark information from their training data” (Bản dịch: vô tình hấp thụ thông tin của benchmark đánh giá từ dữ liệu huấn luyện), dẫn tới “inaccurate or unreliable performance during the evaluation phase” (Bản dịch: hiệu năng không chính xác hoặc không đáng tin trong giai đoạn đánh giá).
- Phạm vi hẹp. Một benchmark lập trình Python nói rất ít về hỗ trợ khách hàng bằng tiếng Ả Rập. Hãy chọn benchmark khớp với tác vụ của bạn (bảng xếp hạng nào đo cái gì), rồi xác nhận bằng một eval trên dữ liệu của chính bạn.
- Thiết lập làm thay đổi điểm số. Định dạng prompt, ví dụ few-shot, ngân sách suy luận và cấu hình phục vụ đều làm kết quả thay đổi. Chỉ so sánh điểm khi chúng được chạy theo cùng một cách.
- Giám khảo thêm thiên lệch của riêng nó. Benchmark mở thường dùng LLM-as-a-judge; hãy kiểm tra giám khảo và rubric nào đã được dùng.
Bài đánh giá LLM trước khi chuyển đổi hướng dẫn cách xây một bộ kiểm thử nhỏ từ traffic của chính bạn.
Trên BroadNet Inference
BroadNet công bố một số con số benchmark của riêng mình; hãy coi chúng là số liệu do BroadNet báo cáo. Với BroadNet Transcribe Arabic (dựa trên Cohere Transcribe), BroadNet báo cáo word error rate 21.1 trên giọng nói phương ngữ MASC và 3.8 trên FLEURS tiếng Ả Rập, và báo cáo thứ hạng thứ 2/37 (số liệu tháng 9 năm 2026; bảng xếp hạng trực tiếp ngày 15 tháng 11, 2026 ghi nhận thứ 4/39) trên Open Universal Arabic ASR Leaderboard. Với Gemma 4 VL 26B, BroadNet báo cáo một đánh giá mù với ba giám khảo trên 240 cuộc hội thoại production, trong đó model này ngang Claude Sonnet ở 5 trên 6 bước của pipeline chatbot riêng của BroadNet. Đó là pipeline của một công ty, không phải benchmark tổng quát. Hãy chạy eval của riêng bạn trước khi cam kết; tín dụng ban đầu $5 dùng được cho Gemma 4 VL 26B và cả hai model chép lời.