May kasamang table ng benchmark score ang bawat launch ng model. Kapag alam mo kung ano ang sinusukat ng benchmark, at kung ano ang hindi nito kaya, hindi ka pipili ng model batay sa maling numero.
Paano ito gumagana
Tatlong bagay ang fixed sa isang benchmark: ang mga task, ang paraan ng pag-prompt sa model, at ang rule sa pag-score. Dalawang kilalang halimbawa:
| Benchmark | Ano ang tine-test | Laki | Pag-score |
|---|---|---|---|
| MMLU (2020) | Kaalaman sa “57 tasks including elementary mathematics, US history, computer science, law, and more” (Salin ng BroadRouter: “57 task kabilang ang elementary mathematics, kasaysayan ng US, computer science, batas, at iba pa”) | 57 na subject | Accuracy |
| SWE-bench (2023) | Pag-aayos ng totoong GitHub issue sa pamamagitan ng “editing the codebase to address the issue” (Salin ng BroadRouter: “pag-edit ng codebase para tugunan ang issue”) | 2,294 na problema mula sa 12 Python repository | Bahagi ng mga issue na naresolba |
May sarili ring benchmark ang speech: nira-rank ng mga leaderboard ang mga transcription model ayon sa word error rate, kung saan mas mababa ay mas mahusay.
Tumatanda ang mga benchmark. Nang ilathala ang MMLU, umangat ang pinakamalaking GPT-3 model “over random chance by almost 20 percentage points on average” (Salin ng BroadRouter: “nang halos 20 percentage point sa average kumpara sa random na hula”). Nang ilathala ang SWE-bench, 1.96% ng mga issue ang naresolba ng pinakamahusay na model, ang Claude 2. Ang benchmark na dating mahusay maghiwalay ng mga model ay puwedeng hindi na ganoon habang gumagaling ang mga model, kaya i-check kung kailan ginawa ang benchmark at anong mga score ang karaniwan ngayon.
Bakit ito mahalaga
- Contamination. Inilalarawan ng survey nina Xu et al. ang benchmark data contamination bilang mga model na “inadvertently incorporate evaluation benchmark information from their training data” (Salin ng BroadRouter: “hindi sinasadyang naisasama ang impormasyon ng evaluation benchmark mula sa kanilang training data”), na humahantong sa “inaccurate or unreliable performance during the evaluation phase” (Salin ng BroadRouter: “hindi tumpak o hindi maaasahang performance sa evaluation phase”).
- Makitid na sakop. Kaunti lang ang sinasabi ng isang coding benchmark sa Python tungkol sa Arabic na customer support. Pumili ng mga benchmark na tugma sa task mo (aling leaderboard ang sumusukat ng ano), saka kumpirmahin gamit ang isang eval sa sarili mong data.
- Binabago ng settings ang score. Gumagalaw ang resulta dahil sa prompt format, mga few-shot example, reasoning budget at serving setup. Ikumpara lang ang mga score kapag pareho ang paraan ng pagpapatakbo.
- May sariling bias ang mga judge. Madalas gumamit ng LLM-as-judge ang mga open-ended na benchmark; i-check kung aling judge at rubric ang ginamit.
Ipinapakita ng post na i-evaluate ang LLM bago lumipat kung paano bumuo ng maliit na test set mula sa sarili mong traffic.
Sa BroadNet Inference
Naglalathala ang BroadNet ng ilang sarili nitong benchmark number; ituring ang mga ito bilang iniulat ng BroadNet. Para sa BroadNet Transcribe Arabic (nakabatay sa Cohere Transcribe), iniuulat ng BroadNet ang word error rate na 21.1 sa MASC dialect speech at 3.8 sa FLEURS Arabic, at iniuulat ang rank na ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) sa Open Universal Arabic ASR Leaderboard. Para sa Gemma 4 VL 26B, iniuulat ng BroadNet ang isang blind na evaluation na may tatlong judge sa 240 production na conversation, kung saan tumapat ito sa Claude Sonnet sa 5 sa 6 na hakbang ng sariling chatbot pipeline ng BroadNet. Pipeline iyon ng iisang kumpanya, hindi pangkalahatang benchmark. Magpatakbo ng sarili mong eval bago ka mag-commit; sakop ng $5 na panimulang credit ang Gemma 4 VL 26B at ang dalawang transcription model.