BroadRouter

LLM benchmark

Na-update

Ang LLM benchmark ay fixed at kadalasang public na set ng mga task na may paraan ng pag-score, na ginagamit para sukatin at ikumpara ang mga language model sa iisang kakayahan, gaya ng kaalaman, coding o speech recognition. Ipinapakita ng score ang relatibong galing sa test na iyon, hindi kung paano gagana ang model sa sarili mong workload.

Tinatawag ding: model benchmark, benchmark score, AI benchmark, LLM leaderboard score

May kasamang table ng benchmark score ang bawat launch ng model. Kapag alam mo kung ano ang sinusukat ng benchmark, at kung ano ang hindi nito kaya, hindi ka pipili ng model batay sa maling numero.

Paano ito gumagana

Tatlong bagay ang fixed sa isang benchmark: ang mga task, ang paraan ng pag-prompt sa model, at ang rule sa pag-score. Dalawang kilalang halimbawa:

Benchmark Ano ang tine-test Laki Pag-score
MMLU (2020) Kaalaman sa “57 tasks including elementary mathematics, US history, computer science, law, and more” (Salin ng BroadRouter: “57 task kabilang ang elementary mathematics, kasaysayan ng US, computer science, batas, at iba pa”) 57 na subject Accuracy
SWE-bench (2023) Pag-aayos ng totoong GitHub issue sa pamamagitan ng “editing the codebase to address the issue” (Salin ng BroadRouter: “pag-edit ng codebase para tugunan ang issue”) 2,294 na problema mula sa 12 Python repository Bahagi ng mga issue na naresolba

May sarili ring benchmark ang speech: nira-rank ng mga leaderboard ang mga transcription model ayon sa word error rate, kung saan mas mababa ay mas mahusay.

Tumatanda ang mga benchmark. Nang ilathala ang MMLU, umangat ang pinakamalaking GPT-3 model “over random chance by almost 20 percentage points on average” (Salin ng BroadRouter: “nang halos 20 percentage point sa average kumpara sa random na hula”). Nang ilathala ang SWE-bench, 1.96% ng mga issue ang naresolba ng pinakamahusay na model, ang Claude 2. Ang benchmark na dating mahusay maghiwalay ng mga model ay puwedeng hindi na ganoon habang gumagaling ang mga model, kaya i-check kung kailan ginawa ang benchmark at anong mga score ang karaniwan ngayon.

Bakit ito mahalaga

  • Contamination. Inilalarawan ng survey nina Xu et al. ang benchmark data contamination bilang mga model na “inadvertently incorporate evaluation benchmark information from their training data” (Salin ng BroadRouter: “hindi sinasadyang naisasama ang impormasyon ng evaluation benchmark mula sa kanilang training data”), na humahantong sa “inaccurate or unreliable performance during the evaluation phase” (Salin ng BroadRouter: “hindi tumpak o hindi maaasahang performance sa evaluation phase”).
  • Makitid na sakop. Kaunti lang ang sinasabi ng isang coding benchmark sa Python tungkol sa Arabic na customer support. Pumili ng mga benchmark na tugma sa task mo (aling leaderboard ang sumusukat ng ano), saka kumpirmahin gamit ang isang eval sa sarili mong data.
  • Binabago ng settings ang score. Gumagalaw ang resulta dahil sa prompt format, mga few-shot example, reasoning budget at serving setup. Ikumpara lang ang mga score kapag pareho ang paraan ng pagpapatakbo.
  • May sariling bias ang mga judge. Madalas gumamit ng LLM-as-judge ang mga open-ended na benchmark; i-check kung aling judge at rubric ang ginamit.

Ipinapakita ng post na i-evaluate ang LLM bago lumipat kung paano bumuo ng maliit na test set mula sa sarili mong traffic.

Sa BroadNet Inference

Naglalathala ang BroadNet ng ilang sarili nitong benchmark number; ituring ang mga ito bilang iniulat ng BroadNet. Para sa BroadNet Transcribe Arabic (nakabatay sa Cohere Transcribe), iniuulat ng BroadNet ang word error rate na 21.1 sa MASC dialect speech at 3.8 sa FLEURS Arabic, at iniuulat ang rank na ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) sa Open Universal Arabic ASR Leaderboard. Para sa Gemma 4 VL 26B, iniuulat ng BroadNet ang isang blind na evaluation na may tatlong judge sa 240 production na conversation, kung saan tumapat ito sa Claude Sonnet sa 5 sa 6 na hakbang ng sariling chatbot pipeline ng BroadNet. Pipeline iyon ng iisang kumpanya, hindi pangkalahatang benchmark. Magpatakbo ng sarili mong eval bago ka mag-commit; sakop ng $5 na panimulang credit ang Gemma 4 VL 26B at ang dalawang transcription model.

Mga tanong

Ano ang pagkakaiba ng benchmark at eval?

Ang benchmark ay shared na public test na nagpapahintulot sa maraming team na ikumpara ang mga model. Ang eval ay sarili mong test set, na binuo mula sa totoong mga prompt mo at sinu-score batay sa kailangan ng produkto mo. Gamitin ang benchmark para mag-shortlist at ang eval para magdesisyon.

Ano ang benchmark contamination?

Nangyayari ito kapag napunta sa training data ng model ang mga tanong ng test, o malalapit na kopya nito. Puwede nang makakuha ng mataas na score ang model dahil naaalala nito, hindi dahil sa galing, kaya pinalalaki ng score ang tunay nitong kakayahan.

Maaasahan ba ang mga score na iniuulat ng vendor?

Ituring ang mga ito bilang claim. I-check kung aling bersyon ng benchmark, settings at prompt ang ginamit, kung may nakapag-reproduce ng resulta, at kung ganoon din ang ipinapakita ng isang public leaderboard.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity