BroadRouter
Mulakan

Penanda aras LLM (LLM benchmark)

Dikemas kini

Penanda aras LLM ialah set tugasan tetap, biasanya awam, dengan kaedah pemarkahan, yang digunakan untuk mengukur dan membandingkan model bahasa pada satu kemahiran, seperti soalan pengetahuan, pengekodan atau pengecaman pertuturan. Skor penanda aras menunjukkan keupayaan relatif pada ujian itu, bukan prestasi model pada beban kerja anda sendiri.

Juga dikenali sebagai: LLM benchmark, penanda aras model, model benchmark, benchmark score, skor penanda aras

Pelancaran model disertakan dengan jadual skor penanda aras. Mengetahui apa yang diukur oleh penanda aras, dan apa yang tidak dapat diukurnya, menghalang anda memilih model berdasarkan nombor yang salah.

Cara ia berfungsi

Penanda aras menetapkan tiga perkara: tugasan, cara model diberi prompt, dan peraturan pemarkahan. Dua contoh terkenal:

Penanda aras Apa yang diuji Saiz Pemarkahan
MMLU (2020) Pengetahuan merentas “57 tasks including elementary mathematics, US history, computer science, law, and more” (Terjemahan BroadRouter: “57 tugasan termasuk matematik asas, sejarah AS, sains komputer, undang-undang dan banyak lagi”) 57 subjek Ketepatan
SWE-bench (2023) Membaiki isu GitHub sebenar dengan “editing the codebase to address the issue” (Terjemahan BroadRouter: “menyunting pangkalan kod untuk menangani isu itu”) 2,294 masalah daripada 12 repositori Python Peratusan isu yang diselesaikan

Pertuturan mempunyai penanda arasnya sendiri: papan pendahulu menyusun model transkripsi mengikut kadar ralat perkataan, di mana lebih rendah lebih baik.

Penanda aras menjadi usang. Semasa MMLU diterbitkan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (Terjemahan BroadRouter: “melebihi tekaan rawak hampir 20 mata peratusan secara purata”). Semasa SWE-bench diterbitkan, model terbaik, Claude 2, menyelesaikan 1.96% isu. Penanda aras yang dahulunya membezakan model dengan baik boleh berhenti berbuat demikian apabila model bertambah baik, jadi semak bila sesuatu penanda aras dibuat dan skor yang lazim hari ini.

Mengapa ia penting

  • Pencemaran. Tinjauan oleh Xu et al. menerangkan pencemaran data penanda aras sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (Terjemahan BroadRouter: “secara tidak sengaja menyerap maklumat penanda aras penilaian daripada data latihannya”), yang membawa kepada “inaccurate or unreliable performance during the evaluation phase” (Terjemahan BroadRouter: “prestasi yang tidak tepat atau tidak boleh dipercayai semasa fasa penilaian”).
  • Liputan sempit. Penanda aras pengekodan dalam Python tidak banyak memberitahu tentang sokongan pelanggan dalam bahasa Arab. Pilih penanda aras yang sepadan dengan tugas anda (papan pendahulu mana mengukur apa), kemudian sahkan dengan eval pada data anda sendiri.
  • Tetapan mengubah skor. Format prompt, contoh few-shot, bajet penaakulan dan susunan penyajian semuanya menggerakkan keputusan. Bandingkan skor hanya apabila ia dijalankan dengan cara yang sama.
  • Hakim membawa bias sendiri. Penanda aras terbuka sering menggunakan LLM-as-judge; semak hakim dan rubrik mana yang digunakan.

Artikel nilai LLM sebelum bertukar menunjukkan cara membina set ujian kecil daripada trafik anda sendiri.

Di BroadNet Inference

BroadNet menerbitkan beberapa angka penanda arasnya sendiri; anggap ia sebagai laporan BroadNet. Untuk BroadNet Transcribe Arabic (berasaskan Cohere Transcribe), BroadNet melaporkan kadar ralat perkataan 21.1 pada pertuturan dialek MASC dan 3.8 pada FLEURS Arabic, serta melaporkan kedudukan #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard. Untuk Gemma 4 VL 26B, BroadNet melaporkan penilaian buta dengan tiga hakim ke atas 240 perbualan produksi, di mana ia menyamai Claude Sonnet pada 5 daripada 6 langkah dalam pipeline chatbot BroadNet sendiri. Itu pipeline satu syarikat, bukan penanda aras umum. Jalankan eval anda sendiri sebelum membuat komitmen; kredit permulaan $5 meliputi Gemma 4 VL 26B dan kedua-dua model transkripsi.

Soalan lazim

Apakah perbezaan antara penanda aras dan eval?

Penanda aras ialah ujian awam yang dikongsi supaya banyak pasukan boleh membandingkan model. Eval ialah set ujian anda sendiri, dibina daripada prompt sebenar anda dan diberi skor berdasarkan keperluan produk anda. Guna penanda aras untuk menyenarai pendek dan eval untuk membuat keputusan.

Apakah itu pencemaran penanda aras?

Ia berlaku apabila soalan ujian, atau salinan yang hampir sama, masuk ke dalam data latihan model. Model kemudian boleh mendapat skor baik kerana mengingat, bukan kerana kemahiran, jadi skor itu melebih-lebihkan keupayaannya.

Bolehkah skor yang dilaporkan vendor dipercayai?

Anggap ia sebagai dakwaan. Semak versi penanda aras, tetapan dan prompt yang digunakan, sama ada sesiapa telah menghasilkan semula keputusan itu, dan sama ada papan pendahulu awam menunjukkan perkara yang sama.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity