---
title: "Apa itu benchmark LLM? Skor, batasan, dan kontaminasi"
description: "Benchmark LLM adalah set uji publik yang tetap untuk menilai dan membandingkan model, seperti MMLU atau SWE-bench. Cara kerjanya, dan kenapa skor bukan eval Anda."
url: https://broadrouter.com/id/glossary/llm-benchmark/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/llm-benchmark/) (diperbarui 2026-11-16).

# Benchmark LLM (LLM benchmark)

Diperbarui 2026-11-16

Benchmark LLM adalah sekumpulan tugas yang tetap dan biasanya publik, lengkap dengan metode penilaian, untuk mengukur dan membandingkan model bahasa pada satu keterampilan, seperti soal pengetahuan, coding, atau pengenalan ucapan. Skor benchmark menunjukkan kemampuan relatif pada uji itu, bukan performa model pada workload Anda sendiri.

Disebut juga: benchmark LLM, benchmark model, skor benchmark, tolok ukur LLM, LLM benchmark, model benchmark, benchmark score

Peluncuran model selalu disertai tabel skor benchmark. Memahami apa yang diukur benchmark, dan apa yang tidak bisa diukurnya, mencegah Anda memilih model berdasarkan angka yang salah.

## Cara kerjanya

Benchmark menetapkan tiga hal: tugasnya, cara model diberi prompt, dan aturan penilaiannya. Dua contoh yang terkenal:

| Benchmark | Yang diuji | Ukuran | Penilaian |
| --- | --- | --- | --- |
| MMLU (2020) | Pengetahuan di “57 tasks including elementary mathematics, US history, computer science, law, and more” (terjemahan: 57 tugas termasuk matematika dasar, sejarah AS, ilmu komputer, hukum, dan lainnya) | 57 mata pelajaran | Akurasi |
| SWE-bench (2023) | Memperbaiki issue GitHub nyata dengan “editing the codebase to address the issue” (terjemahan: mengedit codebase untuk menyelesaikan issue) | 2.294 soal dari 12 repositori Python | Persentase issue yang terselesaikan |

Ucapan punya benchmark sendiri: leaderboard memeringkat model transkripsi berdasarkan [word error rate](https://broadrouter.com/id/glossary/word-error-rate/), dan makin rendah makin baik.

Benchmark bisa usang. Saat MMLU dipublikasikan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (terjemahan: di atas tebakan acak hampir 20 poin persentase secara rata-rata). Saat SWE-bench dipublikasikan, model terbaik, Claude 2, menyelesaikan 1,96% issue. Benchmark yang dulu bisa membedakan model dengan baik bisa berhenti berfungsi seiring model makin maju, jadi periksa kapan benchmark dibuat dan berapa skor yang umum saat ini.

## Kenapa ini penting

-   **Kontaminasi.** Survei Xu dkk. menggambarkan kontaminasi data benchmark sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (terjemahan: secara tidak sengaja menyerap informasi benchmark evaluasi dari data pelatihannya), yang menghasilkan “inaccurate or unreliable performance during the evaluation phase” (terjemahan: performa yang tidak akurat atau tidak andal pada tahap evaluasi).
-   **Cakupan sempit.** Benchmark coding dalam Python tidak banyak memberi tahu tentang layanan pelanggan berbahasa Arab. Pilih benchmark yang sesuai dengan tugas Anda ([leaderboard mana mengukur apa](https://broadrouter.com/id/blog/artificial-analysis-alternatives/)), lalu konfirmasi dengan [eval](https://broadrouter.com/id/glossary/eval/) pada data Anda sendiri.
-   **Pengaturan mengubah skor.** Format prompt, contoh few-shot, anggaran penalaran, dan setup serving semuanya menggeser hasil. Bandingkan skor hanya jika dijalankan dengan cara yang sama.
-   **Juri menambah bias sendiri.** Benchmark terbuka sering memakai [LLM-as-judge](https://broadrouter.com/id/glossary/llm-as-judge/); periksa juri dan rubrik yang dipakai.

Artikel [evaluasi LLM sebelum berganti](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) menunjukkan cara membangun set uji kecil dari traffic Anda sendiri.

## Di BroadNet Inference

BroadNet memublikasikan sebagian angka benchmark miliknya sendiri; anggap itu sebagai hasil yang dilaporkan BroadNet. Untuk [BroadNet Transcribe Arabic](https://broadrouter.com/id/models/cohere-transcribe-arabic/) (berbasis Cohere Transcribe), BroadNet melaporkan word error rate 21,1 pada ucapan dialek MASC dan 3,8 pada FLEURS bahasa Arab, serta melaporkan peringkat #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Untuk [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), BroadNet melaporkan evaluasi buta dengan tiga juri pada 240 percakapan produksi, di mana model ini menyamai Claude Sonnet pada 5 dari 6 langkah pipeline chatbot milik BroadNet sendiri. Itu pipeline satu perusahaan, bukan benchmark umum. Jalankan eval Anda sendiri sebelum memutuskan; kredit awal $5 mencakup Gemma 4 VL 26B dan kedua model transkripsi.

## Pertanyaan umum

### Apa bedanya benchmark dan eval?

Benchmark adalah uji publik bersama yang memungkinkan banyak tim membandingkan model. Eval adalah set uji Anda sendiri, dibangun dari prompt nyata Anda dan dinilai berdasarkan kebutuhan produk Anda. Gunakan benchmark untuk menyaring kandidat dan eval untuk memutuskan.

### Apa itu kontaminasi benchmark?

Kontaminasi terjadi ketika soal uji, atau salinan yang mirip, masuk ke data pelatihan model. Model lalu bisa mendapat skor tinggi karena mengingat, bukan karena kemampuan, sehingga skornya melebih-lebihkan kemampuan model.

### Apakah skor yang dilaporkan vendor bisa dipercaya?

Anggap sebagai klaim. Periksa versi benchmark, pengaturan, dan prompt yang dipakai, apakah ada pihak lain yang mereproduksi hasilnya, dan apakah leaderboard publik menunjukkan hal yang sama.

## Lihat juga

-   [Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/) (istilah)
-   [LLM-as-a-judge (LLM sebagai juri)](https://broadrouter.com/id/glossary/llm-as-judge/) (istilah)
-   [Word error rate (WER)](https://broadrouter.com/id/glossary/word-error-rate/) (istilah)
-   [Halusinasi AI (hallucination)](https://broadrouter.com/id/glossary/hallucination/) (istilah)
-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) (artikel)
-   [Alternatif Artificial Analysis: tempat membandingkan LLM di 2026](https://broadrouter.com/id/blog/artificial-analysis-alternatives/) (artikel)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/) (artikel)
-   [API speech-to-text bahasa Arab: cara memilihnya di 2026](https://broadrouter.com/id/blog/arabic-speech-to-text-api-buyers-guide/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-llm-benchmark&utm_content=page-cta) ·

**Sumber**

-   [Hendrycks dkk., Measuring Massive Multitask Language Understanding (MMLU), arXiv 2009.03300 (diperiksa 2026-11-15)](https://arxiv.org/abs/2009.03300)
-   [Jimenez dkk., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv 2310.06770 (diperiksa 2026-11-15)](https://arxiv.org/abs/2310.06770)
-   [Xu dkk., Benchmark Data Contamination of Large Language Models: A Survey, arXiv 2406.04244 (diperiksa 2026-11-15)](https://arxiv.org/abs/2406.04244)
-   [BroadNet, halaman model Cohere Transcribe Arabic: WER yang dilaporkan dan peringkat leaderboard (diperiksa 2026-11-16) (bahasa Inggris)](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
