---
title: "Apa itu LLM-as-a-judge? Eval yang dinilai model | BroadRouter"
description: "LLM-as-a-judge memakai satu model bahasa untuk menilai output model lain berdasarkan rubrik. Cara kerjanya, bias yang diketahui, dan cara membuat skornya andal."
url: https://broadrouter.com/id/glossary/llm-as-judge/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/llm-as-judge/) (diperbarui 2026-11-14).

# LLM-as-a-judge (LLM sebagai juri)

Diperbarui 2026-11-14

LLM-as-a-judge adalah metode evaluasi di mana model bahasa menilai output model lain, baik dengan memberi skor satu jawaban berdasarkan rubrik maupun memilih yang lebih baik dari dua jawaban. Metode ini mendekati penilaian manusia dengan biaya jauh lebih rendah, tetapi punya bias yang diketahui, seperti condong ke jawaban pertama atau lebih panjang.

Disebut juga: LLM sebagai juri, LLM judge, juri AI, eval dinilai model, LLM-as-a-judge, LLM as a judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge mengganti penilai manusia dengan panggilan model: beri model pertanyaan, jawaban, dan rubrik, lalu baca skornya.

## Cara kerjanya

Metode ini diteliti secara mendalam oleh Zheng dkk. (2023), yang membangun MT-Bench (pertanyaan multi-giliran) dan Chatbot Arena (voting head-to-head dari crowdsourcing) untuk mengujinya. Hasil utama mereka: GPT-4 sebagai juri sepakat dengan preferensi pakar maupun crowd “at over 80%” (terjemahan: di atas 80%), setara dengan tingkat kesepakatan antar-manusia.

Ada dua setup yang umum:

-   **Penilaian satu jawaban.** Juri memberi skor satu output pada skala tertentu, misalnya 1 sampai 5, berdasarkan kriteria tertulis. Panduan graders OpenAI menyebutnya `score_model` grader yang mengembalikan “a numeric score based on the prompt within the given range.” (terjemahan: skor numerik berdasarkan prompt dalam rentang yang ditentukan.)
-   **Perbandingan berpasangan.** Juri melihat dua jawaban untuk pertanyaan yang sama dan memilih yang lebih baik, atau seri.

Prompt juri biasanya berisi pertanyaan asli, jawaban, jawaban referensi jika ada, dan rubrik. Minta alasan singkat sebelum skor, dan batasi skornya dengan [output terstruktur](https://broadrouter.com/id/glossary/structured-output/) agar kode Anda bisa mem-parse-nya.

## Kenapa ini penting

Penilaian manusia tidak bisa diskalakan ke ribuan kasus [eval](https://broadrouter.com/id/glossary/eval/) setiap kali prompt berubah. Juri bisa, tetapi membawa bias yang diukur oleh Zheng dkk.:

| Bias | Apa yang terjadi | Mitigasi |
| --- | --- | --- |
| Posisi | Lebih memilih jawaban pertama (atau kedua) | Tukar urutan dan wajibkan kesepakatan |
| Verbositas | Lebih memilih jawaban yang lebih panjang | Rubrik yang menghargai keringkasan; batas panjang |
| Self-enhancement | Lebih memilih gaya modelnya sendiri | Gunakan model lain sebagai juri |

Juri juga lemah dalam memeriksa matematika dan fakta yang tidak bisa diverifikasinya. Untuk itu, beri juri jawaban referensi, atau gunakan pemeriksaan berbasis kode. Juri yang melewatkan [halusinasi](https://broadrouter.com/id/glossary/hallucination/) memberi rasa percaya diri yang palsu.

## Di BroadNet Inference

BroadNet tidak menyediakan layanan penilaian yang di-host; Anda menulis panggilan juri sendiri ke endpoint chat completions. Panggilan juri ditagih seperti request lain, jadi juri yang membaca jawaban panjang menambah [token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) per kasus. Perkirakan biaya satu putaran dengan [kalkulator biaya API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Jika juri adalah model penalaran, sisakan ruang di `max_tokens`, karena penalaran ikut dihitung di dalamnya. Untuk proses yang lebih luas, lihat [evaluasi LLM sebelum berganti](https://broadrouter.com/id/blog/evaluate-llm-before-switching/).

## Pertanyaan umum

### Seberapa akurat LLM-as-a-judge?

Zheng dkk. menemukan GPT-4 sebagai juri sepakat dengan preferensi manusia lebih dari 80% waktu, kira-kira sama dengan tingkat kesepakatan antar-manusia. Periksa tingkat kesepakatannya pada tugas Anda sendiri sebelum memercayainya.

### Apakah juri sebaiknya model yang sama dengan model yang diuji?

Sebaiknya tidak. Zheng dkk. melaporkan bias self-enhancement, dan panduan Anthropic menyebut memakai model penilai yang berbeda sebagai praktik terbaik.

### Bagaimana mengurangi position bias dalam penilaian berpasangan?

Jalankan setiap perbandingan dua kali dengan urutan jawaban ditukar, dan hitung sebagai kemenangan hanya jika juri memilih jawaban yang sama di kedua putaran.

## Lihat juga

-   [Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/) (istilah)
-   [Halusinasi AI (hallucination)](https://broadrouter.com/id/glossary/hallucination/) (istilah)
-   [Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/) (istilah)
-   [Temperature (suhu sampling)](https://broadrouter.com/id/glossary/temperature/) (istilah)
-   [Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/) (istilah)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-llm-as-judge&utm_content=page-cta) ·

**Sumber**

-   [Zheng dkk., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, membuat evaluasi empiris yang kuat (penilaian berbasis LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, panduan graders (score\_model grader)](https://developers.openai.com/api/docs/guides/graders)
