---
title: "Apakah itu LLM-as-a-judge? Eval yang dinilai oleh model"
description: "LLM-as-a-judge menggunakan model bahasa untuk menilai output model lain berdasarkan rubrik. Cara ia berfungsi, biasnya dan cara menjadikan skornya boleh dipercayai."
url: https://broadrouter.com/ms/glossary/llm-as-judge/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/llm-as-judge/) (dikemas kini 2026-11-14).

# LLM-as-a-judge (LLM sebagai hakim)

Dikemas kini 2026-11-14

LLM-as-a-judge ialah kaedah penilaian di mana model bahasa menilai output model lain, sama ada memberi skor kepada satu jawapan berdasarkan rubrik atau memilih yang lebih baik antara dua jawapan. Ia menghampiri pertimbangan manusia pada kos jauh lebih rendah tetapi mempunyai bias yang diketahui, seperti memihak kepada jawapan pertama atau lebih panjang.

Juga dikenali sebagai: LLM as a judge, LLM judge, hakim LLM, model-graded eval, AI judge, LLM grader

LLM-as-a-judge menggantikan penilai manusia dengan panggilan model: berikan soalan, jawapan dan rubrik, kemudian baca skor yang dipulangkan.

## Cara ia berfungsi

Kaedah ini dikaji secara mendalam oleh Zheng et al. (2023), yang membina MT-Bench (soalan berbilang giliran) dan Chatbot Arena (undian bersemuka secara crowdsourcing) untuk mengujinya. Keputusan utama mereka: GPT-4 sebagai hakim bersetuju dengan pilihan pakar dan orang ramai “at over 80%” (Terjemahan BroadRouter: “pada lebih 80%”), tahap yang sama dengan persetujuan antara manusia.

Terdapat dua susunan yang lazim:

-   **Penilaian jawapan tunggal.** Hakim memberi skor kepada satu output pada skala, contohnya 1 hingga 5, berdasarkan kriteria bertulis. Panduan graders OpenAI menyebutnya grader `score_model` yang memulangkan “a numeric score based on the prompt within the given range.” (Terjemahan BroadRouter: “skor berangka berdasarkan prompt dalam julat yang diberikan.”)
-   **Perbandingan berpasangan.** Hakim melihat dua jawapan kepada soalan yang sama dan memilih yang lebih baik, atau seri.

Prompt hakim biasanya merangkumi soalan asal, jawapan, jawapan rujukan jika ada, dan rubrik. Minta alasan ringkas sebelum skor, dan hadkan skor dengan [output berstruktur](https://broadrouter.com/ms/glossary/structured-output/) supaya kod anda boleh menghuraikannya.

## Mengapa ia penting

Penilaian manusia tidak boleh diskalakan kepada ribuan kes [eval](https://broadrouter.com/ms/glossary/eval/) bagi setiap perubahan prompt. Hakim boleh, tetapi ia membawa bias yang diukur oleh Zheng et al.:

| Bias | Apa yang berlaku | Mitigasi |
| --- | --- | --- |
| Kedudukan | Memihak kepada jawapan pertama (atau kedua) | Tukar susunan dan wajibkan persetujuan |
| Panjang jawapan | Memihak kepada jawapan yang lebih panjang | Rubrik yang memberi ganjaran kepada keringkasan; had panjang |
| Peninggian diri | Memihak kepada gaya modelnya sendiri | Guna model lain sebagai hakim |

Hakim juga lemah dalam menyemak matematik dan fakta yang tidak dapat disahkannya. Untuk itu, berikan hakim jawapan rujukan, atau gunakan semakan berasaskan kod. Hakim yang terlepas [halusinasi](https://broadrouter.com/ms/glossary/hallucination/) memberi keyakinan palsu.

## Di BroadNet Inference

BroadNet tidak menawarkan perkhidmatan penilaian yang dihoskan; anda menulis panggilan hakim sendiri terhadap endpoint chat completions. Panggilan hakim dibilkan seperti permintaan lain, jadi hakim yang membaca jawapan panjang menambah [token input dan output](https://broadrouter.com/ms/glossary/input-and-output-tokens/) bagi setiap kes. Anggarkan satu larian dengan [kalkulator kos API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Jika hakim ialah model penaakulan, beri ruang dalam `max_tokens`, kerana penaakulan dikira di dalamnya. Untuk proses yang lebih luas, lihat [nilai LLM sebelum bertukar](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/).

## Soalan lazim

### Sejauh mana tepatnya LLM-as-a-judge?

Zheng et al. mendapati GPT-4 sebagai hakim bersetuju dengan pilihan manusia lebih 80% daripada masa, kira-kira kadar yang sama manusia bersetuju sesama sendiri. Semak persetujuan pada tugas anda sendiri sebelum mempercayainya.

### Patutkah hakim menggunakan model yang sama dengan model yang diuji?

Sebaik-baiknya tidak. Zheng et al. melaporkan bias peninggian diri (self-enhancement), dan panduan Anthropic menganggap model penilai yang berbeza sebagai amalan terbaik.

### Bagaimanakah saya mengurangkan bias kedudukan dalam penilaian berpasangan?

Jalankan setiap perbandingan dua kali dengan susunan jawapan ditukar, dan kira kemenangan hanya jika hakim memilih jawapan yang sama pada kedua-dua kali.

## Lihat juga

-   [Eval (penilaian LLM)](https://broadrouter.com/ms/glossary/eval/) (istilah)
-   [Halusinasi AI (AI hallucination)](https://broadrouter.com/ms/glossary/hallucination/) (istilah)
-   [Output berstruktur (structured output)](https://broadrouter.com/ms/glossary/structured-output/) (istilah)
-   [Temperature (suhu pensampelan)](https://broadrouter.com/ms/glossary/temperature/) (istilah)
-   [Token input dan output (input and output tokens)](https://broadrouter.com/ms/glossary/input-and-output-tokens/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-llm-as-judge&utm_content=page-cta) ·

**Sumber**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, membina penilaian empirikal yang kukuh (penilaian berasaskan LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, panduan graders (score\_model grader)](https://developers.openai.com/api/docs/guides/graders)
