---
title: "Ano ang LLM-as-a-judge? Eval na model ang nagma-marka"
description: "Sa LLM-as-a-judge, isang language model ang nagma-marka sa output ng iba batay sa rubric. Paano ito gumagana, ang mga bias nito, at paano gawing maaasahan ang score."
url: https://broadrouter.com/fil/glossary/llm-as-judge/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/llm-as-judge/) (na-update noong 2026-11-14).

# LLM-as-a-judge

Na-update 2026-11-14

Ang LLM-as-a-judge ay paraan ng evaluation kung saan isang language model ang nagma-marka sa output ng ibang model, sa pag-score ng iisang sagot batay sa rubric o sa pagpili ng mas mahusay sa dalawang sagot. Malapit ito sa paghusga ng tao sa mas mababang gastos pero may mga kilalang bias, gaya ng pagpabor sa una o mas mahabang sagot.

Tinatawag ding: LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader, AI bilang hurado

Pinapalitan ng LLM-as-a-judge ng isang model call ang taong nagma-marka: ibigay ang tanong, ang sagot at ang rubric, at basahin ang score na ibinalik.

## Paano ito gumagana

Malalim na pinag-aralan ang method nina Zheng et al. (2023), na bumuo ng MT-Bench (mga multi-turn na tanong) at Chatbot Arena (crowdsourced na head-to-head na boto) para i-test ito. Ang pangunahing resulta nila: sumang-ayon ang GPT-4 bilang judge sa mga preference ng expert at ng crowd “at over 80%” (Salin ng BroadRouter: “nang mahigit 80%”), kapareho ng antas ng pagsang-ayon ng tao sa tao.

Dalawang karaniwang setup:

-   **Single-answer grading.** Nagbibigay ang judge ng score sa iisang output sa isang scale, halimbawa 1 hanggang 5, batay sa nakasulat na criteria. Tinatawag ito ng graders guide ng OpenAI na `score_model` grader na nagbabalik ng “a numeric score based on the prompt within the given range.” (Salin ng BroadRouter: “isang numerong score batay sa prompt sa loob ng ibinigay na range.”)
-   **Pairwise comparison.** Nakikita ng judge ang dalawang sagot sa parehong tanong at pinipili ang mas mahusay, o tabla.

Kadalasang kasama sa judge prompt ang orihinal na tanong, ang sagot, isang reference answer kung mayroon ka, at ang rubric. Humingi ng maikling dahilan bago ang score, at limitahan ang score gamit ang [structured output](https://broadrouter.com/fil/glossary/structured-output/) para ma-parse ito ng code mo.

## Bakit ito mahalaga

Hindi kayang palakihin ang manual na pagma-marka ng tao para sa libu-libong [eval](https://broadrouter.com/fil/glossary/eval/) case kada pagbabago ng prompt. Kaya ito ng judge, pero may dala itong mga bias na sinukat nina Zheng et al.:

| Bias | Ano ang nangyayari | Paano bawasan |
| --- | --- | --- |
| Position | Pinapaboran ang una (o pangalawang) sagot | Pagpalitin ang ayos at hingin na magtugma |
| Verbosity | Pinapaboran ang mas mahahabang sagot | Rubric na ginagantimpalaan ang pagiging maikli; limit sa haba |
| Self-enhancement | Pinapaboran ang istilo ng sarili nitong model | Gumamit ng ibang model bilang judge |

Mahina rin ang mga judge sa pag-check ng math at mga fact na hindi nila mabe-verify. Para doon, bigyan ang judge ng reference answer, o gumamit ng mga check na nakabatay sa code. Maling kumpiyansa ang ibinibigay ng judge na nakakaligtaan ang mga [hallucination](https://broadrouter.com/fil/glossary/hallucination/).

## Sa BroadNet Inference

Walang hosted grading service ang BroadNet; ikaw mismo ang susulat ng judge call laban sa chat completions endpoint. Sinisingil ang mga judge call gaya ng anumang request, kaya nagdadagdag ng [input at output token](https://broadrouter.com/fil/glossary/input-and-output-tokens/) kada case ang judge na nagbabasa ng mahahabang sagot. Tantiyahin ang isang run gamit ang [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/). Kung reasoning model ang judge, mag-iwan ng puwang sa `max_tokens`, dahil kasama rito ang reasoning. Para sa mas malawak na proseso, tingnan ang [i-evaluate ang LLM bago lumipat](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/).

## Mga tanong

### Gaano ka-accurate ang LLM-as-a-judge?

Natuklasan nina Zheng et al. na sumang-ayon ang GPT-4 bilang judge sa mga preference ng tao nang mahigit 80% ng pagkakataon, halos kapareho ng rate ng pagsang-ayon ng tao sa kapwa tao. I-check ang pagsang-ayon sa sarili mong task bago ito pagkatiwalaan.

### Dapat bang pareho ang model ng judge at ang model na tine-test?

Mas mabuting hindi. Iniuulat nina Zheng et al. ang self-enhancement bias, at itinuturing ng gabay ng Anthropic na best practice ang ibang grading model.

### Paano ko babawasan ang position bias sa pairwise na paghusga?

Patakbuhin nang dalawang beses ang bawat paghahambing na magkapalit ang ayos ng mga sagot, at bilangin lang na panalo kung parehong sagot ang pinili ng judge sa dalawang beses.

## Tingnan din

-   [Eval (LLM evaluation)](https://broadrouter.com/fil/glossary/eval/) (termino)
-   [AI hallucination](https://broadrouter.com/fil/glossary/hallucination/) (termino)
-   [Structured output](https://broadrouter.com/fil/glossary/structured-output/) (termino)
-   [Temperature](https://broadrouter.com/fil/glossary/temperature/) (termino)
-   [Input at output token (input and output tokens)](https://broadrouter.com/fil/glossary/input-and-output-tokens/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Paano mag-evaluate ng LLM bago lumipat ng provider](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-llm-as-judge&utm_content=page-cta) ·

**Mga source**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, paggawa ng matibay na empirical evaluation (LLM-based grading)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, graders guide (score\_model grader)](https://developers.openai.com/api/docs/guides/graders)
