---
title: "LLM-as-a-judge란? 모델로 채점하는 eval 정리 | BroadRouter"
description: "LLM-as-a-judge는 한 언어 모델이 다른 모델의 출력을 루브릭에 따라 채점하는 방식입니다. 작동 방식, 알려진 편향, 점수를 믿을 만하게 만드는 방법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/llm-as-judge/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/llm-as-judge/) (2026-11-14 업데이트).

# LLM-as-a-judge(LLM 평가자)

업데이트 2026-11-14

LLM-as-a-judge는 언어 모델이 다른 모델의 출력을 채점하는 평가 방법으로, 답변 하나를 루브릭에 따라 점수 매기거나 두 답변 중 더 나은 쪽을 고릅니다. 훨씬 적은 비용으로 사람의 판단에 근접하지만, 첫 번째 답이나 더 긴 답을 선호하는 등 알려진 편향이 있습니다.

다른 이름: LLM 저지, LLM 심판, LLM 평가자, AI 평가자, 모델 기반 평가, LLM as a judge, LLM-as-a-judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge는 사람 채점자를 모델 호출로 바꿉니다. 질문, 답변, 루브릭을 주고 점수를 돌려받습니다.

## 작동 방식

이 방법은 Zheng 외(2023)가 깊이 연구했습니다. 이들은 검증을 위해 MT-Bench(멀티턴 질문)와 Chatbot Arena(크라우드소싱 일대일 투표)를 만들었습니다. 핵심 결과는 평가자로 쓴 GPT-4가 전문가와 일반 참여자의 선호 모두와 “at over 80%“(번역: 80% 이상) 일치했고, 이것이 사람끼리의 일치 수준과 같았다는 것입니다.

흔히 쓰는 구성은 두 가지입니다.

-   **단일 답변 채점.** 평가자가 출력 하나를 서면 기준에 따라 1~5점 같은 척도로 채점합니다. OpenAI의 그레이더 가이드는 이를 `score_model` 그레이더라고 부르며, 이 그레이더는 “a numeric score based on the prompt within the given range.”(번역: 주어진 범위 안에서 프롬프트에 기반한 숫자 점수)를 반환합니다.
-   **쌍 비교.** 평가자가 같은 질문에 대한 답변 두 개를 보고 더 나은 쪽을 고르거나 무승부로 판정합니다.

평가자 프롬프트에는 보통 원래 질문, 답변, 있다면 참고 답안, 그리고 루브릭이 들어갑니다. 점수 앞에 짧은 이유를 요청하고, 코드가 파싱할 수 있도록 [구조화된 출력](https://broadrouter.com/ko/glossary/structured-output/)으로 점수 형식을 제한하세요.

## 왜 중요한가

프롬프트를 바꿀 때마다 수천 개의 [eval](https://broadrouter.com/ko/glossary/eval/) 사례를 사람이 채점할 수는 없습니다. 평가자 모델은 가능하지만, Zheng 외가 측정한 편향을 함께 가져옵니다.

| 편향 | 현상 | 완화 방법 |
| --- | --- | --- |
| 위치 | 첫 번째(또는 두 번째) 답을 선호 | 순서를 바꿔 두 번 돌리고 일치를 요구 |
| 장황함 | 더 긴 답을 선호 | 간결함에 점수를 주는 루브릭, 길이 상한 |
| 자기 선호 | 자기 모델의 스타일을 선호 | 다른 모델을 평가자로 사용 |

평가자는 스스로 검증할 수 없는 수학과 사실 확인에도 약합니다. 이런 경우 평가자에게 참고 답안을 주거나 코드 기반 검사를 쓰세요. [할루시네이션](https://broadrouter.com/ko/glossary/hallucination/)을 놓치는 평가자는 잘못된 확신을 줍니다.

## BroadNet Inference에서는

BroadNet은 호스팅형 채점 서비스를 제공하지 않습니다. 평가자 호출은 채팅 완성 엔드포인트를 대상으로 직접 작성합니다. 평가자 호출도 일반 요청과 똑같이 청구되므로, 긴 답변을 읽는 평가자는 사례마다 [입력 및 출력 토큰](https://broadrouter.com/ko/glossary/input-and-output-tokens/)을 더합니다. 한 번 실행하는 비용은 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)로 추정하세요. 평가자가 추론 모델이라면 추론도 `max_tokens`에 포함되므로 여유를 두세요. 전체 과정은 [모델을 바꾸기 전에 LLM 평가하기](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)를 참고하세요.

## 자주 묻는 질문

### LLM-as-a-judge는 얼마나 정확한가요?

Zheng 외 연구에서 평가자로 쓴 GPT-4는 80% 이상 사람의 선호와 일치했으며, 이는 사람끼리 일치하는 비율과 비슷했습니다. 믿기 전에 내 작업에서 일치율을 확인하세요.

### 평가자 모델이 테스트 대상 모델과 같아도 되나요?

되도록 다른 모델을 쓰세요. Zheng 외 연구는 자기 선호 편향을 보고했고, Anthropic 가이드도 다른 채점 모델을 쓰는 것을 모범 사례로 꼽습니다.

### 쌍 비교 평가에서 위치 편향은 어떻게 줄이나요?

답변 순서를 바꿔 각 비교를 두 번 실행하고, 두 번 모두 같은 답을 골랐을 때만 승리로 세세요.

## 함께 보기

-   [LLM 평가(eval)](https://broadrouter.com/ko/glossary/eval/) (용어)
-   [할루시네이션(환각, hallucination)](https://broadrouter.com/ko/glossary/hallucination/) (용어)
-   [구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/) (용어)
-   [Temperature(온도)](https://broadrouter.com/ko/glossary/temperature/) (용어)
-   [입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/) (용어)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-llm-as-judge&utm_content=page-cta) ·

**출처**

-   [Zheng 외, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, 강력한 경험적 평가 만들기(LLM 기반 채점)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, 그레이더 가이드(score\_model 그레이더)](https://developers.openai.com/api/docs/guides/graders)
