LLM-as-a-judge는 사람 채점자를 모델 호출로 바꿉니다. 질문, 답변, 루브릭을 주고 점수를 돌려받습니다.
작동 방식
이 방법은 Zheng 외(2023)가 깊이 연구했습니다. 이들은 검증을 위해 MT-Bench(멀티턴 질문)와 Chatbot Arena(크라우드소싱 일대일 투표)를 만들었습니다. 핵심 결과는 평가자로 쓴 GPT-4가 전문가와 일반 참여자의 선호 모두와 “at over 80%“(번역: 80% 이상) 일치했고, 이것이 사람끼리의 일치 수준과 같았다는 것입니다.
흔히 쓰는 구성은 두 가지입니다.
- 단일 답변 채점. 평가자가 출력 하나를 서면 기준에 따라 1~5점 같은 척도로 채점합니다. OpenAI의 그레이더 가이드는 이를
score_model그레이더라고 부르며, 이 그레이더는 “a numeric score based on the prompt within the given range.”(번역: 주어진 범위 안에서 프롬프트에 기반한 숫자 점수)를 반환합니다. - 쌍 비교. 평가자가 같은 질문에 대한 답변 두 개를 보고 더 나은 쪽을 고르거나 무승부로 판정합니다.
평가자 프롬프트에는 보통 원래 질문, 답변, 있다면 참고 답안, 그리고 루브릭이 들어갑니다. 점수 앞에 짧은 이유를 요청하고, 코드가 파싱할 수 있도록 구조화된 출력으로 점수 형식을 제한하세요.
왜 중요한가
프롬프트를 바꿀 때마다 수천 개의 eval 사례를 사람이 채점할 수는 없습니다. 평가자 모델은 가능하지만, Zheng 외가 측정한 편향을 함께 가져옵니다.
| 편향 | 현상 | 완화 방법 |
|---|---|---|
| 위치 | 첫 번째(또는 두 번째) 답을 선호 | 순서를 바꿔 두 번 돌리고 일치를 요구 |
| 장황함 | 더 긴 답을 선호 | 간결함에 점수를 주는 루브릭, 길이 상한 |
| 자기 선호 | 자기 모델의 스타일을 선호 | 다른 모델을 평가자로 사용 |
평가자는 스스로 검증할 수 없는 수학과 사실 확인에도 약합니다. 이런 경우 평가자에게 참고 답안을 주거나 코드 기반 검사를 쓰세요. 할루시네이션을 놓치는 평가자는 잘못된 확신을 줍니다.
BroadNet Inference에서는
BroadNet은 호스팅형 채점 서비스를 제공하지 않습니다. 평가자 호출은 채팅 완성 엔드포인트를 대상으로 직접 작성합니다. 평가자 호출도 일반 요청과 똑같이 청구되므로, 긴 답변을 읽는 평가자는 사례마다 입력 및 출력 토큰을 더합니다. 한 번 실행하는 비용은 LLM API 비용 계산기로 추정하세요. 평가자가 추론 모델이라면 추론도 max_tokens에 포함되므로 여유를 두세요. 전체 과정은 모델을 바꾸기 전에 LLM 평가하기를 참고하세요.