---
title: "LLM 모델 평가 방법: 평가 세트와 LLM-as-a-Judge | BroadRouter"
description: "실제 트래픽으로 작은 평가 세트를 만들고, 코드 검사와 편향을 줄인 LLM 심사로 점수를 매긴 뒤, 마이그레이션 전에 품질, 비용, 지연 시간을 비교하는 방법입니다."
url: https://broadrouter.com/ko/blog/evaluate-llm-before-switching/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/evaluate-llm-before-switching/) (2026-11-14 업데이트).

# 제공업체를 바꾸기 전에 LLM을 평가하는 방법

BroadNet Inference 팀 · 5분 분량 · 게시 2026-11-14

정답이 알려진 실제 프롬프트 50~200개를 모으세요. 두 모델을 먼저 코드 검사로 채점하고, 코드로 판단할 수 없는 경우에만 LLM 심사를 쓰세요. 답변 순서를 바꿔 위치 편향을 상쇄하고, 제3의 모델 계열을 심사 모델로 쓰고, 직접 붙인 레이블로 검증하고, 비용과 지연 시간을 포함한 합격 기준을 실행 전에 정해 두세요.

## 핵심 요약

-   평가 세트는 만들어 낸 프롬프트가 아니라 실제 로그로 만들고, 어렵거나 실패한 사례를 포함하세요.
-   결정론적 검사(JSON 파싱, 필드 일치, 테스트 통과)를 우선하세요. LLM 심사는 코드로 확인할 수 없는 품질에만 쓰세요.
-   LLM 심사 모델에는 위치, 장황함, 자기 선호 편향이 있습니다. 각 쌍을 순서를 바꿔 두 번 심사하세요.
-   사례가 100개일 때 80% 점수의 95% 오차 범위는 약 ±8포인트입니다. 작은 차이는 노이즈입니다.
-   비용, 지연 시간, 핵심 사례의 회귀 없음을 포함한 합격 기준을 미리 정하세요.

**이 페이지의 내용**

1.  실제 트래픽으로 평가 세트를 어떻게 만드나요?
2.  어떤 검사는 코드로, 어떤 검사는 심사 모델로 해야 하나요?
3.  LLM-as-a-Judge에서는 무엇이 잘못되나요?
4.  나란히 비교는 어떻게 실행하나요?
5.  어느 정도 차이가 실제 차이인가요?
6.  결정 기준은 어떻게 정해야 하나요?
7.  BroadNet Inference의 위치

모델을 바꾸기 전에 LLM을 평가하려면, 정답이 알려진 실제 프롬프트 50~200개로 두 모델을 실행하세요. 먼저 코드 검사로 채점하고, 코드로 판단할 수 없는 경우에만 편향을 줄인 LLM 심사를 쓰고, 비용과 지연 시간을 기록하고, 합격 기준을 미리 정해 두세요.

코드 변경 자체는 작습니다. [OpenAI 호환 API](https://broadrouter.com/ko/glossary/openai-compatible-api/)라면 [base URL](https://broadrouter.com/ko/glossary/base-url/)과 모델 ID만 바꾸면 됩니다. 이 부분은 [마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/)에서, 가격, 한도, 개인정보는 [제공업체 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/)에서 다룹니다. 어려운 부분은 새 모델이 **내 작업에서** 똑같이 좋은지 아는 것입니다. 공개 리더보드는 이에 답하지 못합니다. [Artificial Analysis와 대안들](https://broadrouter.com/ko/blog/artificial-analysis-alternatives/)은 후보 목록을 만드는 용도입니다. 자체 트래픽으로 만든 작은 [평가(eval)](https://broadrouter.com/ko/glossary/eval/) 세트는 하루나 이틀 작업으로 이 질문에 답해 줍니다.

## 실제 트래픽으로 평가 세트를 어떻게 만드나요?

1.  민감 정보를 지운 뒤 [사용량 로그](https://broadrouter.com/ko/blog/llm-api-usage-logging/)에서 **최근 요청 300~1,000개를 가져오세요**.
2.  **작업 유형별로 묶으세요**: 추출, 분류, 요약, 채팅 답변, 코드 편집, 도구 호출.
3.  **유형별로 10~40개를 샘플링하세요.** 양이 많거나 위험도가 높은 유형은 더 많이 뽑으세요. 긴 프롬프트, 영어가 아닌 입력, 사용자가 불만을 제기한 사례를 포함하세요.
4.  각 사례의 **기대 결과를 적으세요**: 정확한 값, 스키마, 통과해야 할 테스트, 또는 짧은 루브릭(“환불 기간을 언급함, 지어낸 정책 없음”).
5.  **핵심 사례에 태그를 다세요.** 잘못된 청구서 합계나 유출된 지시문은 약간 나빠진 어조와 같은 무게가 아닙니다.
6.  버전 관리에 **고정하세요.** 새로운 실패를 발견하면 사례를 추가하고, 모델을 좋아 보이게 하려고 사례를 지우지 마세요.

## 어떤 검사는 코드로, 어떤 검사는 심사 모델로 해야 하나요?

사례마다 가장 저렴하면서 믿을 수 있는 검사를 쓰세요.

| 작업 | 검사 | 심사 모델 필요 여부 |
| --- | --- | --- |
| JSON 추출 | 파싱됨, 스키마 검증 통과, 필드가 기대값과 같음 | 아니요 |
| 분류 | 레이블이 기대값과 같음 | 아니요 |
| 코드 편집 | 테스트 통과 | 아니요 |
| 도구 호출 | 올바른 함수, 인자 검증 통과 | 아니요 |
| 요약 | 필수 사실 포함, 원문에 없는 사실 없음 | 경우에 따라 |
| 채팅 답변, 어조, 유용성 | 루브릭 | 예 |

결정론적 검사는 비용이 들지 않고, 반복 가능하며, 아첨에 넘어가지 않습니다. 가능한 한 많은 사례를 코드 검사로 옮기세요.

## LLM-as-a-Judge에서는 무엇이 잘못되나요?

[LLM-as-a-Judge](https://broadrouter.com/ko/glossary/llm-as-judge/)는 루브릭에 따라 다른 모델의 답변을 채점하는 모델입니다. MT-Bench 연구(Zheng et al.)에 따르면 강한 심사 모델은 80% 이상 사람의 선호와 일치했고, 이는 사람끼리 일치하는 비율과 비슷했습니다. 같은 논문은 설계 단계에서 대비해야 할 편향도 짚었습니다.

| 편향 | 나타나는 현상 | 완화 방법 |
| --- | --- | --- |
| 위치 | 먼저(또는 나중에) 나온 답변을 선호 | 모든 쌍을 순서를 바꿔 두 번 심사하고, 둘 다 일치할 때만 승리로 셈 |
| 장황함 | 더 긴 답변을 선호 | 정확성과 간결함에 점수를 주는 루브릭, 프롬프트에서 길이 제한 |
| 자기 선호 | 자신의 스타일과 닮은 답변을 선호 | 두 후보와 다른 모델 계열을 심사 모델로 사용 |
| 약한 추론 | 수학이나 코드의 오류를 놓침 | 그런 사례에는 코드 검사를 사용 |

실무에서 나온 규칙이 두 가지 더 있습니다. **심사 모델을 고정하세요.** 비교하는 동안 같은 모델 버전, 같은 프롬프트, temperature 0을 유지합니다. 그리고 **보정하세요.** 직접 30~50쌍에 레이블을 붙이고 심사 모델을 돌려 본 뒤, 대부분 일치할 때만 믿으세요. Arize의 평가기 가이드도 같은 조언(“Collect 20–100 examples”(번역: 예시 20~100개를 수집하라), 사람이 붙인 레이블 포함)을 하며, 큰 숫자 척도보다 pass/fail 같은 범주형 레이블을 권장합니다.

## 나란히 비교는 어떻게 실행하나요?

모든 사례에서 두 후보를 실행하고, 심사 모델에는 어느 쪽인지 숨기고, 순서를 바꾸고, 비용과 시간을 기록하세요.

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

순서 바꾸기 규칙에 따라, 심사 모델이 두 위치 모두에서 선호할 때만 그 모델이 이깁니다. 결과가 어긋나면 무승부로 셉니다. 어긋난 비율 자체도 유용합니다. 비율이 높다면 심사 모델이나 루브릭이 너무 모호하다는 뜻입니다. `max_tokens=4000`에 주의하세요. 추론 모델에서는 생각 과정도 한도에 포함되므로, 한도가 낮으면 실패처럼 보이는 빈 답변이 나옵니다. [추론 모델이 빈 응답을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.

## 어느 정도 차이가 실제 차이인가요?

평가 점수는 표본입니다. 사례 n개에서 합격률이 p라면 표준 오차는 √(p × (1 − p) ÷ n)이고, 95% 오차 범위는 그 약 2배입니다.

| 사례 수 | 합격률 | 95% 오차 범위 |
| --- | --- | --- |
| 50 | 80% | 약 ±11포인트 |
| 100 | 80% | 약 ±8포인트 |
| 200 | 80% | 약 ±6포인트 |
| 400 | 80% | 약 ±4포인트 |

따라서 사례 100개에서 82% 대 79%를 받은 모델이 더 낫다고 입증된 것은 아닙니다. 대신 **사례별 차이**를 보세요. 어떤 사례가 합격에서 불합격으로 바뀌었나요? 이것이 합계보다 더 많은 것을 알려 주며, 핵심 사례에서는 하나만 바뀌어도 전환 여부가 결정될 수 있습니다.

## 결정 기준은 어떻게 정해야 하나요?

결과가 기준을 흔들 수 없도록 평가를 실행하기 전에 적어 두세요. 실용적인 템플릿은 다음과 같습니다.

1.  핵심 태그가 붙은 사례에서 회귀가 하나도 없을 것.
2.  전체 합격률이 현재 모델보다 오차 범위 이상 낮지 않을 것.
3.  p95 지연 시간이 예산 안에 있을 것. 측정 방법은 [TTFT vs 처리량](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)을 참고하세요.
4.  성공한 사례당 비용이 더 낮거나, 품질에 그만한 가치가 있다고 합의한 만큼만 높을 것. 월 차이는 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)로 계산하세요.
5.  섀도 기간: 실제 트래픽 일부를 새 모델로 보내 양쪽을 모두 기록하고, 완전히 전환하기 전에 비교하세요.

맞춤 모델을 고려하고 있다면 같은 평가 세트가 출발점이 됩니다. 프롬프트와 검색만으로 충분한 경우는 [파인튜닝 전에](https://broadrouter.com/ko/blog/fine-tuning-readiness/)에서 다룹니다.

## BroadNet Inference의 위치

BroadNet Inference는 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/), [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)를 포함한 여러 모델 계열을 하나의 OpenAI 호환 엔드포인트로 제공합니다. 그래서 후보 모델과 다른 계열의 심사 모델을 같은 클라이언트와 키로 실행할 수 있습니다. 모든 응답에 비용 비교용 토큰 사용량이 담기며, 새 계정은 크레딧 $5 금액으로 시작합니다. 충전하지 않으면 이 크레딧으로는 [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) 모델만 실행할 수 있으므로, 더 큰 모델을 비교하려면 소액 충전을 계획하세요. 평가 하네스나 호스팅된 심사 도구는 포함되어 있지 않으며, 위 코드는 직접 실행해야 합니다. 아랍어 워크로드라면 [아랍어용 LLM 고르기](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)에 테스트할 항목이 정리되어 있습니다. 나란히 비교한 가격은 [비교 페이지](https://broadrouter.com/compare/)에 있습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[LLM 평가(eval)](https://broadrouter.com/ko/glossary/eval/)

eval(evaluation의 줄임말, 평가)은 언어 모델이나 프롬프트를 반복해서 시험하는 테스트입니다. 고정된 입력 세트, 좋은 출력의 기준, 그리고 각 출력에 점수를 매기는 채점기(코드, 사람 또는 다른 모델)로 이루어져 버전끼리 비교할 수 있게 해 줍니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/)

첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.

[파인튜닝(fine-tuning)](https://broadrouter.com/ko/glossary/fine-tuning/)

파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 언어 모델을 예시 대화 같은 작고 작업에 특화된 데이터셋으로 계속 학습시키는 과정입니다. 가중치가 바뀌므로, 모델은 프롬프트마다 긴 지시문이나 예시를 넣지 않아도 해당 작업이나 스타일을 더 안정적으로 수행합니다.

[base URL(베이스 URL)](https://broadrouter.com/ko/glossary/base-url/)

base URL은 https://api.example.com/v1처럼 API의 고정된 루트 주소로, 클라이언트가 /chat/completions 같은 모든 엔드포인트 경로 앞에 붙입니다. OpenAI 호환 SDK에서는 base URL을 API 키, 모델 ID와 함께 바꾸면 같은 코드로 다른 제공업체를 호출할 수 있습니다.

[LLM-as-a-judge(LLM 평가자)](https://broadrouter.com/ko/glossary/llm-as-judge/)

LLM-as-a-judge는 언어 모델이 다른 모델의 출력을 채점하는 평가 방법으로, 답변 하나를 루브릭에 따라 점수 매기거나 두 답변 중 더 나은 쪽을 고릅니다. 훨씬 적은 비용으로 사람의 판단에 근접하지만, 첫 번째 답이나 더 긴 답을 선호하는 등 알려진 편향이 있습니다.

[Temperature(온도)](https://broadrouter.com/ko/glossary/temperature/)

Temperature(온도)는 언어 모델 출력의 무작위성을 조절하는 샘플링 파라미터입니다. 모델은 토큰 점수를 확률로 바꾸기 전에 temperature로 나눕니다. 값이 낮으면 가장 가능성 높은 토큰이 압도적으로 선택되고, 값이 높으면 분포가 평평해져 가능성이 낮은 토큰도 더 자주 선택됩니다.

## 자주 묻는 질문

### LLM 평가 세트에는 예시가 몇 개나 필요한가요?

큰 회귀를 잡는 데는 50개면 충분하고, 5~10포인트 정도의 차이를 보려면 200개가 필요합니다. 크기보다 범위가 중요하므로 모든 작업 유형과 이미 알고 있는 실패 사례를 포함하세요.

### LLM-as-a-Judge는 믿을 만한가요?

부분적으로는 그렇습니다. MT-Bench 연구에서 강한 심사 모델은 80% 이상 사람의 선호와 일치했고, 이는 사람끼리 일치하는 비율과 비슷했습니다. 하지만 위치, 장황함, 자기 강화 편향도 보였으므로, 편향을 줄이고 표본 검사를 하세요.

### 심사 모델이 테스트 대상 모델과 같아도 되나요?

아닙니다. 심사 모델은 자신의 답변과 비슷한 답변을 선호하는 경향이 있습니다. 다른 모델 계열을 심사 모델로 쓰고, 비교하는 동안 한 버전으로 고정하세요.

### LLM 평가에서 위치 편향이란 무엇인가요?

품질과 상관없이 심사 모델이 먼저(또는 나중에) 나온 답변을 선호하는 현상입니다. 각 쌍을 순서를 바꿔 두 번 심사하고, 두 순서의 결과가 일치할 때만 승리로 세면 해결됩니다.

### 같은 평가에서 비용과 지연 시간도 비교해야 하나요?

네. 평가 호출마다 토큰과 시간을 기록하세요. 점수가 2포인트 높아도 비용이나 지연 시간이 3배라면 잘못된 전환일 수 있습니다.

## 이어서 읽기

-   [LLM API 제공업체 선택 가이드: 20가지 체크리스트](https://broadrouter.com/ko/blog/choose-llm-api-provider-checklist/)
-   [OpenAI 호환 API로 전환하기: 마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/)
-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)
-   [LLM API 사용량 로깅: 사용자·기능별 비용 추적과 개인정보 마스킹](https://broadrouter.com/ko/blog/llm-api-usage-logging/)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)
-   [파인튜닝 전에: 해결할 문제부터 정의하세요](https://broadrouter.com/ko/blog/fine-tuning-readiness/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**출처**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685(2026-11-14 확인)](https://arxiv.org/abs/2306.05685)
-   [Arize 문서, 평가기 모범 사례(2026-11-14 확인)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [BroadNet Inference API 레퍼런스(2026-11-14 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-evaluate-llm-before-switching&utm_content=sources)
-   [BroadNet Inference 기계 판독용 가격 파일, pricing.json(2026-11-14 확인) (영어)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-evaluate-llm-before-switching&utm_content=sources)
