---
title: "LLM eval(평가)이란? 모델 출력 테스트 설명 | BroadRouter"
description: "eval은 정한 기준에 따라 LLM 출력에 점수를 매기는 반복 가능한 테스트 세트입니다. 만드는 법, 채점하는 법, 모델을 바꾸기 전에 돌려야 하는 이유."
url: https://broadrouter.com/ko/glossary/eval/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/eval/) (2026-11-16 업데이트).

# LLM 평가(eval)

업데이트 2026-11-16

eval(evaluation의 줄임말, 평가)은 언어 모델이나 프롬프트를 반복해서 시험하는 테스트입니다. 고정된 입력 세트, 좋은 출력의 기준, 그리고 각 출력에 점수를 매기는 채점기(코드, 사람 또는 다른 모델)로 이루어져 버전끼리 비교할 수 있게 해 줍니다.

다른 이름: eval, evals, LLM 평가, 모델 평가, LLM 테스트, 평가 세트, LLM evaluation, model evaluation, LLM testing, eval set

eval은 프롬프트와 모델을 위한 단위 테스트입니다. 매번 같은 입력, 명확한 합격 기준, 그리고 비교할 수 있는 점수가 있습니다.

## 작동 방식

eval은 세 부분으로 이루어집니다.

1.  **케이스.** 실제 사용에서 가져온 입력과 엣지 케이스입니다. Anthropic 가이드는 관련 없는 입력, 지나치게 긴 입력, 그리고 “where even humans would find it hard to reach an assessment consensus.”(번역: 사람조차 평가에 합의하기 어려운) 모호한 케이스 같은 예를 듭니다.
2.  **기준.** 좋은 답의 모습입니다. 정확한 값, 필수 필드, 어조, 반드시 들어가야 하는 사실 등입니다.
3.  **채점기.** 각 출력에 점수를 매기는 수단입니다.

| 채점기 | 적합한 용도 | 약점 |
| --- | --- | --- |
| 코드(정확 일치, JSON Schema, 정규식) | 분류, 추출, [구조화된 출력](https://broadrouter.com/ko/glossary/structured-output/) | 자유 형식 텍스트는 판단 못 함 |
| 사람 | 미묘한 차이, 어조, 새로운 작업 | 느리고 비쌈 |
| 모델([LLM-as-judge](https://broadrouter.com/ko/glossary/llm-as-judge/)) | 대규모 자유 형식 답변 | 자체 편향이 있음 |

Anthropic은 가능한 한 자동화하라고 권하며 “Prioritize volume over quality”(번역: 질보다 양을 우선하라)라고 말합니다. 자동 채점이 다소 부정확하더라도 케이스가 많은 편이, 사람이 채점한 소수의 케이스보다 낫다는 뜻입니다. 또한 출력을 만든 모델과 다른 모델로 채점하라고 제안합니다.

## 왜 중요한가

-   **모델이나 제공업체 교체.** 공개 벤치마크는 내 작업과 거의 맞지 않습니다. 임베딩 모델조차 MTEB 벤치마크는 “no particular text embedding method dominates across all tasks.”(번역: 모든 작업에서 압도적인 텍스트 임베딩 방법은 없다)라는 결과를 냈습니다. 직접 만든 eval만이 믿을 수 있는 비교입니다. [모델을 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)을 참고하세요.
-   **프롬프트 변경.** 한 케이스를 고치면 다른 케이스가 깨지는 경우가 많습니다. 프롬프트를 고칠 때마다 전체 세트를 다시 돌리세요.
-   **비용 트레이드오프.** eval은 더 싼 모델이 특정 단계에 충분한지 인상이 아닌 숫자로 보여 줍니다.
-   **안전.** 정상 경로뿐 아니라 [할루시네이션](https://broadrouter.com/ko/glossary/hallucination/), 거절, 인젝션 시도에 대한 케이스도 넣으세요.

## BroadNet Inference에서는

BroadNet 문서에는 eval 제품이 없습니다. 직접 작성한 코드에서 OpenAI 호환 엔드포인트로 eval 세트를 실행하고, 모델 ID만 바꿔 모델을 비교하세요. 추론 모델은 추론(reasoning)을 `max_tokens`에 포함하므로 여유를 주세요. 그렇지 않으면 케이스가 틀린 답이 아니라 빈 답으로 실패할 수 있습니다. [GLM 5.3 vs DeepSeek V4.1 Flash](https://broadrouter.com/ko/blog/glm-5-3-vs-deepseek-v4-1-flash/) 글이 실제 비교 예시입니다.

## 자주 묻는 질문

### eval과 벤치마크는 무엇이 다른가요?

벤치마크는 모델을 전반적으로 비교하는 공개 테스트 세트입니다. eval은 보통 실제 작업으로 직접 만든 세트이며, 모델이 내 제품에서 얼마나 잘하는지 알려 줍니다.

### eval에는 테스트 케이스가 몇 개나 필요한가요?

정해진 수는 없습니다. Anthropic 가이드는 사람이 채점한 소수의 케이스보다 자동 채점한 많은 케이스를 권합니다. 실제 트래픽에서 수십 개를 뽑아 시작하고, 실패를 찾을 때마다 늘리세요.

### eval에서는 temperature를 0으로 설정해야 하나요?

프로덕션에서 쓸 설정을 그대로 쓰세요. 실행할 때마다 출력이 달라진다면 케이스마다 여러 번 채점해 한 번의 결과가 아닌 평균을 비교하세요.

## 함께 보기

-   [LLM-as-a-judge(LLM 평가자)](https://broadrouter.com/ko/glossary/llm-as-judge/) (용어)
-   [할루시네이션(환각, hallucination)](https://broadrouter.com/ko/glossary/hallucination/) (용어)
-   [구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/) (용어)
-   [Temperature(온도)](https://broadrouter.com/ko/glossary/temperature/) (용어)
-   [가드레일(guardrails)](https://broadrouter.com/ko/glossary/guardrails/) (용어)
-   [LLM 벤치마크(LLM benchmark)](https://broadrouter.com/ko/glossary/llm-benchmark/) (용어)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/) (글)
-   [OpenAI 호환 API로 전환하기: 마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/) (글)
-   [GLM 5.3 vs DeepSeek V4.1 Flash: 언제 어떤 모델을 써야 할까](https://broadrouter.com/ko/blog/glm-5-3-vs-deepseek-v4-1-flash/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-eval&utm_content=page-cta) ·

**출처**

-   [Anthropic, 성공 기준 정의와 평가 구축(테스트 개발) (2026-11-16 확인)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng 외, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(arXiv) (2026-11-16 확인)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff 외, MTEB: Massive Text Embedding Benchmark(arXiv) (2026-11-16 확인)](https://arxiv.org/abs/2210.07316)
