BroadRouter
시작하기

LLM 평가(eval)

업데이트

eval(evaluation의 줄임말, 평가)은 언어 모델이나 프롬프트를 반복해서 시험하는 테스트입니다. 고정된 입력 세트, 좋은 출력의 기준, 그리고 각 출력에 점수를 매기는 채점기(코드, 사람 또는 다른 모델)로 이루어져 버전끼리 비교할 수 있게 해 줍니다.

다른 이름: eval, evals, LLM 평가, 모델 평가, LLM 테스트, 평가 세트, LLM evaluation, model evaluation, LLM testing, eval set

eval은 프롬프트와 모델을 위한 단위 테스트입니다. 매번 같은 입력, 명확한 합격 기준, 그리고 비교할 수 있는 점수가 있습니다.

작동 방식

eval은 세 부분으로 이루어집니다.

  1. 케이스. 실제 사용에서 가져온 입력과 엣지 케이스입니다. Anthropic 가이드는 관련 없는 입력, 지나치게 긴 입력, 그리고 “where even humans would find it hard to reach an assessment consensus.”(번역: 사람조차 평가에 합의하기 어려운) 모호한 케이스 같은 예를 듭니다.
  2. 기준. 좋은 답의 모습입니다. 정확한 값, 필수 필드, 어조, 반드시 들어가야 하는 사실 등입니다.
  3. 채점기. 각 출력에 점수를 매기는 수단입니다.
채점기 적합한 용도 약점
코드(정확 일치, JSON Schema, 정규식) 분류, 추출, 구조화된 출력 자유 형식 텍스트는 판단 못 함
사람 미묘한 차이, 어조, 새로운 작업 느리고 비쌈
모델(LLM-as-judge) 대규모 자유 형식 답변 자체 편향이 있음

Anthropic은 가능한 한 자동화하라고 권하며 “Prioritize volume over quality”(번역: 질보다 양을 우선하라)라고 말합니다. 자동 채점이 다소 부정확하더라도 케이스가 많은 편이, 사람이 채점한 소수의 케이스보다 낫다는 뜻입니다. 또한 출력을 만든 모델과 다른 모델로 채점하라고 제안합니다.

왜 중요한가

  • 모델이나 제공업체 교체. 공개 벤치마크는 내 작업과 거의 맞지 않습니다. 임베딩 모델조차 MTEB 벤치마크는 “no particular text embedding method dominates across all tasks.”(번역: 모든 작업에서 압도적인 텍스트 임베딩 방법은 없다)라는 결과를 냈습니다. 직접 만든 eval만이 믿을 수 있는 비교입니다. 모델을 바꾸기 전에 LLM을 평가하는 방법을 참고하세요.
  • 프롬프트 변경. 한 케이스를 고치면 다른 케이스가 깨지는 경우가 많습니다. 프롬프트를 고칠 때마다 전체 세트를 다시 돌리세요.
  • 비용 트레이드오프. eval은 더 싼 모델이 특정 단계에 충분한지 인상이 아닌 숫자로 보여 줍니다.
  • 안전. 정상 경로뿐 아니라 할루시네이션, 거절, 인젝션 시도에 대한 케이스도 넣으세요.

BroadNet Inference에서는

BroadNet 문서에는 eval 제품이 없습니다. 직접 작성한 코드에서 OpenAI 호환 엔드포인트로 eval 세트를 실행하고, 모델 ID만 바꿔 모델을 비교하세요. 추론 모델은 추론(reasoning)을 max_tokens에 포함하므로 여유를 주세요. 그렇지 않으면 케이스가 틀린 답이 아니라 빈 답으로 실패할 수 있습니다. GLM 5.3 vs DeepSeek V4.1 Flash 글이 실제 비교 예시입니다.

자주 묻는 질문

eval과 벤치마크는 무엇이 다른가요?

벤치마크는 모델을 전반적으로 비교하는 공개 테스트 세트입니다. eval은 보통 실제 작업으로 직접 만든 세트이며, 모델이 내 제품에서 얼마나 잘하는지 알려 줍니다.

eval에는 테스트 케이스가 몇 개나 필요한가요?

정해진 수는 없습니다. Anthropic 가이드는 사람이 채점한 소수의 케이스보다 자동 채점한 많은 케이스를 권합니다. 실제 트래픽에서 수십 개를 뽑아 시작하고, 실패를 찾을 때마다 늘리세요.

eval에서는 temperature를 0으로 설정해야 하나요?

프로덕션에서 쓸 설정을 그대로 쓰세요. 실행할 때마다 출력이 달라진다면 케이스마다 여러 번 채점해 한 번의 결과가 아닌 평균을 비교하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기