---
title: "LLM 벤치마크란? 점수의 의미, 한계, 데이터 오염 | BroadRouter"
description: "LLM 벤치마크는 MMLU, SWE-bench처럼 모델을 채점하고 비교하는 고정된 공개 테스트 세트입니다. 작동 방식과 점수가 곧 내 eval이 아닌 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/llm-benchmark/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/llm-benchmark/) (2026-11-16 업데이트).

# LLM 벤치마크(LLM benchmark)

업데이트 2026-11-16

LLM 벤치마크(LLM benchmark)는 채점 방법이 정해진, 대개 공개된 고정 작업 세트로, 지식 문제, 코딩, 음성 인식처럼 한 가지 능력에서 언어 모델을 측정하고 비교하는 데 씁니다. 벤치마크 점수는 그 테스트에서의 상대적 능력을 보여 줄 뿐, 내 워크로드에서의 성능을 보여 주지는 않습니다.

다른 이름: AI 벤치마크, 모델 벤치마크, 벤치마크 점수, LLM 성능 비교, LLM 리더보드, LLM benchmark, model benchmark, benchmark score

모델이 출시될 때는 벤치마크 점수표가 함께 나옵니다. 벤치마크가 무엇을 측정하고 무엇을 측정하지 못하는지 알면 엉뚱한 숫자를 보고 모델을 고르는 일을 피할 수 있습니다.

## 작동 방식

벤치마크는 세 가지를 고정합니다. 작업, 모델에 프롬프트를 주는 방식, 채점 규칙입니다. 잘 알려진 예 두 가지는 다음과 같습니다.

| 벤치마크 | 테스트 대상 | 규모 | 채점 |
| --- | --- | --- | --- |
| MMLU(2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more”(번역: 초등 수학, 미국사, 컴퓨터 과학, 법학 등 57개 작업)에 걸친 지식 | 57개 과목 | 정확도 |
| SWE-bench(2023) | “editing the codebase to address the issue”(번역: 이슈를 해결하도록 코드베이스를 수정)하여 실제 GitHub 이슈 고치기 | Python 저장소 12개에서 뽑은 문제 2,294개 | 해결한 이슈 비율 |

음성 분야에도 고유한 벤치마크가 있습니다. 리더보드는 전사 모델을 [단어 오류율](https://broadrouter.com/ko/glossary/word-error-rate/)로 순위를 매기며, 낮을수록 좋습니다.

벤치마크도 낡습니다. MMLU가 발표됐을 때 가장 큰 GPT-3 모델은 “over random chance by almost 20 percentage points on average”(번역: 평균적으로 무작위 추측보다 거의 20%p 높게) 성능을 끌어올렸습니다. SWE-bench가 발표됐을 때 최고 모델이던 Claude 2는 이슈의 1.96%를 해결했습니다. 한때 모델을 잘 구분하던 벤치마크도 모델이 발전하면 그 역할을 못 할 수 있으므로, 벤치마크가 언제 만들어졌는지와 요즘의 일반적인 점수를 확인하세요.

## 왜 중요한가

-   **오염.** Xu 외의 서베이는 벤치마크 데이터 오염을 모델이 “inadvertently incorporate evaluation benchmark information from their training data”(번역: 학습 데이터로부터 평가 벤치마크 정보를 의도치 않게 흡수하는) 현상으로 설명하며, 이것이 “inaccurate or unreliable performance during the evaluation phase”(번역: 평가 단계에서 부정확하거나 신뢰할 수 없는 성능)로 이어진다고 말합니다.
-   **좁은 범위.** Python 코딩 벤치마크는 아랍어 고객 지원에 대해 거의 아무것도 알려 주지 않습니다. 내 작업에 맞는 벤치마크를 고르고([어떤 리더보드가 무엇을 측정하나](https://broadrouter.com/ko/blog/artificial-analysis-alternatives/)), 내 데이터로 만든 [eval](https://broadrouter.com/ko/glossary/eval/)로 확인하세요.
-   **설정이 점수를 바꿉니다.** 프롬프트 형식, 퓨샷 예시, 추론 예산, 서빙 구성이 모두 결과를 움직입니다. 같은 방식으로 실행된 점수끼리만 비교하세요.
-   **평가자도 편향을 더합니다.** 개방형 벤치마크는 [LLM-as-a-judge](https://broadrouter.com/ko/glossary/llm-as-judge/)를 쓰는 경우가 많으니, 어떤 평가자와 루브릭을 썼는지 확인하세요.

[모델을 바꾸기 전에 LLM 평가하기](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/) 글은 내 트래픽으로 작은 테스트 세트를 만드는 방법을 보여 줍니다.

## BroadNet Inference에서는

BroadNet은 자체 벤치마크 수치를 일부 공개합니다. 이는 BroadNet이 보고한 수치로 보세요. [BroadNet Transcribe Arabic](https://broadrouter.com/ko/models/cohere-transcribe-arabic/)(Cohere Transcribe 기반)에 대해 BroadNet은 MASC 방언 음성에서 단어 오류율 21.1, FLEURS 아랍어에서 3.8을 보고하며, Open Universal Arabic ASR Leaderboard 순위(37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위))도 보고합니다. [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)에 대해서는 실제 운영 대화 240건을 대상으로 한 블라인드 3인 평가자 평가에서, BroadNet 자체 챗봇 파이프라인 6단계 중 5단계에서 Claude Sonnet과 대등했다고 보고합니다. 이는 한 회사의 파이프라인일 뿐 일반 벤치마크가 아닙니다. 도입을 결정하기 전에 직접 eval을 돌려 보세요. $5 초기 크레딧으로 Gemma 4 VL 26B와 두 전사 모델을 모두 써 볼 수 있습니다.

## 자주 묻는 질문

### 벤치마크와 eval은 어떻게 다른가요?

벤치마크는 여러 팀이 모델을 비교할 수 있게 공유된 공개 테스트입니다. eval은 실제 프롬프트로 만들고 내 제품에 필요한 기준으로 채점하는 나만의 테스트 세트입니다. 후보를 좁힐 때는 벤치마크를, 결정할 때는 eval을 쓰세요.

### 벤치마크 오염(contamination)이란 무엇인가요?

테스트 문제나 그와 거의 같은 사본이 모델의 학습 데이터에 들어간 경우입니다. 그러면 모델이 실력이 아니라 기억으로 높은 점수를 낼 수 있어, 점수가 실제 능력보다 부풀려집니다.

### 업체가 발표한 점수는 믿을 만한가요?

주장으로 받아들이세요. 어떤 벤치마크 버전, 설정, 프롬프트를 썼는지, 누가 결과를 재현했는지, 공개 리더보드에서도 같은 결과가 나오는지 확인하세요.

## 함께 보기

-   [LLM 평가(eval)](https://broadrouter.com/ko/glossary/eval/) (용어)
-   [LLM-as-a-judge(LLM 평가자)](https://broadrouter.com/ko/glossary/llm-as-judge/) (용어)
-   [단어 오류율(WER)](https://broadrouter.com/ko/glossary/word-error-rate/) (용어)
-   [할루시네이션(환각, hallucination)](https://broadrouter.com/ko/glossary/hallucination/) (용어)
-   [오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/) (용어)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/) (글)
-   [Artificial Analysis 대안: 2026년 LLM 비교 사이트 정리](https://broadrouter.com/ko/blog/artificial-analysis-alternatives/) (글)
-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/) (글)
-   [아랍어 음성 인식(STT) API: 2026년 선택 가이드](https://broadrouter.com/ko/blog/arabic-speech-to-text-api-buyers-guide/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-llm-benchmark&utm_content=page-cta) ·

**출처**

-   [Hendrycks 외, Measuring Massive Multitask Language Understanding(MMLU), arXiv 2009.03300 (2026-11-15 확인)](https://arxiv.org/abs/2009.03300)
-   [Jimenez 외, SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv 2310.06770 (2026-11-15 확인)](https://arxiv.org/abs/2310.06770)
-   [Xu 외, Benchmark Data Contamination of Large Language Models: A Survey, arXiv 2406.04244 (2026-11-15 확인)](https://arxiv.org/abs/2406.04244)
-   [BroadNet, BroadNet Transcribe Arabic 모델 페이지: 보고된 WER과 리더보드 순위 (2026-11-16 확인) (영어)](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
