모델이 출시될 때는 벤치마크 점수표가 함께 나옵니다. 벤치마크가 무엇을 측정하고 무엇을 측정하지 못하는지 알면 엉뚱한 숫자를 보고 모델을 고르는 일을 피할 수 있습니다.
작동 방식
벤치마크는 세 가지를 고정합니다. 작업, 모델에 프롬프트를 주는 방식, 채점 규칙입니다. 잘 알려진 예 두 가지는 다음과 같습니다.
| 벤치마크 | 테스트 대상 | 규모 | 채점 |
|---|---|---|---|
| MMLU(2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more”(번역: 초등 수학, 미국사, 컴퓨터 과학, 법학 등 57개 작업)에 걸친 지식 | 57개 과목 | 정확도 |
| SWE-bench(2023) | “editing the codebase to address the issue”(번역: 이슈를 해결하도록 코드베이스를 수정)하여 실제 GitHub 이슈 고치기 | Python 저장소 12개에서 뽑은 문제 2,294개 | 해결한 이슈 비율 |
음성 분야에도 고유한 벤치마크가 있습니다. 리더보드는 전사 모델을 단어 오류율로 순위를 매기며, 낮을수록 좋습니다.
벤치마크도 낡습니다. MMLU가 발표됐을 때 가장 큰 GPT-3 모델은 “over random chance by almost 20 percentage points on average”(번역: 평균적으로 무작위 추측보다 거의 20%p 높게) 성능을 끌어올렸습니다. SWE-bench가 발표됐을 때 최고 모델이던 Claude 2는 이슈의 1.96%를 해결했습니다. 한때 모델을 잘 구분하던 벤치마크도 모델이 발전하면 그 역할을 못 할 수 있으므로, 벤치마크가 언제 만들어졌는지와 요즘의 일반적인 점수를 확인하세요.
왜 중요한가
- 오염. Xu 외의 서베이는 벤치마크 데이터 오염을 모델이 “inadvertently incorporate evaluation benchmark information from their training data”(번역: 학습 데이터로부터 평가 벤치마크 정보를 의도치 않게 흡수하는) 현상으로 설명하며, 이것이 “inaccurate or unreliable performance during the evaluation phase”(번역: 평가 단계에서 부정확하거나 신뢰할 수 없는 성능)로 이어진다고 말합니다.
- 좁은 범위. Python 코딩 벤치마크는 아랍어 고객 지원에 대해 거의 아무것도 알려 주지 않습니다. 내 작업에 맞는 벤치마크를 고르고(어떤 리더보드가 무엇을 측정하나), 내 데이터로 만든 eval로 확인하세요.
- 설정이 점수를 바꿉니다. 프롬프트 형식, 퓨샷 예시, 추론 예산, 서빙 구성이 모두 결과를 움직입니다. 같은 방식으로 실행된 점수끼리만 비교하세요.
- 평가자도 편향을 더합니다. 개방형 벤치마크는 LLM-as-a-judge를 쓰는 경우가 많으니, 어떤 평가자와 루브릭을 썼는지 확인하세요.
모델을 바꾸기 전에 LLM 평가하기 글은 내 트래픽으로 작은 테스트 세트를 만드는 방법을 보여 줍니다.
BroadNet Inference에서는
BroadNet은 자체 벤치마크 수치를 일부 공개합니다. 이는 BroadNet이 보고한 수치로 보세요. BroadNet Transcribe Arabic(Cohere Transcribe 기반)에 대해 BroadNet은 MASC 방언 음성에서 단어 오류율 21.1, FLEURS 아랍어에서 3.8을 보고하며, Open Universal Arabic ASR Leaderboard 순위(37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위))도 보고합니다. Gemma 4 VL 26B에 대해서는 실제 운영 대화 240건을 대상으로 한 블라인드 3인 평가자 평가에서, BroadNet 자체 챗봇 파이프라인 6단계 중 5단계에서 Claude Sonnet과 대등했다고 보고합니다. 이는 한 회사의 파이프라인일 뿐 일반 벤치마크가 아닙니다. 도입을 결정하기 전에 직접 eval을 돌려 보세요. $5 초기 크레딧으로 Gemma 4 VL 26B와 두 전사 모델을 모두 써 볼 수 있습니다.