BroadRouter

Бенчмарк LLM (LLM benchmark)

Обновлено

Бенчмарк LLM — это фиксированный, обычно публичный набор задач со способом подсчёта баллов, по которому измеряют и сравнивают языковые модели в одном навыке: ответах на вопросы на знания, программировании или распознавании речи. Балл на бенчмарке показывает относительные способности на этом тесте, а не то, как модель справится с вашей нагрузкой.

Также называют: бенчмарк LLM, бенчмарки нейросетей, тест языковых моделей, рейтинг моделей, балл на бенчмарке, LLM benchmark, model benchmark, benchmark score

Выпуск новой модели сопровождают таблицы с баллами на бенчмарках. Понимая, что бенчмарк измеряет и чего измерить не может, вы не выберете модель по неправильному числу.

Как это работает

Бенчмарк фиксирует три вещи: задачи, способ промптинга модели и правило подсчёта баллов. Два известных примера:

Бенчмарк Что проверяет Объём Подсчёт
MMLU (2020) Знания в “57 tasks including elementary mathematics, US history, computer science, law, and more” (перевод: «57 задачах, включая элементарную математику, историю США, информатику, право и другое») 57 предметов Точность (accuracy)
SWE-bench (2023) Исправление реальных issues на GitHub путём “editing the codebase to address the issue” (перевод: «правки кодовой базы для решения задачи») 2 294 задачи из 12 Python-репозиториев Доля решённых issues

У речевых моделей свои бенчмарки: лидерборды ранжируют модели транскрибации по доле ошибок в словах (WER), где меньше — лучше.

Бенчмарки стареют. Когда MMLU опубликовали, крупнейшая модель GPT-3 превосходила случайное угадывание “by almost 20 percentage points on average” (перевод: «в среднем почти на 20 процентных пунктов»). Когда вышел SWE-bench, лучшая модель, Claude 2, решала 1,96% issues. Бенчмарк, который когда-то хорошо разделял модели, может перестать это делать по мере их развития, поэтому проверяйте, когда он создан и какие баллы типичны сегодня.

Почему это важно

  • Утечка в обучающие данные (contamination). Обзор Xu и соавторов описывает утечку данных бенчмарка как ситуацию, когда модели “inadvertently incorporate evaluation benchmark information from their training data” (перевод: «непреднамеренно включают информацию из оценочного бенчмарка через обучающие данные»), что ведёт к “inaccurate or unreliable performance during the evaluation phase” (перевод: «неточным или ненадёжным результатам на этапе оценки»).
  • Узкий охват. Бенчмарк по программированию на Python мало говорит о поддержке клиентов на арабском. Выбирайте бенчмарки, соответствующие вашей задаче (какой лидерборд что измеряет), а затем подтверждайте выбор с помощью eval на своих данных.
  • Настройки меняют баллы. Формат промпта, few-shot примеры, бюджет рассуждений и конфигурация инференса — всё это сдвигает результаты. Сравнивайте баллы, только если они получены одинаковым способом.
  • Судьи добавляют свой перекос. Бенчмарки со свободными ответами часто используют LLM-as-judge; проверяйте, какой судья и какая рубрика применялись.

Статья как оценить LLM перед переходом показывает, как собрать небольшой тестовый набор из собственного трафика.

В BroadNet Inference

BroadNet публикует некоторые собственные результаты бенчмарков; считайте их данными BroadNet. Для BroadNet Transcribe Arabic (на основе Cohere Transcribe) BroadNet сообщает о доле ошибок в словах 21,1 на диалектной речи MASC и 3,8 на FLEURS Arabic, а также о позиции № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard. Для Gemma 4 VL 26B BroadNet сообщает о слепой оценке тремя судьями на 240 продакшен-диалогах, в которой модель сравнялась с Claude Sonnet на 5 из 6 шагов собственного чат-бот-конвейера BroadNet. Это конвейер одной компании, а не общий бенчмарк. Прежде чем принимать решение, проведите свой eval; стартовый грант $5 покрывает Gemma 4 VL 26B и обе модели транскрибации.

Вопросы и ответы

Чем бенчмарк отличается от eval?

Бенчмарк — общий публичный тест, на котором многие команды сравнивают модели. Eval — ваш собственный тестовый набор, собранный из реальных промптов и оцениваемый по тому, что нужно вашему продукту. Бенчмарки помогают составить шорт-лист, а eval — принять решение.

Что такое утечка бенчмарка в обучающие данные?

Это когда тестовые вопросы или их близкие копии попадают в обучающие данные модели. Тогда модель может набирать высокий балл за счёт запоминания, а не навыка, и балл завышает её возможности.

Можно ли доверять баллам, которые публикует сам разработчик модели?

Относитесь к ним как к заявлениям. Проверьте, какая версия бенчмарка, настройки и промпты использовались, воспроизвёл ли кто-нибудь результат и показывает ли то же самое публичный лидерборд.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity