BroadRouter
Начать

Eval (оценка LLM)

Обновлено

Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.

Также называют: eval, evals, эвал, эвалы, оценка LLM, оценка моделей, тестирование LLM, тестовый набор, набор для оценки, LLM evaluation, model evaluation, LLM testing, eval set

Eval — это юнит-тест для промпта и модели: каждый раз одни и те же входы, понятный порог прохождения и оценка, которую можно сравнивать.

Как это работает

У eval три части:

  1. Кейсы. Входы из реального использования, включая пограничные случаи. Руководство Anthropic приводит примеры вроде нерелевантного входа, слишком длинного входа и неоднозначных случаев, “where even humans would find it hard to reach an assessment consensus.” (перевод: «где даже людям было бы трудно прийти к согласию в оценке».)
  2. Критерии. Как выглядит хороший ответ: точное значение, обязательное поле, тон, факт, который обязательно должен прозвучать.
  3. Оценщик. То, что выставляет оценку каждому ответу.
Оценщик Подходит для Слабое место
Код (точное совпадение, JSON Schema, регулярные выражения) Классификация, извлечение данных, структурированный вывод Не может оценить свободный текст
Человек Нюансы, тон, новые задачи Медленно и дорого
Модель (LLM-as-judge) Свободные ответы в больших объёмах Имеет собственные предубеждения

Anthropic рекомендует автоматизировать оценку, где это возможно, и пишет: “Prioritize volume over quality” (перевод: «Отдавайте приоритет объёму, а не качеству»): больше кейсов с чуть более шумной автоматической оценкой лучше, чем несколько кейсов с ручной. Там же предлагается оценивать ответы другой моделью, а не той, что их сгенерировала.

Почему это важно

  • Смена модели или провайдера. Публичные бенчмарки редко совпадают с вашей задачей. Даже для моделей эмбеддингов бенчмарк MTEB показал, что “no particular text embedding method dominates across all tasks.” (перевод: «ни один метод текстовых эмбеддингов не доминирует во всех задачах».) Надёжно сравнить модели можно только на собственном eval. См. как оценить LLM перед переходом.
  • Изменения промпта. Исправление для одного кейса часто ломает другой. Перезапускайте весь набор при каждой правке промпта.
  • Компромиссы по стоимости. Eval показывает в цифрах, а не по впечатлениям, достаточно ли хороша более дешёвая модель для конкретного шага.
  • Безопасность. Добавляйте кейсы на галлюцинации, отказы и попытки инъекций, а не только на «счастливые» сценарии.

В BroadNet Inference

В документации BroadNet нет отдельного продукта для eval. Запускайте свой набор из собственного кода через OpenAI-совместимый эндпоинт и для сравнения моделей меняйте только ID модели. Модели с рассуждениями учитывают рассуждения в max_tokens, поэтому оставляйте им запас, иначе кейс может провалиться с пустым ответом, а не с неправильным. Пример такого сравнения — статья GLM 5.3 против DeepSeek V4.1 Flash.

Вопросы и ответы

Чем eval отличается от бенчмарка?

Бенчмарк — публичный тестовый набор для сравнения моделей в целом. Eval — обычно ваш собственный набор, собранный из реальных задач; он показывает, как модель справляется именно в вашем продукте.

Сколько тест-кейсов нужно для eval?

Фиксированного числа нет. Anthropic советует предпочитать больше кейсов с автоматической оценкой немногим кейсам с ручной проверкой. Начните с нескольких десятков из реального трафика и пополняйте набор по мере обнаружения сбоев.

Ставить ли temperature 0 для eval?

Используйте те же настройки, что и в продакшене. Если ответы меняются от запуска к запуску, оценивайте каждый кейс несколько раз и сравнивайте средние, а не единичные результаты.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity