Eval — это юнит-тест для промпта и модели: каждый раз одни и те же входы, понятный порог прохождения и оценка, которую можно сравнивать.
Как это работает
У eval три части:
- Кейсы. Входы из реального использования, включая пограничные случаи. Руководство Anthropic приводит примеры вроде нерелевантного входа, слишком длинного входа и неоднозначных случаев, “where even humans would find it hard to reach an assessment consensus.” (перевод: «где даже людям было бы трудно прийти к согласию в оценке».)
- Критерии. Как выглядит хороший ответ: точное значение, обязательное поле, тон, факт, который обязательно должен прозвучать.
- Оценщик. То, что выставляет оценку каждому ответу.
| Оценщик | Подходит для | Слабое место |
|---|---|---|
| Код (точное совпадение, JSON Schema, регулярные выражения) | Классификация, извлечение данных, структурированный вывод | Не может оценить свободный текст |
| Человек | Нюансы, тон, новые задачи | Медленно и дорого |
| Модель (LLM-as-judge) | Свободные ответы в больших объёмах | Имеет собственные предубеждения |
Anthropic рекомендует автоматизировать оценку, где это возможно, и пишет: “Prioritize volume over quality” (перевод: «Отдавайте приоритет объёму, а не качеству»): больше кейсов с чуть более шумной автоматической оценкой лучше, чем несколько кейсов с ручной. Там же предлагается оценивать ответы другой моделью, а не той, что их сгенерировала.
Почему это важно
- Смена модели или провайдера. Публичные бенчмарки редко совпадают с вашей задачей. Даже для моделей эмбеддингов бенчмарк MTEB показал, что “no particular text embedding method dominates across all tasks.” (перевод: «ни один метод текстовых эмбеддингов не доминирует во всех задачах».) Надёжно сравнить модели можно только на собственном eval. См. как оценить LLM перед переходом.
- Изменения промпта. Исправление для одного кейса часто ломает другой. Перезапускайте весь набор при каждой правке промпта.
- Компромиссы по стоимости. Eval показывает в цифрах, а не по впечатлениям, достаточно ли хороша более дешёвая модель для конкретного шага.
- Безопасность. Добавляйте кейсы на галлюцинации, отказы и попытки инъекций, а не только на «счастливые» сценарии.
В BroadNet Inference
В документации BroadNet нет отдельного продукта для eval. Запускайте свой набор из собственного кода через OpenAI-совместимый эндпоинт и для сравнения моделей меняйте только ID модели. Модели с рассуждениями учитывают рассуждения в max_tokens, поэтому оставляйте им запас, иначе кейс может провалиться с пустым ответом, а не с неправильным. Пример такого сравнения — статья GLM 5.3 против DeepSeek V4.1 Flash.