Чтобы оценить LLM перед сменой провайдера, прогоните обе модели на 50–200 реальных промптах с заранее известным хорошим результатом. Оценивайте сначала проверками в коде, а LLM-судьёй без перекосов — только там, где код не может решить; логируйте цену и задержку и зафиксируйте правило прохождения заранее.
Само изменение кода невелико: с OpenAI-совместимым API это базовый URL и ID модели. Эту часть описывает чек-лист миграции, а цены, лимиты и приватность — чек-лист выбора провайдера. Сложно другое — понять, так ли хороша новая модель для ваших задач. Публичные рейтинги на это не отвечают; Artificial Analysis и его альтернативы нужны, чтобы составить шорт-лист. Отвечает небольшой eval-набор из вашего собственного трафика — это день-два работы.
Как собрать eval-набор из реального трафика?
- Выгрузите от 300 до 1 000 недавних запросов из логов использования, предварительно удалив чувствительные данные.
- Сгруппируйте по типу задачи: извлечение, классификация, суммаризация, ответ в чате, правка кода, вызов инструмента.
- Отберите по 10–40 на тип, больше — для частых или рискованных типов. Включите длинные промпты, входные данные не на английском и случаи, на которые жаловались пользователи.
- Запишите ожидаемый результат для каждого: точное значение, схему, тест, который должен пройти, или короткую рубрику («упоминает срок возврата; не выдумывает правил»).
- Пометьте критичные случаи. Неверная сумма в счёте или утёкшая инструкция — не то же самое, что чуть худший тон.
- Заморозьте набор в системе контроля версий. Добавляйте случаи, когда находите новые ошибки, и никогда не удаляйте их, чтобы модель выглядела лучше.
Какие проверки делать в коде, а какие поручать судье?
Для каждого случая используйте самую дешёвую надёжную проверку:
| Задача | Проверка | Нужен судья? |
|---|---|---|
| Извлечение в JSON | Разбирается, проходит валидацию схемы, поля совпадают с ожидаемыми | Нет |
| Классификация | Метка совпадает с ожидаемой | Нет |
| Правка кода | Тесты проходят | Нет |
| Вызов инструмента | Нужная функция, аргументы проходят валидацию | Нет |
| Краткое изложение | Содержит обязательные факты; нет фактов, которых нет в источнике | Иногда |
| Ответ в чате, тон, полезность | Рубрика | Да |
Детерминированные проверки бесплатны, воспроизводимы, и им невозможно польстить, поэтому переводите в проверки кодом столько случаев, сколько сможете.
Что идёт не так с LLM в роли судьи?
LLM-судья — это модель, которая оценивает ответы других моделей по рубрике. Исследование MT-Bench (Zheng et al.) показало, что сильные судьи совпадали с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадают друг с другом. В той же статье названы перекосы, которые нужно учитывать при проектировании:
| Перекос | Что происходит | Как смягчить |
|---|---|---|
| Позиционный | Предпочитает первый (или второй) показанный ответ | Оценивайте каждую пару дважды, меняя порядок; засчитывайте победу, только если оба порядка согласны |
| Многословность | Предпочитает более длинные ответы | Рубрика, которая вознаграждает правильность и краткость; ограничение длины в промпте |
| Предпочтение своего | Предпочитает ответы в своём стиле | Судья из другого семейства моделей, чем оба кандидата |
| Слабые рассуждения | Пропускает ошибки в математике или коде | Для таких случаев используйте проверки в коде |
Ещё два правила из практики. Зафиксируйте судью: та же версия модели, тот же промпт, temperature 0 на всё сравнение. И откалибруйте его: разметьте 30–50 пар сами, прогоните на них судью и доверяйте ему, только если он в большинстве случаев с вами согласен. Руководство Arize по эвалюаторам советует то же (“Collect 20–100 examples”; перевод: «Соберите 20–100 примеров») с разметкой людьми и рекомендует категориальные метки вроде pass/fail вместо больших числовых шкал.
Как провести сравнение бок о бок?
Прогоните обоих кандидатов на каждом случае, скройте от судьи, какой ответ чей, меняйте порядок и логируйте цену и время:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Правило с перестановкой означает, что модель побеждает, только когда судья предпочитает её в обеих позициях; любое расхождение считается ничьей. Доля расхождений и сама по себе полезна: если она высокая, судья или рубрика слишком расплывчаты. Обратите внимание на max_tokens=4000: у моделей с рассуждениями размышления входят в лимит, и при низком потолке получаются пустые ответы, похожие на ошибки. См. почему модели с рассуждениями возвращают пустые ответы.
Какая разница действительно значима?
Результаты eval — это выборка. Для доли прохождения p на n случаях стандартная ошибка равна √(p × (1 − p) ÷ n), а погрешность при 95% доверии — примерно вдвое больше.
| Случаев | Доля прохождения | Погрешность (95%) |
|---|---|---|
| 50 | 80% | около ±11 пунктов |
| 100 | 80% | около ±8 пунктов |
| 200 | 80% | около ±6 пунктов |
| 400 | 80% | около ±4 пунктов |
Значит, модель с результатом 82% против 79% на 100 случаях не доказала своего превосходства. Смотрите лучше на различия по отдельным случаям: какие случаи перешли из «прошёл» в «не прошёл»? Они говорят больше, чем итоговые цифры, а на критичных случаях одно такое изменение может решить вопрос о переходе.
Каким должно быть правило принятия решения?
Запишите его до запуска eval, чтобы результат не мог его подогнуть. Практичный шаблон:
- Ни одной регрессии на случаях, помеченных как критичные.
- Общая доля прохождения не ниже, чем у текущей модели, больше чем на погрешность.
- Задержка p95 в пределах вашего бюджета; как её измерять, см. в статье TTFT и пропускная способность.
- Стоимость успешного случая ниже или выше лишь на сумму, о которой вы договорились, что она стоит прироста качества. Посчитайте месячную разницу в калькуляторе стоимости LLM API.
- Теневой период: отправляйте долю живого трафика на новую модель, логируйте обе и сравнивайте, прежде чем переключаться.
Тот же eval-набор — отправная точка, если вы думаете о собственной модели: в статье перед дообучением разобрано, когда достаточно промптов и поиска.
Место BroadNet Inference
BroadNet Inference обслуживает несколько семейств моделей за одним OpenAI-совместимым эндпоинтом, в том числе DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, поэтому кандидаты и судья из другого семейства могут работать через один клиент и ключ. Каждый ответ содержит расход токенов для сравнения стоимости, а новые аккаунты получают стартовый грант $5; без пополнения баланса этот грант работает только для Gemma 4 VL 26B, поэтому для сравнения более крупных моделей запланируйте небольшое пополнение. Обвязки для оценки или готовых инструментов для судьи нет; код выше вы запускаете сами. Для задач на арабском языке список того, что тестировать, есть в статье Как выбрать LLM для арабского. Цены рядом — на странице сравнения.
