BroadRouter

Как оценить LLM перед сменой провайдера

Команда BroadNet Inference · 5 мин чтения · Опубликовано

Соберите от 50 до 200 реальных промптов с заранее известным хорошим результатом. Оценивайте обе модели сначала проверками в коде, а LLM-судьёй — только там, где код не может решить. Меняйте порядок ответов, чтобы убрать позиционный перекос, берите судью из третьего семейства моделей, сверяйте его со своей разметкой и зафиксируйте правило прохождения, включая цену и задержку, до запуска.

Чтобы оценить LLM перед сменой провайдера, прогоните обе модели на 50–200 реальных промптах с заранее известным хорошим результатом. Оценивайте сначала проверками в коде, а LLM-судьёй без перекосов — только там, где код не может решить; логируйте цену и задержку и зафиксируйте правило прохождения заранее.

Само изменение кода невелико: с OpenAI-совместимым API это базовый URL и ID модели. Эту часть описывает чек-лист миграции, а цены, лимиты и приватность — чек-лист выбора провайдера. Сложно другое — понять, так ли хороша новая модель для ваших задач. Публичные рейтинги на это не отвечают; Artificial Analysis и его альтернативы нужны, чтобы составить шорт-лист. Отвечает небольшой eval-набор из вашего собственного трафика — это день-два работы.

Как собрать eval-набор из реального трафика?

  1. Выгрузите от 300 до 1 000 недавних запросов из логов использования, предварительно удалив чувствительные данные.
  2. Сгруппируйте по типу задачи: извлечение, классификация, суммаризация, ответ в чате, правка кода, вызов инструмента.
  3. Отберите по 10–40 на тип, больше — для частых или рискованных типов. Включите длинные промпты, входные данные не на английском и случаи, на которые жаловались пользователи.
  4. Запишите ожидаемый результат для каждого: точное значение, схему, тест, который должен пройти, или короткую рубрику («упоминает срок возврата; не выдумывает правил»).
  5. Пометьте критичные случаи. Неверная сумма в счёте или утёкшая инструкция — не то же самое, что чуть худший тон.
  6. Заморозьте набор в системе контроля версий. Добавляйте случаи, когда находите новые ошибки, и никогда не удаляйте их, чтобы модель выглядела лучше.

Какие проверки делать в коде, а какие поручать судье?

Для каждого случая используйте самую дешёвую надёжную проверку:

Задача Проверка Нужен судья?
Извлечение в JSON Разбирается, проходит валидацию схемы, поля совпадают с ожидаемыми Нет
Классификация Метка совпадает с ожидаемой Нет
Правка кода Тесты проходят Нет
Вызов инструмента Нужная функция, аргументы проходят валидацию Нет
Краткое изложение Содержит обязательные факты; нет фактов, которых нет в источнике Иногда
Ответ в чате, тон, полезность Рубрика Да

Детерминированные проверки бесплатны, воспроизводимы, и им невозможно польстить, поэтому переводите в проверки кодом столько случаев, сколько сможете.

Что идёт не так с LLM в роли судьи?

LLM-судья — это модель, которая оценивает ответы других моделей по рубрике. Исследование MT-Bench (Zheng et al.) показало, что сильные судьи совпадали с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадают друг с другом. В той же статье названы перекосы, которые нужно учитывать при проектировании:

Перекос Что происходит Как смягчить
Позиционный Предпочитает первый (или второй) показанный ответ Оценивайте каждую пару дважды, меняя порядок; засчитывайте победу, только если оба порядка согласны
Многословность Предпочитает более длинные ответы Рубрика, которая вознаграждает правильность и краткость; ограничение длины в промпте
Предпочтение своего Предпочитает ответы в своём стиле Судья из другого семейства моделей, чем оба кандидата
Слабые рассуждения Пропускает ошибки в математике или коде Для таких случаев используйте проверки в коде

Ещё два правила из практики. Зафиксируйте судью: та же версия модели, тот же промпт, temperature 0 на всё сравнение. И откалибруйте его: разметьте 30–50 пар сами, прогоните на них судью и доверяйте ему, только если он в большинстве случаев с вами согласен. Руководство Arize по эвалюаторам советует то же (“Collect 20–100 examples”; перевод: «Соберите 20–100 примеров») с разметкой людьми и рекомендует категориальные метки вроде pass/fail вместо больших числовых шкал.

Как провести сравнение бок о бок?

Прогоните обоих кандидатов на каждом случае, скройте от судьи, какой ответ чей, меняйте порядок и логируйте цену и время:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

Правило с перестановкой означает, что модель побеждает, только когда судья предпочитает её в обеих позициях; любое расхождение считается ничьей. Доля расхождений и сама по себе полезна: если она высокая, судья или рубрика слишком расплывчаты. Обратите внимание на max_tokens=4000: у моделей с рассуждениями размышления входят в лимит, и при низком потолке получаются пустые ответы, похожие на ошибки. См. почему модели с рассуждениями возвращают пустые ответы.

Какая разница действительно значима?

Результаты eval — это выборка. Для доли прохождения p на n случаях стандартная ошибка равна √(p × (1 − p) ÷ n), а погрешность при 95% доверии — примерно вдвое больше.

Случаев Доля прохождения Погрешность (95%)
50 80% около ±11 пунктов
100 80% около ±8 пунктов
200 80% около ±6 пунктов
400 80% около ±4 пунктов

Значит, модель с результатом 82% против 79% на 100 случаях не доказала своего превосходства. Смотрите лучше на различия по отдельным случаям: какие случаи перешли из «прошёл» в «не прошёл»? Они говорят больше, чем итоговые цифры, а на критичных случаях одно такое изменение может решить вопрос о переходе.

Каким должно быть правило принятия решения?

Запишите его до запуска eval, чтобы результат не мог его подогнуть. Практичный шаблон:

  1. Ни одной регрессии на случаях, помеченных как критичные.
  2. Общая доля прохождения не ниже, чем у текущей модели, больше чем на погрешность.
  3. Задержка p95 в пределах вашего бюджета; как её измерять, см. в статье TTFT и пропускная способность.
  4. Стоимость успешного случая ниже или выше лишь на сумму, о которой вы договорились, что она стоит прироста качества. Посчитайте месячную разницу в калькуляторе стоимости LLM API.
  5. Теневой период: отправляйте долю живого трафика на новую модель, логируйте обе и сравнивайте, прежде чем переключаться.

Тот же eval-набор — отправная точка, если вы думаете о собственной модели: в статье перед дообучением разобрано, когда достаточно промптов и поиска.

Место BroadNet Inference

BroadNet Inference обслуживает несколько семейств моделей за одним OpenAI-совместимым эндпоинтом, в том числе DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, поэтому кандидаты и судья из другого семейства могут работать через один клиент и ключ. Каждый ответ содержит расход токенов для сравнения стоимости, а новые аккаунты получают стартовый грант $5; без пополнения баланса этот грант работает только для Gemma 4 VL 26B, поэтому для сравнения более крупных моделей запланируйте небольшое пополнение. Обвязки для оценки или готовых инструментов для судьи нет; код выше вы запускаете сами. Для задач на арабском языке список того, что тестировать, есть в статье Как выбрать LLM для арабского. Цены рядом — на странице сравнения.

Вопросы и ответы

Сколько примеров нужно в eval-наборе для LLM?

Пятидесяти хватит, чтобы поймать крупные регрессии; 200 — чтобы увидеть различия порядка 5–10 пунктов. Охват важнее размера, поэтому включите все типы задач и известные вам проблемные случаи.

Насколько надёжен LLM в роли судьи?

Отчасти. В исследовании MT-Bench сильные судьи совпадали с предпочтениями людей более чем в 80% случаев — примерно так же часто, как люди совпадали друг с другом. Но у них же обнаружились позиционный перекос, перекос в пользу многословности и в пользу своих ответов, поэтому устраняйте перекосы и выборочно проверяйте судью.

Должна ли модель-судья совпадать с тестируемой моделью?

Нет. Судьи склонны предпочитать ответы, похожие на их собственные. Берите судью из другого семейства моделей и фиксируйте одну его версию на всё сравнение.

Что такое позиционный перекос при оценке LLM?

Судья предпочитает ответ, показанный первым (или вторым), независимо от качества. Лечится это так: каждую пару оценивают дважды, меняя порядок, и засчитывают победу только когда оба порядка согласны.

Нужно ли сравнивать цену и задержку в том же eval?

Да. Логируйте токены и время для каждого вызова в eval. Модель, которая набирает на два пункта больше при втрое большей цене или задержке, всё равно может оказаться неудачной заменой.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity