Сэмплирование случайно намеренно. Seed фиксирует эту случайность, чтобы у повторного запуска был шанс совпасть с первым.
Как это работает
Когда температура выше нуля, сервер выбирает каждый следующий токен случайно из распределения модели. Эти выборки задаёт генератор случайных чисел. Зафиксируйте его начальное значение — seed, — и тот же запрос должен пройти через те же выборки.
Справочник OpenAI помечает seed как Beta. В Cookbook сказано: “our system will make a best effort to sample deterministically” (перевод: «наша система приложит все усилия, чтобы сэмплировать детерминированно»). Чтобы получить совпадающие ответы, там советуют держать одинаковыми между запросами:
- целое число
seed, - промпт и сообщения,
temperature, top_p иmax_tokens.
Ответ содержит system_fingerprint, который, по словам OpenAI, “represents the backend configuration that the model runs with” (перевод: «отражает конфигурацию бэкенда, на которой работает модель»). Если он изменился между двумя запусками, ждите разных ответов даже с тем же seed.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
У серверов открытых моделей есть та же ручка. В SamplingParams у vLLM есть seed — “Random seed to use for the generation” (перевод: «случайное зерно для генерации»), по умолчанию не задан.
Почему это важно
- Оценки. Когда вы сравниваете промпты или модели в эвале, фиксированный seed уменьшает шум между запусками. Всё равно делайте несколько прогонов: best effort — не гарантия.
- Отладка. Странный ответ проще воспроизвести, если запрос был с seed.
- Кэширование. Если вы кэшируете ответы, включайте seed в ключ кэша, как в статье о кэшировании ответов.
В BroadNet Inference
Справочник API BroadNet не описывает seed и system_fingerprint. Проверьте его, прежде чем на него полагаться: отправьте один и тот же запрос с seed пять раз и сравните ответы. Если они различаются, понизьте температуру, сохраняйте нужные ответы и оценивайте модель на нескольких прогонах, а не на одном. В пошаговом разборе миграции seed значится среди полей OpenAI, которые нужно проверить или убрать.
Частые ошибки
- Считать seed обещанием побайтово одинакового вывода.
- Менять max_tokens или системный промпт между запусками и винить seed в разнице.