A amostragem é aleatória de propósito. Uma seed fixa essa aleatoriedade para que uma nova execução tenha chance de bater com a primeira.
Como funciona
Quando a temperatura está acima de zero, o servidor sorteia cada próximo token a partir da distribuição do modelo. Um gerador de números aleatórios conduz esses sorteios. Fixe o valor inicial dele, a seed, e a mesma requisição deve fazer os mesmos sorteios.
A referência da OpenAI marca seed como Beta. O cookbook diz “our system will make a best effort to sample deterministically” (tradução: nosso sistema fará o possível para amostrar de forma determinística). Para obter saídas iguais, ele orienta manter isto igual entre as requisições:
- o inteiro
seed, - o prompt e as mensagens,
temperature, top_p emax_tokens.
A resposta inclui system_fingerprint, que segundo a OpenAI “represents the backend configuration that the model runs with” (tradução: representa a configuração de backend com que o modelo roda). Se ele mudar entre duas execuções, espere saídas diferentes mesmo com a mesma seed.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Servidores de modelos abertos têm o mesmo controle. Os SamplingParams do vLLM têm seed, “Random seed to use for the generation” (seed aleatória a usar na geração), sem valor padrão.
Por que isso importa
- Evals. Quando você compara prompts ou modelos em uma eval, uma seed fixa reduz o ruído entre execuções. Mesmo assim, rode várias amostras; best effort não é garantia.
- Depuração. Uma requisição com seed facilita reproduzir uma resposta estranha.
- Cache. Se você guarda respostas em cache, inclua a seed na chave do cache, como faz o post sobre cache de respostas.
Na BroadNet Inference
A referência da API da BroadNet não documenta seed nem system_fingerprint. Teste antes de depender disso: envie a mesma requisição com seed cinco vezes e compare as saídas. Se forem diferentes, baixe a temperatura, guarde as saídas de que precisa e avalie com várias amostras em vez de uma só. O passo a passo da migração lista seed entre os campos da OpenAI a testar ou remover.
Erros comuns
- Tratar uma seed como promessa de saída idêntica byte a byte.
- Mudar max_tokens ou o system prompt entre execuções e culpar a seed pela diferença.