BroadRouter
Começar

Parâmetro seed

Atualizado em

O parâmetro seed é um inteiro que você envia com a requisição para que a API tente amostrar os mesmos tokens quando a mesma requisição for repetida. A OpenAI o descreve como best effort: o determinismo não é garantido, e o campo system_fingerprint mostra quando a configuração do backend mudou.

Também chamado de: seed, parâmetro seed, semente aleatória, saídas reproduzíveis, saídas determinísticas, random seed, reproducible outputs, deterministic outputs, system_fingerprint

A amostragem é aleatória de propósito. Uma seed fixa essa aleatoriedade para que uma nova execução tenha chance de bater com a primeira.

Como funciona

Quando a temperatura está acima de zero, o servidor sorteia cada próximo token a partir da distribuição do modelo. Um gerador de números aleatórios conduz esses sorteios. Fixe o valor inicial dele, a seed, e a mesma requisição deve fazer os mesmos sorteios.

A referência da OpenAI marca seed como Beta. O cookbook diz “our system will make a best effort to sample deterministically” (tradução: nosso sistema fará o possível para amostrar de forma determinística). Para obter saídas iguais, ele orienta manter isto igual entre as requisições:

  • o inteiro seed,
  • o prompt e as mensagens,
  • temperature, top_p e max_tokens.

A resposta inclui system_fingerprint, que segundo a OpenAI “represents the backend configuration that the model runs with” (tradução: representa a configuração de backend com que o modelo roda). Se ele mudar entre duas execuções, espere saídas diferentes mesmo com a mesma seed.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Servidores de modelos abertos têm o mesmo controle. Os SamplingParams do vLLM têm seed, “Random seed to use for the generation” (seed aleatória a usar na geração), sem valor padrão.

Por que isso importa

  • Evals. Quando você compara prompts ou modelos em uma eval, uma seed fixa reduz o ruído entre execuções. Mesmo assim, rode várias amostras; best effort não é garantia.
  • Depuração. Uma requisição com seed facilita reproduzir uma resposta estranha.
  • Cache. Se você guarda respostas em cache, inclua a seed na chave do cache, como faz o post sobre cache de respostas.

Na BroadNet Inference

A referência da API da BroadNet não documenta seed nem system_fingerprint. Teste antes de depender disso: envie a mesma requisição com seed cinco vezes e compare as saídas. Se forem diferentes, baixe a temperatura, guarde as saídas de que precisa e avalie com várias amostras em vez de uma só. O passo a passo da migração lista seed entre os campos da OpenAI a testar ou remover.

Erros comuns

  • Tratar uma seed como promessa de saída idêntica byte a byte.
  • Mudar max_tokens ou o system prompt entre execuções e culpar a seed pela diferença.

Perguntas frequentes

A mesma seed sempre dá a mesma resposta?

Não. A OpenAI diz "Determinism is not guaranteed" (o determinismo não é garantido) e que há "a small chance that responses differ" (uma pequena chance de as respostas serem diferentes) mesmo quando os parâmetros e o system_fingerprint coincidem.

Temperatura 0 é o mesmo que definir uma seed?

Não exatamente. Uma temperatura baixa torna o token do topo muito provável; uma seed fixa os sorteios aleatórios. Muitas equipes usam as duas coisas, mas nenhuma delas sozinha garante saída idêntica.

A BroadNet Inference suporta seed?

A referência da API da BroadNet não documenta seed nem system_fingerprint. Envie a mesma requisição com seed várias vezes e compare antes de depender dela.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity