BroadRouter
Inizia

Parametro seed

Aggiornato

Il parametro seed è un intero che invii con una richiesta perché l’API provi a campionare gli stessi token quando la stessa richiesta viene ripetuta. OpenAI lo descrive come best effort: il determinismo non è garantito, e il campo system_fingerprint indica quando la configurazione del backend è cambiata.

Detto anche: seed, parametro seed, seed casuale, output riproducibili, output deterministici, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Il campionamento è casuale di proposito. Un seed fissa la casualità, così una nuova esecuzione ha qualche possibilità di coincidere con la prima.

Come funziona

Quando la temperatura è sopra zero, il server estrae a caso ogni token successivo dalla distribuzione del modello. Quelle estrazioni sono guidate da un generatore di numeri casuali. Se fissi il suo valore iniziale, il seed, la stessa richiesta dovrebbe produrre le stesse estrazioni.

Il riferimento di OpenAI segna seed come Beta. Il cookbook dice “our system will make a best effort to sample deterministically” (traduzione: il nostro sistema farà del suo meglio per campionare in modo deterministico). Per ottenere output coincidenti indica di mantenere uguali tra le richieste:

  • l’intero seed,
  • il prompt e i messaggi,
  • temperature, top_p e max_tokens.

La risposta include system_fingerprint, che secondo OpenAI “represents the backend configuration that the model runs with” (traduzione: rappresenta la configurazione del backend con cui gira il modello). Se cambia tra due esecuzioni, aspettati output diversi anche con lo stesso seed.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

I server per modelli open hanno la stessa manopola. I SamplingParams di vLLM hanno seed, “Random seed to use for the generation” (seed casuale da usare per la generazione), senza valore predefinito.

Perché è importante

  • Eval. Quando confronti prompt o modelli in un’eval, un seed fisso riduce il rumore tra le esecuzioni. Usa comunque più campioni: “best effort” non è una garanzia.
  • Debug. Una richiesta con seed rende più facile riprodurre una risposta strana.
  • Cache. Se metti in cache le risposte, includi il seed nella chiave della cache, come fa l’articolo sul caching delle risposte.

Su BroadNet Inference

Il riferimento API di BroadNet non documenta seed né system_fingerprint. Provalo prima di farci affidamento: invia cinque volte la stessa richiesta con seed e confronta gli output. Se cambiano, abbassa la temperatura, salva gli output che ti servono e valuta su più campioni invece che su uno solo. La guida passo passo alla migrazione elenca seed tra i campi OpenAI da provare o rimuovere.

Errori comuni

  • Considerare un seed come la promessa di un output identico byte per byte.
  • Cambiare max_tokens o il system prompt tra un’esecuzione e l’altra e poi dare la colpa della differenza al seed.

Domande frequenti

Lo stesso seed dà sempre la stessa risposta?

No. OpenAI dice "Determinism is not guaranteed" (il determinismo non è garantito) e che c’è "a small chance that responses differ" (una piccola probabilità che le risposte differiscano) anche quando parametri e system_fingerprint coincidono.

Temperatura 0 equivale a impostare un seed?

Non esattamente. Una temperatura bassa rende molto probabile il token in cima; un seed fissa le estrazioni casuali. Molti team usano entrambi, ma nessuno dei due da solo garantisce un output identico.

BroadNet Inference supporta seed?

Il riferimento API di BroadNet non documenta seed né system_fingerprint. Invia più volte la stessa richiesta con seed e confronta i risultati prima di farci affidamento.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity