Il campionamento è casuale di proposito. Un seed fissa la casualità, così una nuova esecuzione ha qualche possibilità di coincidere con la prima.
Come funziona
Quando la temperatura è sopra zero, il server estrae a caso ogni token successivo dalla distribuzione del modello. Quelle estrazioni sono guidate da un generatore di numeri casuali. Se fissi il suo valore iniziale, il seed, la stessa richiesta dovrebbe produrre le stesse estrazioni.
Il riferimento di OpenAI segna seed come Beta. Il cookbook dice “our system will make a best effort to sample deterministically” (traduzione: il nostro sistema farà del suo meglio per campionare in modo deterministico). Per ottenere output coincidenti indica di mantenere uguali tra le richieste:
- l’intero
seed, - il prompt e i messaggi,
temperature, top_p emax_tokens.
La risposta include system_fingerprint, che secondo OpenAI “represents the backend configuration that the model runs with” (traduzione: rappresenta la configurazione del backend con cui gira il modello). Se cambia tra due esecuzioni, aspettati output diversi anche con lo stesso seed.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
I server per modelli open hanno la stessa manopola. I SamplingParams di vLLM hanno seed, “Random seed to use for the generation” (seed casuale da usare per la generazione), senza valore predefinito.
Perché è importante
- Eval. Quando confronti prompt o modelli in un’eval, un seed fisso riduce il rumore tra le esecuzioni. Usa comunque più campioni: “best effort” non è una garanzia.
- Debug. Una richiesta con seed rende più facile riprodurre una risposta strana.
- Cache. Se metti in cache le risposte, includi il seed nella chiave della cache, come fa l’articolo sul caching delle risposte.
Su BroadNet Inference
Il riferimento API di BroadNet non documenta seed né system_fingerprint. Provalo prima di farci affidamento: invia cinque volte la stessa richiesta con seed e confronta gli output. Se cambiano, abbassa la temperatura, salva gli output che ti servono e valuta su più campioni invece che su uno solo. La guida passo passo alla migrazione elenca seed tra i campi OpenAI da provare o rimuovere.
Errori comuni
- Considerare un seed come la promessa di un output identico byte per byte.
- Cambiare max_tokens o il system prompt tra un’esecuzione e l’altra e poi dare la colpa della differenza al seed.