L’échantillonnage est aléatoire par conception. Un seed fige ce hasard pour qu’une nouvelle exécution ait une chance de reproduire la première.
Comment ça marche
Quand la température est supérieure à zéro, le serveur tire chaque token suivant au hasard dans la distribution du modèle. Un générateur de nombres aléatoires pilote ces tirages. Fixez sa valeur de départ, le seed, et la même requête devrait effectuer les mêmes tirages.
La référence d’OpenAI marque seed comme bêta. Le cookbook indique : « our system will make a best effort to sample deterministically » (traduction : « notre système fera de son mieux pour échantillonner de façon déterministe »). Pour obtenir des sorties identiques, il recommande de garder ces éléments inchangés d’une requête à l’autre :
- l’entier
seed, - le prompt et les messages,
temperature, top_p etmax_tokens.
La réponse contient system_fingerprint, qui selon OpenAI « represents the backend configuration that the model runs with » (traduction : « représente la configuration du backend sur laquelle tourne le modèle »). S’il change entre deux exécutions, attendez-vous à des sorties différentes, même avec le même seed.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Les serveurs de modèles ouverts offrent le même réglage. Les SamplingParams de vLLM ont un champ seed, « Random seed to use for the generation » (traduction : « graine aléatoire à utiliser pour la génération »), sans valeur par défaut.
Pourquoi c’est important
- Évaluations. Quand vous comparez des prompts ou des modèles dans une évaluation, un seed fixe réduit le bruit entre exécutions. Faites quand même plusieurs tirages : « best effort » n’est pas une garantie.
- Débogage. Une requête avec seed permet de reproduire plus facilement une réponse étrange.
- Cache. Si vous mettez les réponses en cache, incluez le seed dans la clé de cache, comme le fait l’article sur la mise en cache des réponses.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente ni seed ni system_fingerprint. Testez-le avant de vous y fier : envoyez cinq fois la même requête avec seed et comparez les sorties. Si elles diffèrent, baissez la température, conservez les sorties dont vous avez besoin et évaluez sur plusieurs tirages plutôt qu’un seul. Le guide de migration pas à pas cite seed parmi les champs OpenAI à tester ou à retirer.
Erreurs fréquentes
- Prendre un seed pour une promesse de sortie identique à l’octet près.
- Modifier max_tokens ou le prompt système entre deux exécutions, puis accuser le seed de la différence.