Sampling ist mit Absicht zufällig. Ein Seed legt den Zufall fest, damit ein erneuter Lauf eine Chance hat, dem ersten zu entsprechen.
So funktioniert es
Liegt die Temperatur über null, zieht der Server jedes nächste Token zufällig aus der Verteilung des Modells. Ein Zufallszahlengenerator steuert diese Ziehungen. Legen Sie seinen Startwert fest, den Seed, sollte dieselbe Anfrage dieselben Ziehungen machen.
Die Referenz von OpenAI kennzeichnet seed als Beta. Das Cookbook schreibt: „our system will make a best effort to sample deterministically“ (Übersetzung: „unser System bemüht sich nach besten Kräften, deterministisch zu samplen“). Für übereinstimmende Ausgaben sollen diese Werte über alle Anfragen hinweg gleich bleiben:
- die
seed-Ganzzahl, - der Prompt und die Nachrichten,
temperature, top_p undmax_tokens.
Die Antwort enthält system_fingerprint, das laut OpenAI „represents the backend configuration that the model runs with“ (Übersetzung: „die Backend-Konfiguration darstellt, mit der das Modell läuft“). Ändert es sich zwischen zwei Läufen, sollten Sie selbst mit demselben Seed andere Ausgaben erwarten.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Server für offene Modelle haben denselben Regler. SamplingParams von vLLM hat seed, „Random seed to use for the generation“ (Übersetzung: „Zufallsseed für die Generierung“), standardmäßig ohne Wert.
Warum es wichtig ist
- Evals. Wenn Sie in einem Eval Prompts oder Modelle vergleichen, verringert ein fester Seed das Rauschen zwischen Läufen. Ziehen Sie trotzdem mehrere Stichproben; Best Effort ist keine Garantie.
- Debugging. Mit einem Seed lässt sich eine seltsame Antwort leichter reproduzieren.
- Caching. Wenn Sie Antworten cachen, nehmen Sie den Seed in den Cache-Key auf, wie es der Beitrag zum Response-Caching tut.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert weder seed noch system_fingerprint. Testen Sie den Parameter, bevor Sie sich darauf verlassen: Senden Sie dieselbe Anfrage mit Seed fünfmal und vergleichen Sie die Ausgaben. Unterscheiden sie sich, senken Sie die Temperatur, speichern Sie die Ausgaben, die Sie brauchen, und evaluieren Sie auf mehreren Stichproben statt auf einer. Die Migrationsanleitung führt seed unter den OpenAI-Feldern auf, die Sie testen oder entfernen sollten.
Häufige Fehler
- Einen Seed als Versprechen für byte-identischen Output verstehen.
- Zwischen den Läufen max_tokens oder den System-Prompt ändern und dem Seed die Schuld am Unterschied geben.