BroadRouter
Loslegen

Seed-Parameter

Aktualisiert

Der Seed-Parameter ist eine Ganzzahl, die Sie mit einer Anfrage senden, damit die API versucht, bei einer Wiederholung derselben Anfrage dieselben Tokens zu ziehen. OpenAI beschreibt das als Best Effort: Determinismus ist nicht garantiert, und das Feld system_fingerprint zeigt, wann sich die Backend-Konfiguration geändert hat.

Auch genannt: Seed, Zufallsseed, Random Seed, reproduzierbare Ausgaben, deterministische Ausgaben, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Sampling ist mit Absicht zufällig. Ein Seed legt den Zufall fest, damit ein erneuter Lauf eine Chance hat, dem ersten zu entsprechen.

So funktioniert es

Liegt die Temperatur über null, zieht der Server jedes nächste Token zufällig aus der Verteilung des Modells. Ein Zufallszahlengenerator steuert diese Ziehungen. Legen Sie seinen Startwert fest, den Seed, sollte dieselbe Anfrage dieselben Ziehungen machen.

Die Referenz von OpenAI kennzeichnet seed als Beta. Das Cookbook schreibt: „our system will make a best effort to sample deterministically“ (Übersetzung: „unser System bemüht sich nach besten Kräften, deterministisch zu samplen“). Für übereinstimmende Ausgaben sollen diese Werte über alle Anfragen hinweg gleich bleiben:

  • die seed-Ganzzahl,
  • der Prompt und die Nachrichten,
  • temperature, top_p und max_tokens.

Die Antwort enthält system_fingerprint, das laut OpenAI „represents the backend configuration that the model runs with“ (Übersetzung: „die Backend-Konfiguration darstellt, mit der das Modell läuft“). Ändert es sich zwischen zwei Läufen, sollten Sie selbst mit demselben Seed andere Ausgaben erwarten.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Server für offene Modelle haben denselben Regler. SamplingParams von vLLM hat seed, „Random seed to use for the generation“ (Übersetzung: „Zufallsseed für die Generierung“), standardmäßig ohne Wert.

Warum es wichtig ist

  • Evals. Wenn Sie in einem Eval Prompts oder Modelle vergleichen, verringert ein fester Seed das Rauschen zwischen Läufen. Ziehen Sie trotzdem mehrere Stichproben; Best Effort ist keine Garantie.
  • Debugging. Mit einem Seed lässt sich eine seltsame Antwort leichter reproduzieren.
  • Caching. Wenn Sie Antworten cachen, nehmen Sie den Seed in den Cache-Key auf, wie es der Beitrag zum Response-Caching tut.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert weder seed noch system_fingerprint. Testen Sie den Parameter, bevor Sie sich darauf verlassen: Senden Sie dieselbe Anfrage mit Seed fünfmal und vergleichen Sie die Ausgaben. Unterscheiden sie sich, senken Sie die Temperatur, speichern Sie die Ausgaben, die Sie brauchen, und evaluieren Sie auf mehreren Stichproben statt auf einer. Die Migrationsanleitung führt seed unter den OpenAI-Feldern auf, die Sie testen oder entfernen sollten.

Häufige Fehler

  • Einen Seed als Versprechen für byte-identischen Output verstehen.
  • Zwischen den Läufen max_tokens oder den System-Prompt ändern und dem Seed die Schuld am Unterschied geben.

Häufige Fragen

Liefert derselbe Seed immer dieselbe Antwort?

Nein. OpenAI schreibt „Determinism is not guaranteed“ (Übersetzung: „Determinismus ist nicht garantiert“) und dass es „a small chance that responses differ“ (Übersetzung: „eine geringe Wahrscheinlichkeit, dass Antworten sich unterscheiden“) gibt, selbst wenn Parameter und system_fingerprint übereinstimmen.

Ist Temperatur 0 dasselbe wie ein gesetzter Seed?

Nicht ganz. Eine niedrige Temperatur macht das wahrscheinlichste Token sehr wahrscheinlich; ein Seed legt die Zufallsziehungen fest. Viele Teams nutzen beides, aber keines allein garantiert identischen Output.

Unterstützt BroadNet Inference seed?

Die API-Referenz von BroadNet dokumentiert weder seed noch system_fingerprint. Senden Sie dieselbe Anfrage mit Seed mehrmals und vergleichen Sie, bevor Sie sich darauf verlassen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen