Die Temperatur ist der Regler zwischen „immer dieselbe Antwort“ und „jedes Mal eine andere Antwort“.
So funktioniert es
Ein Modell berechnet für jedes Token, das es als Nächstes schreiben könnte, einen Score (ein Logit). Eine Softmax-Funktion macht aus den Scores Wahrscheinlichkeiten. Die Temperatur teilt vorher jeden Score. Hinton und Kollegen schreiben die Softmax mit diesem T und halten fest: „using a higher value for T produces a softer probability distribution over classes“ (Übersetzung: „ein höherer Wert für T erzeugt eine weichere Wahrscheinlichkeitsverteilung über die Klassen“).
- T unter 1 schärft die Verteilung. Das wahrscheinlichste Token gewinnt öfter.
- T = 1 lässt die Wahrscheinlichkeiten so, wie das Modell trainiert wurde.
- T über 1 glättet sie. Seltene Tokens werden öfter gewählt.
- T nahe 0 nähert sich dem Greedy Decoding: Es wird immer das wahrscheinlichste Token genommen.
Die API von OpenAI akzeptiert Werte „between 0 and 2“ (Übersetzung: „zwischen 0 und 2“) mit dem Standardwert 1. Laut Referenz macht 0,8 den Output „more random“ (Übersetzung: „zufälliger“) und 0,2 „more focused and deterministic“ (Übersetzung: „fokussierter und deterministischer“). Sie empfiehlt außerdem „altering this or top_p but not both“ (Übersetzung: „diesen Wert oder top_p zu ändern, aber nicht beide“), weil Top-p ein zweiter Weg ist, den Zufall zu begrenzen.
Offene Modelle bringen oft eigene Standardwerte mit. Hugging Face Transformers liest die Temperatur aus der generation_config.json eines Modells und fällt auf 1.0 zurück, wenn sie fehlt. Ein Serving-Stack kann den einen oder den anderen Wert nutzen.
Warum es wichtig ist
- Wiederholbarkeit. Extraktion, Routing und strukturierte Ausgabe brauchen stabile Antworten. Eine niedrigere Temperatur verringert die Schwankung zwischen Läufen.
- Qualität. Ist sie zu hoch, driftet das Modell in seltsame Wortwahl oder erfundene Details ab, was Halluzinationen begünstigt. Ist sie zu niedrig, können lange Texte in Schleifen geraten: Hugging Face merkt an, dass Greedy Decoding bei längeren Sequenzen „begins to repeat itself“ (Übersetzung: „beginnt, sich zu wiederholen“).
- Evaluierung. Wenn Sie Modelle vergleichen, halten Sie die Temperatur fest. Sonst messen Sie Sampling-Rauschen. Ein Blick auf die Logprobs zeigt, wie viel Spielraum das Modell hatte.
Die Temperatur ändert weder Preis noch Geschwindigkeit. Ein Token kostet bei jeder Einstellung gleich viel.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert temperature nicht, weder den erlaubten Bereich noch den Standardwert, für kein Modell. Die Beispielanfragen setzen den Parameter nicht. Da die API OpenAI-kompatibel ist, senden SDKs das Feld mit, aber ob jedes Modell es berücksichtigt, ist nicht angegeben. Setzen Sie den Wert ausdrücklich und führen Sie denselben Prompt mehrmals aus, um die Streuung zu sehen. Die Anleitung zum OpenAI Python SDK zeigt die Einrichtung des Clients.
Häufige Fehler
- Temperatur 0 verwenden und davon ausgehen, dass der Output für immer identisch bleibt. Speichern Sie Antworten, die Sie reproduzieren müssen.
- Die Temperatur erhöhen, um eine falsche Antwort zu reparieren. Ein besserer Prompt oder mehr Kontext verbessert die Genauigkeit; die Temperatur ändert nur die Vielfalt.