Jedes Token, das ein Modell schreibt, wird aus einer Wahrscheinlichkeitsverteilung gezogen. Logprobs legen diese Verteilung offen, Token für Token.
So funktioniert es
Bei jedem Schritt bewertet das Modell jedes Token in seinem Vokabular und wandelt die Scores in Wahrscheinlichkeiten um. Die API kann den natürlichen Logarithmus der Wahrscheinlichkeit des gewählten Tokens melden. Logarithmen werden verwendet, weil die rohen Zahlen sehr klein werden; Logarithmen zu addieren entspricht dem Multiplizieren von Wahrscheinlichkeiten.
In der Chat Completions API von OpenAI fordern Sie sie mit zwei Feldern in der Anfrage an:
logprobs: truegibt für jedes Output-Token eine Log-Wahrscheinlichkeit zurück.top_logprobsist „an integer between 0 and 20“ (Übersetzung: „eine Ganzzahl zwischen 0 und 20“) und legt fest, wie viele wahrscheinliche Alternativen an jeder Position aufgelistet werden. Es setztlogprobs: truevoraus.
Jeder Eintrag in choices[0].logprobs.content enthält das token, seinen logprob, seine UTF-8-bytes und eine top_logprobs-Liste. Umrechnen können Sie mit exp(logprob):
| Logprob | Wahrscheinlichkeit |
|---|---|
| 0 | 1,00 |
| -0,105 | etwa 0,90 |
| -0,693 | etwa 0,50 |
| -2,303 | etwa 0,10 |
Warum es wichtig ist
Das Cookbook von OpenAI nennt praktische Einsatzzwecke:
- Konfidenz bei Klassifizierung. Fragen Sie nach einem Label aus einem Wort und lesen Sie den Logprob dieses Tokens. Fälle mit niedriger Konfidenz geben Sie an einen Menschen weiter.
- Prüfungen beim Retrieval. Fragen Sie, ob der gelieferte Kontext die Frage beantwortet, und verwenden Sie die Wahrscheinlichkeit von „yes“ als Score. Das Cookbook bringt das mit weniger Halluzinationen in Verbindung.
- Autovervollständigung. Schlagen Sie das nächste Wort nur vor, wenn das Modell sicher ist.
- Perplexität. Mitteln Sie die Logprobs einer ganzen Antwort, kehren Sie das Vorzeichen um und nehmen Sie e hoch dieses Ergebnis. Eine niedrigere Perplexität bedeutet, dass das Modell den Text vorhersehbarer fand.
Logprobs machen auch das Sampling sichtbar. Eine höhere Temperatur oder ein höheres Top-p lässt Tokens mit geringerer Wahrscheinlichkeit durch, und die Logprobs zeigen das. Sie sind eine günstige Ergänzung zu einem Schritt mit LLM-as-a-Judge, weil sie ohne zusätzliche Anfrage mit der Antwort kommen.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert logprobs und top_logprobs für kein Modell. Gehen Sie nicht davon aus, dass ein OpenAI-kompatibler Endpoint sie zurückgibt. Senden Sie eine Anfrage mit logprobs: true, prüfen Sie, ob choices[0].logprobs gefüllt ist, und planen Sie einen Fallback ein, etwa einen Judge-Prompt, falls nicht. Die Anleitung zum Python SDK zeigt die Einrichtung des Clients für einen Test.
Häufige Fehler
- Einen hohen Logprob als Beweis für eine korrekte Tatsache lesen. Er bedeutet nur, dass das Modell dieses Token erwartet hat.
- Logprobs verschiedener Modelle vergleichen. Tokenizer und Kalibrierung unterscheiden sich, die Zahlen liegen also nicht auf derselben Skala.