BroadRouter
Loslegen

Logprobs (Log-Wahrscheinlichkeiten)

Aktualisiert

Logprobs sind die logarithmierten Wahrscheinlichkeiten, die ein Sprachmodell den von ihm erzeugten Tokens zugewiesen hat. Eine API, die sie zurückgibt, zeigt für jedes Output-Token, wie wahrscheinlich das Modell es fand, und auf Wunsch die wahrscheinlichsten alternativen Tokens an dieser Stelle.

Auch genannt: Logprobs, Log-Wahrscheinlichkeiten, logarithmierte Wahrscheinlichkeiten, Token-Wahrscheinlichkeiten, log probabilities, token log probabilities, top_logprobs, token probabilities

Jedes Token, das ein Modell schreibt, wird aus einer Wahrscheinlichkeitsverteilung gezogen. Logprobs legen diese Verteilung offen, Token für Token.

So funktioniert es

Bei jedem Schritt bewertet das Modell jedes Token in seinem Vokabular und wandelt die Scores in Wahrscheinlichkeiten um. Die API kann den natürlichen Logarithmus der Wahrscheinlichkeit des gewählten Tokens melden. Logarithmen werden verwendet, weil die rohen Zahlen sehr klein werden; Logarithmen zu addieren entspricht dem Multiplizieren von Wahrscheinlichkeiten.

In der Chat Completions API von OpenAI fordern Sie sie mit zwei Feldern in der Anfrage an:

  • logprobs: true gibt für jedes Output-Token eine Log-Wahrscheinlichkeit zurück.
  • top_logprobs ist „an integer between 0 and 20“ (Übersetzung: „eine Ganzzahl zwischen 0 und 20“) und legt fest, wie viele wahrscheinliche Alternativen an jeder Position aufgelistet werden. Es setzt logprobs: true voraus.

Jeder Eintrag in choices[0].logprobs.content enthält das token, seinen logprob, seine UTF-8-bytes und eine top_logprobs-Liste. Umrechnen können Sie mit exp(logprob):

Logprob Wahrscheinlichkeit
0 1,00
-0,105 etwa 0,90
-0,693 etwa 0,50
-2,303 etwa 0,10

Warum es wichtig ist

Das Cookbook von OpenAI nennt praktische Einsatzzwecke:

  • Konfidenz bei Klassifizierung. Fragen Sie nach einem Label aus einem Wort und lesen Sie den Logprob dieses Tokens. Fälle mit niedriger Konfidenz geben Sie an einen Menschen weiter.
  • Prüfungen beim Retrieval. Fragen Sie, ob der gelieferte Kontext die Frage beantwortet, und verwenden Sie die Wahrscheinlichkeit von „yes“ als Score. Das Cookbook bringt das mit weniger Halluzinationen in Verbindung.
  • Autovervollständigung. Schlagen Sie das nächste Wort nur vor, wenn das Modell sicher ist.
  • Perplexität. Mitteln Sie die Logprobs einer ganzen Antwort, kehren Sie das Vorzeichen um und nehmen Sie e hoch dieses Ergebnis. Eine niedrigere Perplexität bedeutet, dass das Modell den Text vorhersehbarer fand.

Logprobs machen auch das Sampling sichtbar. Eine höhere Temperatur oder ein höheres Top-p lässt Tokens mit geringerer Wahrscheinlichkeit durch, und die Logprobs zeigen das. Sie sind eine günstige Ergänzung zu einem Schritt mit LLM-as-a-Judge, weil sie ohne zusätzliche Anfrage mit der Antwort kommen.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert logprobs und top_logprobs für kein Modell. Gehen Sie nicht davon aus, dass ein OpenAI-kompatibler Endpoint sie zurückgibt. Senden Sie eine Anfrage mit logprobs: true, prüfen Sie, ob choices[0].logprobs gefüllt ist, und planen Sie einen Fallback ein, etwa einen Judge-Prompt, falls nicht. Die Anleitung zum Python SDK zeigt die Einrichtung des Clients für einen Test.

Häufige Fehler

  • Einen hohen Logprob als Beweis für eine korrekte Tatsache lesen. Er bedeutet nur, dass das Modell dieses Token erwartet hat.
  • Logprobs verschiedener Modelle vergleichen. Tokenizer und Kalibrierung unterscheiden sich, die Zahlen liegen also nicht auf derselben Skala.

Häufige Fragen

Wie rechne ich einen Logprob in einen Prozentwert um?

Nehmen Sie e hoch den Logprob. Ein Logprob von -0,105 ergibt etwa 0,90, also 90 %. Ein Logprob von 0 bedeutet, dass das Modell dem Token die Wahrscheinlichkeit 1 gegeben hat.

Zeigen Logprobs, ob die Antwort stimmt?

Nein. Sie messen, wie sicher sich das Modell bei seiner Formulierung war, nicht ob die Tatsache korrekt ist. Ein Modell kann sich sicher und trotzdem im Irrtum sein.

Gibt BroadNet Inference Logprobs zurück?

Die API-Referenz von BroadNet dokumentiert logprobs nicht. Senden Sie eine Testanfrage mit logprobs auf true und prüfen Sie die Antwort, bevor Sie darauf aufbauen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen