BroadRouter
Loslegen

Top-p (Nucleus Sampling)

Aktualisiert

Top-p, auch Nucleus Sampling genannt, ist ein Decoding-Verfahren, bei dem ein Sprachmodell das nächste Token nur aus der kleinsten Menge der wahrscheinlichsten Tokens zieht, deren gemeinsame Wahrscheinlichkeit einen Schwellenwert p erreicht, etwa 0,9. Der unwahrscheinliche Rest wird verworfen.

Auch genannt: Top-p, Nucleus Sampling, Top-p-Sampling, Nukleus-Sampling, nucleus sampling, top_p, top-p sampling

Top-p legt fest, welche Tokens überhaupt in die Auswahl kommen, bevor das Modell eines zieht.

So funktioniert es

Holtzman und Kollegen haben Nucleus Sampling 2019 eingeführt. Sie definieren das Top-p-Vokabular als die kleinste Menge an Tokens, deren kumulierte Wahrscheinlichkeit mindestens p beträgt. Jedes Token außerhalb dieser Menge erhält die Wahrscheinlichkeit null. Die übrigen werden so skaliert, dass sie zusammen eins ergeben, und das nächste Token wird aus ihnen gezogen. Ihre Hauptergebnisse verwenden p = 0,95.

Die Menge ändert bei jedem Schritt ihre Größe:

Verteilung für das nächste Token Behaltene Tokens bei p = 0,9
Ein Token mit 0,95 1
Vier Tokens mit 0,3, 0,3, 0,2 und 0,15 4
Eine lange, flache Verteilung viele

Genau darum geht es bei der Methode. Das Paper argumentiert, dass der „less reliable tail“ (Übersetzung: „weniger verlässliche Rest“) der Verteilung degenerierten Text verursacht und dass man durch das Abschneiden abwechslungsreichen Output erhält, ohne an Kohärenz zu verlieren. Ein festes Top-k kann sich so nicht anpassen: Es behält dieselbe Anzahl, ob das Modell sicher oder unsicher ist.

In der API von OpenAI hat top_p den Standardwert 1, also keinen Schnitt. Die Referenz nennt als Beispiel: „0.1 means only the tokens comprising the top 10% probability mass are considered“ (Übersetzung: „0.1 bedeutet, dass nur die Tokens berücksichtigt werden, die die obersten 10 % der Wahrscheinlichkeitsmasse ausmachen“). Auch Hugging Face Transformers nutzt standardmäßig 1.0, sofern die generation_config.json des Modells keinen anderen Wert setzt.

Warum es wichtig ist

  • Weniger seltsame Tokens. Wer den Rest abschneidet, entfernt die seltenen Treffer, die Text abdriften lassen. Das zählt bei langen Antworten und beim Risiko von Halluzinationen.
  • Zusammenspiel mit der Temperatur. Die Temperatur wirkt auf die Scores; Top-p beschneidet danach das Ergebnis. Wer beides gleichzeitig justiert, kann das Verhalten kaum noch vorhersagen. Deshalb rät OpenAI, nur eines von beiden zu ändern.
  • Debugging. Zeigen die Logprobs, dass das Modell ein Token mit geringer Wahrscheinlichkeit gewählt hat, hätte ein niedrigeres Top-p es blockiert.

Top-p ändert den Preis nicht. Jedes erzeugte Token wird gleich abgerechnet.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert weder top_p noch top_k noch deren Standardwerte. Die Beispielanfragen setzen keinen der beiden Parameter. Ein OpenAI-SDK reicht top_p durch, aber ob ein bestimmtes Modell den Wert anwendet, ist nicht angegeben. Testen Sie ihn also mit Ihren eigenen Prompts, bevor Sie sich darauf verlassen. Siehe die Anleitung zum Python SDK und den Beitrag zur Evaluierung eines Modells vor dem Wechsel, der erklärt, warum die Sampling-Einstellungen während eines Vergleichs fest bleiben müssen.

Häufige Fehler

  • top_p und die Temperatur zusammen justieren und dann nicht wissen, welcher Wert das Ergebnis verändert hat.
  • Sampling-Einstellungen von einem Modell auf ein anderes übertragen. Die empfohlenen Werte unterscheiden sich je nach Modell.

Häufige Fragen

Was ist der Unterschied zwischen Top-p und Temperatur?

Die Temperatur verändert alle Token-Wahrscheinlichkeiten. Top-p schneidet den unwahrscheinlichen Rest ab und zieht aus dem, was übrig bleibt. OpenAI empfiehlt, entweder das eine oder das andere zu ändern, nicht beides.

Was ist der Unterschied zwischen Top-p und Top-k?

Top-k behält eine feste Anzahl Tokens, etwa 50. Top-p behält so viele Tokens, wie nötig sind, um den Wahrscheinlichkeitsschwellenwert zu erreichen. Die Menge ist also klein, wenn das Modell sicher ist, und groß, wenn es unsicher ist.

Dokumentiert BroadNet top_p?

Nein. Die API-Referenz von BroadNet nennt top_p und dessen Standardwert für kein Modell. Setzen Sie den Wert in der Anfrage und testen Sie die Wirkung selbst.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen