BroadRouter

Top-p (nucleus sampling)

Mis à jour

Le top-p, aussi appelé nucleus sampling (échantillonnage par noyau), est une méthode de décodage dans laquelle un modèle de langage tire le token suivant uniquement dans le plus petit ensemble de tokens les plus probables dont la probabilité cumulée atteint un seuil p, par exemple 0,9, et écarte la traîne improbable.

Aussi appelé : top-p, nucleus sampling, échantillonnage par noyau, échantillonnage top-p, top_p, top-p sampling

Le top-p décide quels tokens ont le droit d’entrer dans le tirage avant que le modèle n’en choisisse un.

Comment ça marche

Holtzman et ses coauteurs ont introduit le nucleus sampling en 2019. Ils définissent le vocabulaire top-p comme le plus petit ensemble de tokens dont la probabilité cumulée vaut au moins p. Tout token hors de cet ensemble reçoit une probabilité nulle. Les autres sont remis à l’échelle pour que leur somme fasse un, et le token suivant est tiré parmi eux. Leurs principaux résultats utilisent p = 0,95.

L’ensemble change de taille à chaque étape :

Distribution du token suivant Tokens conservés avec p = 0,9
Un token à 0,95 1
Quatre tokens à 0,3, 0,3, 0,2 et 0,15 4
Une longue distribution plate beaucoup

C’est tout l’intérêt de la méthode. L’article soutient que la « less reliable tail » (traduction : « traîne moins fiable ») de la distribution produit du texte dégénéré, et que la couper donne une sortie variée sans perdre en cohérence. Un top-k fixe ne peut pas s’adapter ainsi : il garde le même nombre de tokens, que le modèle soit sûr de lui ou non.

Dans l’API d’OpenAI, top_p vaut 1 par défaut, c’est-à-dire aucune coupe. La référence donne l’exemple suivant : « 0.1 means only the tokens comprising the top 10% probability mass are considered » (traduction : « 0.1 signifie que seuls les tokens qui composent les 10 % supérieurs de la masse de probabilité sont pris en compte »). Hugging Face Transformers utilise aussi 1.0 par défaut, sauf si le generation_config.json du modèle fixe une autre valeur.

Pourquoi c’est important

  • Moins de tokens étranges. Couper la traîne supprime les choix rares qui font dériver le texte, ce qui compte pour les réponses longues et pour le risque d’hallucination.
  • Interaction avec la température. La température s’applique aux scores ; le top-p rogne ensuite le résultat. Régler les deux à la fois rend le comportement difficile à prévoir, c’est pourquoi OpenAI suggère de n’en modifier qu’un.
  • Débogage. Si les logprobs montrent que le modèle a choisi un token peu probable, un top-p plus bas l’aurait bloqué.

Le top-p ne change pas le prix. Chaque token généré est facturé de la même façon.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente ni top_p, ni top_k, ni leurs valeurs par défaut. Ses exemples de requêtes ne définissent ni l’un ni l’autre. Un SDK OpenAI transmettra top_p, mais rien n’indique si un modèle donné l’applique : testez donc sur vos propres prompts avant de vous y fier. Consultez le guide du SDK Python et l’article sur l’évaluation d’un modèle avant de changer, qui explique pourquoi les paramètres d’échantillonnage doivent rester fixes pendant une comparaison.

Erreurs fréquentes

  • Régler top_p et la température ensemble, puis ne plus savoir lequel a changé le résultat.
  • Copier les paramètres d’échantillonnage d’un modèle à l’autre. Les valeurs recommandées diffèrent selon le modèle.

Questions fréquentes

Quelle est la différence entre top-p et température ?

La température remodèle toutes les probabilités des tokens. Le top-p coupe la traîne improbable et tire parmi ce qui reste. OpenAI recommande de modifier l’un ou l’autre, pas les deux.

Quelle est la différence entre top-p et top-k ?

Le top-k garde un nombre fixe de tokens, par exemple 50. Le top-p garde autant de tokens qu’il en faut pour atteindre le seuil de probabilité : l’ensemble est petit quand le modèle est sûr de lui, et grand quand il hésite.

BroadNet documente-t-il top_p ?

Non. La référence de l’API de BroadNet n’indique top_p ni sa valeur par défaut pour aucun modèle. Définissez-le dans la requête et testez l’effet vous-même.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity