BroadRouter
Commencer

Logprobs (log-probabilités)

Mis à jour

Les logprobs sont les log-probabilités qu’un modèle de langage a attribuées aux tokens qu’il a générés. Une API qui les renvoie montre, pour chaque token de sortie, à quel point le modèle le jugeait probable et, en option, les tokens alternatifs les plus probables à cette position.

Aussi appelé : logprobs, log-probabilités, probabilités logarithmiques, probabilités des tokens, log probabilities, token log probabilities, top_logprobs, token probabilities

Chaque token qu’écrit un modèle est tiré d’une distribution de probabilités. Les logprobs exposent cette distribution, un token à la fois.

Comment ça marche

À chaque étape, le modèle attribue un score à chaque token de son vocabulaire et convertit ces scores en probabilités. L’API peut renvoyer le logarithme naturel de la probabilité du token choisi. On utilise des logarithmes parce que les nombres bruts deviennent minuscules ; additionner des logarithmes revient à multiplier des probabilités.

Dans l’API Chat Completions d’OpenAI, vous les demandez avec deux champs de la requête :

  • logprobs: true renvoie une log-probabilité pour chaque token de sortie.
  • top_logprobs est « an integer between 0 and 20 » (traduction : « un entier compris entre 0 et 20 ») qui fixe le nombre d’alternatives probables à lister à chaque position. Il nécessite logprobs: true.

Chaque entrée de choices[0].logprobs.content contient le token, son logprob, ses bytes UTF-8 et une liste top_logprobs. Pour convertir, utilisez exp(logprob) :

logprob probabilité
0 1,00
-0,105 environ 0,90
-0,693 environ 0,50
-2,303 environ 0,10

Pourquoi c’est important

Le cookbook d’OpenAI liste des usages concrets :

  • Confiance d’une classification. Demandez une étiquette d’un seul mot et lisez le logprob de ce token. Confiez les cas peu sûrs à un humain.
  • Contrôles de récupération. Demandez si le contexte fourni répond à la question, et utilisez la probabilité de « yes » comme score. Le cookbook relie cette pratique à la réduction des hallucinations.
  • Autocomplétion. Ne suggérez le mot suivant que si le modèle est confiant.
  • Perplexité. Faites la moyenne des logprobs d’une réponse entière, prenez l’opposé et élevez e à cette puissance. Une perplexité plus basse signifie que le modèle trouvait le texte plus prévisible.

Les logprobs rendent aussi l’échantillonnage visible. Augmenter la température ou le top-p laisse passer des tokens moins probables, et les logprobs le montrent. Ils complètent à peu de frais une étape de LLM-as-a-judge, puisqu’ils arrivent avec la réponse sans requête supplémentaire.

Sur BroadNet Inference

La référence de l’API de BroadNet ne documente logprobs ni top_logprobs pour aucun modèle. Ne supposez pas qu’un endpoint compatible OpenAI les renvoie. Envoyez une requête avec logprobs: true, vérifiez si choices[0].logprobs est rempli, et prévoyez une solution de repli, comme un prompt de juge, si ce n’est pas le cas. Le guide du SDK Python montre la configuration du client pour un test.

Erreurs fréquentes

  • Lire un logprob élevé comme la preuve qu’un fait est exact. Il signifie seulement que le modèle s’attendait à ce token.
  • Comparer les logprobs de modèles différents. Les tokenizers et la calibration diffèrent, les nombres ne sont donc pas sur la même échelle.

Questions fréquentes

Comment convertir un logprob en pourcentage ?

Prenez e à la puissance du logprob. Un logprob de -0,105 donne environ 0,90, soit 90 %. Un logprob de 0 signifie que le modèle a donné à ce token une probabilité de 1.

Les logprobs indiquent-ils si la réponse est vraie ?

Non. Ils mesurent la confiance du modèle dans sa formulation, pas l’exactitude du fait. Un modèle peut se tromper avec assurance.

BroadNet Inference renvoie-t-il les logprobs ?

La référence de l’API de BroadNet ne documente pas logprobs. Envoyez une requête de test avec logprobs à true et vérifiez la réponse avant de bâtir dessus.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity