Chaque token qu’écrit un modèle est tiré d’une distribution de probabilités. Les logprobs exposent cette distribution, un token à la fois.
Comment ça marche
À chaque étape, le modèle attribue un score à chaque token de son vocabulaire et convertit ces scores en probabilités. L’API peut renvoyer le logarithme naturel de la probabilité du token choisi. On utilise des logarithmes parce que les nombres bruts deviennent minuscules ; additionner des logarithmes revient à multiplier des probabilités.
Dans l’API Chat Completions d’OpenAI, vous les demandez avec deux champs de la requête :
logprobs: truerenvoie une log-probabilité pour chaque token de sortie.top_logprobsest « an integer between 0 and 20 » (traduction : « un entier compris entre 0 et 20 ») qui fixe le nombre d’alternatives probables à lister à chaque position. Il nécessitelogprobs: true.
Chaque entrée de choices[0].logprobs.content contient le token, son logprob, ses bytes UTF-8 et une liste top_logprobs. Pour convertir, utilisez exp(logprob) :
| logprob | probabilité |
|---|---|
| 0 | 1,00 |
| -0,105 | environ 0,90 |
| -0,693 | environ 0,50 |
| -2,303 | environ 0,10 |
Pourquoi c’est important
Le cookbook d’OpenAI liste des usages concrets :
- Confiance d’une classification. Demandez une étiquette d’un seul mot et lisez le logprob de ce token. Confiez les cas peu sûrs à un humain.
- Contrôles de récupération. Demandez si le contexte fourni répond à la question, et utilisez la probabilité de « yes » comme score. Le cookbook relie cette pratique à la réduction des hallucinations.
- Autocomplétion. Ne suggérez le mot suivant que si le modèle est confiant.
- Perplexité. Faites la moyenne des logprobs d’une réponse entière, prenez l’opposé et élevez e à cette puissance. Une perplexité plus basse signifie que le modèle trouvait le texte plus prévisible.
Les logprobs rendent aussi l’échantillonnage visible. Augmenter la température ou le top-p laisse passer des tokens moins probables, et les logprobs le montrent. Ils complètent à peu de frais une étape de LLM-as-a-judge, puisqu’ils arrivent avec la réponse sans requête supplémentaire.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente logprobs ni top_logprobs pour aucun modèle. Ne supposez pas qu’un endpoint compatible OpenAI les renvoie. Envoyez une requête avec logprobs: true, vérifiez si choices[0].logprobs est rempli, et prévoyez une solution de repli, comme un prompt de juge, si ce n’est pas le cas. Le guide du SDK Python montre la configuration du client pour un test.
Erreurs fréquentes
- Lire un logprob élevé comme la preuve qu’un fait est exact. Il signifie seulement que le modèle s’attendait à ce token.
- Comparer les logprobs de modèles différents. Les tokenizers et la calibration diffèrent, les nombres ne sont donc pas sur la même échelle.