La température est le curseur entre « toujours la même réponse » et « une réponse différente à chaque fois ».
Comment ça marche
Un modèle produit un score (un logit) pour chaque token qu’il pourrait écrire ensuite. Un softmax transforme ces scores en probabilités. La température divise d’abord chaque score. Hinton et ses coauteurs écrivent le softmax avec ce T et notent que « using a higher value for T produces a softer probability distribution over classes » (traduction : « une valeur plus élevée de T produit une distribution de probabilités plus douce sur les classes »).
- T inférieur à 1 accentue la distribution. Le token en tête l’emporte plus souvent.
- T = 1 laisse les probabilités telles que le modèle les a apprises.
- T supérieur à 1 les aplatit. Les tokens rares sont choisis plus souvent.
- T proche de 0 se rapproche du greedy decoding : on prend toujours le token le plus probable.
L’API d’OpenAI accepte des valeurs « between 0 and 2 » (traduction : « entre 0 et 2 ») avec 1 par défaut. Sa référence indique que 0,8 rend la sortie « more random » (traduction : « plus aléatoire ») et 0,2 « more focused and deterministic » (traduction : « plus ciblée et déterministe »). Elle recommande aussi « altering this or top_p but not both » (traduction : « de modifier ce paramètre ou top_p, mais pas les deux »), car le top-p est une deuxième façon de réduire le hasard.
Les modèles ouverts arrivent souvent avec leurs propres valeurs par défaut. Hugging Face Transformers lit la température dans le generation_config.json d’un modèle et se rabat sur 1.0 s’il est absent. Une pile de service peut utiliser l’une ou l’autre valeur.
Pourquoi c’est important
- Reproductibilité. L’extraction, le routage et la sortie structurée ont besoin de réponses stables. Une température plus basse réduit les écarts entre exécutions.
- Qualité. Trop haute, le modèle dérive vers des choix de mots étranges ou des détails inventés, ce qui alimente les hallucinations. Trop basse, un long texte peut tourner en boucle : Hugging Face note que le greedy decoding « begins to repeat itself » (traduction : « commence à se répéter ») sur les séquences longues.
- Évaluation. Quand vous comparez des modèles, fixez la température. Sinon, vous mesurez du bruit d’échantillonnage. Observer les logprobs montre la marge dont disposait le modèle.
La température ne change ni le prix ni la vitesse. Un token coûte la même chose quel que soit le réglage.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente pas temperature, ni sa plage autorisée, ni sa valeur par défaut, pour aucun modèle. Les exemples de requêtes ne la définissent pas. L’API étant compatible OpenAI, les SDK envoient le champ, mais rien n’indique si chaque modèle le respecte. Définissez-la explicitement et lancez le même prompt plusieurs fois pour voir la dispersion. Le guide du SDK Python d’OpenAI montre la configuration du client.
Erreurs fréquentes
- Utiliser une température de 0 et supposer une sortie identique pour toujours. Conservez les réponses que vous devez reproduire.
- Augmenter la température pour corriger une mauvaise réponse. Un meilleur prompt ou plus de contexte améliore la justesse ; la température ne change que la variété.